所(suo)描述的主題總體(ti)上涉及增強現實(ar)內(nei)容，并(bing)且特別地涉及通過選(xuan)擇真實世界定(ding)位或對象來控(kong)制(zhi)ar內(nei)容的方(fang)法。

背景技術：

1、顯示設備(bei)可以用于通過沉浸式體驗來(lai)向用戶呈現(xian)信息。廣泛的(de)應用使(shi)用ar技術在真實世界場景的(de)描(miao)繪中(zhong)呈現(xian)虛(xu)(xu)擬對(dui)象(xiang)。然而，虛(xu)(xu)擬對(dui)象(xiang)與真實世界對(dui)象(xiang)之間(jian)的(de)交互通常僅限于不存在。此外(wai)，虛(xu)(xu)擬對(dui)象(xiang)一(yi)旦放置在世界中(zhong)往往是(shi)靜(jing)態(tai)的(de)。

技術實現思路

1、鑒于上述情況，因此(ci)本(ben)領域(yu)需要一(yi)種方法來控制虛擬對象相對于與它們一(yi)起(qi)顯示的(de)真(zhen)實世(shi)界(jie)環境的(de)運動和(he)其他(ta)行為。

2、客戶端(duan)設(she)備可(ke)以提供(例如(ru)(ru)，顯示(shi))各種(zhong)ar體驗，其(qi)中(zhong)虛(xu)(xu)(xu)擬內(nei)(nei)(nei)容(rong)與真實(shi)(shi)世(shi)(shi)界(jie)一起(qi)顯示(shi)。在各種(zhong)實(shi)(shi)施(shi)例中(zhong)，客戶端(duan)設(she)備在顯示(shi)器上顯示(shi)虛(xu)(xu)(xu)擬內(nei)(nei)(nei)容(rong)，并且用(yong)戶通過(guo)顯示(shi)器觀看(kan)真實(shi)(shi)世(shi)(shi)界(jie)。例如(ru)(ru)，客戶端(duan)設(she)備是用(yong)戶佩戴(dai)的(de)(de)ar耳(er)機(ji)(例如(ru)(ru)，ar眼(yan)鏡或(huo)護目鏡)。因此，從(cong)用(yong)戶的(de)(de)角度來(lai)看(kan)，虛(xu)(xu)(xu)擬對象位(wei)于真實(shi)(shi)世(shi)(shi)界(jie)中(zhong)。為(wei)了實(shi)(shi)現這一點，使(shi)用(yong)用(yong)戶周圍的(de)(de)真實(shi)(shi)世(shi)(shi)界(jie)環境的(de)(de)3d地圖(例如(ru)(ru)，網格或(huo)點云(yun))來(lai)定位(wei)虛(xu)(xu)(xu)擬內(nei)(nei)(nei)容(rong)。3d地圖可(ke)以使(shi)用(yong)與真實(shi)(shi)世(shi)(shi)界(jie)的(de)(de)至少一部分具有一對一關系的(de)(de)虛(xu)(xu)(xu)擬坐標系。

3、例如，客(ke)(ke)(ke)戶(hu)(hu)端(duan)(duan)設(she)備(bei)(bei)可(ke)(ke)以估計由客(ke)(ke)(ke)戶(hu)(hu)端(duan)(duan)設(she)備(bei)(bei)上或(huo)(huo)與(yu)客(ke)(ke)(ke)戶(hu)(hu)端(duan)(duan)設(she)備(bei)(bei)相關(guan)聯的(de)(de)一個(ge)或(huo)(huo)多(duo)個(ge)相機捕獲(huo)的(de)(de)圖像像素的(de)(de)深(shen)度信息。客(ke)(ke)(ke)戶(hu)(hu)端(duan)(duan)設(she)備(bei)(bei)可(ke)(ke)以基于深(shen)度信息在(zai)外部環境(jing)中(zhong)顯示(shi)虛(xu)擬對象(xiang)(xiang)(xiang)(xiang)。語(yu)義分(fen)割也可(ke)(ke)以用于標(biao)識(shi)(shi)3d地圖中(zhong)與(yu)真實世界對象(xiang)(xiang)(xiang)(xiang)(諸(zhu)如消防栓、樹(shu)木、汽車(che)、人、長凳、墻壁等)相對應的(de)(de)部分(fen)。客(ke)(ke)(ke)戶(hu)(hu)端(duan)(duan)設(she)備(bei)(bei)還可(ke)(ke)以顯示(shi)與(yu)外部環境(jing)中(zhong)標(biao)識(shi)(shi)的(de)(de)對象(xiang)(xiang)(xiang)(xiang)交(jiao)互的(de)(de)虛(xu)擬對象(xiang)(xiang)(xiang)(xiang)(例如，在(zai)外部環境(jing)中(zhong)的(de)(de)一個(ge)或(huo)(huo)多(duo)個(ge)標(biao)識(shi)(shi)的(de)(de)對象(xiang)(xiang)(xiang)(xiang)上行走、攀爬(pa)或(huo)(huo)爬(pa)行)。因此，虛(xu)擬對象(xiang)(xiang)(xiang)(xiang)對用戶(hu)(hu)來說(shuo)可(ke)(ke)以看起來更(geng)真實或(huo)(huo)逼真。

4、用(yong)(yong)(yong)戶(hu)(hu)可(ke)以(yi)(yi)通過選(xuan)(xuan)(xuan)擇(ze)真實世界(jie)(jie)(jie)中(zhong)的(de)(de)對(dui)象(xiang)或(huo)(huo)(huo)定(ding)(ding)位(wei)(wei)來控制(zhi)(zhi)(zhi)(zhi)一(yi)個(ge)(ge)或(huo)(huo)(huo)多(duo)個(ge)(ge)虛(xu)擬(ni)對(dui)象(xiang)，諸如(ru)(ru)虛(xu)擬(ni)角色。用(yong)(yong)(yong)戶(hu)(hu)持有控制(zhi)(zhi)(zhi)(zhi)器(qi)(例(li)如(ru)(ru)，智能手(shou)機或(huo)(huo)(huo)專(zhuan)用(yong)(yong)(yong)控制(zhi)(zhi)(zhi)(zhi)器(qi)設備(bei))，該控制(zhi)(zhi)(zhi)(zhi)器(qi)包括用(yong)(yong)(yong)于跟蹤控制(zhi)(zhi)(zhi)(zhi)器(qi)的(de)(de)位(wei)(wei)置(zhi)和/或(huo)(huo)(huo)取向(xiang)(xiang)的(de)(de)一(yi)個(ge)(ge)或(huo)(huo)(huo)多(duo)個(ge)(ge)定(ding)(ding)位(wei)(wei)傳(chuan)感器(qi)。用(yong)(yong)(yong)戶(hu)(hu)將控制(zhi)(zhi)(zhi)(zhi)器(qi)指(zhi)(zhi)向(xiang)(xiang)真實世界(jie)(jie)(jie)中(zhong)的(de)(de)定(ding)(ding)位(wei)(wei)或(huo)(huo)(huo)對(dui)象(xiang)，并且提供選(xuan)(xuan)(xuan)擇(ze)指(zhi)(zhi)示(shi)(例(li)如(ru)(ru)，通過按下控制(zhi)(zhi)(zhi)(zhi)器(qi)上的(de)(de)按鈕或(huo)(huo)(huo)撥(bo)動控制(zhi)(zhi)(zhi)(zhi)器(qi)上的(de)(de)觸發器(qi)、發出(chu)口頭命令(ling)、執(zhi)行手(shou)勢等等)來選(xuan)(xuan)(xuan)擇(ze)該對(dui)象(xiang)或(huo)(huo)(huo)定(ding)(ding)位(wei)(wei)。為(wei)了(le)確(que)(que)定(ding)(ding)所選(xuan)(xuan)(xuan)擇(ze)的(de)(de)對(dui)象(xiang)或(huo)(huo)(huo)定(ding)(ding)位(wei)(wei)，可(ke)以(yi)(yi)執(zhi)行光(guang)線投(tou)射以(yi)(yi)確(que)(que)定(ding)(ding)由(you)控制(zhi)(zhi)(zhi)(zhi)器(qi)定(ding)(ding)義的(de)(de)軸(zhou)線首先與3d地圖中(zhong)的(de)(de)表(biao)面相交(jiao)的(de)(de)位(wei)(wei)置(zhi)。3d地圖中(zhong)的(de)(de)該交(jiao)點是(shi)所選(xuan)(xuan)(xuan)擇(ze)的(de)(de)定(ding)(ding)位(wei)(wei)或(huo)(huo)(huo)對(dui)象(xiang)。交(jiao)點可(ke)以(yi)(yi)被定(ding)(ding)義為(wei)航路點。在(zai)一(yi)些實施例(li)中(zhong)，十字線或(huo)(huo)(huo)其(qi)他指(zhi)(zhi)示(shi)符用(yong)(yong)(yong)于向(xiang)(xiang)用(yong)(yong)(yong)戶(hu)(hu)指(zhi)(zhi)示(shi)控制(zhi)(zhi)(zhi)(zhi)器(qi)當前指(zhi)(zhi)示(shi)的(de)(de)定(ding)(ding)位(wei)(wei)或(huo)(huo)(huo)對(dui)象(xiang)。例(li)如(ru)(ru)，如(ru)(ru)果用(yong)(yong)(yong)戶(hu)(hu)佩(pei)戴ar耳機，則可(ke)以(yi)(yi)顯示(shi)十字線，以(yi)(yi)指(zhi)(zhi)示(shi)在(zai)用(yong)(yong)(yong)戶(hu)(hu)發出(chu)選(xuan)(xuan)(xuan)擇(ze)命令(ling)時真實世界(jie)(jie)(jie)中(zhong)的(de)(de)哪個(ge)(ge)位(wei)(wei)置(zhi)或(huo)(huo)(huo)對(dui)象(xiang)將被選(xuan)(xuan)(xuan)擇(ze)。

5、針對(dui)(dui)(dui)虛擬對(dui)(dui)(dui)象(xiang)的(de)路(lu)線(xian)基(ji)于所(suo)選(xuan)(xuan)擇(ze)(ze)的(de)對(dui)(dui)(dui)象(xiang)或(huo)(huo)(huo)定(ding)(ding)位(wei)來確定(ding)(ding)。例如，對(dui)(dui)(dui)象(xiang)或(huo)(huo)(huo)定(ding)(ding)位(wei)的(de)選(xuan)(xuan)擇(ze)(ze)被(bei)解釋(shi)為將虛擬角(jiao)(jiao)色(se)(或(huo)(huo)(huo)其他對(dui)(dui)(dui)象(xiang))移(yi)動到所(suo)選(xuan)(xuan)擇(ze)(ze)的(de)定(ding)(ding)位(wei)或(huo)(huo)(huo)讓(rang)虛擬角(jiao)(jiao)色(se)與所(suo)選(xuan)(xuan)擇(ze)(ze)的(de)對(dui)(dui)(dui)象(xiang)交(jiao)互的(de)指令。在(zai)一些(xie)實(shi)施例中，用(yong)戶可以按順(shun)序(xu)選(xuan)(xuan)擇(ze)(ze)多個點或(huo)(huo)(huo)對(dui)(dui)(dui)象(xiang)，并(bing)且虛擬角(jiao)(jiao)色(se)可以按順(shun)序(xu)移(yi)動到所(suo)選(xuan)(xuan)擇(ze)(ze)的(de)定(ding)(ding)位(wei)/對(dui)(dui)(dui)象(xiang)或(huo)(huo)(huo)者與其交(jiao)互。換言之(zhi)，用(yong)戶可以使用(yong)通過使用(yong)控制器指向真實(shi)世(shi)界(jie)中的(de)對(dui)(dui)(dui)應定(ding)(ding)位(wei)而定(ding)(ding)義的(de)航(hang)路(lu)點來定(ding)(ding)義路(lu)線(xian)或(huo)(huo)(huo)其他交(jiao)互系列。

6、在一些方(fang)面，本(ben)文中描述的(de)(de)(de)技術涉及一種用于在增強(qiang)現實(shi)(ar)應用中定(ding)(ding)義(yi)針對(dui)(dui)虛擬(ni)對(dui)(dui)象(xiang)的(de)(de)(de)路線(xian)的(de)(de)(de)方(fang)法(fa)，該方(fang)法(fa)包括：接收指(zhi)(zhi)示控制器的(de)(de)(de)位(wei)(wei)(wei)置(zhi)(zhi)和取向的(de)(de)(de)位(wei)(wei)(wei)置(zhi)(zhi)數據，位(wei)(wei)(wei)置(zhi)(zhi)數據定(ding)(ding)義(yi)控制器的(de)(de)(de)軸(zhou)線(xian)；執行光線(xian)投(tou)射以(yi)確定(ding)(ding)與軸(zhou)線(xian)相交(jiao)的(de)(de)(de)真(zhen)實(shi)世界的(de)(de)(de)3d地圖中的(de)(de)(de)定(ding)(ding)位(wei)(wei)(wei)或對(dui)(dui)象(xiang)；接收選擇(ze)指(zhi)(zhi)示；在選擇(ze)指(zhi)(zhi)示之后，選擇(ze)與軸(zhou)線(xian)相交(jiao)的(de)(de)(de)3d地圖中的(de)(de)(de)定(ding)(ding)位(wei)(wei)(wei)作為航(hang)路點；以(yi)及基于航(hang)路點來定(ding)(ding)義(yi)路線(xian)。

7、其(qi)他方(fang)(fang)面包括與上述任何(he)方(fang)(fang)面相關的部(bu)件、設備、系統、改進(jin)、方(fang)(fang)法、過程、應用、計(ji)算機可讀介質和其(qi)他技術。

技術特征：

1.一(yi)種用(yong)于在增(zeng)強現實(shi)ar應用(yong)中定義針對(dui)虛(xu)擬對(dui)象的路線的方法，所述方法包括：

2.根(gen)據權(quan)利要求1所述的方(fang)法，還包(bao)括在所述3d地(di)圖(tu)中(zhong)標識一個或多個真實(shi)(shi)世界對象(xiang)(xiang)，其中(zhong)定(ding)義所述路線還基于所標識的所述一個或多個真實(shi)(shi)世界對象(xiang)(xiang)。

3.根(gen)據權利(li)要(yao)求2所述的方法，還包括標識(shi)所標識(shi)的真(zhen)實(shi)世界對象的材料(liao)，其中(zhong)定義所述路線還基于所標識(shi)的所述材料(liao)。

4.根(gen)據權利要(yao)求1所述的方法(fa)，還包括向客(ke)戶(hu)端設備提供ar數據，所述ar數據包括沿著所述路(lu)線遍歷的所述虛擬對象。

5.根(gen)據權利(li)要求4所(suo)述(shu)(shu)的(de)方法(fa)，其中所(suo)述(shu)(shu)虛擬對象沿著(zhu)所(suo)述(shu)(shu)路(lu)線(xian)的(de)移動速度基于沿著(zhu)所(suo)述(shu)(shu)路(lu)線(xian)的(de)真(zhen)實世(shi)界對象的(de)材料。

6.根據權利(li)要求1所(suo)述(shu)的方法(fa)，還包括接收將遍(bian)(bian)歷所(suo)述(shu)路線的所(suo)述(shu)虛擬(ni)對象的遍(bian)(bian)歷特性(xing)，其中定義所(suo)述(shu)路線還基于所(suo)述(shu)虛擬(ni)對象的所(suo)述(shu)遍(bian)(bian)歷特性(xing)。

7.根據(ju)權利要(yao)求1所述(shu)的方(fang)法，其中所述(shu)航路點(dian)定義所述(shu)路線(xian)的終點(dian)。

8.根據權(quan)利要求7所(suo)(suo)述(shu)的(de)方法，其(qi)中所(suo)(suo)述(shu)路(lu)線的(de)起(qi)點基于所(suo)(suo)述(shu)3d地圖中所(suo)(suo)述(shu)虛擬對象的(de)定位。

9.根據權利要求1所(suo)(suo)(suo)述(shu)的(de)方法，其中所(suo)(suo)(suo)述(shu)航路點(dian)定(ding)義所(suo)(suo)(suo)述(shu)路線(xian)的(de)起點(dian)。

10.根據權利(li)要求1所述的方法(fa)，還包(bao)括向客戶(hu)端設備提供(gong)ar數據，所述ar數據包(bao)括在所述航路點(dian)處與真實(shi)世界對象交互的所述虛擬對象。

11.根據權(quan)利(li)要求1所述的(de)方(fang)法，其(qi)中(zhong)多(duo)個航(hang)路(lu)點在(zai)接收到多(duo)個選(xuan)(xuan)擇(ze)指示之后被(bei)選(xuan)(xuan)擇(ze)，其(qi)中(zhong)所述路(lu)線基于(yu)所述多(duo)個航(hang)路(lu)點來定義。

12.根據權利要求11所(suo)述(shu)的(de)(de)方法(fa)，其中所(suo)述(shu)路線被(bei)定義為與(yu)所(suo)述(shu)多個航(hang)路點中的(de)(de)每個航(hang)路點相交。

13.一種存儲指(zhi)令(ling)的非暫態計(ji)(ji)算(suan)機可讀介(jie)質，所(suo)述指(zhi)令(ling)在由(you)計(ji)(ji)算(suan)系統(tong)執行(xing)時，使所(suo)述計(ji)(ji)算(suan)系統(tong)執行(xing)操(cao)(cao)作，所(suo)述操(cao)(cao)作包括：

14.根據(ju)權利要求13所(suo)(suo)述(shu)的(de)非暫(zan)態計算機可讀(du)介質(zhi)，其(qi)中所(suo)(suo)述(shu)操(cao)作(zuo)還包括在所(suo)(suo)述(shu)3d地(di)圖中標(biao)識一(yi)(yi)個或(huo)多個真實(shi)世(shi)界(jie)(jie)對(dui)象(xiang)(xiang)，其(qi)中定義所(suo)(suo)述(shu)路線還基(ji)于所(suo)(suo)標(biao)識的(de)所(suo)(suo)述(shu)一(yi)(yi)個或(huo)多個真實(shi)世(shi)界(jie)(jie)對(dui)象(xiang)(xiang)。

15.根據(ju)權利要求14所(suo)述的(de)(de)(de)非(fei)暫態(tai)計算機可讀(du)介質，其中所(suo)述操(cao)作還包括標識(shi)所(suo)標識(shi)的(de)(de)(de)對象的(de)(de)(de)材料(liao)，其中定義所(suo)述路線還基于所(suo)標識(shi)的(de)(de)(de)所(suo)述材料(liao)。

16.根據(ju)權利要求13所(suo)述的(de)非暫態(tai)計算機可讀介(jie)質(zhi)，其(qi)中所(suo)述操作還(huan)包括向客戶端設備提供ar數(shu)據(ju)，所(suo)述ar數(shu)據(ju)包括沿著所(suo)述路線遍歷(li)的(de)虛(xu)擬對象。

17.根(gen)據權利要求16所述(shu)(shu)的非暫態計算機可讀介質(zhi)，其中所述(shu)(shu)虛(xu)擬(ni)對象(xiang)沿(yan)著所述(shu)(shu)路線(xian)(xian)的移動速(su)度基于沿(yan)著所述(shu)(shu)路線(xian)(xian)的真(zhen)實(shi)世界對象(xiang)的材料。

18.根(gen)據(ju)權利要求(qiu)13所(suo)述的(de)非暫態計算機(ji)可讀介質，其中所(suo)述操作還(huan)包括(kuo)接收將遍歷(li)(li)所(suo)述路線的(de)虛擬(ni)對象的(de)遍歷(li)(li)特性，其中定義所(suo)述路線還(huan)基于所(suo)述虛擬(ni)對象的(de)所(suo)述遍歷(li)(li)特性。

19.根據權利要(yao)求13所述(shu)的(de)非暫(zan)態計算(suan)機可讀介質，其中所述(shu)航路(lu)點(dian)定義所述(shu)路(lu)線的(de)終點(dian)。

20.一種用于在(zai)增強現實ar應用中定義針對虛(xu)擬對象的路線的方法，所述方法包括：

技術總結
客戶端設備和控制器允許用戶通過選擇真實世界位置或對象來控制AR內容。客戶端接收指示控制器的位置和取向的位置數據，位置數據定義控制器的軸線。客戶端設備執行光線投射以確定與軸線相交的真實世界的3D地圖中的位置。客戶端設備接收選擇指示(例如，用戶按下控制器上的按鈕)。在選擇指示之后，客戶端設備選擇與軸線相交的3D地圖中的位置作為航路點。客戶端設備基于航路點來定義針對虛擬對象的路線。

技術研發人員：C·G·斯托斯基,M·R·里德,J·J·塞巴羅斯,M·E·博雷加勒斯,J·R·潘多
受保護的技術使用者：奈安蒂克公司
技術研發日：
技術公布日：2024/9/19