用圖像投影的虛擬交互的制作方法
【專利說明】用圖像投影的虛擬交互
[0001]背景
[0002]在一些虛擬現實和混合現實顯示系統中，在虛擬環境中模擬類似觸摸的沉浸式交互可能是合乎需要的。例如，用戶可能想要以與她在物理世界中處置虛擬對象類似的方式用她的手部運動來操縱這一對象。然而，啟用這一沉浸式且自然的類似觸摸的交互已被證明是有挑戰性的。
[0003]啟用與虛擬對象的交互的先前嘗試包括使用用戶手部的符號或呈現表示。然而，這些方法通常利用可能向體驗增加顯著等待時間的精確的手部跟蹤。另外，在此類直接物理-虛擬交互中，交互手“直接”被用戶諸如經由透明的頭戴式顯示器/虛擬現實系統看到。此類系統通常包括顯著的虛擬顯示等待時間，因為用戶直接看到手的時間對應于虛擬系統的處理剛剛開始。因此，在這些系統中，顯示器幀率(例如，每秒幀數)由于所經歷的交互等待時間而不可避免地低于下界。查看用戶手部的符號或呈現表示還造成不直觀且自然的體驗。姿勢識別系統通常還利用精確的手部和手指跟蹤，并且受限于用戶被迫學習的符號姿勢“語言”。
[0004]捕捉和使用用戶手部的輪廓一般涉及用戶朝著捕捉設備和顯示屏舉起他的手以及在該舉起位置執行移動。在這些系統中，相機位置(例如，前傳感器)在向上舉手(朝著傳感器)時通常只能捕捉到內手掌。這一位置在較長時段內可能是無聊且不舒適的。此外，用戶的手部可能遮擋用戶對正在操縱的對象的查看。另外，捕捉到的用戶手掌的內側的圖像通常被呈現為用戶手部的相對外側的彩色輪廓或陰影。這樣操縱的手部表示還造成感知到較不直觀且間接的交互體驗。
[0005]這種內手掌輪廓呈現的另一缺點在手改變離傳感器的距離(例如，在向顯示器/傳感器伸手時，手移動靠近虛擬對象且遠離用戶)時出現。在此情形中，輪廓的大小相應地改變(例如，由于移動靠近傳感器而變得更大)。然而，對于用戶而言，這樣的改變就輪廓將如何自然地改變以逼真地模擬外手掌的輪廓而言是違反直覺的(例如，它將在它移動遠離人時變得更小)。以此方式，此類基于輪廓的系統提供較不真實的手部圖像呈現。
[0006]概述
[0007]本文公開了涉及在虛擬環境中提供低等待時間交互的各實施例。例如，所公開的一個實施例提供了一種方法，該方法包括接收用戶手部的背面的初始圖像以及表示該手部的初始實際位置的對應的初始深度信息。使用該初始深度信息，將初始圖像投影到虛擬環境中的初始虛擬位置，該初始虛擬位置對應于初始實際位置。向顯示設備提供該初始圖像的分割版本以供顯示在虛擬環境中的初始虛擬位置。
[0008]該方法包括接收用戶手部的背面的后續圖像以及表示與初始實際位置不同的手部的后續實際位置的對應的后續深度信息。使用該后續深度信息，將后續圖像投影到虛擬環境中的后續虛擬位置，該后續虛擬位置對應于后續實際位置。向顯示設備提供該后續圖像的分割版本以供顯示在虛擬環境中的后續虛擬位置。該方法然后包括檢測手部的三維表示與虛擬環境中的虛擬對象之間的觸碰。
[0009]提供本概述是為了以精簡的形式介紹將在以下詳細描述中進一步描述的一些概念。本概述并不旨在標識所要求保護主題的關鍵特征或必要特征，也不旨在用于限制所要求保護主題的范圍。此外，所要求保護的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點的實現。
[0010]附圖簡述
[0011]圖1是根據本公開的一實施例的接口系統和顯示設備的示意圖。
[0012]圖2示出根據本公開的一實施例的示例頭戴式顯示設備。
[0013]圖3是根據本公開的一實施例的用戶經由接口系統與顯示設備上所顯示的示例虛擬環境交互的示意圖。
[0014]圖4是根據本公開的一實施例的用戶穿戴頭戴式顯示設備并經由接口系統與示例虛擬環境交互的示意圖。
[0015]圖5是圖4的用戶的示意性俯視圖。
[0016]圖6是根據本公開的一實施例的由接口系統生成的用戶手部的兩個分割版本的示意圖。
[0017]圖7是如經由顯示設備看到的混合現實環境形式的虛擬環境的示意圖。
[0018]圖8A、8B和8C是根據本公開的一實施例的用于在虛擬環境中提供低等待時間交互的方法的流程圖。
[0019]圖9是計算系統的一實施例的簡化示意圖解。
[0020]詳細描述
[0021]圖1示出了接口系統10的一個實施例的示意圖。接口系統10包括可被存儲在計算設備22的大容量存儲18中的接口程序14。接口程序14可被加載到存儲器26中并由計算設備22的處理器30執行以執行下文更為詳細地描述的方法和過程中的一個或多個。
[0022]混合現實顯示程序34可生成包括至少一個虛擬對象42的虛擬環境38。這一虛擬環境38可被提供給顯示設備，諸如頭戴式顯示器(HMD)設備46。如以下更詳細地解釋的，HMD設備46可創建以下形式的虛擬環境:包括用戶52可經由HMD設備看到的一個或多個虛擬對象42和物理對象50的混合現實環境48。換言之，混合現實環境48可包括用戶52可經由HMD設備看到的虛擬環境38和物理環境。如以下更詳細地解釋的，在一些示例中，混合現實環境48可包括虛擬環境38,其中用戶52無法看到虛擬對象并且其中用戶可看到一個或多個物理對象50以及用戶手部的三維表示。
[0023]也將認識到也可以在公開的范圍內使用利用各種顯示技術并具有各種形狀因子的許多其他類型和配置的顯示設備。此類顯示設備可包括但不限于:固定位置監視器、諸如智能電話、平板計算機和上網本計算機等移動設備、投影顯示設備、二維顯示器、三維(3D)顯示器以及其他合適類型的顯示設備。
[0024]計算設備22可采用以下形式:臺式計算機，諸如智能電話、膝上型計算機、筆記本或平板計算機之類的移動計算設備，網絡計算機，家庭娛樂計算機，交互式電視，游戲系統，或其他合適類型的計算設備。關于計算設備22的組件和計算方面的附加細節在下文中參考圖9更詳細地描述。
[0025]計算設備22可使用有線連接來與HMD設備46可操作地連接，或可采用通過WiF1、藍牙或任何其他合適的無線通信協議的無線連接。另外，圖1中示出的示例將計算設備22示為與HMD設備46分開的組件。將理解，在其他示例中，計算設備22可被集成到HMD設備46中。
[0026]現在還參考圖2,提供了一副具有透明顯示器58的可配戴眼鏡200形式的HMD設備的示例。將明白，在其他示例中，HMD設備46可以采取其他合適的形式，其中透明、半透明或不透明顯示器被支撐在查看者的一只或兩只眼睛前方。還將明白，圖1中所示的HMD設備46可以采取HMD設備200的形式(如在下文更詳細地描述的)或任何其他合適的HMD設備。
[0027]參考圖1和2,在這一示例中，HMD設備46包括顯示系統54和使圖像能夠被遞送到用戶的眼睛的透明顯示器58。透明顯示器58可被配置成向透過該透明顯示器查看物理環境的用戶在視覺上增強該物理環境的外觀。例如，物理環境的外觀可以由經由透明顯示器58呈現的圖形內容(例如，一個或多個像素，每一像素具有相應色彩和亮度)來增強以創建混合現實環境48。
[0028]透明顯示器56還可被配置成使用戶能夠透過顯示虛擬對象表示的一個或多個部分透明的像素來查看物理環境中的物理現實世界對象。在一個示例中，透明顯示器58可包括位于透鏡204內的圖像生成元件(諸如例如透視有機發光二極管(0LED)顯示器)。作為另一示例，透明顯示器58可包括在透鏡204邊緣上的光調制器。在這一示例中，透鏡204可以擔當光導以供將光從光調制器遞送到用戶的眼睛。這樣的光導可以使用戶能夠感覺3D全息圖像位于用戶正在查看的物理環境內，這還允許用戶查看物理環境中的物理對象。
[0029]HMD設備46還可包括各種傳感器和相關系統。例如，HMD設備46可包括利用至少一個面向內的傳感器216的眼睛跟蹤傳感器系統62。該面向內的傳感器216可以是被配置成從用戶的眼睛獲取眼睛跟蹤信息形式的圖像數據的圖像傳感器。假定用戶已同意獲取和使用這一信息，眼睛跟蹤傳感器系統62可以使用這一信息來跟蹤用戶的眼睛的位置和/或移動。
[0030]在一個示例中，眼睛跟蹤系統62包括被配置成檢測用戶的每一個眼睛的注視方向的注視檢測子系統。該注視檢測子系統可被配置成以任何合適方式確定每一只用戶眼睛的注視方向。例如，注視檢測子系統可包括諸如紅外光源等被配置成使得從用戶的每一只眼睛的角膜反射閃光的一個或多個光源。一個或多個圖像傳感器然后可被配置成捕捉用戶眼睛的圖像。
[0031] 如從收集自圖像傳感器的圖像數據確定的閃爍和瞳孔的圖像可用于確定每一眼睛的光軸。使用該信息，眼睛跟蹤傳感器系統62隨后可以確定用戶正在注視的方向和/或什么物理對象或虛擬對象。此類注視檢測數據然后可被提供給接口程序14。將理解，注視檢測子系統可以具有任意適當數量和布置的光源和圖像傳感器。
[0032]HMD設備46還可包括接收來自物理環境的物理環境數據的傳感器系統。例如，HMD設備46可包括利用至少一個面向外傳感器212 (如光學傳感器)的光學傳感器系統66。面向外傳感器212可以從其視野內的對象捕捉圖像和深度信息。在一些示例中，面向外傳感器212可包括深度相機、諸如RGB相機等可見光相機、紅外光相機，和/或位置跟蹤相機。在一個示例中且如下文更詳細地描述的，面向外傳感器212可包括使該傳感器能夠在從用戶的軀干外伸時從用戶手部捕捉圖像和深度信息的視野。
[0033]在一個示例中，一個或多個深度相機可包括立體視覺系統的左和右相機。來自這些深度相機中的一個或多個的時間分辨的圖像可被彼此配準和/或與來自另一光學傳感器(如可見光譜相機)的圖像配準，且可被組合以產生深度分辨