虛擬觸摸交互方法和虛擬觸摸交互設備的制作方法
【專利摘要】公開了一種用于投影屏幕的虛擬觸摸交互方法和虛擬觸摸交互設備。所述方法包括：跟蹤在投影屏幕前的投影區域中移動的用戶肢體的位置；基于用戶肢體的位置，確定用戶肢體是否進入交互區域；響應于用戶肢體進入交互區域，將光標投影到用戶肢體上；以及根據用戶肢體對于投影屏幕的動作改變所述光標的形態。利用上述方法和設備，可以以較高的精度檢測用戶對于投影屏幕的觸摸操作，并且對用戶給出清晰的反饋，同時不會對顯示在投影屏幕上的圖像造成干擾。
【專利說明】虛擬觸摸交互方法和虛擬觸摸交互設備
【技術領域】
[0001]本發明涉及計算機和數字圖像處理領域的用戶交互技術，更具體地涉及一種用于投影屏幕的虛擬觸摸交互方法和虛擬處理交互設備。
【背景技術】
[0002]目前，觸摸控制技術已經被廣泛地應用于諸如手持設備和個人電腦之類的各種設備上以進行人機交互。這種技術使用帶有觸摸傳感器的觸摸屏，用戶可以通過觸摸該觸摸屏來與設備交互，從而控制該設備執行各種操作。觸摸控制技術可以使用戶方便有效地操作設備，從而獲得良好的用戶體驗。
[0003]近年來，又提出了虛擬觸摸交互技術，其目的在于對不具備觸摸傳感器的屏幕執行與傳統觸摸交互類似的交互(即，虛擬觸摸交互)。例如，在將虛擬觸摸交互技術應用于普通的投影屏幕的情況下，可以根據用戶的手對投影屏幕的觸摸操作來執行各種交互操作。相對于傳統的觸摸控制技術，虛擬觸摸交互技術不需要設置觸摸屏，因此應用起來更加靈活。然而，在虛擬觸摸交互技術中，如何向用戶提供更自然更優秀的交互體驗始終是一個巨大的挑戰。在現有的虛擬觸摸交互技術中，無法在交互過程中針對用戶的動作向用戶提供清晰的反饋。具體地，在進行虛擬觸摸交互時，用戶通常想知道:(1)他的觸摸操作是否被檢測到；(2)他觸摸的位置在哪里。然而，現有的虛擬觸摸技術并不能針對這些內容向用戶提供清晰的反饋。
[0004]另一方面，在使用傳統的觸摸設備來實現人機交互接口的方面，已經有很多成功的例子。例如蘋果公司設計的觸摸設備使用了以下人機交互接口原則:(1)反饋，即響應用戶的動作，并且使用戶確信他們的請求正在被處理；(2)直接操作，即用戶可以通過執行觸摸動作而直接操作屏幕中的對象；(3)隱喻，即當應用中的對象和操作是由現實世界映射過來時，用戶能快速地掌握如何使用這個應用；(4)整體之美，即應用的外觀與功能完美地結合；(5)—致性，即允許用戶將關于一個應用的知識和技能延續到其他應用上，然而，目前的虛擬觸摸交互技術不能很好地遵循上述原則。
[0005]此外，在現有的虛擬觸摸交互系統中，為了能夠檢測出用戶的觸摸動作，往往需要向投影屏幕上投影尺寸較大的易于識別的圖案，這種圖案被疊加在顯示于投影屏幕上的畫面上，不僅畫面本身變得難看，畫面上的內容也可能會被遮擋住，這導致較差的用戶體驗。
[0006]因此，需要一種虛擬觸摸交互方法和虛擬觸摸交互設備，其能夠針對用戶對例如投影屏幕的觸摸操作提供清晰的反饋，并且不會對投影屏幕上顯示的圖像造成干擾，從而提供改善的用戶體驗。

【發明內容】

[0007]鑒于現有技術中的上述問題，提出了本發明。本發明的一個目的是提供一種虛擬觸摸交互方法和虛擬觸摸交互設備，其能夠針對用戶在例如投影屏幕上的觸摸操作而向用戶提供清晰的反饋。本發明的另一目的是提供一種虛擬觸摸交互方法和虛擬觸摸交互設備，其能夠以較高的精度檢測用戶的觸摸操作，而不會對投影屏幕上顯示的圖像造成干擾。
[0008]根據本發明的一個方面，提供了一種用于投影屏幕的虛擬觸摸交互方法，包括:跟蹤在投影屏幕前的投影區域中移動的用戶肢體的位置；基于用戶肢體的位置，確定用戶肢體是否進入交互區域；響應于用戶肢體進入交互區域，將光標投影到用戶肢體上；以及根據用戶肢體對于投影屏幕的動作改變所述光標的形態。
[0009]根據本發明的上述方面，可以通過用戶肢體在建立于投影區域中的空間坐標系中的坐標來表示用戶肢體的位置。
[0010]根據本發明的上述方面，確定用戶肢體是否進入交互區域的步驟可以包括:基于用戶肢體的坐標，利用投影區域的深度圖確定用戶肢體的深度值；通過將該深度值與定義交互區域的深度閾值進行比較，確定用戶肢體是否進入交互區域。
[0011]根據本發明的上述方面，所述光標的尺寸可以不大于用戶肢體的尺寸。
[0012]根據本發明的上述方面，當用戶肢體在投影區域中移動時，可以相應地改變所述光標的投影位置，使得所述光標始終覆蓋在用戶肢體上。
[0013]根據本發明的上述方面，根據用戶肢體對于投影屏幕的動作改變所述光標的形態的步驟可以包括:檢測用戶肢體相對于投影屏幕的觸摸狀態，所述觸摸狀態包括以下至少一個:觸摸就緒狀態，用戶肢體已經進入交互區域，但是尚未觸摸到投影屏幕；觸摸按下狀態，用戶肢體已經觸摸到投影屏幕；觸摸移動狀態，用戶肢體已經觸摸到投影屏幕并且在投影屏幕上移動；以及觸摸抬起狀態，用戶肢體已經離開投影屏幕；以及根據所檢測的觸摸狀態來改變所述光標的形態。
[0014]根據本發明的上述方面，改變所述光標的形態可以包括改變所述光標的圖案、顏色、大小、形狀和透明度中的至少一種。
[0015]根據本發明的另一方面，提供了一種用于投影屏幕的虛擬觸摸交互設備，包括:跟蹤裝置，被配置為跟蹤在投影屏幕前的投影區域中移動的用戶肢體的位置；檢測裝置，被配置為基于用戶肢體的位置，檢測用戶肢體是否進入交互區域；以及交互裝置，響應于用戶肢體進入交互區域，將光標投影到用戶肢體上，并且根據用戶肢體對于投影屏幕的動作改變所述光標的形態。
[0016]根據本發明的上述方面，所述光標的尺寸可以不大于用戶肢體的尺寸。
[0017]根據本發明的上述方面，當用戶肢體在投影區域中移動時，交互裝置可以相應地改變所述光標的投影位置，使得所述光標始終覆蓋在用戶肢體上。
[0018]利用根據本發明上述方面的虛擬觸摸交互方法和虛擬觸摸交互設備，當用戶對例如投影屏幕進行觸摸操作時，可以獲得清楚的反饋，使得用戶知曉他的觸摸操作是否被檢測到以及具體的觸摸位置在哪里。此外，當利用根據本發明上述方面的虛擬觸摸交互方法和虛擬觸摸交互設備進行虛擬交互時，可以以較高的精度檢測用戶的觸摸操作，并且不會對投影屏幕上顯示的圖像造成明顯的干擾，從而改善用戶體驗。
【專利附圖】

【附圖說明】
[0019]通過結合附圖對本發明的實施例進行詳細描述，本發明的上述和其它目的、特征和優點將會變得更加清楚，其中:
[0020]圖1示意性地示出了本發明實施例的應用環境；[0021]圖2示出了根據本發明實施例的用于投影屏幕的虛擬觸摸交互方法的流程圖；
[0022]圖3示意性地示出了在投影區域中建立的空間坐標系；
[0023]圖4示意性地示出了根據本發明實施例的利用深度閾值定義的交互區域；
[0024]圖5示意性地示出了確定用戶的手是否進入交互區域時的過程；
[0025]圖6示意性地示出了投影到用戶手上的光標的圖案示例；
[0026]圖7示意性地示出了當用戶的手移動時投影的光標的形態；
[0027]圖8示意性地示出了當用戶的手移動時投影的光標的另一形態；
[0028]圖9示意性地示出了當兩只手進行觸摸操作時投影的光標的形態；
[0029]圖10示出了當用戶的手在屏幕上移動時繪制的手的軌跡；
[0030]圖11示出了根據本發明實施例的用于投影屏幕的虛擬觸摸交互設備的框圖；
[0031]圖12示出了圖11所示的檢測裝置的詳細結構的框圖；
[0032]圖13示出了圖11所示的交互裝置的詳細結構的框圖；
[0033]圖14示意性地示出了根據本發明另一實施例的利用深度閾值定義的交互區域。
【具體實施方式】
[0034]為了使本領域技術人員更好地理解本發明，下面結合附圖和【具體實施方式】對本發明作進一步詳細說明。
[0035]首先，參照圖1來描述本發明實施例的應用環境。如圖1所示，根據本發明實施例的交互式投影儀將圖像投影到投影屏幕上。用戶通過在交互式投影儀和投影屏幕之間的投影區域內移動其肢體、觸摸投影屏幕的不同位置(換言之，觸摸顯示在投影屏幕上的畫面的不同位置)、和/或在投影屏幕上滑動其肢體而進行虛擬觸摸交互。這里的虛擬觸摸交互例如指的是通過對不具備像傳統的觸摸屏上使用的那種觸摸傳感設備的投影屏幕進行觸摸操作而與系統(例如交互式投影儀和/或與之相關聯的計算機等設備)進行的交互。上文所述的用戶肢體可以是用戶的手、手指或者其他肢體，在下文中，為方便起見，以用戶的手作為用戶肢體的示例來進行描述。
[0036]下面，將結合圖1并且參照圖2來描述根據本發明實施例的用于投影屏幕的虛擬觸摸交互方法。
[0037]如圖2所示，在步驟S201中，跟蹤在投影屏幕前的投影區域中移動的用戶的手的位置。
[0038]具體地，用戶可以通過在投影區域內移動他的手以執行各種期望的操作。因此，需要跟蹤手的位置。為此，可以在投影區域中建立空間坐標系，并且通過手在空間坐標系中的坐標來表示手的位置。如圖3所示，該空間坐標系的原點位于投影屏幕的一角，X軸(橫坐標軸)為投影屏幕的長度方向，Y軸(縱坐標軸)為投影屏幕的高度方向，Z軸為垂直于投影屏幕向外(朝向投影儀)的方向。應當注意，盡管建立了三維坐標系，但是下面描述的實施例中，可以僅利用手的X坐標和I坐標作為手的坐標來表示手的位置，在這種情況下，手的位置實際上是手在XY平面(平行于投影屏幕的平面)內的位置。
[0039]當手在投影區域內移動時，可以使用本領域公知的方法來跟蹤手并且確定手的X坐標和y坐標。例如，可以拍攝投影區域的圖像并且使用連續自適應平均值平移(Continuously Adaptive Mean-SHIFT)算法和Kalman濾波器來跟蹤手并且確定手的x坐標和y坐標。或者，可以采用以下方法來跟蹤手并且確定其X坐標和y坐標:當手在投影區域內移動時，對整個投影區域拍攝彩色RGB圖像，然后利用模式識別技術從所拍攝的RGB圖像中識別出手，從而確定在所拍攝的圖像上手相對于投影屏幕的位置(或者手相對于投影屏幕的充當原點的角的位置)；由于坐標系是基于投影屏幕建立的，因此可以基于上述位置而確定X坐標和I坐標。在三維坐標系的情況下，手的z坐標可以通過投影屏幕的深度值與手的深度值(稍后描述)之差來計算。應當注意，由于用戶的手不是一個點，而是具有一定的尺寸，因此，可以使用手上的某個點(例如手掌的重心)的坐標作為手的坐標，或者可以使用手上的所有點(能夠從投影儀看到的點)的坐標的平均值作為手的坐標。
[0040]接下來，在步驟S202中，基于手的位置檢測用戶的手是否進入交互區域。
[0041]在本發明的實施例中，可以在投影屏幕之前設置交互區域。如圖4所示，該交互區域可以用深度閾值tl和t2來定義，其中深度閾值tl和t2為從投影儀(未示出)向投影屏幕看時的深度值，即距投影儀的距離，tl〈t2。交互區域被定義為深度值介于tl和t2之間的空間區域，即由深度閾值tl定義的與投影屏幕所在的平面平行的虛擬平面與由深度閾值t2定義的與投影屏幕所在的平面平行的虛擬平面之間的區域。
[0042]可以通過將手的深度值與tl和t2進行比較來檢測手是否進入交互區域。簡單地說，如果手的深度值介于tl和t2之間，則可以檢測出手進入交互區域。
[0043]為此，首先，基于手的坐標，利用投影區域的深度圖來確定手的深度值。如本領域公知的，深度圖包含圖上每個點的深度值，即距照相機的距離，在本發明的實施例中，照相機與投影儀位置相同，因此深度圖上的深度值可以視為距投影儀的距離。可以利用本領域公知的方法獲得投影區域的深度圖。例如，可以利用雙目照相機拍攝投影區域的左右圖像，然后利用該左右圖像計算出顯示在圖像上的投影區域的各個點的視差，然后根據視差計算各個點的深度值，從而形成投影區域的深度圖。可替換地，可以使用深度照相機直接拍攝投影區域的深度圖。根據手的坐標(X坐標和y坐標)，可以在深度圖上找到與該坐標對應的點，進而從深度圖上讀出該點的深度值作為手的深度值。為了提高從深度圖獲得的手的深度值的可靠性，優選地，在深度圖中以手的坐標所對應的點為中心設置一圓形區域，并且計算該圓形區域內所有像素點的深度值的平均值，作為手的深度值。該圓形區域的大小(或半徑)可以預先定義，并且可以是固定的或者可以在用戶交互期間被動態地調整。當然，除了圓形區域以外，也可以設置其他形狀的區域。
[0044]然后，將手的深度值與深度閾值tl和t2進行比較，以確定該深度值是否介于tl和t2之間。如果不是，則手尚未進入交互區域，該過程返回步驟S201。反之，如果手的深度值在tl和t2之間，如圖5所示，則可以檢測出手進入交互區域，該過程前進到步驟S203。
[0045]在步驟S203中，響應于用戶的手進入交互區域，將光標投影到用戶的手上。
[0046]具體地，當用戶的手進入投影區域時，除了將畫面投影到投影屏幕上以外，還通過例如投影儀將光標(或稱為模式光標)投影到由手的坐標確定的點的方向上。由于用戶的手位于所述坐標處，因此所投影的光標實際上將被投影到用戶的手上。這樣，當用戶看到手上的光標時，他可以知曉系統已經檢測到他的手進入交互區域。
[0047]可以根據實際需要設定投影到用戶手上的光標的尺寸。然而，為了避免所投影的光標未被手遮擋住而被投影到投影屏幕上，導致干擾投影屏幕上顯示的正常畫面，優選地，使投影到手上的光標的尺寸不超過手的大小(即，從投影儀看時的手的表面尺寸)。此外，可以自由地選擇所投影的光標的圖案。優選地，所述光標具有易于識別的圖案，例如紋理圖案、條紋圖案或者如圖6所示的同心圓的圖案。該圖案可以被預先存儲在存儲器(未示出)中，并且當投影儀初始化時或者在確定用戶的手進入交互區域時從該存儲器中讀出。
[0048]在用戶的手進入交互區域之后，隨著手的移動，可以持續跟蹤手的位置，并且相應地改變光標的投影位置，使得所述光標始終被投影到用戶的手上。應當注意，在這種情況下，優選地利用投影到手上的光標來跟蹤手的位置以及獲得手的深度值。由于光標具有易于識別的圖案，例如帶有邊緣的條紋圖案，因此相對于手更易于被跟蹤設備檢測到，使得手的跟蹤精度以及所獲得的手的深度值的精度更高。
[0049]接下來，在步驟S204中，根據用戶的手對于投影屏幕的動作改變所述光標的形態。
[0050]如上所述，當用戶的手進入投影區域并且繼續移動時，可以持續地跟蹤手的位置，并且檢測/更新手的觸摸狀態(即例如手是否觸摸/離開投影屏幕以及手是否在投影屏幕上移動)，并且根據觸摸狀態來改變光標的形態。
[0051]具體地，首先，可以檢測手是否觸摸到投影屏幕。例如可以通過比較手的深度值和投影屏幕的深度值是否相等來進行該檢測。如果手的深度值小于投影屏幕的深度值，則手沒有觸摸到投影屏幕，此時手的觸摸狀態為觸摸就緒狀態，即，用戶的手已經進入交互區域，但是尚未觸摸投影屏幕。對于這一狀態，可以將光標的形態設置為第一形態，以便向用戶表示該觸摸狀態。例如，第一形態可以是光標的顏色被設置為黑色。當手的深度值等于投影屏幕的深度值時，手已經觸摸到投影屏幕，此時手的觸摸狀態為觸摸按下狀態，即，用戶的手已經觸摸到投影屏幕。對于這一狀態，可以將光標的形態設置為第二形態。該第二形態與第一形態不同，以便將觸摸按下狀態與觸摸就緒狀態區分開。例如，第二形態可以是光標的顏色被設置為綠色。當看到第二形態的光標時，用戶可以知曉他對于投影屏幕的觸摸已經被檢測到，并且可以獲知他的觸摸位置。
[0052]在檢測到觸摸按下狀態之后，可以繼續檢測手的深度值以確定手是否仍然觸摸投影屏幕，并且還附加地檢測手的坐標值(可以僅X坐標和I坐標)，以確定用戶的手是否在投影屏幕上移動。如上文所述，在檢測手的深度值時，優選地利用投影到手上的光標以提高檢測精度。此外，可以按照上文所述的方式來檢測手的X坐標和y坐標。當檢測到手的深度值小于投影屏幕的深度值時，用戶的觸摸狀態為觸摸抬起狀態，即用戶的手已經離開投影屏幕。此時，可以將光標的形態設置為第三形態。該第三形態與第一形態和第二形態不同，以便與觸摸就緒狀態和觸摸按下狀態區分開。例如，第三形態可以是光標的顏色被設置為紅色。可替換地，也可以將第三形態設置為與第一形態相同，以便向用戶表明手的觸摸狀態已經返回觸摸就緒狀態。
[0053]另一方面，如果手的深度值等于投影屏幕的深度值，并且手的X坐標和I坐標發生變化，這表明手在屏幕上移動，此時用戶的觸摸狀態為觸摸移動狀態。此時，可以根據手的具體移動方式，將處于觸摸移動狀態下的光標的形態設置為更多種不同的形態，這些形態最好不同于上述第一到第三形態。例如，可以根據手的X坐標和I坐標的變化，確定手的移動方向和/或移動速度等。當確定用戶的手向右上方移動時，可以將光標的圖案從圖6所示的同心圓圖案改變為左下側帶有拖尾的同心圓圖案，如圖7所示，并且可選地可以改變光標的顏色，以便向用戶表明手的移動動作及其移動方向已經被檢測到。反之，當確定手向左下方移動時，可以將光標的圖案從圖6所示的同心圓圖案改變為右上側帶有拖尾的同心圓圖案，如圖8所示，并且可選地可以改變光標的顏色。此外，還可以根據手的不同移動速度而使光標呈現不同的形態，例如當手的移動速度快時，可以使所述拖尾更長。應當注意，上文所述的光標的各種形態只是示例性的，而不是限制性的，可以根據用戶的偏好或其他因素來靈活地選擇各種觸摸狀態和/或具體移動方式所對應的光標形態。對于不同的觸摸狀態和/或移動方式，例如可以通過改變光標的圖案、顏色、大小、形狀和透明度中的至少一種來改變光標的形態。在某些情況下，還可以通過顯示或隱藏所述光標來向用戶給出反饋。
[0054]這樣，通過根據本發明實施例的虛擬觸摸交互方法，盡管投影屏幕并不具備傳統的觸摸屏那樣的觸摸傳感設備，仍然可以檢測到用戶對于投影屏幕的觸摸操作，并且向用戶給出相應的反饋。此外，由于投影到用戶手上的光標具有易于識別的圖案，因此可以利用這種光標提高手的跟蹤精度和手的深度值的精度。而且，由于這種光標被投影到用戶的手上而不是投影屏幕上，因此不會干擾投影屏幕上的畫面顯示。
[0055]應當認識到，除了檢測單只手的觸摸操作以外，利用根據本發明實施例的上述方法，也可以同時檢測兩只手或更多手的觸摸動作，即“多點觸摸”。在這種情況下，只需要對每只手重復參照圖4描述的操作即可。圖9示出了當兩只手執行觸摸操作時分別投影到這兩只手上的光標的形態。
[0056]利用上述方法，隨著用戶的手在屏幕上移動，也可以在投影屏幕上繪制出手的移動軌跡。具體地，由于在手移動時始終跟蹤手的位置并且獲得了手的X坐標和I坐標，因此可以根據這些坐標確定手經過的點并且將這些點連接起來，從而形成手的軌跡曲線，如圖10所示。在這種情況下，在用戶的手(圖中未示出)上，可以根據手的移動方式投影相應形態的光標，以向用戶給出反饋。
[0057]—旦識別出用戶的各種觸摸操作，就可以相應地執行與觸摸操作相關聯的對于例如投影儀的控制動作。具體地，用戶可以控制投影儀在投影屏幕上變換顯示不同的圖像，然后通過對顯示在投影屏幕上的圖像執行觸摸操作來執行各種動作。例如，當用戶瀏覽Google地圖時，投影儀將Google地圖頁面投影到投影屏幕上。用戶可以通過觸摸操作來改變Google地圖的視圖。可以利用上述方法檢測用戶的觸摸動作。作為一個示例，當檢測到用戶的手觸摸到屏幕然后向某個方向移動時，可以控制投影儀將顯示在投影屏幕上的地圖相應地移動以供用戶觀看。作為另一示例，當檢測到用戶用兩只手同時觸摸投影屏幕，并且如圖9所示的那樣向相反方向移動兩只手時，可以控制投影儀放大或縮小顯示在投影屏幕上的地圖。作為再一示例，當檢測到用戶觸摸投影上的某個位置并且該位置對應于地圖上的某個興趣點(POI)時，可以控制投影儀顯示與該POI有關的詳細信息。
[0058]下面，將參照圖11來描述根據本發明實施例的用于投影屏幕的虛擬觸摸交互設備。該交互設備可以被包括在如圖1所示的交互式投影儀中，從而形成根據本發明實施例的交互式投影儀。
[0059]如圖11所示，該虛擬觸摸交互設備100包括跟蹤裝置101、檢測裝置102和交互裝置 103。
[0060]跟蹤裝置101跟蹤在投影屏幕前的投影區域中移動的手的位置。具體地，跟蹤裝置101可以在投影區域中建立空間坐標系，并且使用參照圖2描述的方法來跟蹤手并且確定手的X坐標和y坐標，從而能夠使用手的坐標來表示手的位置。如上文所述，可以使用手上的某個點的坐標作為手的坐標，也可以使用手上的所有點的坐標的平均值作為手的坐標。隨著用戶在交互區域內移動手，跟蹤裝置101可以持續跟蹤手的位置，并且確定手的坐標。
[0061]檢測裝置102基于手的位置，檢測用戶的手是否進入交互區域。可以按照上文所述的方式，使用深度閾值tl和t2來定義投影區域，在這里不再贅述。檢測裝置102可以通過將手的深度值與tl和t2進行比較，來確定手是否進入交互區域。
[0062]圖12示出了檢測裝置102的詳細結構。如圖12所示，檢測裝置102包括深度值獲取單元1021和比較單元1022。深度值獲取單元1021基于手的坐標，利用投影區域的深度圖來確定手的深度值。具體地，深度值獲取單元1021可以按照上文所述的方式獲取投影區域的深度圖，然后根據手的坐標(X坐標和I坐標)在深度圖上找到與該坐標對應的點，進而從深度圖上讀出該點的深度值作為手的深度值。如上文所述，優選地，深度值獲取單元1021在深度圖中以手的坐標所對應的點為中心設置一區域，并且計算該區域內所有像素點的深度值的平均值，作為手的深度值。該區域的大小可以由用戶預先定義，并且可以是固定的或可變的。比較單元1022將手的深度值與深度閾值tl和t2進行比較，以確定該深度值是否介于tl和t2之間，從而確定手是否進入交互區域。
[0063]返回圖11，交互裝置103響應于用戶的手進入交互區域而將光標投影到用戶的手上，并且還根據用戶的手對于投影屏幕的動作而改變投影到手上的光標的形態。
[0064]圖13示出了交互裝置103的詳細結構。如圖13所示，交互裝置103包括交互控制單元1031和投影單元1032。投影單元1032可以將各種畫面投影到投影屏幕上。此外，當檢測裝置102確定用戶的手進入交互區域時，交互控制單元1031可以控制投影單元1032將光標投影到由手的坐標確定的方向上，從而將光標投影到用戶的手上，以便向用戶表明系統已經檢測到他的手進入交互區域。如上文所述，投影到用戶手上的光標的尺寸可以根據實際需要設定，但是優選地不超過手的大小。此外，所投影的光標的圖案可以自由地選擇，但是優選地是易于識別的圖案，例如紋理圖案、條紋圖案或者如圖6所示的同心圓的圖案等。該圖案可以被預先存儲在設備100內部或外部的存儲器(未示出)中，并且當設備100初始化時或者檢測裝置102在確定用戶的手進入交互區域時從該存儲器中讀出。交互裝置103 (具體地，交互控制單元1031)根據跟蹤裝置101對于手的位置的持續跟蹤結果，相應地改變光標的投影位置，使得所述光標始終被投影到用戶的手上。如上文所述，當用戶的手進入交互區域之后，跟蹤裝置101優選地利用投影到手上的光標來跟蹤手的位置以及獲得手的深度值，以提聞跟蹤和檢測精度。
[0065]此外，當用戶的手進入投影區域并且繼續移動時，跟蹤裝置101持續地跟蹤手的位置，檢測裝置102相應地持續檢測手的觸摸狀態(即，手是否觸摸/離開投影屏幕以及手是否在投影屏幕上移動)和觸摸移動狀態下的具體移動方式。然后，交互控制單元1031根據手的觸摸狀態和/或移動方式，控制投影單元1032改變投影到手上的光標的形態，從而向用戶給出清晰的反饋。根據手的觸摸狀態和/或移動方式來改變光標形態的方法與在上文中參照圖2-10描述的方法相同，在這里不再贅述。
[0066]這樣，通過跟蹤用戶的手的位置，向手投影光標，并且根據手的不同動作而給光標賦予不同的形態，可以向用戶給出清晰的反饋。此外，在跟蹤手的位置時，可以利用所投影的易于識別的光標，因此可以提聞跟蹤精度。
[0067]在上文中描述了本發明的實施例，這些實施例只是說明性的，而非限制性的，本領域技術人員可以對其做出各種改變，而不背離本發明的范圍。
[0068]例如，在上文中以用戶的手為例描述了本發明的實施例，但是應當認識到，本發明也可以應用于用戶的其他肢體，例如手指等。
[0069]此外，在上述實施例中，利用深度閾值tl和t2來定義交互區域，并且當手的深度值處于tl和t2之間時確定手進入交互區域。可替換地，也可以只定義一個深度閾值tl，將投影區域中位于投影屏幕之前并且深度值(即，距投影儀的距離)大于tl的區域定義為交互區域，如圖14所示。在這種情況下，當手的深度值大于tl時，可以確定手進入交互區域。
[0070]此外，在上述實施例中，基于手的深度值來確定手是否進入交互區域。可替換地，也可以利用手的z坐標來進行這一確定。具體地，如上文所述，空間坐標系是在投影屏幕上建立的，因此，可以通過將投影屏幕的深度值減去手的深度值，獲得手的z坐標。在這種情況下，利用距屏幕的距離閾值tl’和t2’定義交互區域，使得當手的z坐標介于tl’和t2’之間時，確定手進入深度區域。或者，如上文所述，可以只利用距屏幕的距離閾值tl’來定義交互區域，并且當手的z坐標小于tl’時，確定手進入深度區域。相應地，可以通過手的z坐標是否為O來判斷手是否觸摸到屏幕或者離開屏幕。
[0071]此外，在上述實施例中，通過檢測手的深度值與投影屏幕的深度值是否相等來確定手是否觸摸到屏幕。可替換地，也可以在手距投影屏幕足夠近時，例如手與投影屏幕之間的距離小于某一閾值to時，認為手觸摸到投影屏幕。例如，當如圖4所示利用深度閾值tl和t2來定義交互區域時，可以將t2設置為距投影屏幕的距離小于上述閾值t0，使得當手的深度值大于t2時，認為手觸摸到投影屏幕。
[0072]以上結合具體實施例描述了本發明的基本原理，但是，需要指出的是，對本領域的普通技術人員而言，能夠理解本發明的方法和設備的全部或者任何步驟或者部件，可以在任何計算裝置(包括處理器、存儲介質等)或者計算裝置的網絡中，以硬件、固件、軟件或者它們的組合加以實現，這是本領域普通技術人員在閱讀了本發明的說明的情況下運用他們的基本編程技能就能實現的。
[0073]本發明的目的還可以通過在任何計算裝置上運行一個程序或者一組程序來實現。所述計算裝置可以是公知的通用裝置。因此，本發明的目的也可以僅僅通過提供包含實現所述方法或者設備的程序代碼的程序產品來實現。也就是說，這樣的程序產品也構成本發明，并且存儲有這樣的程序產品的存儲介質也構成本發明。顯然，所述存儲介質可以是任何公知的存儲介質或者將來所開發出來的任何存儲介質。
[0074]還需要指出的是，在本發明的設備和方法中，顯然，各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應視為本發明的等效方案。并且，執行上述系列處理的步驟可以自然地按照說明的順序按時間順序執行，但是并不需要一定按照時間順序執行。某些步驟可以并行或彼此獨立地執行。
[0075]上述【具體實施方式】，并不構成對本發明保護范圍的限制。本領域技術人員應該明白的是，取決于設計要求和其他因素，可以發生各種各樣的修改、組合、子組合和替代。任何在本發明的精神和原則之內所作的修改、等同替換和改進等，均應包含在本發明保護范圍之內。
【權利要求】
1.一種用于投影屏幕的虛擬觸摸交互方法，包括: 跟蹤在投影屏幕前的投影區域中移動的用戶肢體的位置； 基于用戶肢體的位置，檢測用戶肢體是否進入交互區域； 響應于用戶肢體進入交互區域，將光標投影到用戶肢體上；以及 根據用戶肢體對于投影屏幕的動作改變所述光標的形態。
2.如權利要求1所述的方法，其中，通過用戶肢體在建立于投影區域中的空間坐標系中的坐標來表示用戶肢體的位置。
3.如權利要求2所述的方法，其中，檢測用戶肢體是否進入交互區域的步驟包括: 基于用戶肢體的坐標，利用投影區域的深度圖確定用戶肢體的深度值； 通過將該深度值與定義交互區域的深度閾值進行比較，確定用戶肢體是否進入交互區域。
4.如權利要求1所述的方法，其中，所述光標的尺寸不大于用戶肢體的尺寸。
5.如權利要求1或4所述的方法，其中，當用戶肢體在投影區域中移動時，相應地改變所述光標的投影位置，使得所述光標始終覆蓋在用戶肢體上。
6.如權利要求1或3所述的方法，其中，根據用戶肢體對于投影屏幕的動作改變所述光標的形態的步驟包括: 檢測用戶肢體相對于投影屏幕的觸摸狀態，所述觸摸狀態包括以下至少一個:觸摸就緒狀態，用戶肢體已經進入交互區域，但是尚未觸摸到投影屏幕；觸摸按下狀態，用戶肢體已經觸摸到投影屏幕；觸摸移動狀態，用戶肢體已經觸摸到投影屏幕并且在投影屏幕上移動；以及觸摸抬起狀態，用戶肢體已經離開投影屏幕；以及根據所檢測的觸摸狀態來改變所述光標的形態。
7.如權利要求1所述的方法，其中，改變所述光標的形態包括改變所述光標的圖案、顏色、大小、形狀和透明度中的至少一種。
8.一種用于投影屏幕的虛擬觸摸交互設備，包括: 跟蹤裝置，被配置為跟蹤在投影屏幕前的投影區域中移動的用戶肢體的位置； 檢測裝置，被配置為基于用戶肢體的位置，檢測用戶肢體是否進入交互區域；以及交互裝置，響應于用戶肢體進入交互區域，將光標投影到用戶肢體上，并且根據用戶肢體對于投影屏幕的動作改變所述光標的形態。
9.如權利要求8所述的設備，其中，所述光標的尺寸不大于用戶肢體的尺寸。
10.如權利要求8或9所述的設備，其中，當用戶肢體在投影區域中移動時，交互裝置相應地改變所述光標的投影位置，使得所述光標始終覆蓋在用戶肢體上。
【文檔編號】G06F3/0487GK103677240SQ201210359026
【公開日】2014年3月26日 申請日期:2012年9月24日 優先權日:2012年9月24日
【發明者】張文波, 宮衛濤, 李磊 申請人:株式會社理光