專利名稱：通過追蹤用戶視線和姿態提供反饋的系統和方法
技術領域：
本發明涉及基于與計算機系統產生的用戶界面的用戶交互，提供反饋，其中所述計算機系統基于多個用戶輸入，例如，追蹤的用戶視線和用戶姿態。
背景技術：
·
便攜式或者家庭的視頻游戲機、便攜式或臺式個人計算機、機頂盒、音頻或視頻消費性設備、個人數字助理、移動電話、媒體服務器、和個人音頻和/或視頻播放器和錄制設備，以及其他類型的能力正在提高。這些設備具有巨大的信息處理能力、高品質音頻和視頻輸入和輸出、大存儲量，以及也可以有線和/無線上網能力。這些計算設備通常需要獨立的控制裝置，例如鼠標或游戲控制器，從而與計算設備的用戶界面交互。用戶通常使用顯示在用戶界面上的指針或其他選擇工具，通過推動控制設備的按鈕來選擇對象。用戶也使用控制設備來修改和控制這些選擇的對象，例如通過按下控制設備上的其他按鈕或者移動所述控制設備。通常需要培訓來教用戶這個設備的移動如何映射到遠程用戶界面對象。即使培訓后，用戶有時候還是會發現這些移動很笨拙。目前，微軟公司(MICROSOFT)銷售的KINECT設備允許用戶控制電腦游戲機，并與之交互，而不需要使用游戲控制器。用戶利用姿態和口頭指令，通過KINECT設備與用戶界面交互。具體地，KINECT設備包括攝像頭、深度傳感器、和麥克風，來追蹤用戶的姿態和口頭指令。利用攝像頭和深度傳感器來產生用戶的三維模型。然而，KINECT設備只是識別有限的姿態類型，用戶可以控制指針指向，但KINECT設備不允許用戶點擊指針，需要用戶懸停幾秒鐘來進行選擇。

發明內容
以下發明內容在于提供本發明特征各方面的基本了解。該發明內容不是本發明的廣泛概述，同樣地，也不在于確定本發明的關鍵元件，或者描述本發明的范圍。本發明內容的目的只是在于以簡要的形式提出本發明的一些概念，以作為以下詳細描述的前奏。根據本發明的一方面，本發明公開了一種計算機系統，該計算機系統包括處理器，該處理器接收視線數據和姿態數據，確定對應于所述視線數據的用戶界面位置，使所述姿態數據與所述用戶界面的修改相關聯；存儲器，該存儲器與所述處理器連接，以存儲所述視線數據和姿態數據。所述姿態數據可以為手部姿態數據。視線數據可以包括與所述用戶界面交互的用戶眼睛的多個圖像。所述視線數據可以包括光的反射。所述光可以為紅外線照射。所述姿態數據可以包括與所述用戶界面交互的用戶身體的多個圖像。所述姿態數據也可以包括深度信息。根據本發明的另一方面，本發明公開了一種系統，該系統包括顯示器，該顯示器顯示包括對象的用戶界面；視線傳感器，該視線傳感器捕捉眼睛視線數據；姿態傳感器，該姿態傳感器捕捉用戶姿態數據；計算設備，該計算設備與所述視線傳感器、所述姿態傳感器、和所述顯示器連接，其中 所述計算設備為所述顯示器提供所述用戶界面，并基于所述視線數據確定用戶是否看著所述對象，將所述姿態數據與對應于所述對象的命令關聯，以及基于命令修改包含所述對象的所述用戶界面的顯示。 所述命令可以為所述對象的移動。所述視線數據可以包括眼睛視線數據眼睛視線位置和至少一個以下數據眼睛位置、所述視線傳感器與所述眼睛的距離、瞳孔大小、和時間戳。所述視線傳感器可以包括攝像頭和光源。所述姿態傳感器可以包括攝像頭和深度傳感器。所述姿態傳感器可以包括至少一個陀螺儀和至少一個加速計。根據本發明的另一方面，一種方法包括在顯示器上顯示用戶界面；接收與所述用戶界面交互的用戶的視線數據；基于所述視線數據，確定所述用戶的視線是否對著所述用戶界面中顯示的對象；接收對應于所述用戶的姿態的姿態數據；將所述用戶與所述對象的預期交互與所述姿態數據關聯；基于關聯的交互，修改所述用戶界面中的所述對象的顯
/Jn o所述視線數據可以包括眼睛視線數據眼睛視線位置和至少一個以下數據眼睛位置、所述視線傳感器與所述眼睛的距離、瞳孔大小、和時間戳。在確定所述用戶的視線是否對著所述對象之前，所述姿態數據可以與所述用戶的預期交互關聯。所述對象的顯示的修改可以包括移動所述用戶界面中所述對象的相對位置。所述姿態數據可以包括相應于手部姿態的信息。根據本發明的另一方面，本發明公開了一種計算機可讀存儲介質，具有存儲在其上的計算機可執行指令，執行時，使計算機系統執行上述方法。


附圖，作為該說明書的一部分，舉例說明了本發明的實施例，說明書作為解釋和舉例說明本發明的原理。附圖在于以圖表的形式舉例說明實施例的主要特征。附圖不旨在描述實施例的每個特征，也不在于說明每個特征的尺寸，并且不是按比例繪制。圖I為根據本發明一個實施例，基于視線和手部姿態追蹤提供用戶反饋的示意 圖2為根據本發明一個實施例，基于視線和手部姿態追蹤提供用戶反饋的系統的框
圖3為根據本發明一個實施例，基于視線和手部姿態追蹤提供用戶反饋的方法的流程
圖4為根據本發明一個實施例，基于初始用戶輸入和二次用戶輸入，提供用戶反饋的系統的框 圖5為根據本發明一個實施例，基于初始用戶輸入和二次用戶輸入，提供用戶反饋的方法的流程 圖6為根據本發明的一個實施例，一個示例的計算設備的框 圖7為根據本發明一個實施例，可以用于處理指令的另外硬件的框圖。
具體實施例方式本發明的實施例涉及用戶界面技術，該用戶界面技術基于用戶視線和二次用戶輸入例如手部姿態，為用戶提供反饋。在一個實施例中，基于攝像頭的追蹤系統追蹤用戶的視線方向，探測用戶界面中顯示的對象是否正在被看到。追蹤系統也識別手部姿態或其他身體姿態，來控制對象的動作或運動，利用例如獨立的攝像頭和/或傳感器。可以使用示范的姿態輸入，來模仿可以拉、推、定位或其他移動或控制選擇的對象的精神或神奇力量。用戶的交互模仿用戶的感覺，即用戶的思想控制用戶界面中的對象，類似用戶在電影中見過的心靈控制能力(例如星球大戰中的能力)。在以下描述中，提出了許多細節。但是，對于本領域技術人員來說，很明顯本發明的實施例可以在沒有這些特定細節的情況下實施。在一些情況下，以框圖形式表示已知結構和設備，而不是詳細顯示，是為了避免使本發明實施例難易理解。詳細描述的一些部分表現為，在計算機內存內數據位上操作的符號表征和算法。 這些算法描述和表征為在數據處理領域中技術人員使用的方式，以有效地將他們的工作傳遞給本技術領域的其他人。在此公開的算法通常為自相一致次序的步驟，導致預期的結果。這些步驟為那些需要物理量的物理操作。通常，雖然不一定，但是這些量的形式為電或磁的信號，可以存儲、轉移、結合、比較和其他操作。已經證明主要是出于通用的原因，把這些信號稱作位、數值、元素、符號、字符、術語、數字等等是便利的。但是，應當記住，所有這些和類似的術語與適當的物理量有關，且只是應用于這些物理量的方便標記。以下描述中除非特別聲明，術語“處理”、“計算”、“轉換”、“確定”、“關聯”或諸如此類，涉及計算機系統或類似電子計算設備的動作和處理，其中計算機系統或類似電子計算設備在計算機系統的寄存器和存儲器內，將表示物理(例如電子的)量的數據處理和轉換為在計算機存儲器或寄存器或其他這種信息存儲設備中的類似表示物理量的其他數據。本發明的實施例也涉及一種用于執行這些操作的裝置或系統。該裝置或系統可以特定設置為所需目的，或者可以一般用途的計算機，該計算機由存儲在其上的計算機程序選擇地激活或重新配置。在一個實施例中，執行這些操作的裝置或系統為游戲機(例如，SONY PLAYSTATION,NINTENDO WII,MICROSOFT XBOX等)。計算機程序可以被存儲在計算機可讀的存儲介質中，這將在圖6中進一步詳細描述。圖I根據本發明的一個實施例，示意性展示了用戶界面技術，該技術基于視線追蹤和姿態輸入提供反饋。在圖I中，用戶104示意性展示了用戶的眼睛108和手112。用戶104看著顯示用戶界面120 (例如，視頻游戲、網絡瀏覽窗口、文字處理程序窗口等)的顯示器116。所述顯示器116包括計算設備或與計算設備連接，例如視頻游戲機或計算機。在另一個實施方式中，所述顯示器116可以有線或無線連接到互聯網上的計算設備例如服務器或其他計算機系統。所述計算設備提供用戶界面120給顯示器116。在圖I中，攝像頭124設置在顯示器16上，攝像頭124的鏡頭對著用戶104的方向。在一個實施方式中，攝像頭124利用紅外線照射來追蹤用戶的視線128 (S卩，用戶眼睛108相對于顯示器116的方向)。計算設備分析來自帶紅外照射的至少一個攝像頭的輸入，以確定用戶觀察的顯示器132的區域，然后確定用戶正在看著的具體對象140。作為選擇，攝像頭124可以包括確定用戶視線128的處理器。可以采用同樣的攝像頭124或獨立的攝像頭(圖I中未圖示)來追蹤手部姿態(即，用戶的手112沿著箭頭136方向的移動)。在使用獨立攝像頭的實施方式中，可以僅采用攝像頭，或者攝像頭與近紅外線傳感器結合，或者攝像頭與深度傳感器結合，來追蹤用戶的手部姿態。作為選擇，控制器或者慣性傳感器也可以用來追蹤用戶的手部姿態。例如，手部姿態可以慣性傳感器的抖動(或者其他包含加速計的傳感器或控制器)。計算設備然后將來自姿態攝像頭(或者其他姿態追蹤設備)的輸入關聯到對象144的運動或者關于用戶界面120中顯示的對象144的命令(S卩，對象140沿著箭頭144方向的運動)。作為選擇，姿態傳感器可以包括確定用戶姿態的處理器。在使用中，眼睛視線被用來選擇用戶界面上顯示的對象140，手部姿態或身體運動136被用來控制或移動對象144。這些步驟可以為任何順序(即，控制或移動144的確定可以在選擇對象之前，反之亦然)。 存在很多不同的用于用戶界面技術的應用程序，該用戶界面技術基于眼睛視線追蹤和手部姿態追蹤提供用戶反饋。例如，基于用戶看著的用戶界面上的字符，手部姿態可以啟動該字符的拼寫。另一個不例性手部姿態可以為射擊游戲中的扣扳機(例如，射擊動作)。視線和手部姿態也可以用于選擇虛擬按鈕，通過模擬按下按鈕的動作，例如，用戶視線專注于按鈕時，指著一個手指和向前移動手指。在另一個實施例中，視線和用戶姿態可以用于縮小或放大用戶界面的特定部分(例如放大地圖中的一個特定部分)。在另一個實施例中，指著的手的向前輕彈可以啟動與視線追蹤器探測到的被用戶看著的對象的交互。在另一個實施例中，可以使用招手手部姿態，使用戶看著的對象在用戶界面中移向用戶。類似地，揮手手部姿態可以使對象退去。視線追蹤是有利的，因為對于用戶來說，它感覺像自然的或者甚至無意識的方式來表明與用戶界面中顯示的對象進行交互的意圖。手部姿態是有利的，因為手部運動的力量可以被用于影響屏幕上動作的力量，用戶手部姿態是自然的方式與選擇的對象進行交互，以溝通所需的方案或直接控制運動。雖然參考圖I對本發明的描述為追蹤手部姿態，但是其他用戶姿態也可以采用，例如腳部姿態(即，用戶腳部的運動)，或臉部表情(即，用戶頭部的移動或用戶臉部的特定特征的移動)，用來與用戶界面進行交互。例如，腳部姿態，如擺動用戶的腳部，可以用來在視頻足球比賽游戲中模仿踢球。具體地，用戶可以通過在欺騙守門員踢球之前，通過改變他們的視線，模仿射門(類似于真實足球比賽中射門)，球被踢向用戶視線的方向，并(希望)進球。圖2展示了根據本發明一個實施例，基于視線和姿態追蹤提供用戶反饋的系統200。系統200包括計算設備204，該計算設備204與顯示器208連接。系統200也包括視線傳感器212和與計算設備204連接的姿態傳感器216。計算設備204處理從視線傳感器212和姿態傳感器216接收的數據。視線傳感器212追蹤用戶的眼睛。視線傳感器212可以包括光源，例如近紅外線二極管，以照射眼睛，具體為視網膜，導致可見的反射，以及包括攝像頭，該攝像頭捕捉顯示反射的眼睛圖片。隨后，通過計算裝置204分析圖片，以識別光的反射，并計算視線方向。作為選擇，視線傳感器212本身可以分析數據，以計算視線方向。
在一個實施例中，視線傳感器212為攝像頭和光源，并設置在顯示器附近，例如TOBII X60和X120眼睛追蹤器(T0BII X60和X120 eye trackers)。在另外的實施例中，視線傳感器212 —體化于顯示器208中(S卩，攝像頭和光源被包含在顯示器外殼中)，例如TOBII T60, T120 或 T60 XL 眼睛追蹤器(TOBII T60, T120 或 T60 XL eye trackers)。在另一個實施例中，視線傳感器212為用戶戴著的眼鏡，該眼鏡包括攝像頭和光源，例如TOBII GLASSES眼睛追蹤器(TOBII GLASSES eye tracker )。這些只是舉例，其他的用于追蹤視線的傳感器和設備都可以使用。另外，可以使用多個攝像頭和光源來確定用戶的視線。姿態傳感器216可以為光學傳感器，追蹤與顯示器208中顯示的對象交互的用戶 的運動。姿態傳感器216也設置在顯示器208附近(例如，在顯示器的頂部，在顯示器的下面，等等)。在一個實施例中，采用相同的傳感器來記錄視線追蹤和姿態追蹤的圖片。姿態傳感器216可以用于監控用戶的身體，例如用戶的手、腳、臂、腿、臉、等等。姿態傳感器216在二維或三維空間中測量對象(S卩，用戶)相對于傳感器的位置。傳感器216獲得的位置數據(例如，圖片)可以為在參考系中，該參考系由圖片平面和垂直于該圖片平面的向量定義。參考系為坐標系，其中可以測量對象位置、方位和/或其他特性。姿態傳感器216可以為標準的或三維視頻攝像頭。姿態傳感器216可以直接或間接捕捉深度信息(例如，傳感器和用戶之間的距離)。當為標準視頻攝像頭時，可能需要預先配置的信息，以確定深度信息。作為選擇，可以采用獨立的傳感器，來確定深度信息。可以采用多個攝像頭和/或深度來確定用戶的姿態。在一個特定的實施方式中，姿態傳感器216為KINECT設備或類似于KINECT設備。在一個可選擇的實施例中，可以采用姿態傳感器216來監控用戶持有的或者以其他方式連接到用戶的控制器或慣性傳感器。慣性傳感器可以包括一個或多個陀螺儀和一個或多個加速計，以探測在方位上的改變(例如俯仰、滾動和扭曲)以及用于計算姿態的加速。傳感器212、216可以通過有線和/或無線與計算設備204連接。示例性有線連接包括通過IEEE 1394 (火線接口，firewire)電纜、以太網電纜、通用串行總線(USB)電纜等等的連接。示例性無線連接包括無線保真(WIFI)連接、藍牙連接、ZIGBEE連接等等。傳感器212、216連續和實時地提供數據給計算設備204。傳感器212、216可以提供另外的信息，例如時間戳數據等等可以用于數據分析的信息。視線傳感器212的示例性數據包括眼睛視線位置、眼睛位置、傳感器212到眼睛之間的距離、瞳孔大小、用于每個數據點的時間戳等等。作為選擇，視線傳感器212只是提供所捕捉的圖片數據(例如，包括近紅外線反射的視頻圖像)。姿態傳感器216的示例性輸出包括相關的連接位置、身體位置、傳感器216到用戶的距離、用于每個數據點的時間戳等等。作為選擇，視線傳感器216只提供捕捉的圖片數據和/或捕捉的深度傳感器數據。計算設備204可以為游戲系統(例如，游戲機)、個人計算機、游戲終端(GameKiosk)、包含計算機處理器的電視、或者其他計算系統。計算設備204可以執行相應于游戲的程序或其他可以導致計算設備204顯示用戶界面的程序，該用戶界面包括在顯示器208上的至少一個對象。計算設備204也執行利用從傳感器212、216接收的數據確定用戶對用戶界面的響應的程序，并基于接收的數據響應用戶輸入(例如，通過改變在顯示器208上顯示的用戶界面)。計算設備204可以包括存儲器，該存儲器存儲從傳感器212、216接收的數據。在一個實施例中，計算設備204包括對象探測邏輯220和姿態關聯邏輯224。在一個實施例中，對象探測邏輯220進行光線投射分析，以確定在屏幕上視線的位置。具體地，可以進行三維光線交叉分析。其他算法也可以采用，來計算用戶看著的對象。在一個實施例中，利用停留時間(即，用戶注視著特定對象的時間量)來選擇對象。換句話說，在選擇對象之前，用戶必須盯著用戶界面中顯示的對象一段預定的時間。例如，在選擇對象之前，用戶必須看著對象三秒鐘。停留時間可以為在約100毫秒至約30秒之間的任何時間或者時間范圍。在一個實施例中，姿態關聯邏輯224識別用戶的姿態或計算用戶姿態(例如，通過比較不同時間點捕捉圖像中在用戶位置，或者探測用戶位置的改變)。在一些實施例中，用·戶姿態數據將被提供給姿態關聯邏輯224。姿態關聯邏輯224隨后將用戶姿態關聯到用戶界面中的改變(即，用戶界面中顯示的對象的移動)。用戶的身體可以映射到骨骼模型。可以利用特定連接的軸向旋轉的量和方向來確定用戶界面中顯示的字符(即，選擇的對象)模型的軸向旋轉的相應量和方向。例如，基于視線數據，姿態數據可以被柵格化，并投影在對象上或用戶界面上。在一個實施例中，基于姿態數據，計算對象的每個像素的力的矢量。換句話說，像素級數據(例如，像素的運動)可以被捕獲，并隨后像素級數據可以用于移動顯示器中的對象。在一個實施例中，存儲在計算裝置204的存儲器中的查表可以用于將姿態關聯到命令(例如，舉起和放下手將在視頻游戲中的對象向上和向下移動，舉起和放下手在互聯網瀏覽程序中向上滾動和向下滾動網頁)。在一個實施例中，在追蹤從傳感器212、216接收的用戶輸入之前，校準計算裝置204。例如，用戶眼睛和身體的特性可能需要測量，以執行數據處理算法。在特定例子中，用戶的眼睛特性可以被測量，以生成生理眼模型(例如，包括瞳孔大小和位置、角膜大小、等等)，以及可以測量用戶身體的特性，來產生生理身體模型(例如，連接位置、用戶尺寸等
-Tf- ) o圖3展示了根據本發明一個實施例，基于視線和姿態追蹤提供用戶反饋的方法300。以下描述的該方法300只是示例性的，并可以包括更少或更多的步驟，至少有一些步驟的順序可以不同于以下的描述。在一個實施例中，計算設備204執行該方法300。該方法300的開始是，在用戶界面中顯示對象(框304)。該方法300接著是，追蹤與用戶界面交互的用戶的視線(框308)，確定用戶是否看著用戶界面中的對象(框312)。該方法300接著是，追蹤用戶的姿態(框316)，以及將用戶姿態與用戶界面中對象的運動關聯(框320)。該方法300接著是，基于上述關聯修改用戶界面中的對象的顯示(框324)。在可選的實施例中，可以在追蹤用戶視線之前追蹤用戶的姿態。在另一個可選實施例中，用戶的姿態和視線可以在分析(例如，確定選擇的對象和將姿態關聯到對象控制)之前追蹤。圖4為根據本發明一個實施例，基于初始用戶輸入和二次用戶輸入提供反饋的系統400。如圖4所示，系統400包括計算設備404，該計算設備404連接到顯示器408，并提供顯示在顯示器408上的用戶界面。系統400也包括與計算設備404連接的初始傳感器412和二次傳感器416。如上所述，初始傳感器412和二次傳感器416可以通過有線和/或無線連接到計算設備404。計算設備404可以包括探測邏輯420，該探測邏輯確定用戶選擇的用戶界面中的對象，關聯邏輯424將將用戶的意圖動作或命令關聯到用戶界面。在一個實施例中，初始輸入為視線，初始傳感器412為如上所述的視線追蹤傳感器，參見圖2。在一個實施例中，二次輸入為姿態，二次傳感器416為所述姿態傳感器，如圖2所示。在另一個實施例中,二次輸入為聲音命令。在該實施例中，二次傳感器416為麥克風。例如，用戶可以盯著他們想說的字符(即，初始輸入)，并隨后通過向該字符說話與該字符進行交互。在一般情況下，如果正在模仿交流，二次輸入為聲音數據；并且，如果進行動作模 仿，二次輸入為姿態數據。在另一個實施例中，二次輸入可以為腦電波和/或用戶情緒。在該實施例中，二次傳感器416可以為測量和產生腦電波圖形的傳感器(或多個傳感器)，例如腦電圖(EEG)。例如，利用頭戴式裝置(Emotiv EPOC headset),在用戶頭上設置若干對電極或其他傳感器。收集的腦電波和/或面部表情數據可以被關聯到對象動作，例如舉起和放下對象、移動對象、旋轉對象等等，以及關聯到情緒例如激動、緊張、無聊、專心、冥想和沮喪，以及關聯到字符動作例如眨眼、笑、斗雞眼、表現出震驚、微笑、生氣、傻笑、扮鬼臉等等。例如，用戶可以盯著客戶想移動的對象，用戶可以利用其腦電波來移動該對象。在另一個實施例中，用戶可以盯著字符，并利用頭戴式傳感器系統，控制用戶的面部表情、情緒和/或動作。視線追蹤可以與姿態數據、聲音輸入、腦電波輸入和情緒輸入的各種結合一起使用。例如，視線追蹤可以與每個姿態輸入、聲音輸入、腦電波輸入和情緒輸入結合一起使用。在另一個實施例中，視線追蹤可以與聲音輸入、腦電波輸入和情緒輸入一起使用。在另一個實施例中，視線追蹤可以與聲音輸入和腦電波輸入一起使用。計算設備404類似于根據圖2的描述的計算設備204。但是，在各個實施例中，二次輸入不是姿態數據的情況下(例如，二次輸入是聲音指令)，關聯邏輯424將二次輸入與顯示器408顯示的用戶界面相關的命令或運動關聯。例如，可以分析接收的聲音數據，來確定用戶的命令(例如，“向下滾動”，“向上滾動”，“放大”，“縮小”，“施加咒語”，等等)，并隨后基于命令修改用戶界面(例如，通過向下滾動、向上滾動、放大、縮小、施加咒語等等)。圖5展示了根據本發明一個實施例，基于追蹤初始用戶輸入和二次用戶輸入提供用戶反饋的方法。以下描述的方法500僅僅是示例性，并可以包括更少或更多的步驟，一些步驟的順序可以與以下描述的不同。在一個實施例中，方法300可以由計算設備404執行。方法500開始于，在用戶界面顯示對象(框504)。方法500接著是，接收反映對象選擇的初始輸入(框508)和接收反映對象交互的二次輸入(框512)。方法500接著是，分析初始輸入和二次輸入，將上述選擇和交互關聯到用戶界面(框516)。方法500接著是，基于上述關聯修改用戶界面中的對象(框520)。圖6展示了示例性計算機系統600的圖解，其中可以執行一組指令，使機器執行至少一個或多個在此描述的方法。在可選擇的實施例中，機器作為獨立設備或可以被連接(例如，通過聯網)到其他機器。在聯網情況下，機器可以在服務器-客戶端網絡環境中，作為服務器或客戶端機器，或作為對等(或分布式)網絡環境中的同位機。機器可以為個人計算機(PC)、平板電腦(Tablet PC)、機頂盒(STB)、個人數字助手(PDA)、移動電話、網絡設備、網絡路由器、開關或網橋、視頻控制臺或其他可以執行一組指令(相繼的或其他)的任何機器。此外，只有單個機器在圖中舉例說明，術語“機器”也應當包括單獨或結合地執行一組(或多組)指令以執行任何一個或多個在此討論的方法的機器集合。在特定實施例中，計算機系統600 為 SONY PLAYSTATION 娛樂設備。示例性計算機系統600包括處理器602 (例如中央處理器(CPU)、圖形處理單元(GPU)或者兩者)、主存儲器604 (例如，只讀存儲器(ROM)、閃存、動態隨機存儲器(DRAM)例如同步動態隨機存儲器(SDRAM)或存儲器總線式動態隨機存儲器(RDRAM)，等等)和靜態存儲器606 (例如，閃存、靜態隨機存儲器(SRAM)等等)，這些彼此通過總線608連接。在一個特定實施例中，處理器602為單元處理器(Cell Processor)，且存儲器可以包括RAMBUS動態隨機存儲器(XDRAM)單元。計算機系統600可以還包括視頻顯示單元610 (例如，液晶顯示器(IXD)或陰極射 線管(CRT))。作為選擇，計算機系統600可以連接到獨立的視頻顯示單元610。計算機系統600也可以包括字母數字輸入設備612 (例如，鍵盤)、指針控制設備614 (例如鼠標或游戲控制器和/或視線和姿態傳感器，等等)，磁盤驅動單元616，信號發生設備620 (例如，揚聲器、視線和姿態傳感器等等)和網絡接口設備622。在一個特定的實施例中，計算機系統616包括BLU-RAY DISK BD-ROM光盤讀寫器，用于從通過總線608訪問的可拆卸插入式硬盤驅動器(HDD)和磁盤讀取。總線也可以連接一個或多個通用的串行總線(USB) 2.0端口、千兆的以太網端口、IEEE 802. llb/g無線網絡(WiFi)端口、和/或藍牙無線連接端口。磁盤驅動單元616包括計算機可讀介質624，具體包含任何一個或多個在此描述的方法或功能的一組或多組指令(例如，軟件626)存儲在該計算機可讀介質624上。在執行過程中，通過也構成計算機可讀介質的處理器602、主存儲器604和計算機系統600，軟件626也可以完全或至少部分地存在主存儲器604中和/或處理器602中。軟件626還可以通過網絡接口設備622通過網絡628發送或接收。圖中顯示的計算機可讀介質624為示例性實施例，是單個介質，術語“計算機可讀介質”應當包括單個介質或多個介質(例如，集中式或分布式數據庫，和/或相關的緩存和服務器)，存儲一組或多組指令。術語“計算機可讀介質”也應當包括任何能夠存儲、編碼或攜帶一組指令的有形介質，該指令為供機器執行，并使機器進行任何一個或多個本發明的方法。術語“計算機可讀存儲介質”應當因此包括但不限于固態的存儲器、光學和磁介質。應當注意，以上示例和描述的計算設備具有各種模塊，這些模塊執行特定功能，并彼此交互。應當知道，這些模塊僅僅是基于他們的功能，為了描述而分離，并且表示計算機硬件和/或存儲在計算機可讀介質上用于在適當計算硬件上執行的可執行的軟件代碼。不同模塊和單元的各種功能可以以任何形式結合或分離為硬件和/或存儲在計算機可讀介質上的上述軟件，并且可以單獨或者結合使用。圖7為根據本發明一個實施例，可以用于處理指令的另外的硬件。圖7根據本發明一個實施例，展示了單元處理器(Cell Processor) 700的元件,這可以相應于圖6的處理器602。圖7的單元處理器700的架構包括四個基本組成外部輸入輸出結構，該外部輸入輸出結構包括存儲器控制器760和雙總線接口控制器770A，B ;主處理器，該主處理器稱為控制處理單兀(PPE, Power Processing Element) 750 ;八個協處理器,稱為協同處理器(Synergistic Processing Element, SPE)710A-H ;連接到上述元件的循環數據總線，稱為單兀間互聯總線(Element Interconnect Bus) 780。與 Playstation 2 設備的 EmotionEngine的6. 2 GFLOPs相比，單元處理器的總的浮點性能為218 GFLOPS0控制處理單元750是基于雙向同時多線程Power 1470，兼容PowerPC內核(PI3U)755，運行在內部時鐘為3. 2 GHz。它包括512 kB 二級(L2)緩存和32 kB 一級(LI)緩存。PPE750可以每個時鐘周期八個單獨位置操作，在3. 2 GHz轉化為25. 6 GFLOPs。PPE750的主要作用是作為協同處理器710A-H的控制器，它處理大多數的計算工作量。在操作中，PPE750維持工作隊列，安排協同處理器710A-H的工作，并監控其進程。因此，協同處理器710A-H運行內核，其作用是取得工作、執行和與PPE750同步。每個協同處理兀件(SPE,Synergistic Processing Element) 710A-H 包括相應的協同處理單元(SPU, Synergistic Processing Unit) 720A-H,和相應的內存流控制器 (MFC, Memory Flow Controller) 740A-H，該內存流控制器包括相應的動態存儲器存取控制器(DMAC, Dynamic Memory Access Controller) 742A-H,相應的存儲器管理單兀(MMU,Memory Management Unit) 744A-H 和總線接口(未圖示)。每個 SPU 720A-H 為 RISC 處理器，主頻為3.2 GHz，并包含256 kB本地RAM 730A-H，原則上可擴展到4 GB。每個SPE提供理論的單精度性能25. 6 GFLOPS0 SPU可以在單個時鐘周期中，4個單精度浮點成員、4個32位成員、8個16位整數或16個8位整數上運行。在相同的時鐘周期中，它可以執行存儲操作。SPU 720A-H沒有直接訪問系統內存XDRAM 1426 ; SPU 720A-H形成的64位地址被傳遞到MFC 740A-H，該MFC 740A-H指示DMAC 742A-H通過單元間互聯總線780和內存控制器760訪問內存。單兀間互聯總線(EIB, Element Interconnect Bus) 780為單兀處理器700內部的邏輯循環通信總線，連接上述處理器單元，即PPE 750、內存控制器760、雙總線接口 770A，B和8個SPE 710A-H，總共12個參與者。參與者可以以每個時鐘周期8個字節的速度同時讀取和寫入總線。如前所述，每個SPE 710A-H包括用于安排更長的讀取或寫入序列的DMAC742A-H。EIB包括四個通道，順時針方向和逆時針方向每個兩個。因此，對于12個參與者，任兩個參與者之間的最長的步進式數據流，為適當方向中的六個步驟。如果通過參與者之間仲裁全部利用，12個插槽的理論峰值瞬時EIB帶寬因此為每個時鐘96B。這相當于理論峰值帶寬307. 2 GB/s (千兆字節每秒)時鐘速率為3. 2GHz。內存控制器760包括由Rambus Incorporated公司研發的XDRAM接口 762。內存控制器與Rambus XDRAM連接，理論峰值帶寬25. 6 GB/s。雙總線接口 770A，B包括Rambus FlexIO 系統接口 772A，B。接口設置為12通道，每個通道有8位寬，5個通道接入，7個通道接出。這通過控制器770A提供單元處理器和I/0橋之間的理論峰值帶寬62.4 GB/s (36.4 GB/s接出，26 GB/s接入)，以及通過控制器770B提供現實模擬圖。應當理解，在此描述的方法和技術不是固有地涉及到任何特定的設備，且可以由任何適當的元件結合來實施。此外，各種類型的一般用途設備可以與在此教導的一起使用。同時，也可以證明構造專用設備來執行在此描述的方法是有利的。本發明已經描述了特定實施例，這些實施例是舉例說明，而不是限制性的。本領域技術人員知道，硬件、軟件和固件的不同結合，可以用來實施本發明。計算機設備可以為個人計算機、手機、服務器、個人數據處理機或其他設備或設備的結合，這些設備可以響應記錄在介質上的計算機可讀指令，執行公開的功能。詞語“計算機系統”，如在此使用的，因此涉及任何這種設備或這種設備的結合。 此外，在考慮本說明書和本發明實踐的情況下，本發明的任何實施對于本領域技術人員是顯而易見的。上述實施例的各個方面和/或元件可以單獨使用或者結合使用。說明書和實施例僅是示例性的，本發明真實的范圍和精神如權利要求所體現。
權利要求
1.一種計算機系統，包括 處理器，該處理器接收視線數據和姿態數據，確定對應于所述視線數據的用戶界面位置，使所述姿態數據與所述用戶界面的修改相關聯；存儲器，該存儲器與所述處理器連接，以存儲所述視線數據和姿態數據。
2.根據權利要求I所述的計算機系統，其特征在于所述姿態數據包括手部姿態數據。
3.根據權利要求I所述的計算機系統，其特征在于所述視線數據包括與所述用戶界面交互的用戶眼睛的多個圖像。
4.根據權利要求3所述的計算機系統，其特征在于所述視線數據包括光的反射。
5.根據權利要求4所述的計算機系統，其特征在于所述光包括紅外線照射。
6.根據權利要求I所述的計算機系統，其特征在于所述姿態數據包括與所述用戶界面交互的用戶身體的多個圖像。
7.根據權利要求6所述的計算機系統，其特征在于所述姿態數據還包括深度信息。
8.一種系統，該系統包括顯示器，該顯示器顯示包括對象的用戶界面；視線傳感器，該視線傳感器捕捉眼睛視線數據；姿態傳感器，該姿態傳感器捕捉用戶姿態數據；計算設備，該計算設備與所述視線傳感器、所述姿態傳感器、和所述顯示器連接，其中所述計算設備為所述顯示器提供所述用戶界面，并基于所述視線數據確定用戶是否看著所述對象，將所述姿態數據與對應于所述對象的命令關聯，以及基于所述命令修改包含所述對象的所述用戶界面的顯示。
9.根據權利要求8所述的系統，其特征在于所述命令包括所述對象的移動。
10.根據權利要求8所述的系統，其特征在于所述視線數據包括眼睛視線數據眼睛視線位置和至少一個以下數據眼睛位置、所述視線傳感器與所述眼睛的距離、瞳孔大小、和時間戳。
11.根據權利要求8所述的系統，其特征在于所述視線傳感器包括攝像頭和光源。
12.根據權利要求8所述的系統，其特征在于所述姿態傳感器包括攝像頭和深度傳感器。
13.根據權利要求8所述的系統，其特征在于所述姿態傳感器包括至少一個陀螺儀和至少一個加速計。
14.一種方法，包括在顯示器上顯示用戶界面；接收與所述用戶界面交互的用戶的視線數據；基于所述視線數據，確定所述用戶的視線是否對著所述用戶界面中顯示的對象；接收對應于所述用戶的姿態的姿態數據；將所述用戶與所述對象的預期交互與所述姿態數據關聯；基于關聯的交互，修改所述用戶界面中的所述對象的顯示。
15.根據權利要求14所述的方法，其特征在于所述視線數據包括眼睛視線數據眼睛視線位置和至少一個以下數據眼睛位置、所述視線傳感器與所述眼睛的距離、瞳孔大小、和時間戳。
16.根據權利要求14所述的方法，其特征在于在確定所述用戶的視線是否對著所述對象之前，所述姿態數據與所述用戶的預期交互關聯。
17.根據權利要求14所述的方法，其特征在于所述對象的顯示的修改包括移動所述用戶界面中所述對象的相對位置。
18.根據權利要求14所述的方法，其特征在于所述姿態數據包括相應于手部姿態的信息。
19.一種計算機可讀存儲介質，具有存儲在其上的計算機可執行指令，執行時，使計算機系統執行一種方法，該方法包括在顯示器上顯示用戶界面；接收與所述用戶界面交互的用戶的視線數據；基于所述視線數據，確定所述用戶的視線是否對著所述用戶界面中顯示的對象；接收對應于所述用戶的姿態的姿態數據；將所述用戶與所述對象的預期交互與所述姿態數據關聯；基于關聯的交互，修改所述用戶界面中的所述對象的顯示。
20.根據權利要求19所述的計算機可讀存儲介質，其特征在于在確定所述用戶的視線是否對著所述對象之前，所述姿態數據與所述用戶的預期交互關聯。
21.根據權利要求19所述的計算機可讀存儲介質，其特征在于所述對象的顯示的修改包括移動所述用戶界面中所述對象的相對位置。
22.—種計算機系統，包括處理器，該處理器接收視線數據，接收腦電波數據和情緒數據的至少其中一個，確定對應于所述視線數據的用戶界面位置，使所述腦電波數據和情緒數據的至少其中一個與所述用戶界面的修改相關聯；存儲器，該存儲器與所述處理器連接，以存儲所述視線數據，以及存儲腦電波數據和情緒數據的至少其中一個。
23.根據權利要求22所述的計算機系統，其特征在于所述視線數據包括與所述用戶界面交互的用戶眼睛的多個圖像。
24.根據權利要求22所述的計算機系統，其特征在于所述處理器還接收聲音數據，以及設置為將所述腦電波數據、情緒數據和聲音數據的至少其中一個與所述用戶界面的修改相關聯；存儲器，該存儲器設置為存儲聲音數據。
25.—種系統，包括顯示器，該顯示器顯示包括對象的用戶界面；視線傳感器，該視線傳感器捕捉眼睛視線數據；頭戴式裝置，包括多個傳感器，該多個傳感器捕捉腦電波數據和情緒數據的至少其中一個；以及計算設備，該計算設備與所述視線傳感器、所述頭戴式裝置、和所述顯示器連接，其中所述計算設備為所述顯示器提供所述用戶界面，并基于所述視線數據確定用戶是否看著所述對象，且將所述電波數據和情緒數據的至少其中一個與對應于所述對象的命令關聯，以及基于所述命令修改包含所述對象的所述用戶界面的顯示。
26.根據權利要求25所述的系統，其特征在于所述命令包括所述對象的移動。
27.根據權利要求25所述的系統，其特征在于所述視線數據包括眼睛視線數據眼睛視線位置和至少一個以下數據眼睛位置、所述視線傳感器與所述眼睛的距離、瞳孔大小、和時間戳。
28.根據權利要求25所述的系統，其特征在于所述視線傳感器包括攝像頭和光源。
29.一種方法，包括在顯示器上顯示用戶界面；接收與所述用戶界面交互的用戶的視線數據；基于所述視線數據，確定所述用戶的視線是否對著所述用戶界面中顯示的對象；接收腦電波數據和情緒數據的至少其中一個；將所述腦電波數據和情緒數據的至少其中一個和所述用戶與所述對象的預期交互相關聯；基于關聯的交互，修改所述用戶界面中的所述對象的顯示。
30.根據權利要求29所述的方法，其特征在于所述視線數據包括眼睛視線數據眼睛視線位置和至少一個以下數據眼睛位置、所述視線傳感器與所述眼睛的距離、瞳孔大小、和時間戳。
31.根據權利要求29所述的方法，其特征在于所述對象的顯示的修改包括移動所述用戶界面中所述對象的相對位置。
32.根據權利要求29所述的方法，其特征在于所述對象是字符，其中修改所述對象的顯示包括改變字符的面部表情。
33.一種計算機可讀存儲介質，具有存儲在其上的計算機可執行指令，執行時，使計算機系統執行一種方法，該方法包括在顯示器上顯示用戶界面；接收與所述用戶界面交互的用戶的視線數據；基于所述視線數據，確定所述用戶的視線是否對著所述用戶界面中顯示的對象；接收腦電波數據和情緒數據的至少其中一個；將所述用戶與所述對象的預期交互與所述腦電波數據和情緒數據的至少其中一個相關聯；基于關聯的交互，修改所述用戶界面中的所述對象的顯示。
34.根據權利要求33所述的計算機可讀存儲介質，其特征在于所述對象的顯示的修改包括移動所述用戶界面中所述對象的相對位置。
35.根據權利要求33所述的計算機可讀存儲介質，其特征在于所述對象是字符，其中修改所述對象的顯示包括改變字符的面部表情。
全文摘要
本發明公開了一種用戶界面技術，該用戶界面技術基于用戶視線和二次用戶輸入例如手部姿態，提供用戶反饋。基于攝像頭的追蹤系統可以追蹤用戶的視線，來探測正在看著的用戶界面中顯示的對象。追蹤系統也識別手部或其他身體姿態，以控制對象的動作或運動，例如利用獨立的攝像頭或傳感器。用戶界面隨后基于追蹤的視線和姿態數據更新，以提供反饋。
文檔編號G06F3/01GK102749990SQ20121010108
公開日2012年10月24日 申請日期2012年4月9日 優先權日2011年4月8日
發明者埃里克·J·拉森 申請人:索尼電腦娛樂公司