偏振的視線跟蹤的制作方法
【專利摘要】本文公開了涉及確定凝視位置的實施例。在一個實施例中，一種方法包括：沿著去往佩戴著眼鏡的用戶的眼睛的外向光路徑來照射光。在檢測到眼鏡時，以在隨機偏振階段和單偏振階段之間切換的偏振模式，對該光進行動態地偏振，其中隨機偏振階段包括沿著外向光路徑的第一偏振和沿著反射光路徑與第一偏振正交的第二偏振。單偏振階段具有單偏振。在隨機偏振階段期間，將從眼鏡反射的眩光過濾掉，并捕捉瞳孔圖像。在單偏振階段期間，捕捉閃爍圖像。基于瞳孔特性和閃爍特性，反復地檢測凝視位置。
【專利說明】
偏振的視線跟蹤
【背景技術】
[0001]眼睛或視線跟蹤系統可以用于確定人的目光的方向和/或位置。在一些例子中，光源可以照亮用戶的眼睛或兩只眼睛，相應的照相機可以捕捉眼睛的圖像。這些圖像可以包括來自眼睛角膜的反射或者“閃爍(glint)”。可以利用所捕捉圖像中的瞳孔和閃爍的位置，來確定周圍環境中的用戶目光的方向和/或位置。
[0002]但是，在用戶佩戴著眼鏡的情形下，來自光源的光可能從眼鏡的鏡片造成鏡面反射。這種鏡面反射可能造成眩光(glare)，其可能遮蔽角膜反射閃爍和瞳孔和/或角膜緣的圖像。這種眩光可能使視線跟蹤系統準確地確定瞳孔和/或閃爍的位置的能力下降。因此，估計的人的目光的方向和/或位置的準確性可能會受影響。

【發明內容】

[0003]本文公開了涉及確定用戶的眼睛的凝視位置的系統和方法的各個實施例。例如，一個公開的實施例提供了一種用于確定用戶的眼睛的凝視位置的方法，其中，沿著從光源到佩戴著眼鏡的用戶的眼睛的外向(outbound)光路徑來照射光。該方法包括:使用圖像捕捉設備捕捉的圖像，檢測用戶佩戴著眼鏡。
[0004]在檢測到用戶佩戴著眼鏡時，以按照至少60Hz的速率在隨機偏振階段和單偏振階段之間反復切換的偏振模式，對光進行動態地偏振，其中，該隨機偏振階段包括沿著位于光源和用戶的眼鏡之間的外向光路徑的光的第一偏振，以及沿著位于眼鏡和圖像捕捉設備之間的反射光路徑與第一偏振正交的第二偏振。單偏振階段具有沿著外向光路徑和反射光路徑中的一個或多個的單偏振。
[0005]在隨機偏振階段期間，將從眼鏡反射的眩光(glare)過濾掉，否則該眩光將遮蔽眼睛的瞳孔。在隨機偏振階段期間，當眩光被過濾掉時，按照30Hz或者更高的速率來捕捉瞳孔圖像。在單偏振階段期間，按照30Hz或者更高的速率來捕捉閃爍(glint)圖像。基于在瞳孔圖像中識別的瞳孔特性，以及在與瞳孔圖像的時間相近時捕捉的閃爍圖像中識別的閃爍特性，按照至少30Hz的速率來反復地檢測凝視位置。
[0006]提供該概括部分以便以簡化形式來選擇介紹在下面的【具體實施方式】中進一步描述的概念。該概括部分并不是旨在標識本發明的關鍵特征或者本質特征，也不是旨在用于限制本發明的保護范圍。此外，本發明并不限于解決本公開的任何部分中所陳述的任何或者所有缺點。
【附圖說明】
[0007]圖1是根據本公開的實施例，用于確定用戶的眼睛的凝視位置的視線跟蹤系統的示意性視圖。
[0008]圖2是根據本公開的實施例，一個房間的示意性透視圖，該房間包括佩戴著眼鏡的兩個用戶、包括視線跟蹤系統的壁掛式顯示器和包括視線跟蹤系統的平板計算機。
[0009]圖3是根據本公開的實施例的視線跟蹤系統的示意性視圖。
[0010]圖4是根據本公開的另一個實施例的視線跟蹤系統的示意性視圖。
[0011 ]圖5是根據本公開的另一個實施例的視線跟蹤系統的示意性視圖。
[0012]圖6是根據本公開的另一個實施例的視線跟蹤系統的示意性視圖。
[0013]圖7A和圖7B是根據本公開的實施例，用于確定用戶的凝視位置的方法的流程圖。
[0014]圖8是計算設備的一個實施例的簡化示意性視圖。
【具體實施方式】
[0015]圖1示出了用于確定用戶14的眼睛的一個或多個凝視位置的視線跟蹤系統10的一個實施例的示意性視圖。視線跟蹤系統10包括視線跟蹤模塊16和動態偏振模塊20，它們可以存儲在計算設備22的大容量存儲設備18中。視線跟蹤模塊16和動態偏振模塊20可以裝載到存儲器26中，并由計算設備22的處理器30執行以實現下面進一步詳細描述的方法和過程中的一個或多個。
[0016]視線跟蹤系統10包括一個或多個光源28(例如，LED光源)。在一些例子中，光源28可以包括發出紅外光(例如，紅外LED)的紅外線光源。在其它例子中，光源28可以包括發出可見光的可見光源(例如，用于照相機閃光燈目的的可見LED或者膝上型計算機上的鍵盤照明)。在一些例子中，光源28可以包括計算設備(例如，移動電話)上的顯示器。
[0017]如下面所進一步詳細描述的，光源28可以沿著去往用戶的眼睛的外向光路徑來照射光。一個或多個偏振濾波器32被配置為對光源28發出的光進行動態地偏振。此外，視線跟蹤系統10還包括一個或多個圖像捕捉設備34，這些圖像捕捉設備34被配置為捕捉從用戶的眼鏡和眼睛反射和散射的光的圖像。
[0018]在一些例子中，可以將計算設備22、光源28、偏振濾波器32和圖像捕捉設備34集成到一個共同的外殼(enclosure)中，以形成單一設備。這些設備可以包括但不限于:臺式計算機、PC、手持智能手機、電子閱讀器、膝上型計算機、筆記本和平板計算機、顯示器、交互式電視、機頂盒、游戲控制臺等等。舉例而言并參見圖2，佩戴著眼鏡206的平板電腦用戶202可以使用包括視線跟蹤系統1的平板電腦210。平板電腦210可以包括LED光源214，伴有偏振濾波器和視線檢測照相機218。
[0019]在其它例子中，光源28、偏振濾波器32和圖像捕捉設備34中的一個或多個可以與計算設備22物理地分離，并通信地耦合到計算設備22。舉一個例子，光源28、偏振濾波器32和圖像捕捉設備34可以位于安裝在與壁掛式顯示器226相鄰的輸入設備222中，可以經由有線或者無線連接，利用顯示器或者單獨的部件(例如，游戲控制臺)來通信地耦合到計算設備22。佩戴著眼鏡238的游戲用戶234可以經由計算設備22上的輸入設備222和視線跟蹤模塊16，利用他的眼睛與顯示器226所顯示的內容進行交互。應當理解的是，也可以使用多種其它類型和配置的具有各種形狀因子的視線跟蹤系統10(無論其與計算設備22相分離，還是與計算設備22集成在一起)，并落入本公開的保護范圍之內。
[0020]計算設備22可以采用臺式計算設備、移動計算設備(比如，智能手機、膝上型計算機、筆記本或者平板計算機)、網絡計算機、家庭娛樂計算機、交互式電視、游戲系統或者其它適當類型的計算設備的形式。下面參照圖8來更詳細地描述關于計算設備22的部件和計算方面的另外細節。
[0021]再次參見圖1，如上所述，在一些例子中，視線跟蹤系統10可以包括或者通信耦合到顯示設備38。在一個例子中，顯示設備38可以包括經由有線或者無線連接來操作性連接到計算設備22的單獨顯示器(例如，獨立的監視器)。顯示器38可以包括用于向用戶呈現一個或多個視覺元素的顯示系統40。
[0022]視線跟蹤模塊16可以被配置為以任何適當的方式來確定用戶的一只或兩只眼睛的視線方向。例如，視線跟蹤模塊16可以使用瞳孔和角膜反射的圖像(其生成圖像捕捉設備34所捕捉的角膜閃爍(glint))，來確定瞳孔的中心和這些閃爍的位置。可以使用這些閃爍和瞳孔中心之間的矢量來確定眼睛的凝視位置。
[0023]舉一個例子，可以使用亮瞳(brightpupil)技術，其中在該技術中，來自光源28的照射光與眼睛的光路徑同軸，其造成從視網膜反射出光。在其它例子中，可以使用暗瞳(dark pupil)技術，其中在該技術中，照射光偏離所述光路徑。為了說明本公開起見，提供使用暗瞳技術的視線跟蹤系統10的例子。
[0024]如根據圖像捕捉設備34采集的圖像數據所確定的角膜閃爍和瞳孔的圖像，可以用于確定每一只眼睛的光軸。利用該信息，視線跟蹤模塊16確定用戶正在注視的方向和/或用戶正在注視的是什么物理對象或者視覺對象。此外，視線跟蹤模塊16還可以確定用戶正在注視物理或視覺對象上的什么點。隨后，可以將該視線跟蹤數據提供給計算設備22，一個或多個應用或者其它程序可以根據需要來使用該視線跟蹤數據。
[0025]現在還參見圖3-6，現在提供視線跟蹤系統10的示例性實施例的描述。在圖3所示出的一個例子中，視線跟蹤系統10包括:第一紅外線光源302，其沿著第一外向光路徑306來照射紅外光;第二紅外線光源310，其沿著第二外向光路徑314來照射紅外光。應當理解的是，第一外向光路徑306從第一光源302延伸到眼睛322，第二外向光路徑314從第二光源310延伸到眼睛。應當理解的是，紅外線光源僅僅只是作為例子提供，任何其它適當的光源也可以使用，并落入本公開的保護范圍之內。此外，還參見圖1，如下面所更詳細描述的，在檢測到用戶佩戴著眼鏡時，可以以在隨機偏振階段48和單偏振階段52之間反復地切換的偏振模式44，使用外向(outbound)偏振濾波器318和內向(inbound)偏振濾波器340，對從第一光源302和第二光源310發出的紅外光進行動態地偏振。
[0026]如圖3中所示，用戶14的眼睛322透過該用戶所佩戴的眼鏡328的鏡片326進行凝視。圖像捕捉設備332被配置為捕捉從眼睛322和眼鏡328的鏡片326反射和散射的、第一光源302和第二光源310所發出的光的圖像。如上所述，來自光源302和/或310的光可以從鏡片326進行反射，從而在圖像捕捉設備332所捕捉的圖像中造成眩光。有利的是，動態偏振模塊20被配置為將這些眩光充分地(substantial Iy)過濾掉，否則這些眩光可能遮蔽眼睛322的瞳孔336。
[0027]具體而言并舉一個例子，動態偏振模塊20被配置為:利用按照至少60Hz的速率在隨機偏振階段48和單偏振階段52之間反復地切換的偏振模式44，經由外向偏振濾波器318和內向偏振濾波器340，對從第一光源302和第二光源310發出的紅外光進行動態地偏振。隨機偏振階段48包括紅外光的第一偏振506，其由外向偏振濾波器318來提供，沿著位于第一光源302和用戶的眼鏡328之間的第一外向光路徑305。此外，隨機偏振階段48還包括與第一偏振56正交的第二偏振60，其由內向偏振濾波器340來提供，沿著位于眼鏡328和圖像捕捉設備332之間的反射光路徑344。在該例子中，單偏振階段52具有由內向偏振濾波器340所提供的沿著反射光路徑344的單偏振70。應當理解的是，反射光路徑344從眼睛322延伸到圖像捕捉設備332。
[0028]如圖3中所不，來自第二外向光路徑314的未偏振光的第一部分350從鏡片326反射出，沿著反射光路徑344穿過外向偏振濾波器340去往圖像捕捉設備332。來自第二外向光路徑314的未偏振光的第二部分354穿過鏡片326，并且是從眼睛322的角膜反射出的，其產生角膜閃爍，角膜閃爍沿著反射光路徑344穿過內向偏振濾波器340去往圖像捕捉設備332。在單偏振階段52期間，光的第一部分350和第二部分354可以被用來捕捉閃爍圖像64。
[0029]外向偏振濾波器318和內向偏振濾波器340可以包括線性、圓形或者任何其它適當類型的偏振濾波器。如圖3中所示，第一外向光路徑306包括穿過水平偏振濾波器318的光。來自第一外向光路徑306的水平偏振的光的第一部分360從鏡片326反射出，沿著反射光路徑344，穿過垂直偏振內向偏振濾波器340，去往圖像捕捉設備332。光的第一部分360包括從鏡片326的表面反射的眩光。由于光的第一部分360是被反射的，因此其維持水平偏振(水平偏振與內向偏振濾波器340的垂直偏振相正交)。因此，在光的第一部分360的眩光到達圖像捕捉設備332之前，內向偏振濾波器340對來自光的第一部分360的眩光進行充分的衰減和消除。應當理解的是，外向偏振濾波器318和內向偏振濾波器340的方向可以具有彼此之間正交的任何適當方向。
[0030]來自第一外向光路徑306的光的第二部分364穿過鏡片326，并從眼睛322的角膜反射出，產生水平偏振的角膜閃爍。此第二部分364中的該水平偏振的角膜閃爍沿著反射光路徑344行進，穿過垂直偏振的內向偏振濾波器340，到達圖像捕捉設備332。由于光的第二部分364是被反射的，因此也維持其水平偏振。因此，在來自光的第二部分364的水平偏振的角膜閃爍到達圖像捕捉設備332之前，垂直偏振的內向偏振濾波器340對其進行了充分的衰減和消除。
[0031]此外，光的第二部分364也被瞳孔336散射，產生照亮瞳孔和角膜緣(Iimbus)特征的未偏振的漫射光。來自瞳孔336的這種未偏振的漫射光也沿著光路徑344行進，穿過內向偏振濾波器340到達圖像捕捉設備332。有利的是，通過如上所述對來自第一外向光路徑306的光的第一部分360和第二部分364的眩光和閃爍進行衰減(如上所述)，在隨機偏振階段48期間，可以使用第二部分364中的未偏振的漫射光來捕捉沒有被這些眩光和/或閃爍所遮蔽的瞳孔圖像68。
[0032]如上所述，動態偏振模塊20被配置為以按照至少60Hz的速率在隨機偏振階段48和單偏振階段52之間反復切換的偏振模式44，對紅外光進行動態地偏振。在一些例子中，在單偏振階段52期間，可以按照30Hz或者更高的速率來捕捉閃爍圖像64。在隨機偏振階段48期間，當眩光被過濾掉時，還可以按照30Hz或者更高的速率來捕捉瞳孔圖像68。有利的是，使用這些閃爍圖像64和瞳孔圖像68，可以基于在瞳孔圖像中識別的瞳孔特性72，以及在與瞳孔圖像的時間相近時捕捉的閃爍圖像中識別的閃爍特性76，按照至少30Hz的速率來反復地檢測眼睛322的凝視位置。例如，當按照30Hz的速率來捕捉瞳孔圖像68和閃爍圖像64時，在相鄰的捕捉的瞳孔圖像和閃爍圖像之間的時間間隔可以是0.020秒、0.015秒、0.010秒或者任何其它適當的時間間隔。
[0033]這些瞳孔特性72可以包括但不限于瞳孔的中心。這些閃爍特性76可以包括但不限于:這些閃爍相對于瞳孔中心的位置。如上所述，可以使用任何適當的視線跟蹤技術來確定這些凝視位置。
[0034]在一些例子中(例如，可以從用戶接收更頻繁的眼球運動的特定應用或者程序)，可以使用更快速的捕捉速率和更頻繁的凝視位置檢測。例如，動態偏振模塊可以被配置為按照在60Hz和120Hz之間的速率，在隨機偏振階段48和單偏振階段52之間反復地切換。在這樣的例子中，可以按照在30Hz和60Hz之間的速率，來捕捉瞳孔圖像68和閃爍圖像64。
[0035]舉一個例子，在隨機偏振階段48和單偏振階段52之間切換的速率，可以是捕捉瞳孔圖像68的速率的兩倍以及是捕捉閃爍圖像64的速率的兩倍。例如，動態偏振模塊可以被配置為按照120Hz的速率，在隨機偏振階段48和單偏振階段52之間反復地切換，并且可以按照60Hz的速率，來捕捉瞳孔圖像68和閃爍圖像64。
[0036]在一些例子中，動態偏振模塊20可以被配置為檢測用戶是否佩戴著眼鏡。例如，動態偏振模塊20可以通過確定一個或多個眩光位于用戶的眼睛附近，識別來自眼鏡的眩光。
[0037]此外，動態偏振模塊20還可以將這些眩光區分于角膜閃爍。與角膜閃爍相比，從眼鏡的鏡片反射的眩光通常在尺寸上更大。此外，眩光還可以具有獨特的，不規則的形狀。另一方面，角膜閃爍通常比眩光更小，其通常包括多個輻射臂(radiating arm)，并且可以是直徑近似為瞳孔的直徑兩倍的圓形。在一些例子中，動態偏振模塊可以使用這樣的區別信息來識別來自眼鏡的一個或多個眩光。
[0038]在一些例子中，動態偏振模塊20可以檢測到用戶沒有佩戴著眼鏡。在該情形下，不存在來自眼鏡的眩光。因此，在檢測到用戶沒有佩戴著眼鏡時，動態偏振模塊20可以被配置為避免以偏振模式44對紅外光進行動態地偏振。有利的是，這可以例如通過照亮未偏振的第二光源310，而不照亮偏振的第一光源302，來執行視線跟蹤，從而使視線跟蹤系統10減少功耗。在一個例子中，使用來自第二光源310的光，可以按照30Hz的速率，在單偏振階段52期間捕捉瞳孔圖像68和閃爍圖像64，還可以按照30Hz的速率來檢測凝視位置。
[0039]現參見圖4，在另一個例子中，可以向第二光源310增加另外的外向偏振濾波器370，其中濾波器370具有與內向偏振濾波器340相同的方向。使用這種配置，對沿著第一外向光路徑306和第二外向光路徑314 二者行進的光進行偏振。有利的是，外向偏振濾波器318和另外的外向偏振濾波器370可以被配置為使沿著第一外向光路徑306和第二外向光路徑314行進的光具有相近的亮度。用此方式，在圖像捕捉設備332處捕捉的閃爍圖像64和瞳孔圖像68可以具有相近的亮度和信噪比，這可增強凝視位置確定的準確性。
[0040]現參見圖5，在另一個例子中，視線跟蹤系統10可以包括單一紅外線光源502和可切換偏振濾波器506，其中可切換偏振濾波器506可以在第一偏振和與第一偏振正交的第二偏振之間進行交替。在圖5的例子中，可切換偏振濾波器506可以在垂直和水平方向之間交替。因此，從單一光源502發出的紅外光可以以如上所述的偏振模式44進行動態地偏振，并被圖像捕捉設備332所捕捉。隨后，可以捕捉如上所述的閃爍圖像64和瞳孔圖像68，并用于如上所述地確定凝視位置。
[0041]現參見圖6，在另一個例子中，視線跟蹤系統10可以包括單一紅外線光源602和單一外向偏振濾波器606，其中外向偏振濾波器606以第一方向對從光源發出的光進行偏振。在該例子中，來自第一外向光路徑654的偏振光的第一部分650從鏡片326反射出，沿著反射光路徑644，穿過第一內向偏振濾波器660，去往第一圖像捕捉設備610。如圖6中所示，第一內向偏振濾波器660具有與外向偏振濾波器606相同的水平方向。
[0042]類似地，來自第一外向光路徑654的偏振光的第二部分656穿過鏡片326，并從眼睛322的角膜反射出，其產生沿著反射光路徑644穿過第一內向偏振濾波器660去往第一圖像捕捉設備610的角膜閃爍。如上面所解釋的，在單偏振階段52期間，光的第一部分650和第二部分656可以被用來利用第一圖像捕捉設備610捕捉閃爍圖像64。
[0043]如圖6中所示，第二外向光路徑670包括已經穿過外向偏振濾波器606的光。來自第二外向光路徑670的偏振光的第一部分674從鏡片326反射出，沿著反射光路徑644，穿過第二內向偏振濾波器676，去往第二圖像捕捉設備680。第二內向偏振濾波器676具有與外向偏振濾波器606正交的垂直方向。因此，在來自光的第一部分674的眩光到達第二圖像捕捉設備680之前，第二內向偏振濾波器676對來自光的第一部分674的眩光充分地衰減和消除。
[0044]來自第二外向光路徑670的光的第二部分684穿過鏡片326，并從眼睛322的角膜反射出，產生水平偏振的角膜閃爍。第二部分684中的這些偏振的閃爍沿著反射光路徑644行進，穿過垂直偏振的第二內向偏振濾波器676，到達第二圖像捕捉設備680。因此，在來自光的此第二部分684的水平偏振的角膜閃爍到達第二圖像捕捉設備680之前，第二內向偏振濾波器676對其進行了充分的衰減和消除。如上面所解釋的，在隨機偏振階段48期間，光的第一部分674和第二部分684可以用于利用第二圖像捕捉設備680捕捉瞳孔圖像68。
[0045]圖7A和圖7B根據本公開的實施例，示出了用于導航視覺元素的層次結構的流程圖。參照上面所描述并在圖1-6中示出的視線跟蹤系統10的軟件和硬件組件，來提供下面的對方法700的描述。應當理解的是，還可以使用其它適當的硬件和軟件組件，在其它背景下執行方法700。
[0046]參見圖7A，在702處，方法700可以包括:沿著從光源到佩戴著眼鏡的用戶的眼睛的外向光路徑來照射光。在706處，方法700包括:使用圖像捕捉設備捕捉的圖像，檢測用戶佩戴著眼鏡。在710處，方法700可以包括:在檢測到用戶佩戴著眼鏡時，以按照至少60Hz的速率在隨機偏振階段和單偏振階段之間反復切換的偏振模式，對該光進行動態地偏振。隨機偏振階段包括沿著位于光源和用戶的眼鏡之間的外向光路徑的光的第一偏振，以及沿著位于眼鏡和圖像捕捉設備之間的反射光路徑的與第一偏振正交的第二偏振。單偏振階段具有沿著外向光路徑和反射光路徑中的一個或多個的單偏振。
[0047]在714處，方法700可以包括:通過按照120Hz的速率在隨機偏振階段和單偏振階段之間反復地切換，以偏振模式對光進行動態偏振。在718處，方法700可以包括:通過將可切換偏振濾波器在第一偏振和與第一偏振正交的第二偏振之間交替，對光進行動態地偏振。在722處，方法700可以包括:在隨機偏振階段期間，將從眼鏡反射的眩光過濾掉，否則該眩光將遮蔽眼睛的瞳孔。
[0048]在726處，方法700可以包括:在隨機偏振階段期間，當眩光被過濾掉時，按照30Hz或者更高的速率來捕捉瞳孔圖像。在730處，方法700可以包括:在單偏振階段期間，按照30Hz或者更高的速率來捕捉閃爍圖像。在734處，方法700可以包括:基于在瞳孔圖像中識別的瞳孔特性，以及在與瞳孔圖像的時間相近時捕捉的閃爍圖像中識別的閃爍特性，按照至少30Hz的速率來反復地檢測凝視位置。
[0049]現參見圖7B，在738處，方法700可以包括:通過確定眩光中的一個或多個在所捕捉的圖像中位于用戶的眼睛附近，來檢測用戶佩戴著眼鏡。在742處，方法700可以包括:按照60Hz的速率來捕捉瞳孔圖像和閃爍圖像，按照60Hz的速率來反復地檢測凝視位置。在746處，方法700可以包括:檢測用戶沒有佩戴著眼鏡。在750處，方法700可以包括:在檢測到用戶沒有佩戴著眼鏡時，避免以所述偏振模式，對光進行動態地偏振。
[0050]在754處，方法700可以包括:按照30Hz或者更高的速率，在單偏振階段期間，捕捉瞳孔圖像和閃爍圖像。在758處，方法700可以包括:單偏振階段的單偏振包括:在外向光路徑上應用第二偏振。在762處，當光源是第一光源時，方法700可以包括:第二光源向佩戴著眼鏡的用戶的眼睛發出未偏振的光，其中該未偏振的光用于捕捉閃爍圖像。在766處，其中，圖像捕捉設備是捕捉瞳孔圖像的第一圖像捕捉設備，方法700可以包括使用捕捉閃爍圖像的第二圖像捕捉設備。
[0051]應當理解的是，通過示例的方式來提供方法700，其并不旨在是限制性的。因此，應當理解的是，與圖7A和圖7B中所示出的相比，方法700可以包括另外的和/或替代的步驟。此夕卜，還應當理解，可以以任何適當的順序來執行方法700。另外，還應當理解，可以從方法700中省略一個或多個步驟，而不脫離本公開的保護范圍。
[0052]圖8示意性地示出了可以執行上面所描述的方法和處理中的一個或多個的計算系統800的非限制性實施例。計算設備22可以采用計算系統800的形式，或者包括計算系統800的一個或多個方面。以簡化的形式來示出計算系統800。應當理解的是，在不脫離本公開的保護范圍的基礎上，可以使用幾乎任何計算機架構。在不同的實施例中，計算系統800可以采用大型計算機、服務器計算機、臺式計算機、膝上型計算機、平板計算機、家庭娛樂計算機、網絡計算設備、移動計算設備、移動通信設備、游戲設備等等的形式。
[0053]如圖8中所不，計算系統800包括邏輯子系統804、存儲設備子系統808和傳感器子系統812。計算系統800可以可選地包括顯示子系統816、通信子系統820、輸入子系統822和/或圖8中沒有示出的其它子系統和部件。此外，計算系統800還可以包括計算機可讀介質，其中該計算機可讀介質包括計算機可讀存儲介質和計算機可讀通信介質。此外，計算系統800還可以可選地包括其它用戶輸入設備，比如鍵盤、鼠標、游戲控制器和/或觸摸屏。此外，在一些實施例中，本文所描述的方法和處理可以實現成計算機應用、計算機服務、計算機AP1、計算機庫、和/或包括一個或多個計算機的計算系統中的其它計算機程序產品。
[0054]邏輯子系統804可以包括配置為執行一個或多個指令的一個或多個物理設備。例如，邏輯子系統804可以被配置為執行一個或多個指令，其中這些指令是一個或多個應用、服務、程序、例行程序、庫、對象、組件、數據結構或者其它邏輯構成的一部分。可以實現這些指令以執行一個任務、實現一種數據類型、轉換一個或多個設備的狀態或者達到期望的結果O
[0055]邏輯子系統804可以包括配置為執行軟件指令的一個或多個處理器。另外地或替代地，該邏輯子系統可以包括配置為執行硬件或者固件指令的一個或多個硬件或固件邏輯機器。該邏輯子系統的處理器可以是單核或者多核，在其上執行的程序可以被配置為進行并行處理或者分布式處理。該邏輯子系統可以可選地包括分布到兩個或更多設備之上的個體組件，這些設備位于遠程的位置和/或被配置為進行協調地處理。該邏輯子系統的一個或多個方面可以進行虛擬化，并由利用云計算配置進行配置的遠程可訪問網絡化計算設備進行執行。
[0056]存儲設備子系統808可以包括一個或多個物理的持久性設備，其配置為保持可由邏輯子系統804執行的數據和/或指令，以實現本文所描述的方法和處理。當實現這些方法和處理時，可以轉換存儲設備子系統808的狀態(例如，轉換為保持不同的數據)。
[0057]存儲設備子系統808可以包括可移動介質和/或內置(built-1n)設備。存儲設備子系統808可以包括光存儲器設備(例如，⑶、DVD、HD-DVD、藍光光碟等等)、半導體存儲器設備(例如，RAM、EPROM、EEPROM等等)和/或磁存儲器設備(例如，硬盤驅動器、軟盤驅動器、磁帶驅動器、MRAM等等)等等。存儲設備子系統808可以包括具有下面特性中的一個或多個的設備:易失性、非易失性、動態、靜態、讀/寫、只讀、隨機存取、順序存取、位置可尋址、文件可尋址和內容可尋址。
[0058]在一些實施例中，可以至少部分地將邏輯子系統804和存儲設備子系統808的方面集成到一個或多個共同設備中，其中通過這些共同設備，可以實現本文所描述的功能。例如，這些硬件邏輯組件可以包括現場可編程門陣列(FPGA)、特定于程序和應用的集成電路(PASIC/ASIC)、特定于程序和應用的標準產品(PSSP/ASSP)、片上系統(SOC)系統和復雜可編程邏輯器件(CPLD)。
[0059]此外，圖8還示出了具有可移動計算機可讀存儲介質824的形式的存儲設備子系統808的方面，可移動計算機可讀存儲介質824可以用于存儲可執行以實現本文所描述的方法和處理的數據和/或指令。可移動計算機可讀存儲介質824可以采用CD、DVD、HD-DVD、藍光光碟、EEPROM和/或軟盤等等的形式。
[0060]應當理解的是，存儲設備子系統808包括一個或多個物理的持久性設備。相比而言，在一些實施例中，可以通過物理設備不能持有至少一段有限時間的純粹信號(例如，電磁信號、光信號等等)，利用臨時方式來傳播本文所描述的指令的方面。此外，與本公開有關的數據和/或其它形式的信息可以經由計算機可讀通信介質，通過純粹信號的方式進行傳播。
[0061]傳感器子系統812可以包括配置為對如上所述的不同物理現象(例如，可見光、紅外光、聲音、加速度、方位、位置等等)進行感測的一個或多個傳感器。例如，傳感器子系統812可以被配置為向邏輯子系統804提供傳感器數據。該數據可以包括圖像信息、周圍光照信息、深度信息、音頻信息、位置信息、運動信息、用戶位置信息和/或可以用于執行上面所描述的方法和處理的任何其它適當傳感器數據。
[0062]當包括顯示子系統816時，顯示子系統816可以用于呈現存儲設備子系統808所持有的數據的視覺表示。隨著上面所描述的方法和處理改變存儲設備子系統808所持有的數據，并因此轉換存儲設備子系統的狀態，顯示子系統816的狀態可以同樣地被轉換為視覺地表示底層數據的改變。顯示子系統816可以包括使用幾乎任何類型的技術的一個或多個顯示設備。可以將這些顯示設備與邏輯子系統804和/或存儲設備子系統808組合在共享的外殼(enclosure)中，或者這些顯示設備可以是外圍顯示設備。
[0063]當包括通信子系統820時，通信子系統820可以被配置為將計算系統800與一個或多個網絡和/或一個或多個其它計算設備進行通信耦合。通信子系統820可以包括與一種或多種不同的通信協議相兼容的有線和/或無線通信設備。舉一些非限制性例子，通信子系統820可以被配置為經由無線電話網絡、無線局域網、有線局域網、無線廣域網、有線廣域網等等進行通信。在一些實施例中，該通信子系統可以允許計算系統800經由諸如互聯網之類的網絡，向其它設備發送消息和/或從其它設備接收消息。
[0064]當包括輸入子系統822時，輸入子系統822可以包括一個或多個傳感器或者用戶輸入設備(比如，游戲控制器、手勢輸入檢測設備、語音識別器、慣性測量單元、鍵盤、鼠標或者觸摸屏)，或者與一個或多個傳感器或用戶輸入設備進行交互。在一些實施例中，輸入子系統822可以包括選定的自然用戶輸入(NUI)部件，或者與選定的NUI部件進行交互。這些部件可以是集成的或者外圍的，輸入動作的換能和/或處理可以是板上或者板外處理的。示例性NUI部件可以包括:用于語音和/或聲音識別的麥克風；用于機器視覺和/或手勢識別的紅夕卜、彩色、立體視覺和/或深度照相機；用于運動檢測和/或意圖識別的頭部跟蹤器、眼球跟蹤器、加速計和/或陀螺儀;以及用于評估大腦活動的電磁感應部件。
[0065]術語“模塊”可以用于描述視線跟蹤系統10的一個方面，其中該視線跟蹤系統10被實現為執行一個或多個特定功能。在一些情況下，可以經由邏輯子系統804執行存儲設備子系統808所持有的指令來實例化該模塊。應當理解的是，可以通過相同的應用、服務、代碼塊、對象、庫、例行程序、AP1、函數等等來實例化不同的模塊。同樣，可以通過不同的應用、月艮務、代碼塊、對象、庫、例行程序、AP1、函數等等來實例化相同的模塊。術語“模塊”意味著涵蓋個體的或者群組的可執行文件、數據文件、庫、驅動程序、腳本、數據庫記錄等等。
[0066]應當理解的是，本文所描述的配置和/或方法在本質上只是示例性的，由于眾多的變型是可能的，因此這些特定的實施例或者例子不應被認為具有限制性含義。本文所描述的特定例程或者方法可以表示任意數量的處理策略中的一種或多種。因此，所示出的各種動作可以按照所示出的順序、其它順序、并行地執行，或者在一些情況下進行省略。同樣，上面所描述的處理的順序也可以進行改變。
[0067]本公開的主題包括本文所公開的各種處理、系統和配置、以及其它特征、功能、動作和/或屬性的所有新穎性和非顯而易見組合與子組合，以及其任意和全部等同物。
【主權項】
1.一種用于確定用戶的眼睛的凝視位置的方法，所述方法包括: 沿著從光源到佩戴著眼鏡的所述用戶的所述眼睛的外向光路徑來照射光； 使用由圖像捕捉設備捕捉的圖像，檢測所述用戶佩戴著眼鏡； 在檢測到所述用戶佩戴著眼鏡時，以按照至少60Hz的速率在隨機偏振階段和單偏振階段之間反復切換的偏振模式，對所述光進行動態地偏振，其中，所述隨機偏振階段包括沿著位于所述光源和所述用戶的所述眼鏡之間的所述外向光路徑的所述光的第一偏振，以及沿著位于所述眼鏡和所述圖像捕捉設備之間的反射光路徑與所述第一偏振正交的第二偏振，所述單偏振階段具有沿著所述外向光路徑和所述反射光路徑中的一個或多個的單偏振；在所述隨機偏振階段期間，將從所述眼鏡反射的眩光過濾掉，否則所述眩光將遮蔽所述眼睛的瞳孔； 在所述隨機偏振階段期間，當所述眩光被過濾掉時，按照30Hz或者更高的速率來捕捉瞳孔圖像； 在所述單偏振階段期間，按照30Hz或者更高的速率來捕捉閃爍圖像；以及基于在所述瞳孔圖像中識別的瞳孔特性，以及在與所述瞳孔圖像的時間相近時捕捉的所述閃爍圖像中識別的閃爍特性，按照至少30Hz的速率來反復地檢測所述凝視位置。2.根據權利要求1所述的方法，其中，檢測所述用戶佩戴著眼鏡還包括:確定所述眩光中的一個或多個在所捕捉的圖像中位于所述用戶的所述眼睛附近。3.根據權利要求1所述的方法，其中，以偏振模式對所述光進行動態地偏振還包括:按照120Hz的速率，在所述隨機偏振階段和所述單偏振階段之間反復地切換。4.根據權利要求1所述的方法，其中，按照60Hz的速率來捕捉所述瞳孔圖像和所述閃爍圖像，按照60Hz的速率來反復地檢測所述凝視位置。5.根據權利要求1所述的方法，還包括: 檢測所述用戶沒有佩戴著眼鏡； 在檢測到所述用戶沒有佩戴著眼鏡時，避免以在所述隨機偏振階段和所述單偏振階段之間反復地切換的所述偏振模式對所述光進行動態地偏振;以及 按照30Hz或者更高的速率，在所述單偏振階段期間，捕捉所述瞳孔圖像和所述閃爍圖像。6.—種用于確定用戶的眼睛的凝視位置的視線跟蹤系統，所述視線跟蹤系統包括: 光源，用于沿著去往佩戴著眼鏡的所述用戶的所述眼睛的外向光路徑來照射光； 偏振濾波器，其被配置為對所述光進行動態地偏振； 圖像捕捉設備，其被配置為捕捉從所述用戶的所述眼睛和所述眼鏡反射和散射的所述光的圖像； 計算設備，操作性連接到至少所述光源和所述圖像捕捉設備； 由所述計算設備的處理器執行的動態偏振模塊，所述動態偏振模塊配置為: 使用由所述圖像捕捉設備捕捉的圖像，檢測所述用戶佩戴著眼鏡； 在檢測到所述用戶佩戴著眼鏡時，以按照至少60Hz的速率在隨機偏振階段和單偏振階段之間反復切換的偏振模式，對所述光進行動態地偏振，其中，所述隨機偏振階段包括沿著位于所述光源和所述用戶的所述眼鏡之間的所述外向光路徑的所述光的第一偏振，以及沿著位于所述眼鏡和所述圖像捕捉設備之間的反射光路徑與所述第一偏振正交的第二偏振，并且所述單偏振階段具有沿著所述外向光路徑和所述反射光路徑中的一個或多個的單偏振； 在所述隨機偏振階段期間，將從所述眼鏡反射的眩光過濾掉，否則所述眩光將遮蔽所述眼睛的瞳孔； 在所述隨機偏振階段期間，當所述眩光被過濾掉時，按照30Hz或者更高的速率，使用所述圖像捕捉設備來捕捉瞳孔圖像;并且 在所述單偏振階段期間，按照30Hz或者更高的速率，使用所述圖像捕捉設備來捕捉閃爍圖像；以及 視線跟蹤模塊，其配置為基于在所述瞳孔圖像中識別的瞳孔特性，以及在與所述瞳孔圖像的時間相近時捕捉的所述閃爍圖像中識別的閃爍特性，按照至少30Hz的速率來反復地檢測所述凝視位置。7.根據權利要求6所述的視線跟蹤系統，其中，所述單偏振階段的所述單偏振包括:在所述外向光路徑上應用所述第二偏振。8.根據權利要求6所述的視線跟蹤系統，其中，所述動態偏振模塊還被配置為:通過將可切換偏振濾波器在所述第一偏振和與所述第一偏振正交的所述第二偏振之間交替，對所述光進行動態地偏振。9.根據權利要求6所述的視線跟蹤系統，其中，所述光源是第一光源，所述單偏振階段具有沿著所述反射光路徑的所述單偏振，所述視線跟蹤系統還包括第二光源，所述第二光源向佩戴著眼鏡的所述用戶的所述眼睛發出未偏振的光，其中所述未偏振的光用于捕捉所述閃爍圖像。10.根據權利要求6所述的視線跟蹤系統，其中，所述圖像捕捉設備是捕捉所述瞳孔圖像的第一圖像捕捉設備，所述動態偏振模塊還配置為使用第二圖像捕捉設備來捕捉所述閃爍圖像。
【文檔編號】G06K9/00GK106062776SQ201580010906
【公開日】2016年10月26日
【申請日】2015年2月23日
【發明人】V·圖克拉爾, S·辛哈, V·普拉迪普, T·A·拉奇, N·S·克亞姆, D·尼斯特
【申請人】微軟技術許可有限責任公司