凝視檢測設備及方法
【專利說明】凝視檢測設備及方法
[0001]相關申請的交叉引用
[0002]本申請基于并且要求于2013年11月15日在韓國知識產權局提交的韓國專利申請第10-號的優先權，通過引用將其全部內容結合在此。
技術領域
[0003]本公開內容涉及一種從圖像檢測用戶凝視的凝視檢測設備及方法。
【背景技術】
[0004]隨著電子技術的發展，各種電子器件的應用逐漸增加并且已經積極進行有關人機交互(HCI)的研究。具體地，最近開始使用諸如語音識別和運動識別的各種HCI技術。除這些技術之外，因為使用用戶瞳孔移動的HCI提供便利性和高輸入速率，所以也開發了分析心理狀態或者跟蹤用戶凝視以操作電子設備的操作電子設備技術。

【發明內容】

[0005]本公開內容提供一種即使在凝視檢測過程中沒有檢測到所需特征點，也可靠性改進地檢測用戶的凝視的凝視檢測設備和方法。
[0006]就本公開內容的一方面而言，凝視檢測設備可包括:存儲單元(例如，內存)，存儲單元被配置為存儲參考凝視、第一參考矢量以及第二參考矢量；成像裝置(例如，照相機、攝影機等)，被配置為捕獲用戶的眼睛的圖像；中心點檢測單元，被配置為從捕獲圖像檢測瞳孔和眼球的大致中心點；矢量生成單元，被配置為當檢測到三個中心點時，產生針對一個眼球的凝視矢量和三個大致中心點在其中形成的平面的法向矢量；計算單元，被配置為通過將凝視矢量和法向矢量與第一參考矢量和第二參考矢量進行分別比較來計算第一旋轉角和第二旋轉角，并且計算第一旋轉角和第二旋轉角的平均值；以及凝視檢測單元，被配置為通過將參考凝視旋轉了平均值一樣多，檢測用戶的凝視。多個單元和成像裝置可由控制器操作。
[0007]存儲單元可被配置為存儲分別用于左眼和右眼的第一參考矢量，并且計算單元可被配置為通過將用于一個眼球的凝視矢量與左眼和右眼中任一個的第一參考矢量進行比較來計算第一旋轉角。計算單元可被配置為使用基于歐拉角的算法計算第一旋轉角和第二旋轉角。
[0008]就本公開內容的另一方面而言，凝視檢測方法可包括:通過執行凝視校準來檢測參考凝視、第一參考矢量以及第二參考矢量；從包括用戶的眼睛的圖像檢測瞳孔和眼球的大致中心點；當檢測到三個中心點時，使用這三個中心點產生三個大致中心點形成在其中的平面的法向矢量和用于一個眼球的凝視矢量；通過將凝視矢量和法向矢量分別與第一參考矢量和第二參考矢量進行比較來計算第一旋轉角和第二旋轉角；計算第一旋轉角和第二旋轉角的平均值；以及通過將用戶的凝視旋轉平均值一樣多來檢測用戶的凝視。
[0009]在檢測第一參考矢量時，可以檢測用于左眼和右眼的第一參考矢量，并且在計算第一旋轉角時，可通過將用于一個眼球的凝視矢量與左眼和右眼中任一個的第一參考矢量進行比較來計算第一旋轉角。在計算第一旋轉角和第二旋轉角時，可以使用基于歐拉角的算法。
【附圖說明】
[0010]從下面結合附圖進行的細節描述中，本公開內容的上述和其他目標、特征以及優點將變得更為顯而易見，其中:
[0011]圖1是示出了根據本公開內容的示例性實施方式的凝視檢測設備的配置的示例圖；
[0012]圖2是描述根據本公開內容的示例性實施方式的凝視矢量生成過程的示例圖；
[0013]圖3A至圖3B是描述根據本公開內容的示例性實施方式的凝視矢量和法向矢量生成過程的示例圖；
[0014]圖4A至圖4B是描述根據本公開內容的示例性實施方式的參考矢量的示例圖；
[0015]圖5是描述根據本公開內容的示例性實施方式的旋轉角計算過程的示例圖；以及
[0016]圖6是描述根據本公開內容的示例性實施方式的凝視檢測方法的示例流程圖。
【具體實施方式】
[0017]應當理解的是，在此使用的術語“車輛”或者“車輛的”或者其他類似術語通常包括機動車輛，諸如包括運動型多用途車(SUV)的客車、公共汽車、卡車、各種商用車輛、包括各種船舶的船只、飛機等等，并且包括混合動力車輛、電動車輛、內燃機式車輛、插電式混合動力車輛、氫動力車輛以及其他可替代燃料車輛(例如，源自不同于石油的資源的燃料)。
[0018]盡管示例性實施方式被描述為使用多個單元執行示例性過程，然而，應當理解的是，示例性過程還可由一個或者多個模塊執行。此外，應當理解的是，術語“控制器/控制單元”指包括內存和處理器的硬件設備。內存被配置為存儲模塊并且處理器被具體配置為執行所述模塊以執行下面進一步所描述的一個或者多個過程。
[0019]而且，本發明的控制邏輯可包括非易失性計算機可讀介質，在計算機可讀介質上包含由處理器、控制器/控制單元執行的可執行程序指令。計算機可讀介質的實施例包括但并不限于:R0M、RAM、光盤(CD)-ROM、磁帶、軟盤、閃存驅動、智能卡和光學數據存儲設備。計算機可讀記錄介質也可分布在網絡耦合的計算機系統中，從而以分布式方式存儲并且例如由車載通信服務器(telematics server)或控制器局域網絡(CAN)執行該計算機可讀介質。
[0020]本文中所使用的術語僅是為了描述【具體實施方式】而并不旨在限制對本發明。除非上下文另有明確指示，否則，如本文中所使用的，單數形式“一(a)”、“一(an)”及“該”也旨在包括復數形式。應當進一步理解的是，當本說明書中使用術語“包括(comprises)”和/或“包括(comprising) ”時,指定存在所述特征、整數、步驟、操作、元件及/或組件,但并不排除存在或添加一個或多個其它特征、整數、步驟、操作、元件、組件及/或其組合。如本文中使用的，術語“和/或”包括一個或多個關聯列出項的任何及所有組合。
[0021]在下文中，將參考附圖詳細描述本公開內容的示例性實施方式。圖1是示出了根據本公開內容的示例性實施方式的凝視檢測設備的配置的示例圖。參考圖1，凝視檢測設備100可包括由具有處理器和內存的控制器所執行的多個單元。多個單元可包括成像裝置110 (例如，照相機、攝影機等)、中心點檢測單元120、矢量生成單元130、存儲單元140 (例如，內存)、計算單元150、以及凝視檢測單元160。
[0022]成像裝置110可被配置為捕獲用戶的眼睛的圖像。換言之，成像裝置110可被配置為通過捕獲用戶的面部區域而獲得包括用戶的眼睛的圖像。因此，成像裝置110可被實施為紅外照相機。
[0023]中心點檢測單元120可被配置為從成像裝置110捕獲的圖像檢測瞳孔和眼球的大致中心點。中心點檢測單元120可被配置為通過處理捕獲圖像來檢測瞳孔和眼球的大致中心點。由中心點檢測單元120捕獲的圖像可用于檢測眼睛區域并且檢測眼睛區域內瞳孔的大致中心點。此外，中心點檢測單元120可被配置為通過檢測光從眼球反射的部分而檢測眼球的大致中心點。
[0024]此外，可檢測到的瞳孔和眼球的大致中心點高達四個。即，當檢測左眼和右眼的瞳孔和眼球的中心點時,可檢測到四個中心點。在四個中心點之一沒有被檢測到的情況下,檢測全部四個中心點以檢測凝視的現有凝視檢測方法可能未檢測到凝視。然而，在檢測到四個中心點時以及即使在檢測到三個中心點時，根據本公開內容的示例性實施方式的凝視檢測設備100也可檢測到用戶的凝視。當凝視檢測設備100檢測到全部四個中心點時，通過現有凝視方法可檢測到用戶的凝視，并且當檢測到三個中心點時，通過下面所描述的方法可檢測到用戶的凝視。
[0025]矢量生成單元130可被配置為在檢測到三個中心點時，使用這三個中心點產生兩個矢量。矢量生成單元130可被配置為針對檢測到其中瞳孔和眼球的中心點的眼球，使用瞳孔的中心點和眼球的中心點產生凝視矢量。此外,矢量生成單元130可被配置為產生三個中心點形成在其中的平面的法向矢量。將參考圖2和圖3A至圖3B詳細描述凝視矢量和法向矢量生成方法。
[0026]圖2是用于描述根據本發明的示例性實施方式的凝視矢量生成過程的示例圖。參考圖2，示出了中心點檢測單元120檢測到的瞳孔的中心點和眼球的中心點。當中心點檢測單元120檢測到三個中心點時，可以檢測針對左眼和右眼中任一個的瞳孔的中心點和眼球的中心點。矢量生成單元130可被配置為針對檢測到其中瞳孔的中心點和眼球的中心點的眼球,產生從眼球的中心點朝向瞳孔的中心點的凝視矢量,如圖2中所示。
[0027]圖3A至圖3B是描述根據本公開內容的示例性實施方式的凝視矢量和法向矢量生成過程的示例圖。圖3A是示意性地示出了通過俯視圖表示的用戶的左眼(L)和右眼(R)的示例圖。圖3A示出了這樣一種實施例，S卩，在三個中心點之中，可以檢測到針對用戶右眼的瞳孔的中心點和眼球的中心點，并且可以檢測到針對用戶左眼的瞳孔的中心點。
[0028]對于檢測到其中的瞳孔的中心點和眼球的中心點的右眼，矢量生成單元130可被配置為通過參考圖2所描述的方法產生凝視矢量G。此外，矢量生成單元130可被配置為使用檢測到的三個中心點形成一個平面P并且使用形成平面P生成法向矢量。圖3B示出了對應于由三個中心點形成的平面的示例性法向矢量N。
[0029]存儲單元140可被配置為存儲參考凝視、第一參考矢量以及第二參考矢量。凝視檢測設備100可被配置為在使用三個中心點檢測凝視之前執行凝視校準。此外，在凝視校準過程中可以檢測參考凝視和第一參考矢量并將其存儲在存儲單元140中。參考凝視可以是在凝視校準過程中使用四個中心點檢測到的用戶的凝視。第一參考矢量可以是在凝視校準過程中產生的凝視矢量。換言之，矢量生成單元130可被配置為使用在凝視校準過程中檢測到的中心點產生第一參考矢量。具體地，矢量生成單元130可被配置為針對左眼和右眼中的每一個產生第一參考矢量。此外，第二參考矢量可以是向下方向的矢量，即，地面方向。將參考圖4A至圖4B詳細描述第一參考矢量和第二參考矢量。
[0030]圖4A至圖4B是描述根據本發明的示例性實施方式的參考矢量的示例圖。圖4A是示意性地示出了可由俯視圖表示的第一參考矢量和第二參考矢量的示例圖，并且圖4B是示意性地示出了可由側視圖表示的第一參考矢量和第二參考矢量的示例圖。