頭戴式顯示器及其控制方法
【專利摘要】一種用于控制頭戴式顯示器(HMD)的方法，包括：檢測外部設備；將增強現實圖像顯示為第一模式；當在第一模式中檢測用戶對增強現實圖像的凝視時將第一模式變成第二模式；以及當在第二模式中對準增強現實圖像和外部設備時執行與增強現實圖像相對應的功能。第一模式是其中增強現實圖像的顯示位置取決于外部設備的位置的模式，以及第二模式是其中即使當外部設備的位置被改變時增強現實圖像的顯示位置保持固定的模式。
【專利說明】
頭戴式顯示器及其控制方法
技術領域
[0001]本說明書涉及一種頭戴式顯示器(HMD)，并且更加具體地，涉及一種用于顯示增強現實圖像的HMD及其控制方法。
【背景技術】
[0002]增強現實服務使用戶能夠觀看真實圖像和增強現實圖像以向用戶提供真實信息和虛擬信息。最近，隨著技術已經被發展，頭戴式顯示器(HMD)已經被用作用于提供增強現實服務的設備。

【發明內容】

[0003]技術問題
[0004]當使用HMD提供增強現實服務時，存在對于用于執行與增強現實圖像相對應的功能的更加方便的輸入方法。
[0005]技術解決方案
[0006]因此，本說明書是針對一種頭戴式顯示器(HMD)及其控制方法，其在實質上避免由于現有技術的限制和缺點造成的一個或者多個問題。
[0007]本說明書的目的是為了提供HMD及其控制方法，該HMD用于根據在外部設備與增強現實圖像之間的對準或者在外部設備上顯示的內容圖像和增強現實圖像之間的對準來執行與增強現實圖像相對應的功能。
[0008]本說明書的附加的優點、目的和特征將在隨后的描述中被部分地闡述，并且對于本領域普通技術人員在考察了下文之后將部分地變得明顯，或者可以從本發明的實踐中學至IJ。本說明書的目的和其他優點可以通過在撰寫的說明書及其權利要求以及附圖中具體指出的結構來實現和獲得。
[0009]為了實現這些和其他優點并且根據本發明的用途，如在此具體化和廣泛地描述的，頭戴式顯示器(HMD)包括:相機單元，該相機單元被配置成檢測外部設備；顯示單元，該顯示單元被配置成顯示增強現實圖像;凝視檢測單元，該凝視檢測單元被配置成檢測用戶的凝視；以及處理器，該處理器被配置成控制相機單元、顯示單元以及凝視檢測單元，其中該處理器進一步被配置成檢測外部設備，將增強現實圖像顯示為第一模式，其中第一模式是其中增強現實圖像的顯示位置取決于外部設備的位置的模式；當在第一模式中檢測用戶對增強現實圖像的凝視時將第一模式變成第二模式，其中第二模式是其中即使當外部設備的位置被改變時增強現實圖像的顯示位置保持固定的模式，以及當在第二模式中對準增強現實圖像和外部設備時執行與增強現實圖像相對應的功能。
[0010]在本說明書的另一方面中，一種用于控制頭戴式顯示器(HMD)的方法，包括:檢測外部設備;將增強現實圖像顯示為第一模式，其中第一模式是其中增強現實圖像的顯示位置取決于外部設備的位置的模式；當在第一模式中檢測用戶對增強現實圖像的凝視時將第一模式變成第二模式，其中第二模式是其中即使當外部設備的位置被改變時增強現實圖像的顯示位置保持固定的模式；以及當在第二模式中對準增強現實圖像和外部設備時執行與增強現實圖像相對應的功能。
[0011]要理解的是，本說明書的一般描述和下面的詳細描述這兩者都是示例性和解釋性的，并且意在提供對所要求保護的本發明的進一步解釋。
[0012]發明的有益效果
[0013]根據本說明書，取決于是否增強現實圖像取決于外部設備的位置，HMD可以將增強現實圖像顯示為兩種模式，即，第一模式或者第二模式。
[0014]根據本說明書，HMD可以根據用戶對增強現實圖像的凝視將第一模式變成第二模式或者將第二模式變成第一模式。
[0015]根據本說明書，當外部設備和增強現實圖像被對準時或者當外部設備的內容圖像和增強現實圖像被對準時，與增強現實圖像相對應的功能可以被執行。因此，HMD可以使用更加方便的輸入方法來執行與增強現實圖像相對應的功能，從而向用戶提供用戶友好的增強現實服務。
【附圖說明】
[0016]附圖被包括以提供說明書的進一步理解并且被并入且組成本說明書的一部分，圖示說明書的實施例并且連同描述一起用作解釋本說明書的原理。在附圖中:
[0017]圖1示出根據本說明書的一個實施例的用于在頭戴式顯示器(HMD)處檢測外部設備和用戶的凝視以及顯示增強現實圖像的方法的圖；
[0018]圖2是示出根據本說明書的一個實施例的在HMD處將增強現實圖像顯示為第一模式或者第二模式的方法的圖；
[0019]圖3是示出根據本說明書的一個實施例的用于在HMD處根據在增強現實圖像和外部設備之間的對準來執行與增強現實圖像相對應的功能的方法的圖；
[0020]圖4a和圖4b是示出根據本說明書的另一實施例的在HMD處根據在增強現實圖像和外部設備之間的對準來執行與增強現實圖像相對應的功能的方法的圖；
[0021]圖5是示出根據本說明書的一個實施例的用于在HMD處提供與增強現實圖像相對應的功能的執行屏幕的方法的圖；
[0022]圖6是示出根據本說明書的一個實施例的用于在HMD處當與增強現實圖像相對應的功能被終止時顯示增強現實圖像的方法的圖；
[0023]圖7是示出根據本說明書的一個實施例的用于在HMD處顯示凝視保持區域的方法的圖；
[0024]圖8是示出根據本說明書的一個實施例的HMD的配置的框圖；以及
[0025]圖9是圖示根據本說明書的一個實施例的用于控制HMD的方法的流程圖。
【具體實施方式】
[0026]在下文中，將會參考附圖詳細地描述實施例。然而，本說明書不限于在此描述的實施例。
[0027]雖然從通常已知和使用的術語中選擇在本說明書中使用的術語，但是取決于技術中操作者的意圖或者習俗、新技術的出現等等可以變化在此使用的術語。另外，在本說明書的描述中提及的一些術語已經由本
【申請人】以他的或者她的判斷選擇，其詳細的含義在此處在本說明書的相關部分中描述。此外，所要求的是，不只是通過實際使用的術語，而是通過落入其內的每個術語的含義來理解本發明。
[0028]在本說明書中，頭戴式顯示器(HMD)可以意指被佩戴在用戶的身體上以顯示可視信息的可佩戴設備。例如，HMD可以是被佩戴在用戶的頭上以顯示增強現實圖像的可佩戴設備。另外，在本說明書中，增強現實圖像是虛擬圖像并且可以包括圖形圖像、文本、符號以及表情符號。
[0029]圖1是示出根據本說明書的一個實施例的在頭戴式顯示器(HMD)處檢測外部設備和用戶的凝視并且顯示增強現實圖像的方法的圖。
[0030]更加具體地，圖1的上側示出用于使用相機單元110在HMD 100處檢測外部設備200的方法，并且圖1的下側示出用于使用顯示單元在HMD 100處顯示增強現實圖像10并且使用凝視檢測單元來檢測用戶的凝視20的方法。
[0031]如在圖1的上側中所示，HMD100可以使用相機單元110檢測外部設備200。另外，HMD 100可以使用相機單元110來檢測外部設備200的位置變化。更加具體地，HMD 100可以從通過相機單元110捕獲的圖像來檢測外部設備200和外部設備200的位置變化。外部設備200是用于顯示至少一個內容圖像的顯示設備。
[0032]如在圖1的下側中所示，HMD 100可以使用顯示單元來顯示增強現實圖像10。如果顯示單元是由光學透視式顯示面板組成，則HMD 100可以經由透視式顯示面板在由用戶看到的真實世界的外部設備200的外圍上顯示增強現實圖像10。
[0033]這時，HMD 100可以顯示與外部設備200相對應的增強現實圖像10。例如，HMD 100可以顯示與外部設備200的顯示功能相對應的增強現實圖像10。即，HMD 100可以顯示與外部設備200的運動圖像回放按鈕相對應的增強現實圖像1。另外，HMD 100可以顯示與HMD100相對應的增強現實圖像10。例如，HMD 100可以顯示與HMD 100的電話功能或者消息傳輸功能相對應的增強現實圖像10。上述實施例僅是增強現實圖像10的示例并且通過實施例沒有限制本說明書的HMD 100
[0034]如在圖1的下側中所示，HMD100可以使用凝視檢測單元來檢測用戶的凝視20。例如，HMD 100可以使用凝視檢測單元檢測用戶到增強現實圖像10的凝視20。另外，HMD 100可以使用凝視檢測單元檢測用戶的凝視20的位置變化。
[0035]圖2是示出根據本發明的一個實施例的用于在HMD處將增強現實圖像顯示為第一模式或者第二模式的方法的圖。
[0036]如在圖2的上側中所示，HMD可以將增強現實圖像10顯示為第一模式。第一模式可以意指其中增強現實圖像10的顯示位置取決于外部設備200的位置的模式。即，在第一模式中，當外部設備200的位置被改變時，基于被改變的外部設備200的位置來改變增強現實圖像10的顯示位置。例如，如在圖2的上側中所示，當外部設備200的位置從左向右改變時，基于被改變的外部設備200的位置，HMD可以將被顯示為第一模式的增強現實圖像10的位置從左變成右。因此，HMD可以給用戶提供與外部設備200捆綁并且與外部設備200—起移動的增強現實圖像20。
[0037]如在圖2的下側中所示，HMD可以將增強現實圖像10顯示為第二模式。第二模式可以意指其中即使當外部設備200的位置被改變時增強現實圖像10的顯示位置保持固定的模式。例如，如在圖2的下側中所示，即使當外部設備200的位置從左向右改變時，HMD可以固定增強現實圖像10的顯示位置。HMD可以給用戶提供與外部設備200獨立的增強現實圖像10。SP，HMD可以給用戶提供沒有與外部設備100捆綁的增強現實圖像10。
[0038]這時，HMD可以在HMD的顯示區域中固定被顯示為第二模式的增強現實圖像。即，HMD可以在HMD的顯示區域的特定位置(例如，顯示單元的特定坐標)處固定被顯示為第二模式的增強現實圖像10。在這樣的情況下，即使當HMD的位置被改變時，佩戴HMD的用戶能夠在HMD的顯示區域的特定位置處連續地觀看增強現實圖像20。另外，HMD可以在HMD的外圍空間中固定被顯示為第二模式的增強現實圖像10。即，HMD可以在HMD的外圍空間的特定位置(例如，空間的特定坐標)處固定被顯示為第二模式的增強現實圖像10。在這樣的情況下，當HMD的位置被改變同時觀看增強現實圖像20時佩戴HMD的用戶不可以連續地觀看增強現實圖像10，但是當HMD被返回到最初位置時可以再次觀看增強現實圖像10。
[0039]圖3是示出根據本說明書的一個實施例的用于在HMD處根據增強現實圖像和外部設備之間的對準來執行與增強現實圖像相對應的功能的方法的圖。
[0040]如在圖3的左上側中所示，HMD可以將增強現實圖像10顯示為第一模式。例如，如所示的，HMD可以將在外部設備200的上端的外圍上的增強現實圖像10顯示為第一模式。當外部設備200被檢測時，HMD可以將增強現實圖像10顯示為第一模式。另外，當用戶對外部設備200的凝視被檢測時，HMD可以將增強現實圖像10顯示為第一模式。
[0041]如在圖3的右上側中所示，當在第一模式中檢測到用戶對增強現實圖像10的凝視20時，HMD可以將第一模式變成第二模式。更加具體地，當在第一模式中檢測到用戶對增強現實圖像10的第一凝視區域的第一凝視時，HMD可以將第一模式變成第二模式。在此，第一凝視區域可以等于增強現實圖像10的顯示區域。另外，第一凝視區域可以大于增強現實圖像10的顯示區域。例如，第一凝視區域可以包括增強現實圖像10的顯示區域。
[0042]另外，當在第一模式中檢測到用戶對增強現實圖像10的第一凝視區域的第一凝視時，當第一凝視被保持時HMD可以獲取第一凝視保持時段。如果第一凝視保持時段等于或者大于第一時間段，HMD可以將第一模式變成第二模式。如果第一凝視保持時段小于第一時間段，則HMD可以保持第一模式。因此，當用戶瞥一眼增強現實圖像10時，HMD不可以改變模式。在此，可以通過用戶設置第一時間段，或者在HMD的制造時可以設置第一時間段。
[0043]另外，當在第二模式中檢測到用戶對第一凝視區域的外部區域的第二凝視時，當第二凝視被保持時HMD可以獲取第二凝視保持時段。如果第二凝視保持時段等于或者大于第二時間段，HMD可以將第二模式再次變成第一模式。如果第二凝視保持時段小于第二時間段，則HMD可以保留第二模式。因此，當用戶的凝視偏離增強現實圖像10時，HMD可以提供取決于外部設備的增強現實圖像10。在此，可以通過用戶設置第二時間段，或者在HMD的制造時可以設置第二時間段。
[0044]在此，第一凝視保持時段和第二凝視保持時段可以是不同的。第一凝視保持時段可以大于第二凝視保持時段。
[0045]如在圖3的右下側中所示，HMD可以在第二模式中檢測在增強現實圖像10和外部設備200之間的對準。更加具體地，HMD可以在第二模式中檢測外部設備100的位置變化并且根據外部設備200的位置變化來檢測在增強現實圖像10和外部設備200之間的對準。這時，HMD可以從通過相機單元捕獲的圖像來檢測外部設備200的位置變化。
[0046]在增強現實圖像10和外部設備200之間的對準可以是滿足預先確定的條件的實質對準。例如，當增強現實圖像10的顯示區域的大約90%重疊外部設備200的區域時，HMD可以檢測在增強現實圖像10和外部設備200之間的對準。
[0047]另外，當在第二模式中對準增強現實圖像10和外部設備時，HMD可以執行與增強現實圖像10相對應的功能。與增強現實圖像10相對應的功能可以意指與HMD或者外部設備相關聯的各種功能。例如，如果增強現實圖像10對應于HMD的消息傳輸功能，則當在第二模式中對準增強現實圖像10和外部設備200時HMD可以執行消息傳輸功能。
[0048]另外，當在第二模式中對準增強現實圖像10、外部設備200和用戶對增強現實圖像的凝視20時，HMD可以執行與增強現實圖像10相對應的功能。即，如果用戶的凝視20被進一步對準時，則HMD可以執行與增強現實圖像1相對應的功能。
[0049]另外，當在第二模式中在預先確定的時間期間增強現實圖像10和外部設備200被對準時，HMD可以執行與增強現實圖像10相對應的功能。HMD能夠防止與增強現實圖像10相對應的功能被執行，不論用戶意圖如何。
[0050]如在圖3的左下側中所示，當與增強現實圖像10相對應的功能被執行時，HMD可以顯示用于提供功能的執行屏幕的增強現實圖像30。例如，如果增強現實圖像10對應于HMD的圖像傳輸功能，則HMD可以顯示用于提供消息傳輸屏幕的執行增強現實圖像30。這時，執行增強現實圖像30的顯示位置可以取決于增強現實圖像10的顯示位置。即，當增強現實圖像10的顯示位置被改變時，HMD可以基于被改變的增強現實圖像10的位置來改變執行增強現實圖像30的顯示位置。
[0051 ]圖4a和圖4b是示出根據本發明的另一實施例的用于在HMD處根據增強現實圖像和外部設備之間的對準來執行與增強現實圖像相對應的功能的方法的圖。
[0052]更加具體地，圖4a和圖4b示出用于當對準外部設備200上顯示的內容圖像和增強現實圖像1時在HMD處執行與增強現實圖像1相對應的功能的方法。
[0053]如在圖4a和圖4b的左上側中所示，HMD可以將增強現實圖像10顯示為第一模式。例如，如在圖4a中所示，當外部設備200被檢測時，HMD可以在外部設備200的上端的外圍上顯示增強現實圖像10。在此，如在圖4b中所示，增強現實圖像20可以對應于選擇功能。
[0054]這時，外部設備200可以顯示至少一個內容圖像。例如，如在圖4a中所示，外部設備200可以顯示第一內容圖像210和第二內容圖像220。在此，內容圖像可以包括視頻內容圖像、照片內容圖像以及音頻內容圖像。例如，如在圖4 b中所示，第一內容圖像210可以是視頻內容圖像并且第二內容圖像220可以是照片內容圖像。內容圖像不限于上述實施例。
[0055]如在圖4a和圖4b的右上側中所示，當在第一模式中檢測到用戶對增強現實圖像10的凝視20時，HMD可以將第一模式變成第二模式。這等于參考圖3的右上側描述的并且因此其描述將會被省略。
[0056]如在圖4a和圖4b的右下端中所示，HMD可以在第二模式中檢測在增強現實圖像10和外部設備200上顯示的至少一個內容圖像中的任意一個之間的對準。例如，如所示的，當第一內容圖像210和第二內容圖像220被顯示在外部設備200上時，HMD可以檢測在增強現實圖像10與第一內容圖像210和第二內容圖像220中的任意一個之間的對準。
[0057]這時，在增強現實圖像10和外部設備200(在下文中，被稱為內容圖像)上顯示的內容圖像之間的對準可以是滿足預先確定的條件的實質對準。例如，當增強現實圖像10的顯示區域的大約90%重疊內容圖像的顯示區域時，HMD可以檢測在增強現實圖像10和內容圖像之間的對準。
[0058]當在增強現實圖像10和內容圖像之間的對準被檢測時，HMD可以執行與增強現實圖像10相對應的功能。例如，如在圖4a中所示，當增強現實圖像10和第一內容圖像210之間的對準被檢測時，HMD可以執行與增強現實圖像10相對應的功能。即，如在圖4b中所示，當在增強現實圖像10和第一內容圖像210之間的對準被檢測時，HMD可以執行與增強現實圖像10相對應的選擇功能。
[0059]如在圖4a和圖4b的左下側中所示，當與增強現實圖像1相對應的功能被執行時，HMD可以顯示用于提供功能的執行屏幕的增強現實圖像30。這時，HMD可以顯示用于提供與對準的內容圖像相關聯的功能的執行屏幕的執行增強現實圖像30。例如，如在圖4b中所示，如果增強現實圖像10對應于選擇功能并且第一內容圖像210是視頻內容圖像，則HMD可以顯示用于提供用于選擇和回放視頻內容的執行屏幕的執行增強現實圖像30。作為另一示例，如果增強現實圖像10對應于HMD的消息傳輸功能并且第一內容圖像210是照片內容圖像，則HMD可以顯示用于提供與照片內容圖像附接的消息傳輸屏幕的執行增強現實圖像30。這時，執行增強現實圖像30的顯示位置可以取決于增強現實圖像10的顯示位置。即，即使當外部設備200的位置被改變時，執行增強現實圖像30的顯示位置可以保持固定。
[0060]圖5是示出根據本說明書的一個實施例的用于提供與增強現實圖像相對應的功能的執行屏幕的方法的圖。
[0061 ]更加具體地，圖5示出用于根據設置來在HMD處提供與增強現實圖像10相對應的功能的執行屏幕作為執行增強現實圖像30或者作為外部設備200上顯示的執行圖像40的方法。
[0062]如在圖5的左邊所示，當在第二模式中檢測到增強現實圖像10和外部設備200之間的對準時，HMD可以執行與增強現實圖像10相對應的功能。這等于在圖3的右下側中描述的內容并且因此其詳細描述將會被省略。
[0063]如在圖5的右上側中所示，當與增強現實圖像10相對應的功能被執行時，HMD可以顯示用于提供功能的執行屏幕的執行增強現實圖像30。這等于在圖3的左下側中描述的內容并且因此其詳細描述將會被省略。
[0064]如在圖5的右上側中所示，當與增強現實圖像1相對應的功能被執行時，HMD可以控制外部設備200以在顯示單元上顯示功能的執行圖像。
[0065]更加具體地，當與增強現實圖像10相對應的功能被執行時，HMD可以使用通信單元將用于控制外部設備200以顯示功能的執行圖像40的控制信息發送到外部設備200。另外，外部設備200可以使用控制信息在外部設備200的顯示單元上顯示與增強現實圖像10相對應的功能的執行圖像40。
[0066]另外，當執行圖像40被顯示在外部設備200上時，HMD可以終止增強現實圖像的顯不O
[0067]圖6是示出根據本說明書的一個實施例的用于當與增強現實圖像相對應的功能被終止時顯示增強現實圖像的方法的圖。
[0068]更加具體地，圖6的上側示出用于當執行增強現實圖像30被顯示時根據功能執行結束在HMD處顯示增強現實圖像10的方法，并且圖6的下側示出用于當執行圖像40被顯示在外部設備200上時根據功能執行結束在HMD處顯示增強現實圖像10的方法。
[0069]如在圖6的左上側中所示，當執行增強現實圖像30被顯示時，當與增強現實圖像10相對應的功能的執行被終止時HMD可以終止增強現實圖像10的顯示。
[0070]如在圖6的右上側中所示，當執行增強現實圖像30的顯示被終止時，HMD可以將第二模式再次變成第一模式。
[0071]如在圖6的左下側中所示，如果執行圖像40被顯示在外部設備200上時，當與增強現實圖像10相對應的功能的執行被終止時HMD可以終止外部設備200上顯示的執行圖像40的顯示。更加具體地，當功能的執行被終止時，HMD可以使用通信單元將用于終止外部設備200上顯示的執行圖像40的顯示的控制信息發送到外部設備200。
[0072]如在圖6的左下側中所示，當在外部設備上的執行圖像40的顯示被終止時，HMD可以將增強現實圖像10再次顯示為第一模式。
[0073]圖7是示出根據本說明書的一個實施例的用于在HMD處顯示凝視保持區域的方法的圖。
[0074]如在圖7的左上側中所示，當在第一模式中檢測到用戶對增強現實圖像10的第一凝視區域的凝視20時，HMD可以將第一模式變成第二模式。第一凝視區域可以等于增強現實圖像10的顯示區域。這等于在圖3的右上側中描述的內容并且因此其詳細描述將會被省略。
[0075]如在圖7的右上側中所示，當模式變成第二模式時HMD可以顯示增強現實圖像10的第二凝視區域50。在此，第二凝視區域50可以意指其中第二模式被保持的凝視保持區域。
[0076]S卩，如在圖7的右下側中所示，當在第二模式中檢測到用戶對第二凝視區域50的凝視20時，HMD可以保留第二模式。第二凝視區域50可以比第一凝視區域更寬。例如，第二凝視區域50可以包括第一凝視區域。
[0077]如在圖7的左下側中所示，當在第二模式中檢測到用戶對第二凝視區域50的外部區域的凝視20時，HMD可以將第二模式再次變成第一模式。當第二模式再次變成第一模式時，HMD可以終止增強現實圖像10的第二凝視區域50的顯示。
[0078]圖8是示出根據本說明書的一個實施例的HMD的配置的框圖。在圖8中，將會省略與在圖1至圖7中示出的HMD 800的部件相似或者相等的部件的詳細描述。
[0079]下面描述的處理器850的操作對應于參考附圖在上面描述的HMD800的操作。即，在本說明書中，處理器850被描述為等同于HMD。
[0080]參考圖8，HMD 800可以包括相機單元810、凝視檢測單元830、通信單元840以及處理器850。在此，通彳目單兀840是可選的。
[0081]相機單元810可以在視角內捕獲圖像。在本說明書中，相機單元810可以檢測外部設備。更加具體地，相機單元810可以捕獲位于麗0800的前方向中的圖像并且將捕獲到的圖像遞送給處理器850。這時，捕獲到的圖像可以包括外部設備的圖像。處理器850可以從捕獲到的圖像檢測外部設備。
[0082]顯示單元820可以顯示圖像。在本說明書中，顯示單元820可以顯示增強現實圖像。在本說明書中，增強現實圖像可以是與外部設備或者HMD相關聯的虛擬圖像。
[0083]凝視檢測單元830可以檢測用戶的凝視。更加具體地，凝視檢測單元830可以檢測用戶的凝視并且將檢測到的結果遞送給處理器850。另外，凝視檢測單元830可以檢測用戶的凝視變化。這時，凝視檢測單元830可以是被提供在HMD 800的后表面上以捕獲凝視圖像的后相機單元810。這僅是凝視檢測單元830的示例并且本說明書的HMD 800不限于實施例。
[0084]通信單元840可以與外部設備進行通信。在本說明書中，通信單元840可以將HMD800與外部設備配對。配對意指在HMD 800和外部設備之間的有線/無線連接。用于通過有線或者無線連接HMD 800和外部設備的方法沒有被限制。
[0085]在本說明書中，通信單元840可以將用于在外部設備上顯示執行圖像或者用于終止執行圖像的顯示的控制信息發送到外部設備。
[0086]處理器850可以控制HMD 800中包括的至少一個單元。更加具體地，處理器850可以控制上述單元以及控制單元之間的數據傳輸和/或接收。
[0087]在本說明書中，處理器850可以檢測外部設備，如參考圖1所描述的。處理器850可以使用相機單元810檢測外部設備。另外，處理器850可以使用相機單元810檢測外部設備的位置變化。更加具體地，處理器850可以從通過相機單元810捕獲的圖像來檢測外部設備和外部設備的位置變化。
[0088]處理器850可以將增強現實圖像顯示為如參考圖2描述的第一模式或者第二模式。在第一模式中，增強現實圖像的顯示位置可以取決于外部設備的位置。即，第一模式可以意指下述模式，其中當外部設備的位置被改變時，增強現實圖像的顯示位置基于被改變的外部設備的位置而改變。第二模式可以意指下述模式，其中，即使當外部設備的位置被改變時，增強現實圖像的顯示位置保持固定。這時，在第二模式中，處理器850可以在HMD 800的顯示區域中固定增強現實圖像。另外，在第二模式中，處理器850可以在HMD 800的外圍空間中固定增強現實圖像。
[0089]另外，如參考圖3的右上側所描述的，當在第一模式中檢測用戶到增強現實圖像的凝視時，處理器850可以將第一模式變成第二模式。更加具體地，當在第一模式中檢測到用戶到增強現實圖像的第一凝視區域的第一凝視時，處理器850可以將第一模式變成第二模式。在此，第一凝視區域可以等于增強現實圖像的顯示區域。另外，第一凝視區域可以大于增強現實圖像的顯示區域。
[0090]另外，如參考圖3的右下側所描述的，處理器850可以在第二模式中檢測在增強現實圖像和外部圖像之間的對準。更加具體地，處理器850可以在第二模式中檢測外部設備的位置變化并且根據外部設備的位置變化來檢測在增強現實圖像和外部設備之間的對準。
[0091]另外，如參考圖4a和圖4b的右下側所描述的，處理器850可以在第二模式中檢測在增強現實圖像和外部設備上顯示的至少一個內容圖像中的任意一個之間的對準。
[0092]另外，如參考圖5的左邊所描述的，當在第二模式中檢測到在增強現實圖像和外部設備之間的對準或者檢測到在增強現實圖像和外部內容圖像之間的對準時，處理器850可以執行與增強現實圖像相對應的功能。另外，如參考圖5的右上側所描述的，當與增強現實圖像相對應的功能被執行時，處理器850可以顯示用于提供功能的執行屏幕的執行增強現實圖像。另外，如參考圖5的右下側所描述的，當與增強現實圖像相對應的功能被執行時，處理器850可以控制外部設備以在顯示單元820上顯示功能的執行圖像。
[0093]如參考圖6所描述的，當與增強現實圖像相對應的功能的執行終止時，處理器850可以終止執行增強現實圖像或者執行圖像的顯示。
[0094]圖9是圖示根據本說明書的一個實施例的用于控制HMD的方法的流程圖。在此流程圖中，將省略與在圖1至圖8中示出的那些相似或者相等的部件的詳細描述。
[0095]參考圖9，HMD可以將增強現實圖像顯示為第一模式。第一模式意指其中增強現實圖像的顯示位置取決于外部設備的位置的模式。即，在第一模式中，當外部設備的位置被改變時，基于被改變的外部設備的位置來改變增強現實圖像的顯示位置。因此，HMD能夠給用戶提供與外部設備一起移動的增強現實圖像。
[0096]根據一個實施例，當外部設備被檢測時HMD可以在第一模式中顯示增強現實圖像(S910)。根據另一實施例，當用戶到外部設備的凝視被檢測時HMD可以在第一模式中顯示增強現實圖像。
[0097]接下來，HMD可以確定是否在第一模式中檢測到用戶對增強現實圖像的凝視(S920)。根據一個實施例，HMD可以檢測是否在第一模式中檢測到用戶對增強現實圖像的第一凝視區域的第一凝視。在此，第一凝視區域可以等于增強現實圖像的顯示區域。另外，第一凝視區域可以大于增強現實圖像的顯示區域。例如，第一凝視區域可以包括增強現實圖像的顯示區域。
[0098]接下來，當在第一模式中檢測到用戶對增強現實圖像的凝視時，HMD可以將第一模式變成第二模式(S930)。更加具體地，當在第一模式中檢測到用戶對增強現實圖像的第一凝視區域的第一凝視時，HMD可以將第一模式變成第二模式。第一凝視區域可以等于增強現實圖像的顯示區域。另外，第一凝視區域可以大于增強現實圖像的顯示區域。
[0099]第二模式可以意指下述模式，其中，即使當外部設備的位置被改變時，增強現實圖像的顯示區域保持固定。因此，HMD能夠給用戶提供獨立于外部設備的增強現實圖像。
[0100]當在第一模式中檢測到用戶對增強現實圖像的第一凝視區域的第一凝視時，當第一凝視被保持時HMD可以獲取第一凝視保持時段。如果第一凝視保持時段等于或者大于第一時間段，則HMD可以將第一模式變成第二模式。如果第一凝視保持時段小于第一時間段，則HMD可以保持第一模式。因此，當用戶瞥一眼增強現實圖像時HMD不可以改變模式。
[0101]當在第二模式中檢測到用戶對第一凝視區域的外部區域的第二凝視時，當第二凝視被保持時HMD可以獲取第二凝視保持時段。如果第二凝視保持時段等于或者大于第二時段時，HMD可以再次將第二模式變成第一模式。如果第二凝視保持時段小于第二時間段，則HMD可以保持第二模式。因此，當用戶的凝視偏離增強現實圖像時，HMD可以提供取決于外部設備的增強現實圖像。
[0102]第一凝視保持時段和第二凝視保持時段可以是不同的。第一凝視保持時段可以大于第二凝視保持時段。
[0103]接下來，HM D可以在第二模式中檢測在增強現實圖像和外部設備之間的對準(S940)。更加具體地，HMD可以在第二模式中檢測外部設備的位置變化以及根據外部設備的位置變化來檢測在增強現實圖像和外部設備之間的對準。這時，HMD可以從通過相機單元捕獲到的圖像來檢測外部設備的位置變化。在增強現實圖像和外部設備之間的對準可以是滿足預先確定的條件的實質對準。例如，當增強現實圖像的顯示區域的大約90%重疊外部設備的區域時，HMD可以檢測在增強現實圖像和外部設備之間的對準。這等于參考圖3所描述的內容。
[0104]當外部設備顯示至少一個內容圖像時，HMD可以在第二模式中檢測外部設備上顯示的至少一個內容圖像中的任意一個和增強現實圖像之間的對準。這時，在增強現實圖像和外部設備上顯示的內容圖像(在下文中，被稱為內容圖像)之間的對準可以是滿足預先確定的條件的實質對準。例如，當增強現實圖像的顯示區域的大約90%重疊內容圖像的顯示區域時，HMD可以檢測在增強現實圖像和內容圖像之間的對準。這等于參考圖4a和圖4b描述的內容。
[0105]接下來，當在第二模式中對準增強現實圖像和外部圖像時，與增強現實圖像相對應的功能可以被執行(S950)。另外，當與增強現實圖像相對應的功能被執行時，HMD可以顯示用于提供功能的執行屏幕的執行增強現實圖像。這時，執行增強現實圖像的顯示位置可以取決于增強現實圖像的顯示位置。這等于參考圖3所描述的內容。
[0106]如果外部設備顯示至少一個內容圖像，當在第二模式中對準增強現實圖像和內容圖像時HMD可以執行與增強現實圖像相對應的功能。這等于參考圖4a和圖4b描述的內容。
[0107]雖然為了說明書目的已經公開了本說明書的優選實施例，但是本領域的技術人員將會理解，在沒有脫離如在隨附的權利要求中所公開的說明書的范圍和精神內，各種修改、添加以及替代是可能的。不應該從技術精神或者本說明書的前景來單獨地理解這樣的修改。
[0108]HMD和用于控制本說明書的HMD的方法可以被實現為能夠被寫入到計算機可讀記錄介質并且因此能夠由處理器讀取的代碼。計算機可讀記錄介質可以是其中以處理器可讀方式存儲數據的任何類型的記錄設備。處理器可讀記錄介質的示例包括R0M、RAM、磁帶、軟盤、光數據存儲、以及載波(例如，通過互聯網的數據傳輸)。能夠將處理器可讀記錄介質分布在連接到網絡的多個計算機系統上，使得處理器可讀代碼被寫入其中并且以分散的方式從中執行。
[0109]在本說明書中，術語“角度”、“距離”以及“方向”可以指示精確的角度、距離和方向或者分別包括預先確定的范圍的實質角度、距離和方向。即，本說明書的角度、距離和方向可以指示具有錯誤的實質角度、距離和方向。
[0110]在本說明書中提及裝置和方法發明這兩者并且裝置和方法發明這兩者的描述可以相互互補地應用。
[0111]對于本領域的技術人員來說顯然的是，在沒有脫離本發明的精神或者范圍的情況下能夠在本說明書中進行各種修改和變化。因此，旨在本說明書覆蓋落入隨附的權利要求和它們的等效物的范圍內的本說明書的修改和變化。
[0112]發明的模式
[0113]以用于執行本發明的最佳方式已經描述了各種實施例。
[0114]對于本領域的技術人員來說顯然的是，在沒有脫離本發明的精神或者范圍的情況下能夠在本說明書中進行各種修改和變化。因此，旨在本說明書覆蓋落入隨附的權利要求和它們的等效物的范圍內的本說明書的修改和變化。
[0115]工業實用性
[0116]如上所述，本發明可完全地或者部分地應用于電子設備。
【主權項】
1.一種頭戴式顯示器(HMD)，包括: 相機單元，所述相機單元被配置成檢測外部設備； 顯示單元，所述顯示單元被配置成顯示增強現實圖像； 凝視檢測單元，所述凝視檢測單元被配置成檢測用戶的凝視；以及 處理器，所述處理器被配置成控制所述相機單元、所述顯示單元以及所述凝視檢測單元， 其中，所述處理器進一步被配置成: 檢測所述外部設備， 將所述增強現實圖像顯示為第一模式，其中所述第一模式是其中所述增強現實圖像的顯示位置取決于所述外部設備的位置的模式； 當在所述第一模式中檢測到所述用戶對所述增強現實圖像的凝視時將所述第一模式變成所述第二模式，其中所述第二模式是其中即使當所述外部設備的位置被改變時所述增強現實圖像的顯示位置保持固定的模式；以及 當在所述第二模式中對準所述增強現實圖像和所述外部設備時，執行與所述增強現實圖像相對應的功能。2.根據權利要求1所述的HMD，其中，所述處理器被配置成:當在所述第二模式中對準所述增強現實圖像和所述外部設備上顯示的至少一個內容圖像中的任何一個時，執行與所述增強現實圖像相對應的功能。3.根據權利要求1所述的HMD，其中，當執行與所述增強現實圖像相對應的功能時，所述處理器被配置成顯示用于提供所述功能的執行屏幕的執行增強現實圖像。4.根據權利要求2所述的HMD，其中，當與所述增強現實圖像相對應的功能被執行時，所述處理器被配置成顯示與被對準的內容圖像相關聯的用于提供所述功能的執行屏幕的執行增強現實圖像。5.根據權利要求3所述的HMD，其中，所述執行增強現實圖像的顯示位置取決于所述增強現實圖像的顯示位置。6.根據權利要求1所述的HMD，其中，所述處理器被配置成:當在所述第二模式中對準所述增強現實圖像、所述外部設備和所述用戶對增強現實圖像的凝視時，執行與所述增強現實圖像相對應的功能。7.根據權利要求1所述的HMD，其中，所述處理器被配置成:當在預先確定的時段期間在所述第二模式中對準所述增強現實圖像和所述外部設備時，執行與所述增強現實圖像相對應的功能。8.根據權利要求1所述的HMD，進一步包括:通信單元，所述通信單元被配置成與所述外部設備通信， 其中，當與所述增強現實圖像相對應的功能被執行時，所述處理器進一步被配置成使用所述通信單元將用于控制所述外部設備以在所述外部設備的顯示單元上顯示所述功能的執行屏幕的控制信息發送到所述外部設備。9.根據權利要求1所述的HMD，其中，所述處理器進一步被配置成:當與所述增強現實圖像相對應的功能的執行被終止時，再次變成所述第一模式。10.根據權利要求1所述的HMD，其中，所述處理器被配置成:當檢測到所述用戶對所述外部設備的凝視時，將所述增強現實圖像顯示為所述第一模式。11.根據權利要求1所述的HMD，其中，所述處理器被配置成: 當在所述第一模式中檢測到所述用戶對所述增強現實圖像的第一凝視區域的第一凝視時，當所述第一凝視被保持時獲取第一凝視保持時段， 當所述第一凝視保持時段大于或者等于第一時間段時，將所述第一模式變成所述第二模式，以及 當所述第一凝視保持時段小于所述第一時間段時，保留所述第一模式。12.根據權利要求11所述的HMD，其中，所述增強現實圖像的所述第一凝視區域大于所述增強現實圖像的顯示區域。13.根據權利要求11所述的HMD，其中，所述處理器進一步被配置成: 當在所述第二模式中檢測到所述用戶對所述第一凝視區域的外部區域的第二凝視時，當所述第二凝視被保持時獲取第二凝視保持時段， 當所述第二凝視保持時段大于或者等于第二時間段時，將所述第二模式再次變成所述第一模式，以及 當所述第二凝視保持時段小于所述第二時間段時，保留所述第二模式。14.根據權利要求13所述的HMD，其中，所述第一凝視保持時段和所述第二凝視保持時段是不同的。15.根據權利要求13所述的HMD，其中，所述第一凝視保持時段大于所述第二凝視保持時段。16.根據權利要求11所述的HMD，其中，所述處理器進一步被配置成:當所述第一模式變成所述第二模式時，顯示所述增強現實圖像的第二凝視區域。17.根據權利要求16所述的HMD，其中，所述第二凝視區域比所述第一凝視區域寬。18.根據權利要求16所述的HMD，其中，所述處理器進一步被配置成: 當在所述第二模式中檢測到所述用戶對所述第二凝視區域的凝視時，保留所述第二模式，以及 當在所述第二模式中檢測到所述用戶對所述第二凝視區域的外部區域的凝視時，將所述第二模式再次變成所述第一模式。19.根據權利要求16所述的HMD，其中，所述處理器進一步被配置成:當所述第二模式再次變成所述第一模式時，終止所述第二凝視區域的顯示。20.—種用于控制頭戴式顯示器(HMD)的方法，所述方法包括: 檢測外部設備； 將增強現實圖像顯示為第一模式，其中所述第一模式是其中所述增強現實圖像的顯示位置取決于所述外部設備的位置的模式； 當在所述第一模式中檢測到用戶對所述增強現實圖像的凝視時將所述第一模式變成所述第二模式，其中所述第二模式是其中即使當所述外部設備的位置被改變時所述增強現實圖像的顯示位置保持固定的模式；以及 當在所述第二模式中對準所述增強現實圖像和所述外部設備時，執行與所述增強現實圖像相對應的功能。
【文檔編號】H04N5/64GK105917268SQ201480073675
【公開日】2016年8月31日
【申請日】2014年5月9日
【發明人】趙殷亨, 金鐘虎, 李度泳, 金志桓, 千西內
【申請人】Lg電子株式會社