顯示裝置、顯示裝置的控制方法及程序的制作方法
【技術領域】
[0001]本發明涉及顯示裝置、顯示裝置的控制方法及程序。
【背景技術】
[0002]以往，在可佩戴式顯示裝置中，已知與外界視野相重疊而進行顯示的顯示裝置(例如，參照專利文獻1)。專利文獻1記載的裝置具有重疊顯示外界視野與文字的結構，關于顯示的一部分文字或單詞，改變字體尺寸和/或文字的顏色等顯示屬性從而容易識別例如文章的一部分文字。
[0003]現有技術文獻
[0004]專利文獻
[0005]專利文獻1:日本特開2014-56217號公報

【發明內容】

[0006]在專利文獻1中，關于使用可佩戴式顯示裝置的使用者觀看顯示裝置顯示的文字或外界視野的任一的情況下的顯示方法作了記載。相對于此，關于考慮到使用者一并觀看外界的顯示方法的提案一直就沒有。
[0007]本發明是鑒于上述狀況而作出的，目的在于提供能夠有效地組合使用者可見的外界與顯示內容的顯示裝置、顯示裝置的控制方法及程序。
[0008]為了達到上述目的，本發明的顯示裝置，被佩戴于使用者的身體而使用，其特征在于，具備:顯示部，其透射外景，并顯示圖像使得能夠一并觀看所述外景和該圖像；拍攝部，其對所述使用者的視線方向進行拍攝；圖像生成部，其根據所述拍攝部的拍攝圖像生成顯示用圖像；和圖像顯示控制部，其使所述圖像生成部生成的顯示用圖像顯示于所述顯示部。
[0009]根據本發明，能夠顯示圖像，使得基于對使用者的視線方向進行拍攝后的拍攝圖像的顯示用圖像重疊于作為外景可見的對象物。因此，能夠通過有效地組合顯示裝置外部的外景與顯示內容以提供由顯示裝置進行的顯示的新的有效活用方法，例如基于對該外景進行拍攝后的拍攝圖像來補充使用者觀看的外景的觀看方法、并且/或者提出別的觀看方法等。
[0010]并且，本發明的特征為:在上述顯示裝置中，具備檢測所述顯示裝置的使用狀態的檢測部；所述圖像顯示控制部與所述檢測部檢測出的所述顯示裝置的使用狀態相對應而調整所述顯示用圖像的所述顯示部中的顯示狀態。
[0011]根據本發明，能夠與顯示裝置的使用環境和/或使用者的使用方法相對應而調整顯示于顯示部的圖像的顯示尺寸和/或顯示位置等狀態。因此，能夠配合使用者觀看外景的觀看方法而進行顯示。
[0012]并且，本發明的特征為:在上述顯示裝置中，所述檢測部進行與所述顯示裝置的位置相關的檢測，所述圖像顯示控制部與所述檢測部檢測出的所述顯示裝置的位置相對應而調整所述顯示用圖像的顯示狀態。
[0013]根據本發明，能夠基于顯示裝置的位置，配合使用者觀看外景的觀看方法而進行顯不ο
[0014]并且，本發明的特征為:在上述顯示裝置中，所述圖像顯示控制部與所述檢測部檢測出的所述顯示裝置的位置相對應而調整所述顯示用圖像的顯示位置或顯示尺寸的至少任一，使得所述顯示用圖像避開所述使用者的視線方向的中心。
[0015]根據本發明，能夠顯示用拍攝部拍攝到的圖像使得其不會妨礙使用者觀看外景。
[0016]并且，本發明的特征為:在上述顯示裝置中，具備動作檢測部，所述動作檢測部基于所述拍攝部的拍攝圖像來檢測所述使用者的動作；所述圖像顯示控制部與所述動作檢測部檢測出的所述使用者的動作相對應而調整所述顯示用圖像的顯示狀態。
[0017]根據本發明，使用者作出動作使得拍攝部能夠進行拍攝作，從而能夠調整顯示用圖像的顯示狀態。
[0018]并且，本發明的特征為:在上述顯示裝置中，具備檢測聲音的聲音檢測部；所述圖像顯示控制部與所述聲音檢測部的聲音檢測結果相對應而調整所述顯示用圖像的顯示狀
??τ ο
[0019]根據本發明，使用者發出的聲音，從而能夠調整顯示用圖像的顯示狀態。
[0020]并且，本發明的特征為:在上述顯示裝置中，所述圖像生成部通過提取所述拍攝部的拍攝圖像的一部分并予以處理，從而生成所述顯示用圖像。
[0021]根據本發明，因為利用對使用者的視線方向進行拍攝后的拍攝圖像進行顯示，所以能夠讓使用者一并觀看外景和對外景的一部分進行處理后的圖像。
[0022]并且，本發明的特征為:在上述顯示裝置中，具備動作檢測部，所述動作檢測部基于所述拍攝部的拍攝圖像來檢測所述使用者的動作；所述圖像生成部從所述拍攝部的拍攝圖像中提取基于所述動作檢測部檢測出的所述使用者的動作而確定的區域并予以處理，并生成所述顯示用圖像。
[0023]根據本發明，使用者作出動作使得拍攝部能夠進行拍攝，從而能夠確定要從拍攝圖像中提取的范圍。
[0024]并且，本發明的特征為:在上述顯示裝置中，所述圖像生成部通過將所述拍攝部的拍攝圖像的一部分取出并將其放大，從而生成所述顯示用圖像。
[0025]根據本發明，因為放大顯示對使用者的視線方向進行拍攝后的拍攝圖像的一部分，所以使用者能夠一邊觀看外景一邊放大地觀看視線方向。
[0026]并且，本發明的特征為:在上述顯示裝置中，所述圖像生成部通過從所述拍攝部的拍攝圖像中取出符合預先設定的條件的區域，從而生成所述顯示用圖像。
[0027]根據本發明，能夠顯示符合預先設定的條件的拍攝圖像。因此，在拍攝到了例如符合使用者的嗜好和/或興趣的拍攝圖像的情況下，能夠由顯示部顯示該拍攝圖像而讓使用者觀看到該拍攝圖像。
[0028]并且，本發明的特征為:在上述顯示裝置中，具備對象檢測部，所述對象檢測部確定與所述使用者的視線方向相當的方向，并從所述拍攝部的拍攝圖像中檢測位于所述使用者的視線方向的對象物；所述圖像生成部從所述拍攝部的拍攝圖像中提取包括所述對象檢測部檢測出的所述對象物的圖像的區域并予以處理，并生成所述顯示用圖像。
[0029]根據本發明，在對象物存在于使用者的視線方向的情況下，能夠讓使用者觀看到該對象物的圖像。
[0030]并且，本發明的特征為:在上述顯示裝置中，所述對象檢測部檢測所述使用者的視線方向，并檢測位于檢測出的所述使用者的視線方向的所述對象物。
[0031]根據本發明，能夠將拍攝圖像中與使用者的視線方向相對應的部分設為顯示用圖像。
[0032]并且，本發明的特征為:在上述顯示裝置中，所述對象檢測部檢測所述使用者的雙眼之中的與慣用眼相當的眼睛的視線方向。
[0033]根據本發明，能夠將拍攝圖像中與使用者的慣用眼的視線方向相對應的部分設為顯示用圖象。
[0034]并且，本發明的特征為:在上述顯示裝置中，所述對象檢測部，在由所述動作檢測部檢測出了所述使用者的預定動作的情況下，基于該預定動作來確定與所述使用者的視線方向相當的方向。
[0035]根據本發明，通過使用者的動作，能夠指定從拍攝圖像中作為顯示用圖像提取的部分。
[0036]并且，本發明的特征為:在上述顯示裝置中，所述對象檢測部，在所述動作檢測部檢測出了由所述使用者的四肢的至少任一進行的動作的情況下，基于檢測出的動作來確定與所述使用者的視線方向相當的方向。
[0037]根據本發明，使用者進行移動四肢的動作，從而能夠指定從拍攝圖象中作為顯示用圖象提取的部分。
[0038]并且，本發明的特征為:在上述顯示裝置中，具備存儲所述對象物的圖像的特征量的存儲部；所述對象檢測部通過從所述拍攝部的拍攝圖像中檢測適合所述存儲部存儲的特征量的圖像，從而檢測所述對象物。
[0039]根據本發明，能夠基于拍攝圖像容易地檢測對象物。
[0040]并且，本發明的特征為:在上述顯示裝置中，所述存儲部中存儲的所述特征量包括特定的所述對象物的圖像的特征量及與類似的多種類型的對象物相對應的通用的特征量的任一。
[0041]根據本發明，能夠基于存儲的特征量，來執行檢測特定對象物的處理或者檢測類似的多個對象物的任一的處理。
[0042]并且，本發明的特征為:在上述顯示裝置中，具備距離檢測部，所述距離檢測部檢測由所述對象檢測部檢測出的所述對象物與所述使用者的距離；所述圖像顯示控制部按與所述距離檢測部檢測出的距離相應的放大率對所述拍攝部的拍攝圖像的一部分進行放大，并生成所述顯示用圖像。
[0043]根據本發明，能夠按與使用者與視線方向的對象物的距離相配合的放大率，讓使用者觀看對象物的圖像。
[0044]并且，本發明的特征為:在上述顯示裝置中所述圖像生成部獲取有所述拍攝部在不同時刻拍攝到的多個拍攝圖像，在這些多個拍攝圖像中確定符合預先設定的條件的區域，由此生成所述顯示用圖像。
[0045]根據本發明，能夠針對多個拍攝圖像設定更加復雜的條件，以符合該條件的拍攝圖像為基礎讓使用者觀看圖像。
[0046]并且，本發明的特征為:在上述顯示裝置中，所述圖像生成部獲取由所述拍攝部在不同時刻拍攝到的多個拍攝圖像，在這些多個拍攝圖像的圖像之間的差別符合預先設定的條件的情況下，將獲取到的拍攝圖像取出而生成所述顯示用圖像。
[0047]根據本發明，因為能夠以多個拍攝圖像的差別為基礎而生成顯示用圖像并予以顯示，所以對于例如包括連續的多個圖像的動態圖像，能夠基于圖像的變化而生成顯示用圖像并予以顯示。
[0048]并且，為了達到上述目的，本發明為一種顯示裝置的控制方法，是具備透射外景并顯示圖像使得能夠一并觀看所述外景和該圖像的顯示部且被佩戴于使用者的身體而使用的顯示裝置的控制方法，其特征在于:對所述使用者的視線方向進行拍攝；通過將拍攝圖像的一部分取出并對其進行放大，由此生成顯示用圖像；使生成的顯示用圖像顯示于所述顯示部。
[0049]根據本發明，能夠顯示圖像使得基于對使用者的視線方向進行拍攝后的拍攝圖像的顯示用圖像重疊于作為外景可見的對象物。因此，能夠通過有效地組合顯示裝置外部的外景與顯示內容以提供由顯示裝置進行的顯示的新的有效活用方法，例如基于對該外景進行拍攝后的拍攝圖像來補充使用者觀看的外景的觀看方法、并且/或者提出別的觀看方法等。
[0050]并且，為了達到上述目的，本發明為一種程序，是計算機可執行的對顯示裝置進行控制的程序，所述顯示裝置具備透射外景并顯示圖像使得能夠一并觀看所述外景和該圖像的顯示部，被佩戴安裝于使用者的身體而使用，其特征在于，使所述計算機作為圖像生成部和圖像顯示控制部發揮作用；所述圖像生成部，通過將對所述使用者的視線方向進行了拍攝的拍攝圖像的一部分取出并對其進行放大，由此生成顯示用圖像；和所述圖像顯示控制部，使所述圖像生成部生成的顯示用圖像顯示于所述顯示部。
[0051]根據本發明，能夠顯示圖像使得基于對使用者的視線方向進行拍攝后的拍攝圖像的顯示用圖像重疊于作為外景可見的對象物。因此，能夠通過有效地組合顯示裝置外部的外景與顯示內容以提供由顯示裝置進行的顯示的新的有效活用方法，例如基于對該外景進行拍攝后的拍攝圖像來補充使用者觀看的外景的觀看方法、并且/或者提出別的觀看方法等。
【附圖說明】
[0052]圖1是表示第1實施方式的頭部佩戴型顯示裝置的外觀結構的說明圖。
[0053]圖2是按功能表示頭部佩戴型顯示裝置的結構的框圖。
[0054]圖3是表示存儲于存儲部的數據的例子的說明圖。
[0055]圖4是表示頭部佩戴型顯示裝置的工作的流程圖。
[0056]圖5是表示頭部佩戴型顯示裝置的典型的應用例的說明圖，(A)表示使用者的視野的例子，⑶及(C)表示從拍攝圖像分離出來的圖像的例子，⑶表示顯示了顯示用圖像的情況下使用者的視野的例子。
[0057]圖6是表示頭部佩戴型顯示裝置的工作的流程圖。
[0058]圖7是表示頭部佩戴型顯示裝置的工作的例子的圖，(A)表示頭部佩戴型顯示裝置的使用環境的例子，(B)及(C)表示顯示例。
[0059]圖8是表示第2實施方式的頭部佩戴型顯示裝置的功能性結構的框圖。
[0060]圖9是表示圖像顯示部的要部結構的圖，(A)是從使用者的頭部側看圖像顯示部的要部立體圖，(B)是視線方向的說明圖。
[0061]圖10是表示頭部佩戴型顯示裝置的工作的流程圖。
[0062]圖11是表示頭部佩戴型顯示裝置的顯示例的圖。
[0063]圖12是表示頭部佩戴型顯示裝置的顯示例的圖。
[0064]符號說明
[0065]10...控制裝置，20、20B…圖像顯示部(顯示部)，21…右保持部，22…右顯示驅動部，23...左保持部，24…左顯不驅動部，26…右光學像顯不部，28…左光學像顯不部，61…相機(拍攝部)，63…麥克風，64…距離傳感器，68…視線傳感器，100、100B…頭部佩戴型顯示裝置(顯示裝置)，117…通信部，120…存儲部，140…控制部，150…操作系統，160…圖像處理部，170…聲音處理部，171...對象檢測部，173…距離檢測部，176...圖像顯示控制部，177…圖像生成部，180...接口，190…顯示控制部，201...右背光源控制部，202...左背光源控制部，211…右IXD控制部，212…左IXD控制部，221…右背光源，222…左背光源，241…右LCD，242...左LCD，251...右投影光學系統，252...左投影光學系統，261...右導光板，262...左導光板，DA…數據獲取部。
【具體實施方式】
[0066](第1實施方式)
[0067]以下，關于應用了本發明的實施方式進行說明。
[0068]圖1是表示第1實施方式涉及的頭部佩戴型顯示裝置100的外觀結構的說明圖。頭部佩戴型顯示裝置100為佩戴在頭部的顯示裝置，也被稱為頭戴式顯示器(Head MountedDisplay,HMD)。本實施方式的頭部佩戴型顯示裝置100為使用者在觀看虛像的同時也能夠直接觀看外景的光學透射型的頭部佩戴型顯示裝置。還有，在本說明書中，為了方便，也將使用者通過頭部佩戴型顯示器100所觀看的的虛像稱為“顯示圖像”。并且，將出射基于圖像數據而生成的圖像光的動作也稱為“對圖像進行顯示”。
[0069]頭部佩戴型顯示器100具備:圖像顯示部20，其在被佩戴于使用者頭部的狀態下使使用者觀看虛像；和對圖像顯示部20進行控制的控制裝置10。控制裝置10也作為使用者用于對頭部佩戴型顯示裝置100進行操作的控制器發揮作用。圖像顯示部20也簡單地稱為“顯示部”。
[0070]圖像顯示部20為佩戴在使用者頭部的佩戴體，在本實施方式中具有眼鏡形狀。圖像顯示部20具備右保持部21、右顯示驅動部22、左保持部23、左顯示驅動部24、右光學像顯示部26、左光學像顯示部28、相機61 (拍攝部)和麥克風63。右光學像顯示部26及左光學像顯示部28分別配置為，在使用者佩戴了圖像顯示部20時位于使用者的右眼及左眼之前，右光學像顯示部26的一端與左光學像顯示部28的一端在與使用者佩戴了圖像顯示部20時的使用者的眉間相對應的位置相互連接。
[0071]右保持部21為從右光學像顯示部26的另一端即端部ER延伸設置到與使用者佩戴了圖像顯示部20時的使用者的側面頭部相對應的位置的部件。同樣地，左保持部23為從左光學像顯示部28的另一端即端部EL延伸設置到與使用者佩戴了圖像顯示部20時的用者的側面頭部相對應的位置的部件。右保持部21及左保持部23如眼鏡的鏡腿(腳絲)那樣將圖像顯示部20保持在使用者的頭部。
[0072]右顯示驅動部22與左顯示驅動部24配置于在使用者佩戴圖像顯示部20時與使用者的頭部相對的一側。還有，下面，還將右保持部21及左保持部23總地簡稱為“保持部”，將右顯示驅動部22及左顯示驅動部24籠統簡稱為“顯示驅動部”，將右光學像顯示部26及左光學像顯示部28籠統簡稱為“光學像顯示部”。
[0073]顯示驅動部22、24包括液晶顯示器241、242(Liquid Crystal Display，以下也稱為“IXD241、242”)和/或投影光學系統251、252等(參照圖2)。后述顯示驅動部22、24的詳細結構。作為光學部件的光學像顯示部26、28具備導光板261、262(參照圖2)和調光板20A。導光板261、262由光透射性的樹脂等形成，將從顯示驅動部22、24輸出的圖像光導向使用者的眼睛。調光板20A為薄板狀的光學元件，配置為覆蓋與使用者的眼睛側相反的一側即圖像顯示部20的表側。調光板20A可以采用光透射性基本為零、近乎透明、使光量衰減而使光透射、使特定波長的光衰減或對其進行反射等各種調光板。通過適宜地選擇調光板20A的光學特性(光透射率等)，從而能夠對從外部入射于右光學像顯示部26及左光學像顯示部28的外光量進行調整，對虛像的觀看難易度進行調整。在本實施方式中，對采用具有佩戴了