多視圖圖像顯示設備及其視差估計方法
【專利說明】多視圖圖像顯示設備及其視差估計方法
[0001]本申請要求于2014年7月10日提交到韓國知識產權局的第10-號韓國專利申請的優先權，其中，所述專利申請的公開通過引用其全部合并于此。
技術領域
[0002]與示例性實施例一致的設備和方法涉及一種多視圖圖像顯示設備及其視差估計方法，更具體地，涉及一種使用動態代價容積(cost volume)采樣的多視圖圖像顯示設備及其視差估計方法。
【背景技術】
[0003]隨著電子技術的發展，已經開發了各種類型的電子設備。具體來說，近年來已快速開發出通常被用作家用電器的諸如電視(TV)的顯示設備。
[0004]在高性能顯示設備的情況下，各種類型的內容被顯示在所述顯示設備上。具體來說，近年來已開發出能夠顯示三維(3D)內容的立體顯示系統。
[0005]除了 3D TV之外，立體顯示設備可以以各種類型的顯示設備(諸如，監視器、便攜式電話、個人數字助理(PDA)、個人計算機(PC)、機頂盒PC、平板PC、電子相框或自助服務終端(k1sk))來實現。此外，除了被用在執行3D成像的各種領域(諸如，科學領域、醫學領域、設計領域、教育領域、廣告領域和/或電腦游戲領域)之外，3D顯示技術還可被用在家用電器中。
[0006]立體顯示系統通常可包括能夠在不需要眼鏡的情況下顯示3D圖像的自動立體(autostereoscopic)系統和能夠在需要眼鏡的情況下顯示3D圖像的立體系統。
[0007]雖然立體系統可提供令人滿意的3D效果，但對于觀看者而言戴眼鏡觀看3D圖像可能不便。另一方面，自動立體系統可在不需要眼鏡的情況下顯示3D圖像，因此，對開發自動立體系統的研究已在持續進行中。
[0008]在自動立體3D顯示中需要多視圖圖像。然而，當輸入圖像是立體圖像時需要圖像轉換。立體圖像是通過使用左眼圖像和右眼圖像呈現的3D圖像(或3D視頻圖像)，并且通過立體成像設備來捕捉。左眼圖像與右眼圖像之間的視差估計在執行圖像轉換的處理中很重要。
[0009]在具有寬視差寬度的立體圖像中，在執行視差估計的處理中搜索范圍是重要因素。與之相反，在具有窄視差寬度的立體圖像中，在執行視差估計的處理中精確度是重要因素。搜索范圍越寬并且/或者采樣間隔越窄，視差估計算法的復雜度越高。視差估計算法通常使用代價容積。代價容積是立體圖像的視差與X坐標值和Y坐標值的函數。
[0010]在現有技術的恒定容積采樣中，搜索范圍和精確度是固定的。為了擴大搜索范圍和/或提高精確度，算法復雜度需要增加。因此，在預設代價容積大小(也就是說，預設算法復雜度)的條件下，無法提供更寬的搜索范圍和/或更高的精確度。

【發明內容】

[0011]—個或更多個示例性實施例提供一種能夠在維持相同代價容積大小的同時通過動態代價容積采樣來擴大搜索范圍和/或提高精確度的視差估計方法和多視圖圖像顯示設備。
[0012]根據示例性實施例的一方面，提供一種在多視圖圖像顯示設備中估計視差的方法，所述方法包括:基于與圖像幀相應的分辨率，對圖像幀執行圖像縮放；根據與圖像幀相應的分辨率，確定針對縮放后的圖像幀的匹配塊的搜索范圍和精確度之中的至少一個；通過使用匹配塊的搜索范圍和精確度之中的所述至少一個來估計圖像幀的視差。
[0013]對圖像幀執行圖像縮放的步驟可包括:響應于圖像幀是輸入圖像幀之中的第一圖像幀，將與圖像幀相應的分辨率確定為最低分辨率；響應于圖像幀不是第一圖像幀，通過分析先前圖像幀的視差來確定與圖像幀相應的分辨率。
[0014]確定分辨率的步驟可包括:通過使用視差直方圖來分析先前圖像幀的視差；根據分析結果，基于與先前圖像幀相應的分辨率來確定與圖像幀相應的分辨率。
[0015]所述方法還可包括:確定屏幕是否將被轉換，其中，執行圖像縮放的步驟包括:響應于確定屏幕將被轉換，將與圖像幀相應的分辨率確定為最低分辨率。
[0016]執行圖像縮放的步驟可包括:通過使用同形圖像采樣方法和變形圖像采樣方法之中的至少一種方法來執行圖像縮放。
[0017]確定匹配塊的搜索范圍和精確度之中的至少一個的步驟可包括:通過使用代價容積的大小來確定匹配塊的搜索范圍和精確度之中的所述至少一個。
[0018]估計圖像幀的視差的步驟可包括:測量參考塊與搜索的匹配塊之間的相關值；基于參考塊的位置與具有最高相關值的匹配塊的位置之間的差來估計視差。
[0019]根據另一示例性實施例的一方面，提供一種多視圖圖像顯示設備，包括:圖像縮放器，被配置為基于與圖像幀相應的分辨率，對圖像幀執行圖像縮放；確定器，被配置為根據與圖像幀相應的分辨率，確定針對縮放后的圖像幀的匹配塊的搜索范圍和精確度之中的至少一個；視差估計器，被配置為通過使用匹配塊的搜索范圍和精確度之中的所述至少一個來估計圖像幀的視差。
[0020]圖像縮放器可響應于圖像幀是輸入圖像幀之中的第一圖像幀，將與圖像幀相應的分辨率確定為最低分辨率，以及響應于圖像幀不是第一圖像幀，通過分析先前圖像幀的視差來確定與圖像幀相應的分辨率。
[0021]圖像縮放器可通過使用視差直方圖來分析先前圖像幀的視差，并根據分析結果，基于與先前圖像幀相應的分辨率來確定與圖像幀相應的分辨率。
[0022]多視圖圖像顯示設備還可包括:屏幕轉換確定器，被配置為確定屏幕是否將被轉換，其中，圖像縮放器被配置為響應于確定屏幕將被轉換，將與圖像幀相應的分辨率確定為最低分辨率。
[0023]圖像縮放器可通過使用同形圖像采樣方法和變形圖像采樣方法之中的至少一種方法來執行圖像縮放。
[0024]確定器可通過使用代價容積的大小來確定匹配塊的搜索范圍和精確度之中的所述至少一個。
[0025]視差估計器可測量參考塊與搜索的匹配塊之間的相關值，并基于參考塊的位置與具有最高相關值的匹配塊的位置之間的差來估計視差。
[0026]根據另一示例性實施例的一方面，提供一種顯示設備，包括:顯示器；控制器，被配置為控制顯示器基于輸入圖像幀的視差和深度信息來顯示多視圖圖像，其中，控制器被配置為控制輸入圖像幀的分辨率，并通過基于控制的輸入圖像幀的分辨率搜索匹配塊來估計視差。
[0027]控制器可包括圖像縮放器，其中，圖像縮放器被配置為對輸入圖像幀執行圖像縮放以具有由控制器確定的分辨率。
[0028]控制器可分析先前圖像幀的視差，并根據分析結果來控制輸入圖像幀的分辨率。
[0029]當根據分析結果確定匹配塊的搜索范圍需要擴大時，控制器可控制當前圖像幀的分辨率從先前圖像幀的分辨率降低，而當根據分析結果確定匹配塊的精確度需要提高時，控制器可控制當前圖像幀的分辨率從先前圖像幀的分辨率提高。
[0030]控制器可在估計視差的處理中維持恒定的代價容積大小。
[0031]根據示例性實施例的一方面，提供一種存儲有包括當由計算機運行時執行以上方法的指令的程序的非暫時性計算機可讀記錄介質。
[0032]示例性實施例的其它方面和優點將在【具體實施方式】中被闡述，從【具體實施方式】將是明顯的，或者可通過對示例性實施例進行實踐而得知。
【附圖說明】
[0033]通過參照附圖對特定示例性實施例的描述，以上和/或其它方面將變得更清楚，其中:
[0034]圖1是示出根據示例性實施例的多視圖圖像顯示設備的配置的示意框圖；
[0035]圖2是示出根據示例性實施例的多視圖圖像顯示設備的配置的詳細框圖；
[0036]圖3是用于解釋恒定代價容積采樣方法的示圖；
[0037]圖4A至圖4C是用于解釋動態代價容積采樣方法的示圖；
[0038]圖5是用于解釋同形(isomorphic)圖像采樣方法的示圖；
[0039]圖6是用于解釋變形(anamorphic)圖像采樣方法的示圖；
[0040]圖7A和圖7B是用于解釋根據示例性實施例的使用視差直方圖改變分辨率的處理的示圖；
[0041]圖8和圖9是示