專利名稱：使用色調映射和反色調映射的比特深度可分級視頻編碼和解碼的方法和裝置的制作方法
技術領域：
本原理一般地涉及視頻編碼和解碼，以及更具體地涉及使用色調映射(tone mapping)和反色調映射的比特深度可分級視頻編碼和解碼的方法和裝置。
背景技術：
近來，在許多應用領域中(諸如，例如醫療圖像處理、制作與后期制作中的數字影院工作流程、家庭影院相關應用等等)具有大于八個比特深度的數字圖像/視頻是愈加期望的。考慮到傳統的8比特深度數字成像系統和高比特深度數字成像系統在未來的一段時間將同時存在的事實，比特深度可分級性(scalability)潛在地是有用的。存在若干種處理共存的8比特視頻和10比特視頻的方法。在第一種現有解決方案中，僅傳輸10比特編碼的比特流，而通過向10比特呈現(presentation)應用色調映射方法來獲得標準8比特顯示設備的8比特表示。在第二種現有技術解決方案中，傳輸包括8比特編碼呈現和10比特編碼呈現的聯播比特流。選取哪個比特深度解碼是解碼器的偏好。例如，能夠進行10比特的解碼器可以解碼并且輸出10比特視頻，而僅支持8比特的通常解碼器可以恰好輸出8比特視頻。第一種現有技術解決方案固有地不遵從國際標準化組織/國際電工委員會(ISO/ IEC)移動畫面專家組-4(MPEG-4)第10部分高級視頻編碼(AVC)標準/國際電信聯盟電信分部(ITU-T)H. 264推薦(下文的“MPEG-4AVC標準”)的8比特簡檔。第二種現有技術解決方案遵從所有的當前標準但是需要更多的開銷。然而，在比特減少和后向標準兼容性之間的良好折中可能是可分級的解決方案。也被稱為MEPG-4AVC標準的可分級擴展的可分級視頻編碼(SVC)正在考慮對比特深度可分級性的支持。比特深度可分級編碼對于后處理或聯播至少存在三個優點。一個優點在于比特深度可分級編碼以與MPEG-4AVC標準的高簡檔后向兼容的方式使能10比特視頻。第二個優點在于比特深度可分級編碼使能對不同網絡帶寬或設備兼容性的適配。第三個優點在于比特深度可分級編碼提供低復雜性、高效率以及高靈活性。MPEG-4AVC SVC 擴展在MPEG-4AVC標準的SVC擴展的當前版本中，支持單環(single-loop)解碼以便減少解碼復雜性。幀間編碼(inter-coded)的宏塊的完全解碼，包括運動補償預測和去塊， 僅僅對于當前空間或粗顆粒度(coarse-grain)可分級(CGS)層是需要的。這通過將層間內部紋理預測限制在以內部宏塊編碼的低層畫面的那些部分上來實現。為了對比特深度可分級性擴展層間內部紋理預測，使用反色調映射。SVC也支持層間殘差預測。由于色調映射典型地在像素域中使用，所以在殘差域中很難發現對應的反色調映射。在第三和第四現有技術方法中，使用比特移位用于層間殘差預測。在MPEG-4AVC標準的可分級視頻編碼(SVC)擴展的聯合草案(JD8)中，以下稱為第三現有技術方法，提出了一種被稱為平滑參考預測(SRP)的技術。當語法元素residual prediction_flag和base_mode_flag 二者被設置時發送一比特語法元素smoothed_ reference_flago當smoothed_reference_flag = 1時，在解碼器處進行以下步驟以便獲得重構的視頻塊1.使用增強層參考幀和來自基本層的上采樣運動矢量獲得預測塊P。2.將對應的基本層殘差塊rb上采樣并且將U (rb)添加到P以便形成P+U (rb)。3.首先在水平方向上，然后在垂直方向上，應用具有抽頭[1，2，1]的平滑濾波器， 以便獲得S(P+U(rb))。4.將增強層殘差塊添加到之前緊接的步驟(3)的結果以便獲得重構塊R = S(P+U(rb))+re0此外，第四現有技術方法提出用于BDS(比特深度可分級性)的層間殘差預測技術。第四現有技術方法將反色調映射問題從殘差域轉換到像素域用于層間殘差預測。如果使用層間殘差預測，則將反色調映射應用于色調映射的運動補償預測與來自基本層的上采樣殘差之和。當使用層間殘差預測時，在解碼器處進行以下步驟以便獲得重構的視頻塊1.使用增強層參考幀獲得預測塊P并且然后將P色調映射至基本層比特深度以便獲得T (P)。2.在空間中上采樣對應的基本層殘差塊rb并且添加U(rb)到P以便形成 T(P)+U(rb)。3.使用濾波器來獲得S (T(P)+U (rb))。4.然后應用反色調映射來獲得！^(SCnPHUOJ))。5.將增強層殘差塊添加之前緊接的步驟⑷的結果以便獲得重構塊R = T-1 (S(T(P)+U(rb)))+re0使用這個方法，將預測塊P色調映射至基本層比特深度并且然后將其反色調映射回增強層比特深度。由于基本層具有更低的比特深度，所以這個轉換將引入量化誤差。因此，所有的前述現有技術解決方案都有缺陷。例如，由于缺少色調映射和反色調映射操作，第三種現有技術方法不能處理增強層和基本層中的不同的比特深度。此外，第四種現有技術方法弓I入了量化誤差。

發明內容
通過本原理解決現有技術的這些和其它缺陷與缺點，本發明針對使用色調映射和反色調映射的比特深度可分級視頻編碼和解碼的方法和裝置。根據本原理的一方面，提供了一種裝置。該裝置包括編碼器，通過使用色調映射函數和反色調映射函數為畫面的至少一部分生成層間殘差預測來對所述部分的畫面數據進行編碼。在保持相同的比特深度表示的同時，色調映射函數和反色調映射函數對比特深度可分級性執行從殘差域到像素域的層間殘差預測的轉換。根據本原理的另一方面，提供了一種方法。該方法包括通過使用色調映射函數和反色調映射函數為畫面的至少一部分生成層間殘差預測來對所述部分的畫面數據進行編碼。在保持相同的比特深度表示的同時，色調映射函數和反色調映射函數對比特深度可分級性執行從殘差域到像素域的層間殘差預測轉換。根據本原理的又一方面，提供了一種裝置。該裝置包括解碼器，通過使用色調映射函數和反色調映射函數為畫面的至少一部分生成層間殘差預測來對所述部分的畫面數據進行解碼。在保持相同的比特深度表示的同時，色調映射函數和反色調映射函數對比特深度可分級性執行從殘差域到像素域的層間殘差預測的轉換。根據本原理的另一方面，提供了一種方法。該方法包括通過使用色調映射函數和反色調映射函數為畫面的至少一部分生成層間殘差預測來對所述部分的畫面數據進行解碼。在保持相同的比特深度表示的同時，色調映射函數和反色調映射函數對比特深度可分級性執行從殘差域到像素域的層間殘差預測的轉換。本原理的這些及其他方面、特征和優點將從連同附圖閱讀的以下示例性實施例的具體描述中變得清楚。


根據以下示例性附圖將更好地理解本原理，其中圖1是示出根據本原理實施例的、可以應用本原理的示例性視頻編碼器的框圖；圖2是示出根據本原理實施例的、可以應用本原理的示例性視頻解碼器的框圖；圖3是示出根據本原理實施例的、在視頻編碼器中用于比特深度可分級性的層間殘差預測的示例性方法的流程圖；圖4是示出根據本原理實施例的、在視頻解碼器中用于比特深度可分級性的層間殘差預測的示例性方法的流程圖；以及圖5是示出根據本原理實施例的、創建色調映射函數和反色調映射函數的示例性的流程圖。
具體實施例方式本原理針對使用色調映射和反色調映射的比特深度可分級視頻編碼和解碼的方法和裝置。本描述例示本原理。因此將認識到本領域技術人員將能夠設計體現本原理并且在其精神和范圍內包括的、盡管沒有在此明確地描述或示出的各種安排。在此敘述的所有實施例和條件性語言旨在教導目的以便幫助讀者理解(多個) 發明人貢獻的促進本領域的本原理和構思，并且將被解釋為不限于該特定敘述的示例和條件。另外，在這里敘述本原理的原理、方面和實施例及其特定示例的所有陳述意欲包括其結構和功能二者的等效物。另外，意圖在于這樣的等效物包括當前已知的等效物以及將來開發的等效物二者，即所開發的執行相同功能的任何元件，而不論其結構如何。因此，例如，本領域技術人員將認識到在此呈現的框圖表示實施本原理的說明性電路的概念性視圖。類似地，將認識到任何流程圖示(flow chart)、流程圖(flow diagram)、狀態轉換圖、偽代碼等表示實質上可以在計算機可讀介質中表示并因此由計算機或處理器執行的各種處理，而不管是否明確地示出了這樣的計算機或處理器。
圖中所示的各種元件的功能可以通過使用專用硬件以及與合適的軟件相關聯的能夠執行軟件的硬件提供。當由處理器提供時，可以由單個專用處理器、單個共享處理器、 或者其中一些可以被共享的多個單獨處理器提供所述功能。此外，術語“處理器，，或“控制器”的明確使用不應解釋為排他性地指代能夠執行軟件的硬件，而是可以暗含地包括而不限于，數字信號處理器(“DSP”)硬件、存儲軟件的只讀存儲器(“ROM”)、隨機存取存儲器 (“RAM”)、以及非易失性存儲器。還可包括其它硬件，常規的和/或定制的。類似地，圖中所示的任何開關僅是概念性的。可以通過程序邏輯的操作、通過專用邏輯、通過程序邏輯和專用邏輯的交互、或者甚至手動地來執行它們的功能，如從上下文中更具體地理解，具體技術可由實施者選擇。在此的權利要求中，被表達為執行特定功能的手段的要素都旨在包含執行該功能的任何方式，包括例如a)執行該功能的電路元件的結合或者b)任何形式的軟件，因此包括固件、微代碼等，與用于執行該軟件的合適的電路相結合以便執行功能。如這樣的權利要求所定義的本原理存在于這樣的事實由各種所敘述的手段提供的功能以權利要求所要求的方式被組合以及整合。其因此被視為可以提供那些功能的任何部件均等效于在此示出的那些。說明書中引用本發明的“一個實施例”或“一實施例”，以及其它變型意味著在本原理至少一個實施例中包括與該實施例相關描述的特定特征、結構、特點等等。因此，“一個實施例”或“一實施例”用語的出現，以及出現于貫穿說明書各個地方的任何其它變型不一定都指代同一實施例。應當認識到，以下的“/”、“和/或”以及“...中的至少一個”的任一種的使用，例如在“A/B”、“A和/或B”以及“A和B中的至少一個”的情況中，其意欲包括僅僅對于第一個列出的選項(A)的選擇、僅僅對于第二個列出的選項(B)的選擇、或者對于兩個選項(A 和B)的選擇。作為另一示例，在“A、B和/或C”和“A，B和C中的至少一個”的情況中，這種措辭意欲包括僅僅對于第一個列出的選項(A)的選擇、僅僅對于第二個列出的選項(B) 的選擇、僅僅對于第三個列出的選項(C)的選擇、僅僅對于第一個和第二個列出的選項(A 和B)的選擇、僅僅對于第一個和第三個列出的選項(A和C)的選擇、僅僅對于第二個和第三個列出的選項(B和C)的選擇、或者對于全部三個選項(A和B和C)的選擇。如本領域和相關領域普通技術人員容易認識到的，這可以被擴展至用于很多列出的項目。此外，為了描述本原理以及現有技術的目的，在此使用術語低比特深度和高比特深度。這些術語用來對兩個不同等級的比特深度定義進行定義。高比特深度特征在于其處于比低比特深度更高的比特深度，并且因此，其是一個相對的術語。為了討論和說明目的， 假設低比特深度為8比特，而假設高比特深度為10比特。由于低比特深度和高比特深度這些術語的相對性的本質，易見在此的要求是低比特深度小于高比特深度，另外術語將是任意的。因此，例如，低比特深度可以是4比特、6比特、或者就此而論是12比特，因為唯一的要求是預想高比特深度比低比特深度大。因此，如果假設定義12比特的比特深度被定義為低比特深度、那么高比特深度可以考慮14比特、16比特、或者任何其它大于12的比特深度。在此，本原理的討論和例示假設低比特深度等于8比特，對于高比特深度的要求將為大于8比特的任何比特(在此假設10比特用于討論，但是可以輕易地包含12比特、12比特的比特長度，或者任何大于8的其它比特長度)。描述低比特深度和高比特深度的比較的另一種方法是基本層比特深度和增強層比特深度，增強層比特深度大于基本層比特深度。因此，應該認識到雖然本原理的一個或更多實施例涉及使用10比特畫面作為高比特深度的示例，但本原理不限于這樣的示例，并且因此，涉及高比特深度的本原理的使用可以采用大于8的其它值(除了 10)，包括但不限于，12比特、14比特等等。進一步，為了便于例示，在此描述了僅涉及比特深度可分級性并且使用單環解碼架構的一個或更多實施例。然而，應該認識到本發明不限于前述的，因此，給出在此提供的本發明原理的教導，在保持本原理的精神的同時，由本領域以及相關領域的技術人員可以容易地擴展到涉及組合的可分級性，諸如比特深度和空間可分級性等等，以及多環解碼架構。此外，如在此使用的，詞“畫面”和“圖像”被互換地使用并且指代來自視頻序列的靜止圖像或畫面。如已知的，畫面可以是幀或場。另外，如在此使用的，詞“信號”指代用于向對應的解碼器指示事物。例如，編碼器可以發信號通知一組色調映射函數或反色調映射函數中的特定一個以便使得解碼器意識到在編碼器一側使用了哪個特定函數。以此方法，在編碼器一側和解碼器一側可以使用相同的函數。因此，例如，編碼器可以傳送特定的映射函數到解碼器使得解碼器可以使用相同的特定映射函數，或者，如果解碼器已經具有了該特定的映射函數以及其他，那么可以使用 (無需傳送)信令來簡單地使得解碼器知道并且選擇特定的映射函數。通過避免傳送任何實際函數，可以實現比特的節約。應該認識到可以以各種方式完成信令。例如，可以使用一個或更多語法元素、標志等等以便將信息發信號通知給對應的解碼器。此外，如在此使用的，用語“相同比特深度表示”指代具有相同比特深度值的一個或更多項目(例如，預測、殘差等)。例如，在兩個或更多項目的情況下，這樣的項目將具有相對于它們自己的相同的比特深度值。因此，例如，如果兩個預測具有相同比特深度表示， 則那兩個預測將也具有相同的比特深度值。因此，兩個預測可能具有8比特深度，或者二者可能具有10比特深度等等。當然，在保持本原理的精神的同時，也可使用更高和更低的比特值。在一個項目的情況下，例如殘差，該殘差將在特定的函數之前或之后具有相同的比特深度，所述特定函數包括，但不限于，色調映射函數、反色調映射函數、以及涉及色調映射函數和反色調映射函數二者的、從殘差域到像素域的轉換。轉到圖1，通過參考數字100大體上指示了根據本原理的能夠執行視頻編碼的視
頻編碼器。視頻編碼器100包括具有幀排序緩沖器110，其具有與組合器185的非反向輸入端信號通信的輸出端。組合器185的輸出端與變換器和量化器125的第一輸入端以信號通信方式連接。變換器和量化器125的輸出端與熵編碼器145的第一輸入端以及逆變換器和逆量化器150的第一輸入端以信號通信方式連接。熵編碼器145的輸出端與組合器190的第一非反向輸入端以信號通信方式連接。組合器190的輸出端與輸出緩沖器135的第一輸入端以信號通信方式連接。編碼器控制器105的第一輸出端與幀排序緩沖器110的第二輸入端、逆變換器和逆量化器150的第二輸入端、畫面類型判定模塊115的輸入端、宏塊類型(MB類型)判定模塊120的第一輸入端、幀內預測模塊160的第二輸入端、去塊濾波器165的第二輸入端、運動補償器170的第一輸入端、運動補償器175的第一輸入端、以及參考畫面緩沖器180的第
9二輸入端以信號通信方式連接。編碼器控制器105的第二輸出端與補充增強信息(SEI)插入器130的第一輸入端、變換器和量化器125的第二輸入端、熵編碼器145的第二輸入端、輸出緩沖器135的第二輸入端、以及序列參數集(SPQ和畫面參數集(PPQ插入器140的輸入端以信號通信方式連接。SEI插入器130的輸出端與組合器190的第二非反向輸入端以信號通信方式連接。畫面類型判定模塊115的第一輸出端與幀排序緩沖器110的第三輸入端以信號通信方式連接。畫面類型判定模塊115的第二輸出端與宏塊類型判定模塊120的第二輸入端以信號通信方式連接。序列參數集(SPS)和畫面參數集(PPS)插入器140的輸出端與組合器190的第三非反向輸入端以信號通信方式連接。逆變換器和逆量化器150的輸出端與組合器119的第一非反向輸入端以信號通信方式連接。組合器119的輸出端與幀內預測模塊160的第一輸入端以及去塊濾波器165的第一輸入端以信號通信方式連接。去塊濾波器165的輸出端與參考畫面緩沖器180的第一輸入端以信號通信方式連接。參考畫面緩沖器180的輸出端與運動估計器175的第二輸入端以及運動補償器170的第三輸入端以信號通信方式連接。運動估計器175的第一輸出端與運動補償器170的第二輸入端以信號通信方式連接。運動估計器175的第二輸出端與熵編碼器145的第三輸入端以信號通信方式連接。運動補償器170的輸出端與開關197的第一輸入端以信號通信方式連接。幀內預測模塊160的輸出端與開關197的第二輸入端以信號通信方式連接。宏塊類型判定模塊 120的輸出端與開關197的第三輸入端以信號通信方式連接。開關197的第三輸入端確定該開關的“數據”輸入端(作為與控制輸入端相比較，即，第三輸入端)是由運動補償器170 還是幀內預測模塊160提供。開關197的輸出端與組合器119的第二非反向輸入端以及組合器185的反向輸入端以信號通信方式連接。幀排序緩沖器110的第一輸入端和編碼器控制器105的輸入端可用作編碼器100 的輸入端，用于接收輸入畫面。此外，補充增強信息(SEI)插入器130的第二輸入端可用作編碼器100的輸入端，用于接收元數據。輸出緩沖器135的輸出端可用作編碼器100的輸出端，用于輸出比特流。轉到圖2，通過參考數字200大體上指示了根據本原理的能夠執行視頻解碼的視
頻解碼器。視頻解碼器200包括輸入緩沖器210，其具有與熵解碼器245的第一輸入端以信號通信方式連接的輸出端。熵解碼器245的第一輸出端與逆變換器和逆量化器250的第一輸入端以信號通信方式連接。逆變換器和逆量化器250的輸出端與組合器225的第二非反向輸入端以信號通信方式連接。組合器225的輸出端與去塊濾波器265的第二輸入端以及幀內預測模塊260的第一輸入端以信號通信方式連接。去塊濾波器沈5的第二輸出端與參考畫面緩沖器觀0的第一輸入端以信號通信方式連接。參考畫面緩沖器280的輸出端與運動補償器270的第二輸入端以信號通信方式連接。熵解碼器M5的第二輸出端與運動補償器270的第三輸入端、去塊濾波器沈5的第一輸入端、以及幀內預測器260的第三輸入端以信號通信方式連接。熵解碼器對5的第三輸出端與解碼器控制器205的輸入端以信號通信方式連接。解碼器控制器205的第一輸出端與熵解碼器245的第二輸入端以信號通信方式連接。解碼器控制器205的第二輸出端與逆變換器和逆量化器250的第二輸入端以信號通信方式連接。解碼器控制器205的第三輸出端與去塊濾波器265的第三輸入端以信號通信方式連接。解碼器控制器205的第四輸出端與幀內預測模塊260的第二輸入端、運動補償器270的第一輸入端、以及參考畫面緩沖器觀0的第二輸入端以信號通信方式連接。運動補償器270的輸出端與開關四7的第一輸入端以信號通信方式連接。幀內預測模塊260的輸出端與開關四7的第二輸入端以信號通信方式連接。開關四7的輸出端與組合器225的第一非反向輸入端以信號通信方式連接。輸入緩沖器210的輸入端可用作解碼器200的輸入端，用于接收輸入比特流。去塊濾波器265的第一輸出端可用作解碼器200的輸出端，用于對輸出畫面進行輸出。如以上說明的，本原理針對使用色調映射和反色調映射的比特深度可分級視頻編碼和解碼的方法和裝置。還如以上說明的，關于以上描述的第四現有技術方法，第四現有技術方法將預測塊P色調映射至基本層比特深度并且然后反色調映射回增強層比特深度。由于基本層具有更低的比特深度，所以這個轉換將引入量化誤差。為了防止現有技術的這個量化誤差，本原理提供在相同比特深度執行的色調映射和反色調映射操作的方法和裝置。一種在MPEG-4AVC標準的當前SVC擴展內實現比特深度可分級性的方法是指定在不同比特深度編碼的兩個粗顆粒可分級(CGQ SNR層的解碼處理。在當前SVC CGS設計中， 在最高層(高比特深度層)執行運動補償。因為比特深度在兩個層之間不同，所以直接地應用層間殘差預測是困難的。因此，使用用于層間殘差預測的反色調映射。然而，通常在像素域而不是殘差域中定義反色調映射。提出了新的技術，使得代替在殘差域中執行用于層間殘差預測的反色調映射，將該問題轉換至使得在像素域中執行用于層間殘差預測的反色調映射。這個新的層間預測技術具有提高比特深度可分級性的編碼效率的益處。因此，本原理使用在增強層比特深度上操作的色調映射函數和反色調映射函數。 在先前現有技術方法中，色調映射函數將10比特輸入映射到8比特輸出并且反色調映射函數將8比特輸入映射到1個10比特輸出。根據本原理，色調映射函數和反色調映射函數將 10比特輸入映射到10比特輸出。在實施例中，在比特流中發信號通知反色調映射表。根據本原理的實施例的視頻編碼過程如下1.使用增強層參考幀獲得預測塊P。然后使用函數T色調映射P以便獲得T(P)。2.對應的基本層殘差塊rb被左移(或者以其它方式進行比特上采樣)(m-n)比特并且然后在空間中被上采樣(如果空間可分級性要與深度可分級性組合)以便獲得U(rb << (m-n))，其中m是增強層視頻的比特深度而η是基本層視頻的比特深度。然后將U(rb < < (m-n))添加到 P 以便形成 T (P) +U (rb < < (m-n))。3.使用濾波器以便獲得 S(T(P)+U(rb << (m-n)))。4.然后應用反色調映射以便獲得！^(SCnPHU&b << (m-n))))。5.通過如下從原始塊0中減去之前緊接的步驟的結果來計算增強層殘差塊 re re 0-Γ1 (S (Τ (P) +U (rb < < (m-n))))。6.熵編碼增強層參考塊&并且在比特流中發信號通知。在比特流中發信號通知T 或 Γ1。轉到圖3，通過參考數字300大體上指示視頻編碼器中用于比特深度可分級性的層間殘差預測的示例性方法。方法300包括將控制傳遞到功能塊306的開始塊305。功能塊306生成色調映射或者反色調映射函數，并且傳遞控制到功能塊307。功能塊307編碼色調映射或反色調映射函數，將編碼寫入至比特流，并且傳遞控制到功能塊310。功能塊310 使用基本層運動矢量(MV)和增強層參考幀進行運動補償，并且傳遞控制到功能塊315。功能塊315獲得運動補償塊P，并且傳遞控制到功能塊320。功能塊320在P上執行色調映射以便獲得低比特深度預測T(P)，并且傳遞控制到功能塊325。功能塊325將基本層紋理殘差rb左移(或者以其它方式進行比特上采樣)(m-n)比特使得rb << (m-n)，并且傳遞控制到功能塊330。功能塊330將左移的基本層紋理殘差添加到T(P)以便形成P’使得P’ = T(P)+rb<< (m-n)，并且傳遞控制到判定塊335。判定塊335確定是否應用平滑參考。如果是，那么傳遞控制到功能塊340。否則，傳遞控制到功能塊345。功能塊340在P’上應用平滑濾波器，并且傳遞控制到功能塊345。功能塊345在P’上執行反色調映射以便獲得高比特深度預測尸⑴’)，并且傳遞控制到功能塊350。功能塊350通過從原始畫面0中減去Γ1 (P)使得re = 0-Γ1 (P，)獲得增強殘差re,并且傳遞控制到結束塊399。根據本原理實施例的視頻解碼過程如下1.使用增強層參考幀獲得預測塊P。然后使用函數T色調映射P以便獲得T(P)。2.對應的基本層殘差塊rb被左移(或者以其它方式進行比特上采樣)(m-n)比特并且然后在空間中被上采樣(如果空間可分級性要與深度可分級性組合)，其中m是增強視頻的比特深度而η是基本層視頻的比特深度。然后將U(rb<< (m-n))添加到P以便形成 T(P)+U(rb << (m-n))。3.使用濾波器以便獲得 S(T(P)+U(rb << (m-n)))。4.然后應用反色調映射以便獲得！^(SCnPHU&b << (m-n))))。5.將增強層殘差塊&添加到之前緊接的步驟以便獲得重構塊R = Γ1 (S (T (P) +U (rb < < (m-n)))) +re。轉到圖4，通過參考數字400大體上指示了視頻解器中用于比特深度可分級性的層間殘差預測的示例性方法。方法400包括將傳遞控制到功能塊406的開始塊405。功能塊406解碼來自比特流的色調映射或反色調映射函數，并且傳遞控制信號到功能塊410。功能塊410使用基本層運動矢量(MV)和增強層參考幀進行運動補償，并且傳遞控制到功能塊 415。功能塊415獲得運動補償塊P，并且傳遞控制到功能塊420。功能塊420在P上執行色調映射以便獲得低比特深度預測T(P)，并且傳遞控制到功能塊425。功能塊425將基本層紋理殘差rb左移(或者以其它方式進行比特上采樣)(m-n)比特使得rb<< (m-n)，并且傳遞控制到功能塊430。功能塊430將左移的基本層紋理殘差添加到T(P)以便形成P’ 使得P’ =T(P)+rb<< (m-n)，并且傳遞控制到判定塊435。判定塊435確定是否應用平滑參考。如果是，那么傳遞控制到功能塊440。否則，傳遞控制到功能塊445。功能塊440在P’上應用平滑濾波器，并且傳遞控制到功能塊445。功能塊445在P’上執行反色調映射以便獲得高比特深度預測尸⑴’)，并且傳遞控制到功能塊450。功能塊450通過添加Γ1 (P)到增強層殘差re使得re = 0-Γ1 (P，)獲得重構塊R，并且傳遞控制到結束塊499。現在呈現色調映射T或Γ1的一個示例性實施例。T或Γ1可以被實施為具有2-個條目的表。每個條目包括從0到2m-l。為了創建T和Γ1，在實施例中，如下描述地調用稱為直方圖規范的過程a)首先將基本層信號左移(m-n)比特。b)計算增強層信號和左移的基本層信號的直方圖。c)計算分別被標記為Cdfbl的，來自增強層直方圖和基本層直方圖的累積密度函數(⑶F)。d)為了獲得增強層直方圖中的每個庫(bin)i的T，在左移的基本層直方圖中找到最小的庫j使得Cdfbl (j)彡Cdfel⑴。e)為了獲得左移的基本層直方圖中的每個庫j的Γ1，在增強層直方圖中找到最小的庫 i 使得 cdfbl (j) ^ cdfel (i)0轉到圖5，通過參考數字500大體上指示用于創建色調映射函數T和反色調映射函數Γ1的示例性方法。該方法包括傳遞控制到功能塊510的開始塊505。功能塊510將基本層信號左移(m-n)比特，其中m是增強視頻的比特深度而η是基本層視頻的比特深度，并且傳遞控制到功能塊515。功能塊515計算增強層信號和左移的基本層信號的直方圖，并且傳遞控制到功能塊520。功能塊520計算分別被稱作Cdfel和Cdfbl的、來自增強層直方圖和基本層直方圖的累積密度函數(CDF)，并且傳遞控制到功能塊525。功能塊525通過在左移的基本層直方圖中找到最小的庫j獲得增強層直方圖中每個庫i的T使得Cdfbl (j) ^ Cdfel⑴， 并且傳遞控制到功能塊530。功能塊530通過在增強層直方圖中找到最小的庫i獲得左移的基本層直方圖中每個庫j的Γ1使得Cdfbl (j) ^ cdfel (i)，并且傳遞控制到結束塊599。現在將給出本發明的一些附帶優點/特點的描述，其中一些已經在上文提及。例如，一個優點/特點在于一種具有編碼器的裝置，所述編碼器通過使用色調映射函數和反色調映射函數為畫面的至少一部分生成層間殘差預測而對畫面的該部分的畫面數據進行編碼。在保持相同的比特深度表示的同時，色調映射函數和反色調映射函數對比特深度可分級性從殘差域到像素域執行層間殘差預測的轉換。另一優點/特點在于具有如上文所述的編碼器的裝置，其中通過在轉換期間保持相同的比特深度表示來最小化在轉換期間由比特深度減少造成的量化誤差。再一優點/特點在于具有如上文所述的編碼器的裝置，其中編碼器通過以下步驟來生成層間殘差預測使用增強層參考執行運動補償以便生成增強層預測，色調映射增強層預測到基本層參考以便生成色調映射預測，比特上采樣基本層殘差，將色調映射預測與比特上采樣的基本層殘差組合以便獲得總和，濾波該總和以便獲得平滑的基本層參考，以及反色調映射平滑的基本層參考以便生成反色調映射預測。編碼器編碼并傳送反色調映射預測和畫面之間的誤差。另一優點/特點在于具有如上文所述的除了其他以外，編碼并傳送反色調映射預測和畫面之間的誤差的編碼器的裝置，其中基本層殘差被比特上采樣(m-n)比特，其中m是與畫面對應的增強層的比特深度而η是與畫面對應的基本層比特深度。此外，另一優點/特點在于具有如上文所述的除了其他以外，編碼并傳送反色調映射預測和畫面之間的誤差的編碼器的裝置，其中編碼器發信號和/或傳送用來生成色調映射預測的色調映射函數和用來生成反色調映射預測的反色調映射函數中的至少一個。進一步，另一優點/特點在于具有上述的至少進行發信號通知和傳送中的至少一個的編碼器的裝置，其中編碼器使用一個或更多語法元素和一個或更多標志中的至少一個發信號通知色調映射函數和反色調映射函數中的至少一個。此外，另一優點/特點在于具有如上文所述的除了其他以外，編碼并傳送反色調映射預測和畫面之間的誤差的編碼器的裝置，其中將比特上采樣的基本層殘差在空間中上采樣以便獲得在空間中比特上采樣的上采樣基本層殘差，并且在空間中比特上采樣的上采樣基本層殘差與色調映射預測組合以便獲得總和。另外，另一優點/特點在于具有如上文所述的編碼器的裝置，其中關于色調映射函數和反色調映射函數二者，通過輸入和輸出具有相同比特深度的值來保持相同的比特深度表示。基于在此的教導，有關領域的技術人員可以容易地確定本原理的這些和其他特點與優點。應該了解的是可以以各種形式的硬件、軟件、固件、專用處理器、或者其組合來實施本原理的教導。最優選地，將本原理的教導實施為硬件和軟件的結合。此外，可以將軟件實施為程序存儲單元上有形地體現的應用程序。應用程序可以被加載至包括任何合適架構的機器并且被其執行。優選地，在具有諸如一個或更多中央處理單元(“CPU”)、隨機存取存儲器 (“RAM”)、以及輸入/輸出(“I/O”)接口的硬件的計算機平臺上實施該機器。計算機平臺還可包括操作系統和微指令碼。在此描述的各種處理和功能可以是能夠被CPU執行的微指令碼的一部分或者應用程序的一部分，或者是其任何組合。另外，諸如附加數據存儲單元和打印單元的各種其它外圍單元可以連接到該計算機平臺。還應當理解，因為優選地用軟件來實現在附圖中示出的一些組成系統組件和方法，所以這些系統組件或處理功能塊之間的實際連接可以根據本原理被編程的方式而不同。給出這里的教導，相關領域的普通技術人員將能夠想到本原理的這些和類似的實現或配置。盡管在這里參照附圖描述了說明性實施例，但是應當理解，本原理不限于那些精確的實施例，并且相關領域的普通技術人員可以在其中進行各種改變和修改，而不背離本原理的范圍或精神。所有這樣的改變和修改都意欲被包括在如所附權利要求闡述的本原理的范圍內。
權利要求
1.一種裝置，包括編碼器(100)，通過使用色調映射函數和反色調映射函數為畫面的至少一部分生成層間殘差預測來對所述部分的畫面數據進行編碼，其中在保持相同的比特深度表示的同時，色調映射函數和反色調映射函數對比特深度可分級性執行從殘差域到像素域的層間殘差預測轉換。
2.如權利要求1所述的裝置，其中通過在轉換期間保持相同的比特深度表示來最小化在轉換期間由比特深度減少造成的量化誤差。
3.如權利要求1所述的裝置，其中所述編碼器(100)通過以下步驟生成層間殘差預測 使用增強層參考執行運動補償以便生成增強層預測，色調映射增強層預測到基本層參考以便生成色調映射預測，比特上采樣基本層殘差，將色調映射預測與比特上采樣的基本層殘差組合以便獲得總和，濾波該總和以便獲得平滑的基本層參考，反色調映射該平滑的基本層參考以便生成反色調映射預測，并且其中所述編碼器編碼并傳送反色調映射預測和畫面之間的誤差。
4.如權利要求3所述的裝置，其中基本層殘差被比特上采樣(m-n)比特，其中m是與畫面對應的增強層的比特深度，而η是與畫面對應的基本層的比特深度。
5.如權利要求3所述的裝置，其中所述編碼器(100)對用來生成色調映射預測的色調映射函數和用來生成反色調映射預測的反色調映射函數中的至少一個進行發信號通知和傳送中的至少一個。
6.如權利要求5所述的裝置，其中所述編碼器(100)使用一個或更多語法元素和一個或更多標志中的至少一個發信號通知色調映射函數和反色調映射函數中的至少一個。
7.如權利要求3所述的裝置，其中將比特上采樣的基本層殘差在空間中上采樣以便獲得在空間中進行比特上采樣的上采樣的基本層殘差，并且將在空間中進行比特上采樣的上采樣的基本層殘差與色調映射預測組合以便獲得總和。
8.如權利要求1所述的裝置，其中關于色調映射函數和反色調映射函數二者通過輸入和輸出具有相同比特深度的值來保持相同的比特深度表示。
9.一種方法，包括通過使用色調映射函數(320)和反色調映射函數(345)為畫面的至少一部分生成層間殘差預測來對所述部分的畫面數據進行編碼，其中在保持相同的比特深度表示(325、510)的同時，色調映射函數(320)和反色調映射函數(345)對比特深度可分級性執行從殘差域到像素域的層間殘差預測轉換。
10.如權利要求9所述的方法，其中通過在轉換(325、510)期間保持相同的比特深度表示來最小化在轉換期間由比特深度減少造成的量化誤差。
11.如權利要求9所述的方法，其中生成層間殘差預測包括使用增強層參考執行運動補償以便生成增強層預測(310、315)；色調映射增強層預測到基本層參考以便生成色調映射預測(320)；比特上采樣基本層殘差(325)；將色調映射預測與比特上采樣的基本層殘差組合以便獲得總和(330)；濾波該總和以便獲得平滑的基本層參考(340)；反色調映射平滑的基本層參考以便生成反色調映射預測(345)；以及其中所述方法還包括編碼并傳送反色調映射預測和畫面之間的誤差(350)。
12.如權利要求11所述的方法，其中基本層殘差被比特上采樣(m-n)比特(325、510)， 其中m是與畫面對應的增強層的比特深度，而η是與畫面對應的基本層的比特深度。
13.如權利要求11所述的方法，其中所述方法還包括對用來生成色調映射預測的色調映射函數(320)和用來生成反色調映射預測的反色調映射函數(345)中的至少一個進行發信號通知和傳送(307)中的至少一個。
14.如權利要求13所述的方法，其中所述編碼器(100)使用一個或更多語法元素和一個或更多標志中的至少一個發信號通知色調映射函數(320)和反色調映射函數(345)中的至少一個(307)。
15.如權利要求11所述的方法，其中將比特上采樣的基本層殘差(325)在空間中上采樣以便獲得在空間中進行比特上采樣的上采樣的基本層殘差，并且在空間中進行比特上采樣的上采樣的基本層殘差與色調映射預測(330)組合以便獲得總和。
16.如權利要求9所述的方法，其中關于色調映射函數(320)和反色調映射函數(345) 二者通過輸入和輸出具有相同比特深度的值來保持相同的比特深度表示。
17.一種裝置，包括解碼器(200)，通過使用色調映射函數和反色調映射函數為畫面的至少一部分生成層間殘差預測來對所述部分的畫面數據進行解碼，其中在保持相同的比特深度表示的同時，色調映射函數和反色調映射函數對比特深度可分級性執行從殘差域到像素域的層間殘差預測的轉換。
18.如權利要求17所述的裝置，其中通過在轉換期間保持相同的比特深度表示來最小化在轉換期間由比特深度減少造成的量化誤差。
19.如權利要求17所述的裝置，其中所述解碼器(200)通過以下步驟來生成層間殘差預測使用增強層參考執行運動補償以便生成增強層預測，色調映射增強層預測到基本層參考以便生成色調映射預測，比特上采樣基本層殘差，將色調映射預測與比特上采樣的基本層殘差組合以便獲得總和，濾波該總和以便獲得平滑的基本層參考，反色調映射平滑的基本層參考以便生成反色調映射預測，并且其中所述解碼器基于反色調映射預測和畫面之間的誤差生成所述部分的重構版本。
20.如權利要求19所述的裝置，其中基本層殘差被比特上采樣(m-n)比特，其中m是與畫面對應的增強層的比特深度，而η是與畫面對應的基本層的比特深度。
21.如權利要求19所述的裝置，其中所述解碼器(200)對用來生成色調映射預測的色調映射函數和用來生成反色調映射預測的反色調映射函數中的至少一個進行解碼和確定中的至少一個。
22.如權利要求21所述的裝置，其中所述解碼器(200)從一個或更多語法元素和一個或更多標志中的至少一個對色調映射函數和反色調映射函數中至少一個進行確定。
23.如權利要求19所述的裝置，其中將比特上采樣的基本層殘差在空間中上采樣以便獲得在空間中基本上采樣的上采樣的基本層殘差，并且將在空間中基本上采樣的上采樣的基本層殘差與色調映射預測組合以便獲得總和。
24.如權利要求17所述的裝置，其中關于色調映射函數和反色調映射函數二者通過輸入和輸出具有相同比特深度的值來保持相同的比特深度表示。
25.一種方法，包括通過使用色調映射函數和反色調映射函數為畫面的至少一部分生成層間殘差預測來對所述部分的畫面數據進行解碼，其中在保持相同的比特深度表示(425、510)的同時，色調映射函數(420)和反色調映射函數(445)對比特深度可分級性執行從殘差域到像素域的層間殘差預測的轉換。
26.如權利要求25所述的方法，其中通過在轉換(425、510)期間保持相同的比特深度表示來最小化在轉換期間由比特深度減少造成的量化誤差。
27.如權利要求25所述的方法，其中生成層間殘差預測包括 使用增強層參考執行運動補償以便生成增強層預測(410、415)； 色調映射增強層預測到基本層參考以便生成色調映射預測(420)； 比特上采樣基本層殘差(425)；將色調映射預測與比特上采樣的基本層殘差組合以便獲得總和(430)；以及濾波該總和以便獲得平滑的基本層參考(440)，反色調映射平滑的基本層參考以便生成反色調映射預測(445)，其中所述方法還包括基于反色調映射預測和畫面之間的誤差來生成所述部分的重構版本(450)。
28.如權利要求27所述的方法，其中基本層殘差被比特上采樣(m-n)比特(425、510)， 其中m是與畫面對應的增強層的比特深度，而η是與畫面對應的基本層的比特深度。
29.如權利要求27所述的方法，其中所述方法還包括對用來生成色調映射預測的色調映射函數(420)和用來生成反色調映射預測的反色調映射函數(445)中的至少一個進行解碼和確定(406)中的至少一個。
30.如權利要求29所述的方法，其中所述解碼器從一個或更多語法元素和一個或更多標志中的至少一個對色調映射函數(420)和反色調映射函數(445)中的至少一個進行確定 (406)。
31.如權利要求27所述的方法，其中將比特上采樣的基本層殘差(425)在空間中上采樣以便獲得在空間中比特上采樣的上采樣的基本層殘差，并且將在空間中比特上采樣的上采樣的基本層殘差與色調映射預測組合以便獲得總和(430)。
32.如權利要求25所述的方法，其中關于色調映射函數(420)和反色調映射函數 (445) 二者通過輸入和輸出具有相同比特深度的值來保持相同的比特深度表示。
33.一種其上編碼了視頻信號數據的計算機可讀存儲介質，包括通過使用色調映射函數和反色調映射函數為畫面的至少一部分生成層間殘差預測而編碼的所述部分的畫面數據，其中在保持相同的比特深度表示的同時，色調映射函數和反色調映射函數對比特深度可分級性執行從殘差域到像素域的層間殘差預測轉換。
全文摘要
提供了使用色調映射和反色調映射的比特深度可分級視頻編碼和解碼的方法和裝置。裝置包括編碼器(100)，通過使用色調映射函數和反色調映射函數為畫面的至少一部分生成層間殘差預測來對所述部分的畫面數據進行編碼。在保持相同的比特深度表示的同時，色調映射函數和反色調映射函數對比特深度可分級性執行從殘差域到像素域的層間殘差預測轉換。
文檔編號H04N7/26GK102388611SQ201080016191
公開日2012年3月21日 申請日期2010年2月9日 優先權日2009年2月11日
發明者Z.馬, 尹鵬, 羅健聰 申請人:湯姆森特許公司