專利名稱：對幀內預測使用自適應dct/dst的低復雜度變換編碼的制作方法
技術領域：
本申請總體上涉及一種視頻編碼器/解碼器(編解碼器)，更具體地說，涉及一種用于實現基于模式的DCT/DST視頻編解碼器的方法和設備，其中，離散余弦變換(DCT)和離散正弦變換(DST)基于幀內預測殘差能量或簡單地基于幀內預測模式而被選擇。
背景技術：
大多數現有的圖像和視頻編碼標準(諸如JPEG、H.264/AVC、VC-1以及即將到來的下一代視頻編解 碼器標準HEVC (高效率視頻編碼))采用基于塊的變換編碼作為工具來有效地壓縮輸入圖像和視頻信號。以逐塊為基礎使用變換處理來將像素域數據變換到頻域。對于典型的圖像，大部分能量被集中在低頻變換系數中。在變換之后，更大步長的量化器可被用于更高頻率的變換系數，以便更有效地壓縮能量并獲得更好的壓縮。因此，需要為每個圖像塊設計最佳變換來對變換系數完全去相關。卡胡南-洛夫(Karhunen Loeve)變換(KLT)在例如高斯信號的高分辨率量化和變換系數的完全去相關方面具有若干有吸引力的特性。然而，由于KLT的高計算復雜度，KLT的實際使用受到限制，并且，已由K.R.Rao和P.Yip(1990)在“Discrete cosine transform-algorithms, advantages and applications，，中示出離散余弦變換(DCT)在接近于KLT的能量壓縮和性能方面提供對于KLT的有吸引力的替代。但是隨著幀內預測的出現，不再是這種情況，并且最佳變換應該適用于幀內預測模式。在正在進行的HEVC的標準化中，除了標準DCT之外，非傳統變換正被研究以用于中貞內預測殘差(Robert Cohen 等人，“Tool Experiment :MDDT Simplification，，，ITU-TJCTVC-B307，瑞士，日內瓦，2010年7月)。這些變換可大致被分類為兩種類別:(a)基于訓練的變換和(b)基于模型的變換。在基于訓練的變換之中突出的是基于模式的方向變換(MDDT) (Y.Ye 和 M.Karczewicz, “Improved Intra coding”，ITU-T Q.6/SG-16VCEG,VCEG-AG11，中國，深圳，2007年10月)。在MDDT中，為每個幀內預測模式收集誤差殘差的大的訓練集，然后使用殘差訓練集來計算最佳變換矩陣。然而，MDDT需要大量的變換矩陣——在塊大小N=4和N=S的情況下需要多達18個變換矩陣。另一種類別的基于模型的變換假設視頻信號將被建模為一階高斯-馬爾可夫過程，然后分析得出最佳變換。這些基于模型的變換在塊大小下需要兩個變換矩陣。在 J.Han、A.Saxena 和 K.Rose,“Towards jointly optimal spatial predictionand adaptive transform in video/image coding，，，IEEE International Conferenceon Acoustics, Speech and Signal Processing (ICASSP), 726-729 頁，2010 年 3 月中，如在 H.264/AVC 中的巾貞內預測(T.Wiegland、G.J.Sullivan, G、Bjontegaard 和 A.Luthra,“Overview of the H.264/AVC video coding standard”，IEEE Transactions on Circuitsand Systems for Video Technology, 2003年7月)中，當邊界信息在一個方向上可用時，針對一階高斯-馬爾可夫模型以不同于傳統DCT的頻率和相位分量來分析得出離散正弦變換(DST)0它們還表明:如果沒有沿特定方向執行預測，則DCT性能接近于KLT。此構思被應用到H.264/AVC中的幀內預測中的垂直模式和水平模式，并且所提出的DST和傳統DCT的組合被適應性地使用。已通過將DST和DCT的組合應用到H.264/AVC中的其它七種預測模式來在沒有理論證實的情況下嘗試實驗性地擴展類似的構思，且所述嘗試已表明:與MDDT相比，性能方面僅存在較小的損失(C.Yeo、Y.H.Tan、Z.Li 和 S.Rahardja, “Mode-dependentfast separable KLT for block-based intra coding”，ITU-T JCTVC-B024,瑞士，日內瓦，2010 年 7 月)。此外，DST矩陣應被適當地縮放以考慮量化縮放矩陣的影響。現有技術沒有描述在HEVC中的實現中對DST矩陣系數的改變以使得縮放與DCT匹配。因此，本領域中需要提高壓縮效率并采用低復雜度變換的改進視頻編解碼器。

發明內容
技術問題在正在進行的HEVC的標準化中，除了標準DCT之外，非傳統變換正被研究以用于中貞內預測殘差(Robert Cohen 等人，“Tool Experiment :MDDT Simplification，，，ITU-TJCTVC-B307，瑞士，日內瓦，2010年7月)。這些變換可大致被分類為兩種類別:(a)基于訓練的變換和(b)基于模型的變換。在基于訓練的變換之中突出的是基于模式的方向變換(MDDT) (Y.Ye 和 M.Karczewicz, “Improved Intra coding”，ITU-T Q.6/SG-16VCEG,VCEG-AG11，中國，深圳，2007年10月)。在MDDT中，為每個幀內預測模式收集誤差殘差的大的訓練集，然后使用殘差訓練集來計算最佳變換矩陣。然而，MDDT需要大量的變換矩陣——在塊大小N=4和N=S的情況下需要多達18個 變換矩陣。另一種類別的基于模型的變換假設視頻信號將被建模為一階高斯-馬爾可夫過程，然后分析得出最佳變換。這些基于模型的變換在塊大小下需要兩個變換矩陣。在 J.Han、A.Saxena 和 K.Rose,“Towards jointly optimal spatial predictionand adaptive transform in video/image coding，，，IEEE International Conferenceon Acoustics, Speech and Signal Processing (ICASSP), 726-729 頁，2010 年 3 月中，如在 H.264/AVC 中的巾貞內預測(T.Wiegland、G.J.Sullivan, G、Bjontegaard 和 A.Luthra,“Overview of the H.264/AVC video coding standard”，IEEE Transactions on Circuitsand Systems for Video Technology, 2003年7月)中，當邊界信息在一個方向上可用時，針對一階高斯-馬爾可夫模型以不同于傳統DCT的頻率和相位分量來分析得出離散正弦變換(DST)0它們還表明:如果沒有沿特定方向執行預測，則DCT性能接近于KLT。此構思被應用到H.264/AVC中的幀內預測中的垂直模式和水平模式，并且所提出的DST和傳統DCT的組合被適應性地使用。已通過將DST和DCT的組合應用到H.264/AVC中的其它七種預測模式來在沒有理論證實的情況下嘗試實驗性地擴展類似的構思，且所述嘗試已表明:與MDDT相比，性能方面僅存在較小的損失(C.Yeo、Y.H.Tan、Z.Li 和 S.Rahardja, “Mode-dependentfast separable KLT for block-based intra coding”，ITU-T JCTVC-B024,瑞士，日內瓦，2010 年 7 月)。此外，DST矩陣應被適當地縮放以考慮量化縮放矩陣的影響。現有技術沒有描述在HEVC中的實現中對DST矩陣系數的改變以使得縮放與DCT匹配。因此，本領域中需要提高壓縮效率并采用低復雜度變換的改進視頻編解碼器。
技術方案根據本公開的一方面，提供一種用于解碼視頻的方法。從輸入視頻比特流確定幀內預測模式。根據輸入視頻比特流的幀內預測模式，將輸入視頻比特流的系數映射到MXN變換系數矩陣。根據幀內預測模式，對于變換系數矩陣，確定應用離散余弦變換(DCT)和離散正弦變換(DST)中的第一個作為逆垂直變換，并確定應用DCT和DST中的第二個作為逆水平變換。通過將DCT和DST中的第一個用于逆垂直變換并將DCT和DST中的第二個用于逆水平變換來執行包括逆垂直變換和逆水平變換的逆變換，以計算將被用于重建視頻的圖像的誤差預測殘差的近似值。有益效果本公開旨在針對在用于視頻的幀內編碼中的各種預測模式在離散正弦變換(DST)和離散余弦變換(DCT)之間進行選擇。基于幀內預測模式在DST和傳統DCT之間進行選擇將最佳地產生實質性的壓縮增益。本公開的實施例使用低復雜度變換并僅需要一個DST變換矩陣，這將促使DST的快速實現。盡管將參照HEVC (高效率視頻編碼)標準來描述本公開的實施例，但是本領域的普通技術人員將認識到實施例也可適用于H.264/AVC標準。


為了更完整地理解本公開及其優點，現結合附圖參考以下描述，其中，相同參考標號表不相同部件:圖1A示出根據本公開的實施例的視頻編碼器的高層框圖；圖1B示出根據本公開的實施例的視頻解碼器的高層框圖；圖2是根據本公開的實施例的視頻編碼器的一部分的框圖；圖3A和圖3B是示出根據本公開的實施例的使用類別I斜向模式預測圖像像素的示圖；圖4是示出根據本公開的實施例的使用類別2斜向模式預測圖像像素的示圖；圖5是示出根據本公開的實施例的使用DC預測模式預測圖像像素的示圖；圖6是示出根據本公開的實施例的得出用于類別I斜向模式的變換的示圖；圖7A和圖7B是示出根據本公開的實施例的得出用于類別2斜向模式的變換的示圖；圖8示出根據實施例的用于通過對幀內預測使用DCT/DST來編碼視頻比特流的處理；圖9是根據本公開的實施例的視頻解碼器的一部分的框圖；圖10示出根據實施例的用于使用DCT/DST來解碼視頻比特流的處理；圖11是示出根據本公開的實施例的通過將列劃分為兩個區域來使用類別2斜向模式預測像素的示圖；圖12是示出根據本公開的實施例的當列被劃分為兩個區域時得出用于類別2斜向模式的變換的示圖；圖13示出根據本公開的實施例的用于4點DST的DST類型4和DST類型7的基函數的圖表；圖14示出根據本公開的實施例的用于8點DST的DST類型4和DST類型7的基函數的圖表。
具體實施例方式根據本公開的一方面，提供一種用于解碼視頻的方法。從輸入視頻比特流確定幀內預測模式。根據輸入視頻比特流的幀內預測模式，將輸入視頻比特流的系數映射到MXN變換系數矩陣。根據幀內預測模式，對于變換系數矩陣，確定應用離散余弦變換(DCT)和離散正弦變換(DST)中的第一個作為逆垂直變換，并確定應用DCT和DST中的第二個作為逆水平變換。通過將DCT和DST中的第一個用于逆垂直變換并將DCT和DST中的第二個用于逆水平變換來執行包括逆垂直變換和逆水平變換的逆變換，以計算將被用于重建視頻的圖像的誤差預測殘差的近似值。根據本公開的另一方面，提供一種用于編碼視頻的方法。基于幀內預測模式對MXN的輸入圖像塊(X)的輸入矩陣執行幀內預測以產生預測/\_并獲得MXN幀內預測殘差矩陣(E)。根據幀內預測模式，對于E，確定應用離散余弦變換(DCT)和離散正弦變換(DST)中的第一個作為水平變換，并確定應用DCT和DST中的第二個作為垂直變換。通過將DCT和DST中的第一個用作水平變換并將DCT和DST中的第二個用作垂直變換來執行包括水平變換和垂直變換的正變換，以計算變換系數矩陣(E2)。根據本公開的另一方面，提供一種用于解碼視頻的設備。所述設備包括反量化器和逆變換單元。反量化器根據輸入視頻比特流的幀內預測模式將從輸入視頻比特流獲得的量化的變換系數索引映射到MXN變換系數矩陣。使用MXN變換系數矩陣和從輸入視頻比特流獲得的幀內預測模式，逆變換單元根據幀內預測模式，對于變換系數矩陣，確定應用離散余弦變換(DCT)和離散正弦變換(DST)中的第一個作為逆垂直變換，確定DCT和DST中的第二個作為逆水平變換，并通過將DCT和DST中的第一個用于逆垂直變換并將DCT和DST中的第二個用于逆水平變換來執行包括逆垂直變換和逆水平變換的逆變換，以計算誤差預測殘差的近似值。其中，逆變換單元被進一步配置為用于使用DCT和DST中的第一個對變換系數矩陣的N個列中的每一列執行逆垂直變換，并使用DCT和DST中的第二個對逆垂直變換的輸出的M個行中的每一行執行逆水平變換，以計算誤差預測殘差的近似值。其中，逆變換單元被進一步配置為用于使用DCT和DST中的第二個對變換系數矩陣的M個行中的每一行執行逆水平變換，并使用DCT和DST中的第一個對逆水平變換的輸出的N個列中的每一列執行逆垂直變換，以計算誤差預測殘差的近似值。其中，逆變換單元被進一步配置為用于當將DST用于逆垂直變換和逆水平變換中的至少一個時執行逆DST類型4。其中，逆變換單元被進一步配置為用于當將DST用于逆垂直變換和逆水平變換中的至少一個時執行逆DST類型7。其中，逆DST類型7是具有八次乘法的4X4逆DST類型7的快速實現。其中，調整逆DST類型7矩陣中的多個元素中的至少一個元素，使得所述多個元素共用公因子，將乘法的數量減少到五次。根據本公開的又一方面，提供一種用于編碼視頻的設備。所述設備包括統一幀內預測單元和變換單元。統一幀內預測單元基于幀內預測模式對MXN輸入圖像塊(X)的輸入矩陣執行幀內預測以產生交,并獲得MXN幀內預測殘差矩陣(E)。變換單元根據幀內預測模式，對于E，確定應用離散余弦變換(DCT)和離散正弦變換(DST)中的第一個作為水平變換，確定應用DCT和DST中的第二個作為垂直變換，并通過將DCT和DST中的第一個用作水平變換并將DCT和DST中的第二個用于垂直變換來執行包括水平變換和垂直變換的正變換，以計算變換系數矩陣(E2)。其中，變換單元被進一步配置為用于使用DCT和DST中的第一個對E的M個行中的每一行執行水平變換，并使用DCT和DST中的第二個對水平變換的輸出的N個列中的每一列執行垂直變換，以計算變換系數矩陣(E2)。其中，變換單元被進一步配置為用于使用DCT和DST中的第二個對E的N個列中的每一列執行垂直變換，并使用DCT和DST中的第一個對垂直變換的數據的輸出的M個行中的每一行執行水平變換，以產生變換系數矩陣(E2)。其中，變換單元被進一步配置為用于當將DST用于水平變換和垂直變換中的至少一個時執行DST類型4。其中，變換單元被進一步配置為用于當將DST用于水平變換和垂直變換中的至少一個時執行DST類型7。其中，DST類型7是具有九次乘法的4X4DST類型7的快速實現。其中，調整DST類型7矩陣中的多個元素中的至少一個元素，使得所述多個元素共用公因子，將乘法的數量減少到五次。在進行以下的“本發明的模式”之前，闡明貫穿本專利文檔使用的某些詞語和短語的定義會是有利的:術語“包括”和“包含”及其派生詞表示包括但不限于；術語“或”是包括的，表示和/或；短語“與…相關”和“與其相關”及其派生詞可表示包括、被包括在內、與…互連、包含、被包含在內、被連接到或與…連接、結合到或與…結合、可與…通信、與…協作、交織、并列、接近、被綁定到或與…綁定、具有、具有…的特性等；并且術語“控制器”表示控制至少一個操作的任何裝置、系統或其部件，這樣的裝置可利用硬件、固件或軟件或它們之中的至少兩項的一些組合來實施。應注意:與任何特定控制器關聯的功能可按本地或遠程的方式被集中或被分布。貫穿本專利文檔，某些詞語和短語的定義被提供，本領域的普通技術人員應該理解:在許多情況下(如果不是大多數情況下)，這些定義適用于如此定義的詞語和短語在以前和將來的使用。本發明的模式本申請涉及于2010年9月8日提`交的名為“LOW COMPLEXITY TRANSFORM CODINGUSING ADAPTIVE DCT/DST FOR INTRA PREDICTION” 的第 61/380991 號美國臨時專利申請、于 2010 年 12 月 28 日提交的名為 “ON OPTIMALITY OF INTRA-PREDICTION MODE MAPPINGSAND LOCATION SPECIFIC CHOICE FOR ADAPTIVE DCT/DST” 的第 61/427758 號美國臨時專利申請、于 2011 年 2 月 17 日提交的名為 “LOW COMPLEXITY ALTERNATE TO DST TYPE7INMODE-DEPENDENT DCT/DST FOR INTRA PREDICTION IN VIDEO CODING”的第 61/444045 號美國臨時專利申請、于2011年3月4日提交的名為“FAST IMPLEMENTATION TO DST TYPE7INMODE-DEPENDENT DCT/DST FOR INTRA PREDICTION IN VIDEO CODING”的第 61/449484 號美國臨時專利申請、于2011年4月7日提交的名為“FAST IMPLEMENTATION FOR DST TYPE7”的第61/473047號美國臨時專利申請、于2011年4月13日提交的名為“FAST IMPLEMENTATIONFOR FORWARD AND INVERSE DST TYPE7”的第61/475120號美國臨時專利申請。第61/380991號、第 61/427758 號、第 61/444045 號、第 61/449484 號、第 61/473047 號和第 61/475120號臨時專利申請被轉讓給本申請的受讓人，并由此通過引用被合并到本申請中，猶如在本文中被完全闡述。本申請由此要求第61/380991號、第61/427758號、第61/444045號、第61/449484號、第61/473047號和第61/475120號美國臨時專利申請的優先權。下面討論圖1A至圖14以及用于在本專利文檔中描述本公開的原理的各種實施例僅是作為說明，且不應該以任何方式被解釋為用于限制本公開的范圍。本領域的技術人員將理解:本公開的原理可被實施在任何適當布置的視頻編碼器或解碼器中。本公開旨在針對在用于視頻的幀內編碼中的各種預測模式在離散正弦變換(DST )和離散余弦變換(DCT)之間進行選擇。基于幀內預測模式在DST和傳統DCT之間進行選擇將最佳地產生實質性的壓縮增益。本公開的實施例使用低復雜度變換并僅需要一個DST變換矩陣，這將促使DST的快速實現。盡管將參照HEVC (高效率視頻編碼)標準來描述本公開的實施例，但是本領域的普通技術人員將認識到實施例也可適用于H.264/AVC標準。視頻編碼聯合協作小組(JCT-VC)正在考慮“考慮中的測試模型(TMuC)”(“TestModel under Consideration, ”ITU_T JCTVC_B205_draft002，瑞士，日內瓦，2010 年 7 月)，以用于HEVC視頻編解碼器的標準化。圖1A示出根據本公開的實施例的視頻編碼器的高層框圖。根據本發明的實施例，編碼器100基于編碼單元。幀內預測單元111對在當前幀105中的幀內模式的預測單元執行幀內預測，并且運動估計器112和運動補償器115使用當前幀105和參考幀145對幀間預測模式的預測單元執行幀間預測和運動補償。基于從幀內預測單元111、運動估計器112和運動補償器115輸出的預測單元產生殘差值。產生的殘差值經過變換單元120和量化器122被輸出為量化的變換系數。量化的變換系數經過反量化器130和逆變換單元132被恢復為殘差值，并且恢復的殘差值經過去塊單元135和環路濾波單元140被后處理，并輸出為參考幀145。量化的變換系數可經過熵編碼器125被輸出為比特流127。圖1B是根據本公開的實施例的基于編碼單元的視頻解碼器的高層框圖。比特流155經過解析器160，使得將被解碼的編碼圖像數據和解碼所必需的編碼信息被解析。編碼圖像數據經過熵解碼器162和反量化器165被輸出為反量化的數據，并經過逆變換單元170被恢復為殘差值。通過將殘差值添加到幀內預測單元172的幀內預測結果或運動補償器175的運動補償結果，殘差值根據矩形塊編碼單元被恢復。恢復的編碼單元經過去塊單元180和環路濾波單元182被用于下一編碼單元或下一幀的預測。為了基于根據本發明的實施例的解碼方法執行解碼，圖像解碼器150的組件(SP，解析器160、熵解碼器162、反量化器165、逆變換單元170、幀內預測單元172、運動補償器175、去塊單元180和環路濾波單元182)執行圖像解碼處理。現在將描述每個功能的方面。幀內預測(111/172 ):幀內預測利用每一幀中的空間相關性來減少表示圖片所必需的傳輸數據的量。幀內幀(Intra-frame)本質上是編碼的第一幀，但具有較少的壓縮量。另外，在幀間幀(inter frame)中可存在一些幀內塊。幀內預測涉及在幀內進行預測，而幀間預測涉及在幀之間進行預測。本公開主要集中在幀內預測。運動估計(112):視頻壓縮中的基本概念是當幀間預測被執行時僅存儲幀之間的增量變化。在兩巾貞中的塊之間的差異由運動估計工具(MotionEstimation tool)提取。這里，預測的塊被減小為運動矢量和幀間預測殘差的集合。運動補償(115/175):運動補償將解碼由運動估計編碼的圖像。通過接收的運動矢量以及參考幀中的塊來完成對圖像的這種重建。變換(120/132/170):變換單元被用于在幀間幀或幀內幀中壓縮圖像。最常用的變換是離散余弦變換(DCT)。
量化(122/130/165):量化階段通過將每個變換系數除以特定數值來減少信息的量，以減少每個變換系數值可具有的可能值的量。因為這使得所述值落入更窄的范圍，所以其允許熵編碼更加簡短地表示所述值。去塊和環路濾波器(135/140/182):去塊的作用是用于去除由圖像的逐塊編碼引起的編碼偽影(artifact)。去塊濾波器作用于圖像塊的邊界，并去除塊偽影。環路濾波器的作用是用于最小化原始圖像像素和重建圖像像素之間的均方差。在某種程度上，環路濾波器設法最小化由逐塊編碼引起的方向偽影。這里，編碼器和解碼器的一部分已經被示出為獨立的單元。然而，這并不旨在限制本公開的范圍。如圖所示，編碼器100和解碼器150包括若干公共部件。在一些實施例中，編碼器和解碼器可被實現為集成單元，例如，編碼器的一個或多個部件可被用于解碼。此夕卜，編碼器和解碼器的一個或多個部件可被實現在一個或多個現場可編程門陣列(FPGA)、專用集成電路(ASIC)、處理器、微控制器或它們的組合中。圖2是根據本公開的實施例的視頻編碼器的一部分的框圖。幀內預測單元(在此文檔中也被稱為“統一幀內預測單元111”)采用像素的矩形塊作為輸入，并使用來自已被重建的塊的重建的像素和根據Min等人的“Unification of the Directional IntraPrediction Methods in TMuC”，ITU_T JCTVC_B100_revision02，瑞士，日內瓦，2010 年7月(以下被稱為“ITU-T JCTVC-B100_revision02”)的預測方向來預測這些像素。存在不同數量的可用幀內預測模式，其中，所述可用幀內預測模式具有來自如由“UnifiedDirectional Intra Prediction (ITU-T JCTVC_B100_revision02)” 規定的用于各種預測單元的幀內預測方向(例如，用于4X4預測單元的17種幀內預測方向、用于8X8、16X 16和32X32預測單元的34種幀內預測方向、用于64X64預測單元的5種預測方向)的一對一的映射。然而，由于本公開的范圍不限于此，因此這些僅是示例。各種幀內預測模式將在下面被進一步描述。在預測之后，變換單元120沿水平方向和垂直方向兩者來應用變換(例如，DCT/DST)。根據幀內預測模式，所述變換(沿水平方向和垂直方向)可以是傳統DCT或所提出的DST。變換之后為量化器122，其中，量化器122通過將每個變換系數除以特定數值來減少信息的量，以減少變換系數可具有的可能值的量。因為這使得所述值落入更窄的范圍，所以其允許熵編碼更加簡短地表示所述值并有助于壓縮。在幀內預測單元110中，當從沿由幀內預測方向模式(例如，“Test Model underConsideration”，ITU-T JCTVC_B205_draft002，瑞士，日內瓦，2010 年 7 月(以下被稱為“ITU-T JCTVC-B205_draft002”)和 ITU-T JCTVC_B100_revision02”)規定的方向的像素執行幀內預測時，幀內預測模式可被劃分為三種類別。本公開將描述針對所有的以下三種類別來得出新的自適應最佳變換:1、類別I斜向模式(圖3A和圖3B):這里，完全從來自以下項中的任何一項的解碼像素執行預測:第一行(例如，頂行)像素或第一列(例如，左側列)像素。如ITU-TJCTVC-B205_draft002中所述的垂直模式“O”和水平模式“ I ”是此斜向模式的特殊情況。2、類別2斜向模式(圖4):這里，從第一行(例如，頂行)像素和第一列(例如，左側列)像素兩者執行預測。3、DC模式(圖5):這里，從所有可用的解碼像素的平均值執行預測，這類似于H.264/AVC，也在 ITU-T JCTVC-B205_draft002 中有如此規定。將參照圖6至圖11進一步解釋幀內預測方向模式的所述三種類別。圖6是示出根據本公開的實施例的得出用于類別I斜向模式的變換的示圖。這里，沿由箭頭示出的方向從第一行(例如，頂行)執行預測。在另一實施例中，第一行可不必是頂行。在可選擇的實施例(類似于圖3B)中，可從第一列(例如，左側行)執行預測。具體說來，(dx，dy)對分別指示水平距離和垂直距離，并可指示預測方向。下面的等式I假設高斯-馬爾可夫模型用于一維線(行或列)背景下的圖像像素(在以下討論中，當我們意指一維線時我們使用“列”):Xk=PXk-Jek[等式 I]其中，P是像素之間的相關系數，ek是具有零均值和方差1-P2的白噪聲過程，并且行/列索引k=0…N。這里，Xtl指示邊界像素，并且X1至xN是將被編碼的像素。像素Xk和像素X1之間的相關性由等式2給出:Rkl=P lk^1'[等式 2]其中，Rkl (也被解釋為Riu)指示像素Xk和像素X1之間的相關性，I和k指示列索弓I。對于2D圖像情況，我們假設沿水平方向和垂直方向的可分離模型。因此，根據等式3指示像素Xij和像素X.(也被表示為Xiij和xm，n)之間的相關性:P li^ml P lj_n|= P[等式 3]其中，i指示像素Xu的行索引，m指示像素Xnm的行索引，j指示像素Xu的列索引，并且η指示像素Xmn的列索引。在圖6中,像素Xqq、Xtll、Xtl2、…Xqn和Xltl、X2tl、…Xnq指示已經被編碼的邊界像素(例如，第一行和第一列)。像素Xu (i，je U..N})指示將被編碼的像素。設根據下面的等式4給出對像素的預測:
Xij = Χ0(β+β[等式 4]其中，Sy指示對像素Xu的預測，并且α (非負數)指示從像素Χ(Κα+Λ (像素χ0(α+β
為第一行上用于預測Xij的像素)到像素Xij的水平距離。應注意:當a不是整數時，像素x0(a+J)以任何方式(例如，如在ITU-T JCTVC-B205_draft002中所規定的，從相鄰的兩個相鄰像素)被插入，但為了簡單起見，我們僅將預測值保持為χ+Μ，以用于分析目的。通過相似三角形的屬性，我們可得出等式5:α = ^1 [等式 5]
yy)因此，根據等式6給出預測誤差殘差:€y = Xij — Xi = Xij — X0( +i)[等式 6]根據等式7給出用于MXN圖像塊的誤差殘差的整體矩陣:E = X-X[等式 7]其中，X是原始MXN圖像塊，并且芡是其預測。根據等式6給出矩陣E的元素“ij”。假設可分離的像素模型，我們設法找到針對以上預測殘差矩陣沿垂直方向和水平方向兩者的最佳變換。具體地，為了找到E的列的垂直變換，確定使相應列的自相關矩陣對角化的矩陣。類似地，對于用于E的特定行的水平變換，我們尋找使所述特定行的自相關矩陣對角化的矩陣。例如，我們首先根據等式8考慮E的列“ j”:
權利要求
1.種用于解碼視頻的方法，包括: 根據輸入視頻比特流的幀內預測模式，將輸入視頻比特流的系數映射到MXN變換系數矩陣； 根據幀內預測模式，對于變換系數矩陣，確定應用離散余弦變換(DCT)和離散正弦變換(DST)中的第一個作為逆垂直變換，并確定應用DCT和DST中的第二個作為逆水平變換； 通過將DCT和DST中的第一個用于逆垂直變換并將DCT和DST中的第二個用于逆水平變換來執行包括逆垂直變換和逆水平變換的逆變換，以計算誤差預測殘差的近似值。
2.權利要求1所述的方法 ，其中，執行逆變換的步驟包括: 使用DCT和DST中的第一個對變換系數矩陣的N個列中的每一列執行逆垂直變換； 使用DCT和DST中的第二個對所述逆垂直變換的輸出的M個行中的每一行執行逆水平變換，以計算誤差預測殘差的近似值。
3.權利要求1所述的方法，其中，執行逆變換的步驟包括: 使用DCT和DST中的第二個對變換系數矩陣的M個行中的每一行執行逆水平變換； 使用DCT和DST中的第一個對所述逆水平變換的輸出的N個列中的每一列執行逆垂直變換，以計算誤差預測殘差的近似值。
4.權利要求1所述的方法，其中，執行DST的步驟包括執行逆DST類型4。
5.權利要求1所述的方法，其中，執行DST的步驟包括逆DST類型7，其中，逆DST類型7是具有八次乘法的4X4逆DST類型7的快速實現。
6.權利要求5所述的方法，其中，調整逆DST類型7矩陣中的多個元素中的至少一個元素，使得所述多個元素共用公因子，將乘法的數量減少到五次。
7.種用于編碼視頻的方法，包括: 基于幀內預測模式對MXN輸入圖像塊(X)的輸入矩陣執行幀內預測，以產生X并獲得MXN幀內預測殘差矩陣(E); 根據幀內預測模式，對于E，確定應用離散余弦變換(DCT)和離散正弦變換(DST)中的第一個作為水平變換，并確定應用DCT和DST中的第二個作為垂直變換； 通過將DCT和DST中的第一個用作水平變換并將DCT和DST中的第二個用于垂直變換來執行包括水平變換和垂直變換的正變換，以計算變換系數矩陣(E2)。
8.權利要求7所述的方法，其中，執行正變換的步驟包括: 使用DCT和DST中的第一個對E的M個行中的每一行執行水平變換； 使用DCT和DST中的第二個對所述水平變換的輸出的N個列中的每一列執行垂直變換，以計算變換系數矩陣(E2)。
9.權利要求7所述的方法，其中，執行正變換的步驟包括: 使用DCT和DST中的第二個對E的N個列中的每一列執行垂直變換； 使用DCT和DST中的第一個對所述垂直變換的輸出的M個行中的每一行執行水平變換，以計算變換系數矩陣(E2)。
10.權利要求7所述的方法，其中，執行DST的步驟包括執行DST類型4。
11.權利要求7所述的方法，其中，執行DST的步驟包括執行DST類型7，其中，DST類型7是具有九次乘法的4X4DST類型7的快速實現。
12.權利要求11所述的方法，其中，調整DST類型7中的多個元素中的至少一個元素，使得所述多個元素共用公因子，將乘法的數量減少到五次。
13.種用于解碼視頻的設備，包括: 反量化器，被配置為用于根據輸入視頻比特流的幀內預測模式將從輸入視頻比特流獲得的量化的變換系數索引映射到MXN變換系數矩陣； 逆變換單元，被配置為用于根據幀內預測模式，對于變換系數矩陣，確定應用離散余弦變換(DCT)和離散正弦變換(DST)中的第一個作為逆垂直變換，并確定應用DCT和DST中的第二個作為逆水平變換，通過將DCT和DST中的第一個用于逆垂直變換并將DCT和DST中的第二個用于逆水平變換來執行包括逆垂直變換和逆水平變換的逆變換，以計算誤差預測殘差的近似值。
14.種用于編碼視頻的設備，包括: 統一幀內預測單元，被配置為用于基于幀內預測模式對MXN輸入圖像塊(X)的輸入矩陣執行幀內預測，以產生f并獲得MXN幀內預測殘差矩陣(E)； 變換單元，被配置為用于根據幀內預測模式，對于E，確定應用離散余弦變換(DCT)和離散正弦變換(DST)中的第一個作為水平變換，并確定應用DCT和DST中的第二個作為垂直變換，并通過將DCT和DST中的第一個用作水平變換并將DCT和DST中的第二個用作垂直變換來執行包括 水平變換和垂直變換的正變換，以計算變換系數矩陣(E2)。
全文摘要
一種方法和設備通過確定是否將離散余弦變換(DCT)和DST用于水平變換和垂直變換中的每一個來編碼并解碼視頻。在編碼期間，基于為M×N輸入圖像塊確定的幀內預測模式來執行幀內預測以獲得M×N幀內預測殘差矩陣(E)。基于幀內預測模式，根據幀內預測模式使用DCT和DST中的一個來執行水平變換和垂直變換中的每一個。在解碼期間，從輸入視頻比特流確定幀內預測模式。使用反量化器從視頻比特流獲得誤差殘差的M×N變換系數矩陣。基于幀內預測模式，對于逆垂直變換和逆水平變換中的每一個執行DCT和DST中的一個。
文檔編號H04N7/34GK103098473SQ201180043432
公開日2013年5月8日 申請日期2011年9月8日 優先權日2010年9月8日
發明者安克·塞克森納, 費利克斯·卡洛斯·費爾南德斯 申請人:三星電子株式會社