解碼高分辨率圖像的方法和裝置的制造方法
【專利摘要】本發明涉及一種用于解碼高分辨率圖像的方法和一種用于解碼高分辨率圖像的裝置。所述方法包括步驟：接收比特流；從所接收到的比特流獲得要解碼的預測單元的信息，其中，所述預測單元具有可變大小；通過對所接收到的比特流執行熵解碼、逆量化和逆變換來獲得剩余值；通過對預測單元執行運動補償來生成預測塊；以及通過將所生成的預測塊與所述剩余值相加來重建圖像，其中，當具有可變大小的代碼化單元被分級地分割并且達到可允許的最大分級水平或分級深度時，所述預測單元對應于葉代碼化單元，其中最小代碼化單元的大小或亮度代碼化單元的最小大小包括在序列參數集合(SPS)中，并且其中所述預測單元的大小被限制為不大于64×64像素。
【專利說明】解碼高分辨率圖像的方法和裝置
[0001 ] 本申請是分案申請，其原案申請是申請號為PCT/KR2011/004161、申請日為2011年6月7日的PCT申請并且于2013年I月7日進入中國國家階段，國家申請號為201180033693.9，名稱為“編碼/解碼高分辨率圖像的方法和執行該方法的裝置”。
[0002]對于優先權的要求
[0003]本申請要求在2010年6月7日在韓國知識產權局(KIPO)中提交的韓國專利申請N0.的優先權，其整體內容通過引用被包含在此。
技術領域
[0004]本發明涉及編碼和解碼圖像，并且更具體地，涉及可以適用于高清晰度圖像的編碼方法和執行該編碼方法的編碼設備，以及解碼方法和執行該解碼方法的解碼設備。
【背景技術】
[0005]通常，圖像壓縮方法執行編碼，其中將一個畫面劃分為具有預定大小的多個塊。而且，使用幀間預測和幀內預測技術來去除在畫面之間的兩重性，以便增大壓縮效率。
[0006]—種通過使用幀間預測編碼圖像的方法通過去除在畫面之間的時間兩重性來壓縮圖像，并且其代表性示例是運動補償預測編碼方法。
[0007]該運動補償預測編碼通過搜索與位于當前編碼的畫面之前和之后的至少一個參考畫面中的當前編碼的塊類似的區域來生成運動向量，對于通過使用生成的運動向量執行運動補償而獲得的在當前塊和預測塊之間的剩余值執行DCT(離散余弦變換)、量化和然后的熵編碼，然后傳送結果。
[0008]傳統上，用于運動補償預測的宏塊可以具有各種大小，諸如16X 16、8 X 16或8 X 8像素，并且對于變換和量化，使用具有8 X 8或4 X 4像素的大小的塊。
[0009]然而，如上所述的用于變換和量化或運動補償的現有塊大小對于具有HD(高清晰度)或更大的分辨率的高分辨率圖像的編碼不適當。
[0010]具體地說，在顯示低分辨率圖像的小屏幕的情況下，在運動預測的精度和比特率上更有效的是，使用小大小塊來執行運動預測和補償，但是在基于具有16 X 16或更小的大小的塊對于高分辨率的、大屏幕圖像執行運動預測和補償的情況下，在一個畫面中包括的塊的數目指數地增大，使得編碼處理的負載和壓縮的數據的數量增大，因此導致在傳輸比特率上的增大。
[0011]而且，當圖像的分辨率增大時，具有較少的細節或沒有偏離的區域也擴展。因此，當如在傳統方法中那樣使用具有16X16像素的大小的塊來執行運動預測和補償時，編碼噪聲增大。

【發明內容】

[0012]本發明的第一目的是提供一種圖像編碼和解碼方法，該方法可以增強對于高分辨率圖像的編碼效率。
[0013]而且，本發明的第二目的是提供一種圖像編碼和解碼設備，該設備可以增強對于高分辨率圖像的編碼效率。
[0014]為了實現本發明的第一目的，根據本發明的一個方面的一種圖像編碼方法包括以下步驟:接收要編碼的至少一個畫面;基于在接收到的至少一個畫面之間的時間頻率特性來確定要編碼的塊的大小；以及編碼具有確定的大小的塊。
[0015]為了實現本發明的第一目的，根據本發明的另一個方面的一種圖像編碼方法包括以下步驟:通過對于具有NXN大小的預測單元執行運動補償來生成預測塊，其中N是2的冪；通過將預測單元與預測塊作比較而獲得剩余值；以及對于剩余值執行變換。預測單元可以具有擴展的宏塊大小。預測單元當具有可變大小的代碼化單元被分級地分割并且達到可允許的最大分級水平或分級深度時可以對應于葉代碼化單元，并且其中，圖像編碼方法可以進一步包括以下步驟:傳送包括最大代碼化單元的大小和最小代碼化單元的大小的序列參數集合(SPS)。對于剩余值執行變換的步驟可以是對于擴展的宏塊執行DCT(離散余弦變換)的步驟。N可以是2的冪，并且N可以不小于8，并且不大于64。
[0016]為了實現本發明的第一目的，根據本發明的又一個方面的一種圖像編碼方法包括以下步驟:接收要編碼的至少一個畫面;基于接收到的至少一個畫面的空間頻率特性來確定要編碼的預測單元的大小，其中，預測單元的大小是NXN像素，并且N是2的冪；以及編碼具有確定的大小的預測單元。
[0017]為了實現本發明的第一目的，根據本發明的再一個方面的一種圖像編碼方法包括以下步驟:接收具有NXN像素的大小的擴展宏塊，其中，N是2的冪;在接收到的擴展宏塊的周邊的塊當中檢測屬于邊緣的塊;基于屬于檢測到的邊緣的像素將擴展的宏塊分割為至少一個分區；以及對于分割的至少一個分區的預定分區執行編碼。
[0018]為了實現本發明的第一方面，根據本發明的一個方面的一種圖像解碼方法包括以下步驟:接收編碼的比特流;從接收到的比特流獲得要解碼的預測單元的大小信息，其中，預測單元的大小是NXN像素，并且N是2的冪;通過對于接收到的比特流執行逆量化和逆變換來獲得剩余值;通過對于具有與獲得的大小信息相對應的大小的預測單元執行運動補償來生成預測塊；以及通過將生成的預測塊與剩余值相加來重建圖像。在此，預測單元可以具有擴展的宏塊大小。變換剩余值的步驟可以是對于擴展的宏塊執行逆DCT(離散余弦變換)的步驟。預測單元可以具有NXN像素的大小，其中，N可以是2的冪，并且N可以不小于8并且不大于64。預測單元當具有可變大小的代碼化單元可以被分級地分割并且達到可允許的最大分級水平或分級深度時可以是葉代碼化單元。該方法可以進一步包括以下步驟:從接收到的比特流獲得要編碼的預測單元的分區信息。通過對于具有與預測單元的獲得的大小信息相對應的大小的預測單元執行運動補償而生成預測塊的步驟可以包括以下步驟:基于預測單元的分區信息來對于預測單元執行分區，并且對于分割的分區執行運動補償。可以以不對稱分區方案來執行分區。可以以具有除了正方形之外的形狀的幾何分區方案來執行分區。以沿著邊緣方向的分區方案來執行分區。沿著邊緣方向的分區方案包括以下步驟:在預測單元周邊的塊當中檢測屬于邊緣的像素，并且基于屬于檢測到的邊緣的像素將預測單元分割為至少一個分區。沿著邊緣方向的分區可以適用于幀內預測。而且，為了實現本發明的第一目的，根據本發明的另一個方面的一種圖像解碼方法包括以下步驟:從接收到的比特流接收要解碼的宏塊的編碼的比特流、大小信息和分區信息;對于接收到的比特流執行逆量化和逆變換，以獲得剩余值;基于獲得的宏塊大小信息和分區信息將具有32X32像素、64X 64像素和128 X 128像素中的任何一個大小的擴展宏塊分割為至少一個分區；通過對于分割的至少一個分區的預定分區執行運動補償來生成預測分區；以及將生成的預測分區與剩余值相加以由此重建圖像。
[0019]為了實現本發明的第二目的，根據本發明的一個方面的一種圖像編碼設備包括:預測單元確定單元，該預測單元確定單元接收要編碼的至少一個畫面，并且基于在接收到的至少一個畫面之間的時間頻率特性或基于在接收到的至少一個畫面之間的空間頻率特性來確定要編碼的預測單元的大小；以及編碼器，該編碼器對具有確定的大小的預測單元進行編碼。
[0020]為了實現本發明的第二目的，根據本發明的一個方面的一種圖像解碼設備包括:熵解碼器，該熵解碼器對接收到的比特流進行解碼以生成報頭信息;運動補償單元，該運動補償單元通過基于從報頭信息獲得的預測單元的大小信息對于預測單元執行運動補償來生成預測塊，其中，預測單元的大小是NXN像素，并且，N是2的冪;逆量化單元，該逆量化單元對接收到的比特流進行逆量化;逆變換單元，該逆變換單元通過對于逆量化的數據執行逆變換來獲得剩余值；以及加法器，該加法器將剩余值與預測塊相加以重建圖像。預測單元可以具有擴展的宏塊大小。逆變換單元可以對于擴展的宏塊執行逆DCT(離散余弦變換)。預測單元可以具有NXN像素的大小，其中，N可以是2的冪，并且N可以不小于4并且不大于64。預測單元當具有可變大小的代碼化單元被分級的分割并且達到可允許的最大分級水平或分級深度時可以對應于葉代碼化單元。運動補償單元可以通過基于預測單元的分區信息對于預測單元執行分區來對于分割的分區執行運動補償。可以以不對稱分區方案來執行分區。可以以具有除了正方形之外的形狀的幾何分區方案來執行分區。可以沿著邊緣方向執行分區。圖像編碼設備可以進一步包括幀內預測單元，該幀內預測單元對于具有與預測單元的獲得的大小信息相對應的大小的預測單元執行沿著邊緣方向的幀內預測。
[0021]根據上述的高分辨率圖像編碼/解碼方法和執行該方法的設備，要編碼的代碼化單元或預測單元的大小被配置為32 X 32像素、64 X 64像素或128 X 128像素，并且基于配置的預測單元大小來執行運動預測和運動補償和變換。而且，將具有32 X 32像素、64 X 64像素或128 X 128像素的大小的預測單元被分割為至少一個分區，并且然后編碼。
[0022]在具有高同質或一致性的情況下，諸如在能量集中在低頻的區域處或在具有相同顏色的區域處，代碼化單元或預測單元被應用到編碼/解碼，代碼化單元或預測單元的大小進一步被擴展為與擴展的宏塊的大小相對應的32 X 32、64 X 64或128 X 128像素，使得可能可以增大具有高清(HD)、超高清或更大的分辨率的大屏幕圖像的編碼/解碼效率。
[0023]可以通過下述方式來提高編碼/解碼效率:根據用于大屏幕的時間頻率特性(例如，在先前和當前屏幕之間的改變或移動程度)來相對于像素區域增大或減小擴展的宏塊大小或代碼化單元的大小或預測單元的大小。
[0024]因此，可能可以增強對具有高清、超高清或更大的分辨率的大屏幕圖像進行編碼的效率，并且降低在具有高同質和一致性的區域處的編碼噪聲。
【附圖說明】
[0025]圖1是圖示根據本發明的一個實施例的圖像編碼方法的流程圖。
[0026]圖2是圖示根據本發明的另一個示例實施例的遞歸代碼化單元結構的概念圖。
[0027]圖3是圖示根據本發明的一個實施例的不對稱分區的概念圖。
[0028]圖4a至4c是圖示根據本發明的實施例的幾何分區方案的概念圖。
[0029]圖5是圖示在幾何分區的情況下對于位于邊界線上的邊界像素的運動補償的概念圖。
[0030]圖6是圖示根據本發明的另一個示例實施例的圖像編碼方法的流程圖。
[0031 ]圖7是圖示在圖6中所示的分區處理的概念圖。
[0032]圖8是向幀內預測應用考慮到邊緣的分區的示例的概念圖。
[0033]圖9是圖示根據本發明的又一個示例實施例的圖像編碼方法的流程圖。
[0034]圖10是圖示根據本發明的再一個示例實施例的圖像編碼方法的流程圖。
[0035]圖11是圖示根據本發明的一個實施例的圖像解碼方法的流程圖。
[0036]圖12是圖示根據本發明的另一個示例實施例的圖像解碼方法的流程圖。
[0037]圖13是圖示根據本發明的一個實施例的圖像編碼設備的配置的框圖。
[0038]圖14是圖示根據本發明的另一個示例實施例的圖像編碼設備的配置的框圖。
[0039]圖15是圖示根據本發明的一個實施例的圖像編碼設備的配置的框圖。
[0040]圖16是圖示根據本發明的另一個示例實施例的圖像解碼設備的配置的框圖。
【具體實施方式】
[0041]可以對于本發明進行各種修改，并且本發明可以具有多個實施例。參考附圖詳細描述特定實施例。
[0042]然而，本發明不限于特定實施例，并且應當明白，本發明包括在本發明的精神和技術范圍中包括的所有修改、等同物或替換。
[0043]詞語“第一”和“第二”可以用于描述各個組件，但是組件不限于此。這些詞語僅用于將一個組件與另一個相區別。例如，第一組件也可以被稱為第二組件，并且第二組件可以類似地被稱為第一組件。詞語“和/或”包括在此描述的多個相關項目的組合或多個相關項目中的任何一個。
[0044]當組件“連接”或“耦合”到另一個組件時，該組件可以直接地連接或耦合到該另一個組件。相反，當組件直接連接或耦合到另一個組件時，沒有組件插入其間。
[0045]在此使用的詞語被給出來描述實施例，但是不意欲限制本發明。單數詞語包括復數詞語，除非另外說明。如在此使用的詞語“包括”或“具有”用于指示存在如在此所述的特征、數字、步驟、操作、組件、部件或其組合，但是不排除一個或多個特征、數字、步驟、操作、組件、部件或其組合的添加的存在或可能。
[0046]除非另外限定，包括科技術語的在此使用的所有詞語具有與本領域內的技術人員通常理解的相同的含義。在通常使用的詞典中定義的這樣的詞語應當被解釋為具有與在相關技術的上下文中理解的那些相同的含義，并且除非另外限定，不應當被理想地或太正式地理解。
[0047]在下文中，將參考附圖更詳細地描述本發明的優選實施例。為了容易說明，貫穿說明書和附圖使用相同的附圖標號來表示相同的組件，并且不重復其說明。
[0048]圖1是圖示根據本發明的一個實施例的圖像編碼方法的流程圖。圖1圖示根據圖像的時間頻率特性來確定宏塊的大小并且然后使用具有確定的大小的宏塊來執行運動補償的方法。
[0049]參見圖1，編碼設備接收要編碼的幀(或畫面)(步驟110)。可以在可以存儲預定數目的幀的緩沖器中存儲接收到的要編碼的幀(或畫面)。例如，緩沖器可以存儲至少四個(第n_3、第n_2、第n_l和第η)幀。
[0050]其后，編碼設備分析接收到的幀(或畫面)的時間頻率特性(步驟120)。例如，編碼設備可以檢測存儲在緩沖器中的第η-3幀和第η-2幀之間的變化，可以檢測在第η-2幀和第η-1幀之間的變化，并且可以檢測在第η-1幀和第η幀之間的變化，以由此分析幀間時間頻率特性。
[0051]然后，編碼設備將所分析的時間頻率特性與預設閾值作比較，并且基于比較的結果來確定要編碼的宏塊的大小(步驟130)。在此，編碼設備可以基于存儲在緩沖器中的幀當中的在時間上彼此相鄰的兩個幀(例如，第η-1和第η幀)之間的變化來確定宏塊的大小，并且可以基于預定數目的(例如，第η-3、第η-2、第η-1和第η)幀的變化特性來確定宏塊的大小。
[0052]例如，編碼設備可以分析第η-1幀和第η幀的時間頻率特性，并且在所分析的時間頻率特性小于預設第一閾值的情況下，將宏塊的大小確定為64 X 64像素，并且在所分析的時間頻率特性值不小于預設第一閾值并且小于第二閾值的情況下，將宏塊的大小確定為32Χ32像素，并且在所分析的時間頻率特性值不小于預設第二閾值的情況下，將宏塊的大小確定為16 X 16像素或更小。在此，該第一閾值表示在幀間幀變化小于第二閾值的情況下的時間頻率特性值。在下文中，將擴展的宏塊定義為具有32X32像素或更大的大小的宏塊。擴展的宏塊可以具有32 X 32像素或更大的大小，S卩，64 X 64像素、128 X 128像素或更大，以適合于諸如超高清或更大的高分辨率。
[0053]基于分析接收到的幀(或畫面)的時間頻率特性的結果，要編碼的宏塊的大小可以每一個畫面或每一個GOP(圖像組)具有預定值。
[0054]替代地，要編碼的宏塊的大小可以每一個畫面或每一個GOP(圖像組)具有預定值，而與分析接收到的幀(或畫面)的時間頻率特性的結果無關。
[0055]如果在步驟130中確定宏塊的大小，則編碼設備基于具有確定的大小的宏塊而執行編碼(步驟140)。
[0056]例如，如果宏塊的大小被確定為64X 64像素，則編碼設備通過對于具有64 X 64像素的大小的當前宏塊執行運動預測來獲得運動向量，通過使用獲得的運動向量執行運動補償來生成預測塊，對作為在生成的預測塊和當前宏塊之間的差的剩余值進行變換、量化和熵編碼，并且然后傳送結果。而且，關于宏塊的確定的大小的信息和關于運動向量的信息也進行熵編碼，并且然后被傳送。
[0057]在下文中要描述的本發明的一些實施例中，可以根據由編碼控制器(未示出)或解碼控制器(未示出)確定的宏塊的大小來完成每一個擴展的宏塊編碼處理，并且如上所述，該處理可以適用于運動補償編碼、變換和量化的全部或僅至少一個。而且，上述的每一個擴展宏塊編碼處理也可以適用于在下面要描述的本發明的一些實施例中的解碼處理。
[0058]如圖1中所示，在根據本發明的一個實施例的圖像編碼方法中，宏塊用于編碼，其中宏塊的大小在輸入幀(或畫面)之間有小的變化的情況下(即，在時間頻率低的情況下)增大，并且其中宏塊的大小在輸入幀(或畫面)之間存在大的變化的情況下(即，在時間頻率高的情況下)減小，使得可以增強編碼效率。
[0059]上述的根據時間頻率特性的圖像編碼/解碼方法可以適用于諸如在分辨率上比高清大的超高清或更大的高分辨率。在下文中，宏塊意指擴展的宏塊或者僅具有現有大小32X 32像素或更小的宏塊。
[0060]同時，根據本發明的另一個示例實施例，取代使用擴展的宏塊和擴展的宏塊的大小執行編碼和解碼的方法，可以使用遞歸代碼化單元(CU)來執行編碼和解碼。在下文中，參考圖2描述根據本發明的另一個示例實施例的遞歸代碼化單元的結構。
[0061]圖2是圖示根據本發明的另一個示例實施例的遞歸代碼化單元結構的概念圖。
[0062]參見圖2，每一個代碼化單元⑶具有正方形，并且每一個代碼化單元⑶可以具有可變的大小，諸如2NX2N(單位:像素)。可以以代碼化單元為單位來執行幀間預測、幀內預測、變換、量化和熵編碼。代碼化單元CU可以包括最大代碼化單元LCU和最小代碼化單元SCU。最大代碼化單元LCU和最小代碼化單元SCU的大小可以被表示為2的冪，其是8或更大。
[0063]根據本發明的另一個示例實施例的代碼化單元CU可以具有遞歸樹結構。圖2圖示作為最大代碼化單元LCU的CUo的邊緣的大小(2No)是128(No = 64)并且最大分級水平或分級深度是5的示例。可以通過一系列標記來表示遞歸結構。例如，在具有分級水平或分級深度k的代碼化單元CUk的標記值是O的情況下，相對于當前分級水平或分級深度完成在代碼化單元CUk上的代碼化，并且在標記值是I的情況下，具有當前分級水平或分級深度k的代碼化單元CUk被分割為四個獨立的代碼化單元CUk+1，它們具有分級水平或分級深度k+Ι和Nk+1XNk+1的大小。在這樣的情況下，可以將代碼化單元CUk+1表示為代碼化單元CUk的子代碼化單元。直到代碼化單元CUk+1的分級水平或分級深度達到可允許的最大分級水平或分級深度，可以遞歸地處理代碼化單元CUk+1。在代碼化單元CUk+1的分級水平或分級深度與可允許的最大分級水平或分級深度相同一一例如在圖2中的4一一的情況下，不進一步執行分割。
[0064]可以在序列參數集合(SPS)中包括最大代碼化單元LCU的大小和最小代碼化單元SCU的大小。替代地，可以在序列參數集合(SPS)中包括最小代碼化單元SCU的大小。最小代碼化單元的大小可以表示亮度代碼化單元(或代碼化塊)的最小大小。序列參數集合SPS可以包括最大代碼化單元LCU的可允許的最大分級水平或分級深度。替代地，序列參數集合(SPS)可以包括亮度代碼化單元(或代碼化塊)的最小大小，和在亮度代碼化單元(或代碼化塊)的最大大小和最小大小之間的差。例如，在圖2中所示的情況下，可允許的最大分級水平或分級深度是5，并且在最大代碼化單元LCU的邊緣的大小是128(單位:像素)的情況下，五種類型的代碼化單元CU大小是可能的，諸如128 X 128(LCU)、64 X 64、32 X 32、16 X 16和8 X 8(SCU)。即，在給定最大代碼化單元LCU的大小和可允許的最大分級水平或分級深度的情況下，可以確定可允許代碼化單元CU的大小。
[0065]如上所述的根據本發明的實施例的遞歸代碼化單元結構的使用可以提供下面的優點。
[0066]首先，可以支持比現有的16X16宏塊更大的大小。如果感興趣的圖像區域保持同質，則最大代碼化單元LCU可以用比當使用多個小塊時更小的數目的碼元來表示感興趣的圖像區域。
[0067]其次，與當使用固定大小的宏塊時作比較，可以支持具有各種大小的一些最大代碼化單元LCU，使得可以對于各種內容、應用和設備容易地優化編解碼器。即，可以通過適當地選擇最大代碼化單元LCU和最大分級水平或最大分級深度來對于目標應用進一步優化分級塊結構。
[0068]第三，與是否是宏塊、子宏塊或擴展宏塊無關，使用單個單元類型，S卩，代碼化單元(LCU)，使得可以通過使用最大代碼化單元LCU大小、最大分級水平(或最大分級深度)和一系列標記來很簡單地表示多級分級結構。當與大小獨立的語法表示一起使用時，足以指定用于其余的代碼化工具的一般化大小的語法項目，并且這樣的一致性可以簡化實際解析過程。分級水平的最大值(或最大分級深度)可以是任何值，并且可以大于在現有H.264/AVC編碼方案中允許的值。通過使用大小獨立的語法表示，可以與代碼化單元CU的大小獨立地以一致的方式指定所有的語法元素。可以遞歸地指定用于代碼化單元CU的分割處理，并且可以將用于葉代碼化單元的其他語法元素一一分級水平的最后代碼化單元一一限定為具有相同的大小，而與代碼化單元的大小無關。上述的表示方案在降低解析復雜度上是有效的，并且可以在允許大的分級水平或分級深度的情況下增強表示的清楚性。
[0069]如果上述的分級分割處理完成，則不進行進一步的分割，同時可以對于代碼化單元分級樹的葉節點執行幀間預測或幀內預測。這樣的葉代碼化單元用于作為用于幀間預測或幀內預測的基本單元的預測單元(PU)。
[0070]對于葉代碼化單元執行分區，以便執行幀間預測或幀內預測。即，對于預測單元PU完成這樣的分區。在此，預測單元PU意指用于幀間預測或幀內預測的基本單元，并且可以是具有32 X 32像素的現有宏塊單元或子宏塊單元或擴展的宏塊單元。
[0071]可以以不對稱分區的方式、以具有除了正方形之外的任何形狀的幾何分區方式或以沿著邊緣方向的分區方式來執行用于幀間預測或幀內預測的上述分區。在下文中，將具體描述根據本發明的實施例的分區方案。
[0072]圖3是圖示根據本發明的一個實施例的不對稱分區的概念圖。
[0073]在用于幀間預測或幀內預測的預測單元PU的大小可以諸如MXM(M是自然數并且其單位是像素)地可變的情況下，沿著代碼化單元的水平或垂直方向執行不對稱分區，由此獲得在圖3中所示的不對稱分區。在圖3中，預測單元PU的大小例如是64X64像素。以不對稱分區方案來執行分區。
[0074]參見圖3，預測單元可以進行沿著水平方向的不對稱分區，并且可以因此被分割為具有大小64 X 16的分區Pl Ia和具有大小64 X 48的分區P21a或者被劃分為具有64 X 48的大小的分區P12a和具有64X16的大小的分區P22a。替代地，預測單元可以進行沿著垂直方向的不對稱分區，并且可以因此被分割為具有大小16 X 64的分區P13a和具有大小48 X 64的分區P23a或者被分割為具有48\64的大小的分區？14&和具有16乂64的大小的分區？24&。
[0075]圖4a至4c是圖示根據本發明的實施例的幾何分區方案的概念圖。
[0076]圖4a圖示對于預測單元PU執行具有除了正方形之外的形狀的幾何分區的實施例。
[0077]參見圖4a，可以相對于預測單元PU將幾何分區的邊界線L定義如下。通過使用X和Y軸，相對于預測單元PU的中心O將預測單元PU等同地劃分為四個象限，并且從中心O向邊界線L繪制垂直線，使得可以通過在預測單元PU的中心O至邊界線L之間的垂直距離P和從X軸向垂直線逆時針作出的旋轉角Θ來指定在任何方向上延伸的所有邊界線。
[0078]例如，在8X 8塊的情況下，可以使用34種模式來執行幀內預測。在此，該34種模式可以表示在當前塊的任何像素中具有沿著水平方向的斜率dx和沿著垂直方向的斜率dy(dx和dy每一個是自然數)的最多34個方向。
[0079]替代地，根據塊大小，可以使用不同數目的幀內模式。例如，可以使用9個幀內模式用于4 X 4塊，使用9個幀內模式用于8 X 8塊，使用34個幀內模式用于16 X 16塊，使用34個幀內模式用于32 X 32塊，使用5個幀內模式用于64 X 64塊，并且使用5個幀內模式用于128 X128 塊。
[0080 ]替代地，可以使用17個幀內模式用于4X4塊，使用34個幀內模式用于8X8塊，使用34個幀內模式用于16 X 16塊，使用34個幀內模式用于32 X 32塊，使用5個幀內模式用于64 X64塊，并且使用5個幀內模式用于128 X 128塊。
[0081]圖4b圖示對于預測單元PU執行具有除了正方形之外的形狀的幾何分區的另一個示例實施例。
[0082]參見圖4b，用于幀間預測或幀內預測的預測單元PU相對于預測單元PU的中心被等同地劃分為四個象限，使得左上塊的第二象限是分區Pllb，并且由其余的第一、第三和第四象限構成的L形狀的塊是分區P21b。替代地，可以完成分割使得左下塊的第三象限是分區P12b，并且由其余的第一、第二和第四象限構成的塊是分區P22b。替代地，可以完成分割使得右上塊的第一象限是分區P13b，并且由其余的第二、第三和第四象限構成的塊是分區P23。替代地，預測單元PU可以被分割使得右下塊的第四象限是分區P14b，并且由其余的第一、第二和第三象限構成的塊是分區P24b。
[0083]如果如上所述執行L形狀的分區，則在當分區時在邊緣塊、即左上、左下、右上或右下塊中存在移動對象的情況下，可以比當完成分區以提供四個塊時實現更有效的編碼。根據移動對象位于四個分區中的哪個邊緣塊上，可以選擇和使用對應的分區。
[0084]圖4c圖示對于預測單元PU執行具有除了正方形之外的形狀的幾何分區的另一個示例實施例。
[0085]參見圖4c，用于幀間預測或幀內預測的預測單元PU可以被分割為兩個不同的不規則區域(模式O和I)或不同大小的矩形區域(模式2和3)。
[0086]在此，參數“pos”用于指示分區邊界的位置。在模式O或I的情況下，“pos”指的是從預測單元PU的對角線至分區邊界的水平距離，并且在模式2或3的情況下，“pos”指的是在預測單元PU的垂直或水平等分線與分區邊界之間的水平距離。在圖4c中所示的情況下，可以向解碼器傳送模式信息。在四個模式當中，在RD(比率失真)上，可以使用消耗最小的RD成本的模式來用于幀間預測。
[0087]圖5是圖示在幾何分區的情況下對于位于邊界線上的邊界像素的運動補償的概念圖。在通過幾何分區將預測單元分割為區域I和區域2的情況下，假定區域I的運動向量是MVl，并且假定區域2的運動向量是MV2。
[0088]當位于區域1(或區域2)中的特定像素的上、下、左和右像素的任何一個屬于區域2(或區域I)時，可以將其看作邊界像素。參見圖5，邊界像素是屬于區域2的邊界的邊界像素，并且邊界像素B是屬于區域I的邊界的邊界像素。在非邊界像素的情況下，使用正確的運動向量來執行正常的運動補償。在邊界像素的情況下，使用通過下述方式獲得的值來執行運動補償:將來自區域I和2的運動向量MVl和MV2的運動預測值乘以加權因子，并且將這些值彼此相加。在圖5中所示的情況下，使用加權因子2/3來用于包括邊界像素的區域，并且使用加權因子1/3來用于不包括邊界像素的另一個區域。
[0089]圖6是圖示根據本發明的另一個示例實施例的圖像編碼方法的流程圖，并且圖7是圖示在圖6中示出的分區處理的概念圖。
[0090]圖6圖示通過在圖1中所示的圖像編碼方法來確定預測單元PU的大小、考慮到在具有確定的大小的預測單元PU中包括的邊緣將預測單元PU分割為分區并且然后對于分割的分區中的每一個執行編碼的處理。在圖3中，作為示例，將具有32X32的大小的宏塊用作預測單元PU。
[0091]在此，考慮到邊緣的分區適用于幀內預測以及幀間預測。下面給出詳細的說明。
[0092]在圖6中所示的步驟110至130執行與用在圖1中的相同的附圖標號表示的步驟相同的功能，并且不重復它們的說明。
[0093]參見圖6和7，如果在步驟110至130中確定宏塊的大小，則編碼設備在屬于在具有確定的大小的當前宏塊周邊的宏塊的像素當中檢測屬于邊緣的像素(步驟140)。
[0094]可以使用各種已知方法來在步驟S140中檢測屬于邊緣的像素。例如，可以計算在當前宏塊周邊的周邊像素之間的剩余值，或者，可以使用諸如索貝爾算法的邊緣檢測算法來檢測邊緣。
[0095]其后，編碼設備通過使用屬于檢測到的邊緣的像素來將當前宏塊分割為分區(步驟I50)ο
[0096]為了將當前宏塊分區，編碼設備可以在當前宏塊周邊的周邊塊中包括的像素當中檢測以檢測到的邊緣像素的周邊像素為目標的屬于邊緣的像素，并且可以然后通過使用將檢測到的邊緣像素的周邊像素與在步驟140中檢測到的邊緣像素連接的線來執行分區。
[0097]例如，如圖7中所示，編碼設備通過下述方式來檢測像素211和214:在屬于具有大小32X32像素的當前宏塊的周邊塊的像素當中檢測以最近像素為目標的屬于邊緣的像素。其后，編碼設備在位于檢測到的像素211周圍的像素當中檢測屬于邊緣的像素，以由此檢測像素212，并且然后通過使用將像素211與像素212連接的線的延長線213將宏塊分割為分區。
[0098]而且，編碼設備通過在檢測到的像素214的周邊像素當中檢測屬于邊緣的像素來檢測像素215，并且然后通過使用將像素214與像素215連接的線的延長線將宏塊分割為分區。
[0099]而且，編碼設備可以在屬于當前宏塊210的周邊塊的像素當中檢測屬于以最接近當前宏塊210的像素為目標的屬于邊緣的像素，然后確定經過屬于檢測到的邊緣的像素的直線的方向，由此分割當前宏塊。在此，關于經過屬于邊緣的像素的邊緣直線的方向，根據H.264/AVC標準沿著在4 X 4塊的幀內預測模式當中的垂直模式(模式O)、水平模式(模式I)、對角下左模式(模式3)、對角下右模式(模式4)、垂直右模式(模式5)、水平下模式(模式6)、垂直左模式(模式7)和水平上模式(模式8)的一個模式方向，可以分割當前宏塊，或者可以對于相對于屬于邊緣的像素在彼此不同的方向上分割的分區執行編碼，并且可以考慮到編碼效率來確定最后的直線方向。替代地，關于經過屬于邊緣的像素的直線的方向，根據
H.264/AVC標準沿著除了4 X 4塊的幀內預測模式之外的、用于具有4 X 4像素或更大的大小的塊的各種幀內預測模式的一個模式方向，可以分割當前宏塊。可以包括和向解碼器傳送關于經過屬于邊緣的像素的邊緣直線的信息(包括例如方向信息)。
[0100]如果通過上述方法在步驟150中將當前宏塊分割為至少一個分區，則編碼設備對于每一個分區執行編碼(步驟160)。
[0101]例如，編碼設備對于在具有64X64或32X 32像素的大小的當前宏塊中分割的每一個分區執行運動預測以由此獲得運動向量，使用所獲得的運動向量來執行運動補償，由此生成預測分區。然后，編碼設備對于作為在生成的預測分區和當前宏塊的分區之間的差的剩余值執行變換、量化和熵編碼，并且然后傳送結果。而且，宏塊的確定的大小、分區信息和運動向量信息也被熵編碼并且然后被傳送。
[0102]使用考慮到邊緣的分區的上述幀間預測可以被配置為能夠當激活使用考慮到邊緣的分區的預測模式時被執行。上述的考慮到邊緣的分區可以適用于幀內預測以及幀間預測。參考圖8來描述向幀內預測的分區的應用。
[0103]圖8是圖示向幀內預測應用考慮到邊緣的分區的示例的概念圖。如圖8中所示的使用考慮到邊緣的分區的幀間預測可以被實現為在激活使用考慮到邊緣的分區的預測模式的情況下被執行。在通過使用諸如上述的索貝爾算法的邊緣檢測算法來檢測邊緣后，可以通過使用下述的內插方案沿著檢測到的邊緣方向估計參考像素的值。
[0104]參見圖8，在線E是邊緣邊界線、像素a和b是位于邊界線E的兩側處的像素并且要進行幀間預測的參考像素是P(x，y)的情況下，可以在下面的等式中預測P(x，y):
[0105][等式I]
[0106]ffa = 5x-f loor(5x)
[0107]ffb = ceil(5x)-5x
[0108]P=ffaXa+ffbXb
[0109]在此，δχ指的是從參考像素p(x，y)的X軸坐標至邊緣線E與X軸相交的位置的距離，Wa和Wb是加權因子，floor (δχ)返回不大于δχ的最大整數(例如，floor (1.7) = 1)，并且，ceil(5x)返回δχ的四舍五入值(例如，ceil(l.7) = 2)。
[0110]可以在分區信息或序列參數集合SPS中包括關于經過屬于邊緣的像素的邊緣邊界線的信息(包括例如方向信息)，并且將該信息傳送到解碼器。
[0111]替代地，可以通過使用沿著與在對于幀內預測的目標塊(預測單元)的每一個塊大小預設的幀內預測方向當中的檢測到的邊緣方向類似的幀內預測方向的內插方案來估計參考像素的值。類似的幀內預測方向可以是最接近檢測到的邊緣方向的預測方向，并且可以提供一個或兩個最接近的預測方向。例如，在8 X 8塊的情況下，在34種幀內模式當中，可以與上述的內插方案一起使用具有與預定的邊緣方向最類似的方向的幀內模式，以估計參考像素的值。在這樣的情況下，可以在分區信息或序列參數集合SPS中包括關于與檢測到的邊緣方向類似的幀內預測方向的信息，并且將該信息傳送到解碼器。
[0112]替代地，可以通過下述方式來獲得參考像素的值:使用與在對于幀內預測的目標塊(預測單元)的每一個塊大小預設的幀內預測方向當中的檢測到的邊緣方向類似的幀內模式來執行現有的幀內預測。類似的幀內預測模式可以是最類似于檢測到的邊緣方向的預測模式，并且可以提供一個或兩個最類似的預測模式。在這樣的情況下，可以在分區信息或序列參數集合SPS中包括關于與檢測到的邊緣方向類似的幀內預測模式的信息，并且將其傳送到解碼器。
[0113]上述的考慮到邊緣的幀內預測僅當幀內預測的目標塊的大小是預定大小或更大時適用，因此在幀內預測時降低了復雜度。該預定大小可以是例如16X16、32X32、64X64、128X128或 256X256。
[0114]替代地，考慮到邊緣的幀內預測可以僅當幀內預測的目標塊的大小是預定大小或更小時適用，因此在幀內預測時降低了復雜度。該預定大小可以是例如16X16、8X8S4X4。
[0115]替代地，考慮到邊緣的幀內預測可以僅當幀內預測的目標塊的大小屬于預定大小范圍時適用，因此在幀內預測時降低了復雜度。該預定大小可以是例如4 X 4至16 X 16或16X16 至64X64。
[0116]關于考慮到邊緣的幀內預測所適用的目標塊的大小的信息可以被包括在分區信息或序列參數集合SPS中，并且被傳送到解碼器。替代地，不被傳送到解碼器，關于考慮到邊緣的幀內預測所適用的目標塊的大小的信息可以在編碼器和解碼器之間的預先布置下被預先提供到編碼器和解碼器。
[0117]圖9是圖示根據本發明的又一個示例實施例的圖像編碼方法的流程圖。圖9圖示根據圖像的空間頻率特性來確定預測單元PU的大小并且然后通過使用具有確定的大小的預測單元PU來執行運動補償編碼的方法。
[0118]參見圖9，編碼設備首先接收要編碼的目標幀(步驟310)。在此，所接收到的要編碼的幀可以被存儲在可以存儲預定數目的幀的緩沖器中。例如，該緩沖器可以存儲至少四個(n-3、n-2、n_l 和η)幀。
[0119]其后，編碼設備分析每一個接收到的幀(或畫面)的空間頻率特性(步驟320)。例如，編碼設備可以得出在緩沖器中存儲的每一個幀的信號能量，并且可以通過分析在得出的信號能量和頻譜之間的關系來分析每一個圖像的空間頻率特性。
[0120]然后，編碼設備基于分析的空間頻率特性來確定預測單元PU的大小。在此，可以按照在緩沖器中存儲的幀或按照預定數目的幀來確定預測單元PU的大小。
[0121]例如，編碼設備當幀的信號能量小于在頻譜中預設的第三閾值時將預測單元PU的大小確定為16 X 16像素的大小，當幀的信號能量不小于預設的第三閾值并且小于第四閾值時將預測單元PU的大小確定為32 X 32像素的大小，并且當幀的信號能量不小于預設的第四閾值時將預測單元PU的大小確定為64 X 64像素的大小。在此，第三閾值表示圖像的空間頻率大于第四閾值的空間頻率的情況。
[0122]雖然已經描述了通過根據每一個接收到的幀(或畫面)的時間頻率特性或空間頻率特性利用使用擴展的宏塊的宏塊的大小用于編碼而增強編碼效率，但是也可以根據與每一個接收到的幀(或畫面)的時間頻率特性或空間頻率特性獨立地接收到的每個幀(或畫面)的分辨率(大小)使用擴展的宏塊來執行編碼/解碼。即，可以通過使用擴展的宏塊對于具有比HD(高清晰度)或超高清或更高的分辨率的幀(或畫面)執行編碼/解碼。
[0123]如果在步驟330中確定預測單元PU的大小，則編碼設備基于具有預定大小的預測單元PU來執行編碼(步驟340)。
[0124]例如，如果將預測單元PU的大小確定為64 X 64像素，則編碼設備對于具有64 X 64像素的大小的當前預測單元PU執行運動預測以由此獲得運動向量，使用獲得的運動向量執行運動補償以由此生成預測塊，對于作為在生成的預測塊和當前預測單元PU之間的差的剩余值執行變換、量化和熵編碼，然后傳送結果。而且，關于預測單元PU的確定大小的信息和關于運動向量的信息也進行熵編碼，并且然后被傳送。
[0125]如圖9中所示，在根據本發明的一個實施例的圖像編碼方法中，如果輸入幀(或畫面)的圖像同質或一致性高(即，如果空間頻率低，例如，具有相同顏色的區域、能量集中到低空間頻率的區域等)，則預測單元PU的大小被設置得大，例如，大于32X32像素或更大，并且如果幀(或畫面)的圖像同質或一致性低(即，如果空間頻率高)，則預測單元PU的大小被設置得小，例如，16 X 16像素或更小，由此增強編碼效率。
[0126]圖10是圖示根據本發明的再一個示例實施例的圖像編碼方法的流程圖。圖10圖示下述處理:其中，通過在圖9中所示的圖像編碼方法來確定預測單元PU的大小后，考慮到在具有確定的大小的預測單元PU中包括的邊緣來將預測單元HJ分割為分區，然后對于每一個分割的分區執行編碼。
[0127]在圖10中所示的步驟310至330執行與圖9的步驟310至330相同的功能，并且因此，跳過詳細說明。
[0128]參見圖10，如果根據空間頻率特性在步驟310至330中確定預測單元PU的大小，則編碼設備在屬于具有確定的大小的當前預測單元PU周邊的預測單元PU的像素當中檢測屬于邊緣的像素(步驟340)。
[0129]可以在步驟340中執行各種已知方法來檢測屬于邊緣的像素。例如，可以通過計算在當前預測單元PU和周邊的周邊像素之間的剩余值并且通過使用諸如索貝爾算法的邊緣檢測算法來檢測邊緣。
[0130]其后，編碼設備通過使用屬于檢測到的邊緣的像素將當前預測單元PU分割為分區(步驟350)。
[0131]編碼設備可以在當前預測單元PU周邊的周邊塊中包括的像素當中檢測以檢測到的邊緣像素的周邊像素為目標的、屬于檢測到的邊緣的像素，以對于當前預測單元PU執行分區，如圖3中所示，并且可以然后通過使用將檢測到的邊緣像素的周邊像素與在步驟340中檢測到的邊緣像素連接的線來進行分區。
[0132]替代地，編碼設備可以在屬于當前預測單元PU的周邊塊的像素當中檢測僅以最接近當前預測單元PU的像素為目標的、屬于邊緣的像素，并且可以然后通過確定經過屬于檢測到的邊緣的像素的直線的方向來對于當前預測單元PU執行分區。
[0133]如果通過上述的方法在步驟350中將當前預測單元PU分割為至少一個分區，則編碼設備對于每一個分區執行編碼(步驟360)。
[0134]例如，編碼設備通過對于在具有64X 64或32 X 32像素的大小的當前預測單元PU中的每一個分割的分區執行運動預測來獲得運動向量，使用獲得的運動向量執行運動補償以由此生成預測分區，對于作為在生成的預測分區和當前預測單元PU的分區之間的差的剩余值執行變換、量化和熵編碼，并且然后傳送結果。而且，預測單元PU的確定的大小、分區信息和關于運動向量的信息也被熵編碼并且然后被傳送。
[0135]結合圖5描述的考慮到邊緣的分區可以適用于在圖8中所示的幀內預測以及幀間預測。
[0136]圖11是圖示根據本發明的一個實施例的圖像解碼方法的流程圖。
[0137]參見圖11，解碼設備首先從編碼設備接收比特流(步驟410)。
[0138]其后，解碼設備對于接收到的比特流執行熵解碼，以由此獲得要解碼的當前預測單元PU的信息(步驟420)。在此，如果取代通過使用擴展的宏塊和擴展的宏塊的大小來執行編碼和解碼，使用上述的遞歸代碼化單元(CU)來執行編碼和解碼，則預測單元PU信息可以包括最大代碼化單元LCU的大小、最小代碼化單元SCU的大小、可允許的最大分級水平或分級深度和標記信息。而且，解碼設備同時獲得用于運動補償的運動向量。在此，預測單元PU的大小可以具有根據在如圖1和9中所示的編碼設備中的時間頻率特性或空間頻率特性而確定的大小——例如，它可以具有32 X 32或64 X 64像素的大小。解碼控制器(未示出)可以從編碼設備接收關于在編碼設備中適用的預測單元PU的大小的信息，并且可以根據在編碼設備中適用的預測單元PU的大小來執行下述的運動補償解碼、逆變換或逆量化。
[0139]解碼設備通過使用預測單元PU大小(例如，32X32或64X64像素)信息和如上所述獲得的運動向量信息并且通過使用預先重建的幀(或畫面)來生成對于運動補償預測的預測單元PU (步驟430)。
[0140]其后，解碼設備通過將所生成的預測的預測單元PU與從編碼設備提供的剩余值相加來重建當前預測單元PU(步驟440)。在此，解碼設備可以通過下述方式來獲得剩余值:對從編碼設備提供的比特流進行熵解碼，并且然后對于結果執行逆量化和逆變換，由此獲得剩余值。而且，也可以基于在步驟420中獲得的預測單元PU大小(例如，32 X 32或64 X 64像素)來執行逆變換處理。
[0141]圖12是圖示根據本發明的另一個示例實施例的圖像解碼方法的流程圖，并且圖12圖示通過下述方式來按照分區解碼編碼的圖像的處理:沿著邊緣分割具有根據在圖像編碼設備中的時間頻率特性或空間頻率特性而確定的大小的宏塊。
[0142]參見圖12，解碼設備從編碼設備接收比特流。
[0143]其后，解碼設備通過對于接收到的比特流執行熵解碼來獲得要解碼的當前預測單元PU的分區信息和當前預測單元PU的分區信息(步驟520)。在此，當前預測單元PU的大小可以例如是32X32或64X64像素。而且，解碼設備同時獲得用于運動補償的運動向量。在此，如果取代通過使用擴展宏塊和擴展宏塊的大小來執行編碼和解碼，使用上述的遞歸代碼化單元(CU)來執行編碼和解碼，則預測單元PU信息可以包括最大代碼化單元LCU的大小、最小代碼化單元SCU的大小、可允許的最大分級水平或分級深度和標記信息。分區信息可以包括在不對稱分區、幾何分區和沿著邊緣方向分區的情況下向解碼器傳送的分區信息。
[0144]接下來，解碼設備通過使用獲得的預測單元PU信息和分區信息來分割預測單元PU(步驟530)。
[0145]而且，解碼設備通過使用分區信息、運動向量信息和預先重建的幀(或畫面)來生成預測分區(步驟540)，并且通過將所生成的預測分區與從編碼設備提供的剩余值相加來重建當前分區(步驟550)。在此，解碼設備可以通過對于從編碼設備提供的比特流執行熵解碼、逆量化和逆變換而獲得剩余值。
[0146]其后，解碼設備通過下述方式來重建當前宏塊:基于獲得的分區信息重建在當前塊中包括的所有分區，并且然后重新配置重建的分區(步驟560)。
[0147]圖13是圖示根據本發明的一個實施例的圖像編碼設備的配置的框圖。
[0148]參見圖13，圖像編碼設備可以包括預測單元確定單元610和編碼器630。編碼器630可以包括運動預測單元631、運動補償單元633、幀內預測單元635、減法器637、變換單元639、量化單元641、熵編碼單元643、逆量化單元645、逆變換單元647、加法器649和幀緩沖器651。在此，可以在確定適用于幀間預測或幀內預測的預測單元的大小的編碼控制器(未示出)中執行或可以在附圖中所示的編碼器外部的單獨塊中執行預測單元確定單元610。在下文中，描述在編碼器外部的單獨塊中執行預測單元確定單元610的示例。
[0149]預測單元確定單元610接收提供的輸入圖像，并且將其存儲在內部緩沖器(未示出)中，并且然后分析存儲的幀的時間頻率特性。在此，緩沖器可以存儲預定數目的幀。例如，緩沖器可以存儲至少四個(第η-3、第η-2、第η_1和第η)幀。
[0150]預測單元確定單元610檢測在緩沖器中存儲的第η-3幀和第η-2幀之間的變化，檢測在第η-2幀和第η-1幀之間的變化，并且檢測在第η-1幀和第η幀之間的變化，以由此分析幀間時間頻率特性，將分析的時間頻率特性與預定閾值作比較，并且基于比較的結果來確定要編碼的預測單元的大小。
[0151]在此，預測單元確定單元610可以基于在緩沖器中存儲的幀當中的兩個時間上相鄰的幀(例如，第η-1和第η幀)的變化來確定預測單元的大小，并且可以基于預定數目的幀(例如，第η-3、第η-2、第η-1和第η幀)的變化特性來確定預測單元的大小，以便減小用于預測單元的大小信息的開銷。
[0152 ] 例如，預測單元確定單元610可以分析第η-1幀和第η幀的時間頻率特性，并且可以當所分析的時間頻率特性值小于預定第一閾值時將預測單元的大小確定為64X64像素，當所分析的時間頻率特性值不小于預定第一閾值并且小于第二閾值時將預測單元的大小確定為32X32像素，并且當所分析的時間頻率特性值不小于預定第二閾值時將預測單元的大小確定為16 X 16像素或更小。在此，第一閾值當幀間變化小于第二閾值時可以表示時間頻率特性值。
[0153]如上所述，預測單元確定單元610向熵編碼單元643提供對于幀間預測或幀內預測確定的預測單元信息，并且向編碼器630提供具有確定的大小的每個預測單元。在此，預測單元信息可以包括關于用于幀間預測或幀內預測的預測單元的確定的大小的信息或預測單元類型信息。可以通過諸如序列參數集合(SPS)或畫面參數集合或片分段報頭或任何其他報頭信息的信令信息來向解碼器傳送PU大小信息或PU(預測單元)類型信息。具體地說，如果使用擴展的宏塊或擴展的宏塊的大小來執行編碼和解碼，則預測塊信息可以包括PU大小信息或PU(預測單元)類型信息或宏塊大小信息或擴展的宏塊大小索引信息。如果執行上述的遞歸代碼化單元CU以執行編碼和解碼，則預測單元信息可以包括用于幀間預測或幀內預測的葉代碼化單元LCU的大小信息，而不是宏塊的信息，即，預測單元的大小信息，并且預測單元信息可以進一步包括最大代碼化單元LCU的大小、最小代碼化單元SCU的大小、可允許的最大分級水平或分級深度和標記信息。
[0154]預測單元確定單元610可以通過分析如上所述的提供的輸入幀的時間頻率特性來確定預測單元的大小，并且也可以通過分析提供的輸入幀的空間頻率特性來確定預測單元的大小。例如，如果輸入幀的圖像同質或一致性高，則預測單元的大小被設置得大，例如32Χ32像素或更大，并且如果幀的圖像同質或一致性低(S卩，如果空間頻率高)，則預測單元的大小可以被設置得低，例如，16 X 16像素或更小。
[0155]編碼器630對于具有由預測單元確定單元610確定的大小的預測單元執行編碼。
[0156]具體地說，運動預測單元631通過將所提供的當前預測單元與其編碼已經被完成并且被存儲在幀緩沖器651中的前一個參考幀作比較而預測運動，由此生成運動向量。
[0157]運動補償單元633生成通過使用參考幀和從運動預測單元631提供的運動向量而預測的預測單元。
[0158]幀內預測單元635通過使用塊間的像素相關性來執行幀間預測編碼。幀內預測單元635執行幀內預測，幀內預測通過從在當前幀(或畫面)中的塊的已經編碼的像素值預測像素值來獲得當前預測單元的預測塊。幀內預測單元635對于具有與所獲得的預測單元大小信息相對應的大小的預測單元執行上述的沿著邊緣方向的幀間預測。
[0159]減法器637將從運動補償單元633提供的預測的預測單元與當前預測單元相減，以由此生成剩余值，并且變換單元639和量化單元641對于剩余值執行DCT(離散余弦變換)和量化。在此，變換單元639可以基于從預測單元確定單元610提供的預測單元大小信息來執行變換。例如，它可以執行向32X32或64X64像素的大小的變換。替代地，變換單元639可以與從預測單元確定單元610提供的預測單元大小信息獨立地基于單獨的變換單元(TU)來執行變換。例如，變換單元TU的大小可以是最小4X4像素至最大64X64。替代地，變換單元TU的最大大小可以是64X64像素或更大一一例如，128X 128像素。變換單元大小信息可以被包括在變換單元信息中，并且被傳送到解碼器。
[Ο??Ο]熵編碼單元643對報頭信息進行熵編碼，諸如量化的DCT系數、運動向量、確定的預測單元信息、分區信息和變換單元信息，由此生成比特流。
[0161 ] 逆量化單元645和逆變換單元647對于由量化單元641量化的數據執行逆量化和逆變換。加法器649將逆變換的數據與從運動補償單元633提供的預測的預測單元相加，以重建圖像，并且向幀緩沖器651提供圖像，并且幀緩沖器651存儲重建的圖像。
[0162]圖14是根據本發明的另一個示例實施例的、圖像編碼設備的配置的框圖。
[0163]參見圖14，根據本發明的一個實施例的圖像編碼設備可以包括預測單元確定單元610、預測單元分割單元620和編碼器630。編碼器630可以包括運動預測單元631、運動補償單元633、幀內預測單元635、減法器637、變換單元639、量化單元641、熵編碼單元643、逆量化單元645、逆變換單元647、加法器649和幀緩沖器651。在此，可以在確定適用于幀間預測或幀內預測的預測單元的大小的編碼控制器(未示出)中執行或者可以在附圖中所示的在編碼器外部的單獨塊中執行用于編碼處理的預測單元確定單元或預測單元分割單元。在下文中，描述在編碼器外部的單獨塊中執行預測單元確定單元或預測單元分割單元的示例。
[0164]預測單元確定單元610執行與用如圖13中所示的相同附圖標號表示的元件相同的功能，并且跳過詳細描述。
[0165]預測單元分割單元620考慮到在用于從預測單元確定單元610提供的當前預測單元的當前預測單元的周邊塊中包括的邊緣將當前預測單元分割為分區，并且然后向編碼器630提供分割的分區和分區信息。在此，分區信息可以包括在不對稱分區、幾何分區和沿著邊緣方向分區的情況下的分區信息。
[0166]具體地說，預測單元分割單元620在幀緩沖器651中讀取在從預測單元確定單元610提供的當前預測單元周邊的預測單元，在屬于在當前預測單元周邊的預測單元的像素當中檢測屬于邊緣的像素，并且通過使用屬于檢測到的邊緣的像素將當前預測單元分割為分區。
[0167]預測單元分割單元620可以通過計算在當前預測單元和周邊的周邊像素之間的剩余值或通過使用諸如索貝爾算法的已知邊緣檢測算法來檢測邊緣。
[0168]如圖3中所示，預測單元分割單元620可以在用于分割當前預測單元的在當前預測單元周邊的周邊塊中包括的像素當中檢測以檢測到的邊緣像素的周邊像素為目標的、屬于檢測到的邊緣的像素，并且可以通過使用將檢測到的邊緣像素的周邊像素與檢測到的邊緣像素連接的線來執行分區。
[0169]替代地，預測單元分割單元620可以在屬于當前預測單元的周邊塊的像素當中檢測僅以最接近當前預測單元PU的像素為目標的、屬于邊緣的像素，并且然后可以確定經過屬于檢測到的邊緣的像素的直線的方向，由此分割當前預測單元。在此，作為經過屬于邊緣的像素的直線的方向，可以使用根據H.264標準的4X4塊的幀間預測模式的任何一種。
[0170]預測單元分割單元620將當前預測單元分割為至少一個分區，并且然后向編碼器630的運動預測單元631提供分割的分區。而且，預測單元分割單元620向熵編碼單元643提供預測單元的分區信息。
[0171]編碼器630對于從預測單元分割單元620提供的分區執行編碼。
[0172]具體地說，運動預測單元631通過將所提供的當前分區與其編碼已經完成并且被存儲在幀緩沖器651中的前一個參考幀作比較來預測運動，由此生成運動向量，并且運動補償單元633通過使用參考幀和從運動預測單元631提供的運動向量來生成預測分區。
[0173]幀內預測單元635通過使用塊間像素相關性來執行幀內預測編碼。幀內預測單元635執行幀內預測，幀內預測通過從在當前幀中的塊的已經編碼的像素值預測像素值來得出當前預測單元的預測塊。
[0174]幀內預測單元635對于具有與獲得的預測單元大小信息相對應的大小的預測單元執行上述的沿著邊緣方向的幀內預測。
[0175]減法器637將當前分區和從運動補償單元633提供的預測分區相減，以生成剩余值，并且變換單元639和量化單元641對于剩余值執行DCT (離散余弦變換)和量化。熵編碼單元643對報頭信息進行熵編碼，諸如量化的DCT系數、運動向量、確定的預測單元信息、預測單元分區信息或者變換單元信息。
[0176]逆量化單元645和逆變換單元647逆量化和逆變換通過量化單元641量化的數據。加法器649將逆變換的數據與從運動補償單元633提供的預測分區相加，以重建圖像，并且向幀緩沖器651提供重建的圖像。幀緩沖器651存儲重建的圖像。
[0177]圖15是圖示根據本發明的一個實施例的圖像解碼設備的配置的框圖。
[0178]參見圖15，根據本發明的一個實施例的解碼設備包括熵解碼單元731、逆量化單元733、逆變換單元735、運動補償單元737、幀內預測單元739、幀緩沖器741和加法器743。
[0179]熵解碼單元731接收壓縮的比特流，并且對于其執行熵編碼，由此生成量化的系數。逆量化單元733和逆變換單元735對于量化的系數執行逆量化和逆變換，由此重建剩余值。
[0180]運動補償單元737通過下述方式來生成預測的預測單元:對于具有與使用由熵解碼單元731從比特流解碼的報頭信息編碼的預測單元PU的大小相同的大小的預測單元執行運動補償。在此，解碼的報頭信息可以包括預測單元大小信息，并且預測單元大小可以是例如擴展的宏塊大小，諸如32 X 32、64 X 64或128 X 128像素。
[0181]S卩，運動補償單元737可以通過對于具有解碼的預測單元大小的預測單元執行運動補償來生成預測的預測單元。
[0182]幀內預測單元739通過使用塊間像素相關性來執行幀內預測編碼。幀內預測單元739執行幀內預測，幀內預測通過從在當前幀(或畫面)中的塊的已經編碼的像素值預測像素值而獲得當前預測單元的預測塊。幀內預測單元739對于具有與獲得的預測單元大小信息相對應的大小的預測單元執行上述的沿著邊緣方向的幀內預測。
[0183]逆量化單元733將從逆變換單元735提供的剩余值與從運動補償單元737提供的預測的預測單元相加以重建圖像，并且向幀緩沖器741提供重建的圖像，幀緩沖器741然后存儲重建的圖像。
[0184]圖16是圖示根據本發明的另一個示例實施例的圖像解碼設備的配置的框圖。
[0185]參見圖16，根據本發明的實施例的解碼設備可以包括預測單元分割單元710和解碼器730。解碼器730包括熵解碼單元731、逆量化單元733、逆變換單元735、運動補償單元737、幀內預測單元739、幀緩沖器741和加法器743。
[0186]預測單元分割單元710獲得其中已經通過熵解碼單元731解碼了比特流的報頭信息，并且從獲得的報頭信息提取預測單元信息和分區信息。在此，分區信息可以是關于分割預測單元的線的信息。例如，分區信息可以包括在不對稱分區、幾何分區和沿著邊緣方向分區的情況下的分區信息。
[0187]其后，預測單元分割單元710通過使用提取的分區信息將在幀緩沖器741中存儲的參考幀的預測單元分割為分區，并且向運動補償單元737提供分割的分區。
[0188]在此，可以在確定適用于幀間預測或幀內預測的預測單元的大小的解碼控制器(未示出)中執行或也可以在附圖中所示的解碼器外部的單獨塊中執行用于解碼處理的預測單元分割單元。在下文中，描述在解碼器外部的單獨塊中執行預測單元分割單元的示例。
[0189]運動補償單元737通過使用在解碼的報頭信息中包括的運動向量信息來對于從預測單元分割單元710提供的分區執行運動補償，由此生成預測分區。
[0190]逆量化單元733和逆變換單元735逆量化和逆變換在熵解碼單元731中熵解碼的系數以由此生成剩余值，并且加法器743將從運動補償單元737提供的預測分區與剩余值相加以重建圖像，并且在幀緩沖器741中存儲重建的圖像。
[0191]在圖16中，解碼的宏塊的大小可以例如是32X32、64X64或128X128像素，并且預測單元分割單元710可以基于從報頭信息提取的分區信息來分割具有大小32 X 32、64X64或128 X 128像素的宏塊。
[0192]雖然已經結合實施例描述了本發明，但是本領域內的技術人員可以明白，在不偏離在所附的權利要求中限定的本發明的范圍和精神的情況下，可以對于本發明進行各種修改或改變。
【主權項】
1.一種圖像解碼方法，包括以下步驟: 接收比特流； 從所接收到的比特流獲得要解碼的預測單元的信息，其中，所述預測單元具有可變大小； 通過對所接收到的比特流執行熵解碼、逆量化和逆變換來獲得剩余值； 通過對預測單元執行運動補償來生成預測塊；以及 通過將所生成的預測塊與所述剩余值相加來重建圖像， 其中，當具有可變大小的代碼化單元被分級地分割并且達到可允許的最大分級水平或分級深度時，所述預測單元對應于葉代碼化單元，其中最小代碼化單元的大小或亮度代碼化單元的最小大小包括在序列參數集合(SPS)中，并且其中所述預測單元的大小被限制為不大于64 X 64像素。2.根據權利要求1所述的圖像解碼方法，其中，所述預測單元的所述信息包括最小代碼化單元的大小。3.根據權利要求1所述的圖像解碼方法，其中，所述預測單元包括大小為大于16X16像素的塊，并且所述預測單元的大小被限制為不大于64X64像素。4.根據權利要求1所述的圖像解碼方法，進一步包括以下步驟: 從所接收到的比特流獲得要解碼的預測單元的分區信息。5.根據權利要求4所述的圖像解碼方法，其中，通過對預測單元執行運動補償來生成預測塊的步驟包括以下步驟:基于所述預測單元的所述分區信息來對代碼化單元執行分區，并且對所分割的分區執行所述運動補償。6.根據權利要求5所述的圖像解碼方法，其中，所述分區信息包括示出使用了不對稱分區的信息。7.根據權利要求1所述的圖像解碼方法，其中，變換單元的大小為4X 4像素到32 X 32像素。8.根據權利要求1所述的圖像解碼方法，其中，代碼化單元具有遞歸樹結構。9.一種圖像解碼設備，包括: 熵解碼器，所述熵解碼器對所接收到的比特流進行解碼； 運動補償單元，所述運動補償單元通過對預測單元執行運動補償來生成預測塊，其中，所述預測單元具有可變大小； 逆量化單元，所述逆量化單元對所述熵解碼器的輸出進行逆量化； 逆變換單元，所述逆變換單元通過對逆量化的數據執行逆變換來獲得剩余值；以及 加法器，所述加法器將所述剩余值與所述預測塊相加，以重建圖像， 其中，當具有可變大小的代碼化單元被分級地分割并且達到可允許的最大分級水平或分級深度時，所述預測單元對應于葉代碼化單元，其中最小代碼化單元的大小或亮度代碼化單元的最小大小包括在序列參數集合(SPS)中，并且其中所述預測單元的大小被限制為不大于64 X 64像素。10.根據權利要求9所述的圖像解碼設備，其中，所述預測單元的大小信息包括最大代碼化單元的大小和最小代碼化單元的大小。11.根據權利要求9所述的圖像解碼設備，其中，所述預測單元包括大小為大于16X16像素的塊，并且所述預測單元的大小被限制為不大于64X64像素。12.根據權利要求9所述的圖像解碼設備，其中，所述運動補償單元通過基于所述預測單元的分區信息對所述預測單元執行分區，來對所分割的分區執行所述運動補償。13.根據權利要求12所述的圖像解碼設備，其中，以不對稱分區方案來執行所述分區。14.根據權利要求9所述的圖像解碼設備，其中，變換單元的大小為4X4像素到32X32像素。15.根據權利要求9所述的圖像解碼設備，其中，代碼化單元具有遞歸樹結構。
【文檔編號】H04N19/14GK106060547SQ201610670570
【公開日】2016年10月26日
【申請日】2011年6月7日 公開號201610670570.0, CN 106060547 A, CN 106060547A, CN 201610670570, CN-A-106060547, CN106060547 A, CN106060547A, CN201610670570, CN201610670570.0
【發明人】李忠九, 金珉成, 樸浚盛
【申請人】數碼士有限公司