圖像編碼裝置及其方法和圖像解碼裝置及其方法
【專利摘要】本發明涉及一種圖像編碼裝置及其方法和圖像解碼裝置及其方法。幀內預測部(4)在生成色差信號的預測圖像時，使用與在實施對于亮度信號的編碼對象塊的幀內預測處理時使用的幀內預測參數相同的幀內預測參數，實施對于色差信號的編碼對象塊的幀內預測處理，或者應用平均值預測來實施對于色差信號的編碼對象塊的幀內預測處理，可變長編碼部(13)對表示幀內預測部(4)是否使用與亮度信號相同的幀內預測參數的標志進行可變長編碼。
【專利說明】
圖像編碼裝置及其方法和圖像解碼裝置及其方法
[0001] 本申請是申請號為201180034748.8(PCT/JP2011/003907)、申請日為2011 年7月7 日（進入國家階段日為2013年1月15日）、發明名稱為"運動圖像編碼裝置、運動圖像解碼裝 置、運動圖像編碼方法以及運動圖像解碼方法"的發明專利申請的分案申請。
技術領域
[0002] 本發明涉及一種實施幀內（intra)預測處理或幀間（inter)預測處理來實施預測 編碼的運動圖像編碼裝置、運動圖像解碼裝置、運動圖像編碼方法以及運動圖像解碼方法。
【背景技術】
[0003] 說明運動圖像編碼裝置所實施的幀內預測處理中的、AVC/H. 264編碼方式中的幀 內預測模式。
[0004] 在亮度的幀內預測模式下，能夠從多種預測模式中以塊為單位選擇一種預測模 式。
[0005] 圖15是表示亮度的塊大小為4X4像素的情況下的幀內預測模式的說明圖。
[0006] 在亮度的塊大小為4X4像素的情況下，規定有從模式0至模式8的九種幀內預測模 式。
[0007] 在圖15的例子中，白圓表示編碼對象的塊內的像素，黑圓是預測中使用的像素，是 已編碼的鄰接塊內的像素。
[0008] 其中，模式2是涉及平均值預測的幀內預測模式，是以上方和左方的塊的鄰接像素 的平均值來預測編碼對象塊內的像素的模式。模式2以外的模式是涉及方向性預測的幀內 預測模式。
[0009]模式0是涉及垂直方向預測的幀內預測模式，通過將上方的塊的鄰接像素在垂直 方向上重復來生成預測圖像。例如，在編碼對象塊為豎條紋圖案時選擇模式0。
[0010] 另外，模式1是涉及水平方向預測的幀內預測模式，通過將左方的塊的鄰接像素在 水平方向上重復來生成預測圖像。
[0011] 從模式3至模式8是通過使用上方的塊或左方的塊的鄰接像素在規定的方向（以箭 頭表示的方向）上生成插值像素來生成預測圖像。
[0012 ]在此，應用幀內預測的亮度的塊大小能夠從4 X 4像素、8 X 8像素、16 X 16像素中進 行選擇，在8 X 8像素的情況下，與4 X 4像素同樣地規定有九種幀內預測模式。
[0013] 與此相對，在16X16像素的情況下，除了涉及平均值預測、垂直方向預測以及水平 方向預測的幀內預測模式以外，還規定有稱為平面預測的四種幀內預測模式。
[0014] 涉及平面預測的幀內預測模式是以將上方的塊的鄰接像素和左方的塊的鄰接像 素在傾斜方向上進行內插插值而生成的像素為預測值的模式。
[0015] 此外，在塊大小為4X4像素或8X8像素的情況下的方向性預測模式下，在預先確 定的方向（例如，45度的方向）上生成預測值，因此如果塊內的目標的邊界(邊緣）的方向與 預測模式所表示的方向一致，則預測效率變高而能夠削減代碼量。
[0016] 但是，如果塊內的目標的邊緣的方向與預測模式所表示的方向不一致，則預測效 率降低，因此無法削減代碼量。
[0017] 在以下的專利文獻1中，公開了如果使用對幀內預測模式的產生頻度進行計數的 頻度信息表則能夠削減涉及幀內預測模式的代碼量的技術，但是需要預先準備頻度信息 表。
[0018] 專利文獻1:國際公開第2008/123254號公報
【發明內容】
[0019] 發明要解決的問題
[0020] 如上構成以往的運動圖像編碼裝置，因此如果增加能夠選擇的方向性預測的模式 數，則邊緣的方向與預測模式所表示的方向一致的概率變高，能夠提高預測效率。但是，存 在如下問題等:如果增加能夠選擇的方向性預測的模式數，則導致涉及幀內預測模式的信 息的代碼量增加。
[0021] 本發明是為了解決如上所述的問題而完成的，其目的在于得到一種能夠抑制涉及 幀內預測模式的信息的代碼量的增加的運動圖像編碼裝置以及運動圖像編碼方法。
[0022] 另外，本發明的目的在于得到一種能夠應用于上述運動圖像編碼裝置以及運動圖 像編碼方法的運動圖像解碼裝置以及運動圖像解碼方法。
[0023]用于解決問題的方案
[0024] 在本發明所涉及的運動圖像編碼裝置中，預測圖像生成單元在生成色差信號的預 測圖像時，使用與在實施對于亮度信號的編碼對象塊的幀內預測處理時使用的幀內預測參 數相同的幀內預測參數來實施對于色差信號的編碼對象塊的幀內預測處理，或者應用平均 值預測來實施對于色差信號的編碼對象塊的幀內預測處理，可變長編碼單元對表示預測圖 像生成單元是否使用與亮度信號相同的幀內預測參數實施對于色差信號的編碼對象塊的 幀內預測處理的標志進行可變長編碼，來作為在實施對于色差信號的編碼對象塊的幀內預 測處理時使用的幀內預測參數。
[0025] 發明的效果
[0026] 根據本發明，構成為預測圖像生成單元在生成色差信號的預測圖像時，使用與在 實施對于亮度信號的編碼對象塊的幀內預測處理時使用的幀內預測參數相同的幀內預測 參數來實施對于色差信號的編碼對象塊的幀內預測處理，或者應用平均值預測來實施對于 色差信號的編碼對象塊的幀內預測處理，可變長編碼單元對表示預測圖像生成單元是否使 用與亮度信號相同的幀內預測參數實施對于色差信號的編碼對象塊的幀內預測處理的標 志進行可變長編碼，來作為在實施對于色差信號的編碼對象塊的幀內預測處理時使用的幀 內預測參數，因此具有如下效果:不會降低預測效率而能夠削減涉及色差信號的幀內預測 模式的代碼量。
【附圖說明】
[0027]圖1是表示基于本發明的實施方式1的運動圖像編碼裝置的結構圖。
[0028]圖2是表示基于本發明的實施方式1的運動圖像編碼裝置的可變長編碼部13的內 部的結構圖。
[0029] 圖3是表示基于本發明的實施方式1的運動圖像編碼裝置的處理內容(運動圖像編 碼方法）的流程圖。
[0030] 圖4是表示最大編碼塊分層地被分割為多個編碼對象塊的例子的說明圖。
[0031]圖5的(a)表不分割后的分區的分布，（b)表不通過分層分割分配編碼模式m(Bn)的 狀況的說明圖。
[0032]圖6是表示編碼對象塊Bn內的各分區P，能夠選擇的幀內預測參數(幀內預測模式） 的一例的說明圖。
[0033]圖7是表示在生成的情況下的分區P，內的像素的預測值時使用的像素 的一例的說明圖。
[0034]圖8是表示在分區P，的幀內預測參數的預測值的計算中使用的已編碼周邊分區的 一例的說明圖。
[0035]圖9是表示17種幀內預測模式的索引值和除了平均值預測以外的、16種方向性預 測模式的預測方向矢量的一例的說明圖。
[0036] 圖10是表示基于本發明的實施方式1的運動圖像解碼裝置的結構圖。
[0037] 圖11是表示基于本發明的實施方式1的運動圖像解碼裝置的可變長解碼部31的內 部的結構圖。
[0038] 圖12是表示基于本發明的實施方式1的運動圖像解碼裝置的處理內容(運動圖像 解碼方法)的流程圖。
[0039] 圖13是表示亮度信號和色差信號的分區Pf的一例的說明圖。
[0040] 圖14是表示濾波處理前后的預測圖像的說明圖。
[0041] 圖15是表示亮度的塊大小為4X4像素的情況下的幀內預測模式的說明圖。
[0042](附圖標記說明）
[0043] 1:塊分割部(塊分割單元）；2:編碼控制部(編碼控制單元）；3:切換開關(預測圖像 生成單元）；4:幀內預測部(預測圖像生成單元）；5:運動補償預測部;6:減法部(量化單元）； 7:變換/量化部(量化單元）；8:逆量化/逆變換部;9:加法部；10:幀內預測用存儲器(預測圖 像生成單元）；11:環路濾波部；12:運動補償預測幀存儲器；13:可變長編碼部(可變長編碼 單元）；13a:幀內預測參數可變長編碼部;21:幀內預測參數預測值計算部;22:幀內預測參 數二值化索引計算部;23:熵編碼部;31:可變長解碼部(可變長解碼單元）；31a:幀內預測參 數可變長解碼部;32:逆量化/逆變換部(逆量化單元）；33:切換開關(預測圖像生成單元）； 34:幀內預測部(預測圖像生成單元）；35:運動補償部;36:加法部；37:幀內預測用存儲器 (預測圖像生成單元）；38:環路濾波部;39:運動補償預測幀存儲器;41:熵解碼部;42:幀內 預測參數預測值計算部;43:幀內預測參數索引計算部。
【具體實施方式】
[0044] 下面，為了更詳細地說明本發明，按照附圖來說明用于實施本發明的方式。
[0045] 實施方式1.
[0046] 圖1是表示基于本發明的實施方式1的運動圖像編碼裝置的結構圖。
[0047] 在圖1中，塊分割部1實施如下處理：當輸入表示輸入圖像的影像信號時，將該輸入 圖像分割為由編碼控制部2決定的編碼塊大小的塊(預測處理單位的塊），輸出作為預測處 理單位的塊的編碼對象塊。此外，塊分割部1構成塊分割單元。
[0048] 編碼控制部2實施如下處理:決定編碼塊大小，并且從能夠選擇的1個以上的幀內 編碼模式和幀間編碼模式中決定對于從塊分割部1輸出的編碼對象塊的編碼效率最高的編 碼模式。
[0049] 另外，編碼控制部2實施如下處理:在編碼效率最高的編碼模式為幀內編碼模式的 情況下，決定以該幀內編碼模式實施對于編碼對象塊的幀內預測處理時使用的幀內預測參 數，在編碼效率最高的編碼模式為幀間編碼模式的情況下，決定以該幀間編碼模式實施對 于編碼對象塊的幀間預測處理時使用的幀間預測參數。
[0050] 并且，編碼控制部2實施決定對變換/量化部7和逆量化/逆變換部8提供的預測差 分編碼參數的處理。
[0051 ] 此外，編碼控制部2構成編碼控制單元。
[0052]切換開關3實施如下處理:如果由編碼控制部2決定的編碼模式為幀內編碼模式， 則將從塊分割部1輸出的編碼對象塊輸出到幀內預測部4,如果由編碼控制部2決定的編碼 模式為幀間編碼模式，則將從塊分割部1輸出的編碼對象塊輸出到運動補償預測部5。
[0053] 幀內預測部4實施如下處理:一邊參照保存在幀內預測用存儲器10中的局部解碼 圖像，一邊使用由編碼控制部2決定的幀內預測參數實施對于從切換開關3輸出的編碼對象 塊的幀內預測處理來生成幀內預測圖像(預測圖像）。
[0054]此外，由切換開關3、幀內預測部4以及幀內預測用存儲器10構成預測圖像生成單 J L 〇
[0055]運動補償預測部5實施如下處理:將從切換開關3輸出的編碼對象塊與保存在運動 補償預測幀存儲器12中的濾波處理后的局部解碼圖像進行比較來搜索運動矢量，使用該運 動矢量和由編碼控制部2決定的幀間預測參數實施對于該編碼對象塊的幀間預測處理(運 動補償預測處理)來生成幀間預測圖像。
[0056]減法部6實施如下處理:從由塊分割部1輸出的編碼對象塊減去由幀內預測部4生 成的幀內預測圖像或由運動補償預測部5生成的幀間預測圖像，將作為該減法結果的預測 差分信號(差分圖像)輸出到變換/量化部7。
[0057]變換/量化部7實施如下處理:參照由編碼控制部2決定的預測差分編碼參數，實施 對于從減法部6輸出的預測差分信號的正交變換處理(例如DCT(離散余弦變換）、預先對特 定學習系列進行了基底設計的KL變換等的正交變換處理)來計算變換系數，并且參照該預 測差分編碼參數來對該變換系數進行量化，將作為量化后的變換系數的壓縮數據(差分圖 像的量化系數)輸出到逆量化/逆變換部8和可變長編碼部13。
[0058]此外，由減法部6和變換/量化部7構成量化單元。
[0059] 逆量化/逆變換部8實施如下處理:參照由編碼控制部2決定的預測差分編碼參數， 對從變換/量化部7輸出的壓縮數據進行逆量化，并且參照該預測差分編碼參數，實施對于 作為逆量化后的壓縮數據的變換系數的逆正交變換處理，計算與從減法部6輸出的預測差 分信號相當的局部解碼預測差分信號。
[0060]加法部9實施如下處理:將由逆量化/逆變換部8計算出的局部解碼預測差分信號 與由幀內預測部4生成的幀內預測圖像或由運動補償預測部5生成的幀間預測圖像相加，計 算與從塊分割部1輸出的編碼對象塊相當的局部解碼圖像。
[0061] 幀內預測用存儲器10是保存由加法部9計算出的局部解碼圖像的記錄介質。
[0062] 環路濾波部11實施如下處理:對由加法部9計算出的局部解碼圖像實施規定的濾 波處理，輸出濾波處理后的局部解碼圖像。
[0063]運動補償預測幀存儲器12是保存濾波處理后的局部解碼圖像的記錄介質。
[0064] 可變長編碼部13實施如下處理:對從變換/量化部7輸出的壓縮數據、編碼控制部2 的輸出信號（編碼模式、幀內預測參數或幀間預測參數、預測差分編碼參數）以及從運動補 償預測部5輸出的運動矢量(編碼模式為幀間編碼模式的情況)進行可變長編碼來生成位 流。
[0065] 其中，可變長編碼部13在編碼模式為幀內編碼模式的情況下，在涉及幀內預測處 理中的多個方向性預測的預測方向矢量中，作為由編碼控制部2決定的幀內預測參數的可 變長編碼，確定其方向與由編碼控制部2決定的編碼對象塊的幀內預測參數所表示的預測 方向矢量最近的預測方向矢量，對確定出的該預測方向代表矢量的索引進行可變長編碼， 并且對表示已編碼塊的幀內預測參數所表示的預測方向矢量與預測方向代表矢量的差分 的索引進行可變長編碼。
[0066] 此外，可變長編碼部13構成可變長編碼單元。
[0067] 在圖1的例子中，假設作為運動圖像編碼裝置的結構要素的塊分割部1、編碼控制 部2、切換開關3、幀內預測部4、運動補償預測部5、減法部6、變換/量化部7、逆量化/逆變換 部8、加法部9、幀內預測用存儲器10、環路濾波部11、運動補償預測幀存儲器12以及可變長 編碼部13分別由專用硬件(例如，安裝有CPU的半導體集成電路、單片微型計算機(one chip microcomputer)等)構成，但是在運動圖像編碼裝置由計算機構成的情況下，也可以將描述 有塊分割部1、編碼控制部2、切換開關3、幀內預測部4、運動補償預測部5、減法部6、變換/量 化部7、逆量化/逆變換部8、加法部9、環路濾波部11以及可變長編碼部13的處理內容的程序 保存在計算機的存儲器中，該計算機的CHJ執行保存在該存儲器中的程序。
[0068] 圖3是表示基于本發明的實施方式1的運動圖像編碼裝置的處理內容(運動圖像編 碼方法）的流程圖。
[0069] 圖2是表示基于本發明的實施方式1的運動圖像編碼裝置的可變長編碼部13的內 部的結構圖。
[0070] 在可變長編碼部13中內置有幀內預測參數可變長編碼部13a作為結構要素之一。
[0071] 幀內預測參數可變長編碼部13a的幀內預測參數預測值計算部21實施基于與從塊 分割部1輸出的編碼對象塊鄰接的已編碼塊的幀內預測參數計算編碼對象塊的幀內預測參 數的預測值的處理。
[0072] 幀內預測參數二值化索引計算部22實施如下處理:基于由幀內預測參數預測值計 算部21計算出的預測值和編碼對象塊的幀內預測參數判定該預測值與預測方向代表矢量 的索引是否一致，如果一致，則除了計算表示該判定結果的標志以外，還計算包含已編碼塊 的幀內預測參數所表示的預測方向矢量與預測方向代表矢量的差分值的幀內預測參數二 值化索引，如果不一致，則除了計算表示該判定結果的標志以外，還計算包含預測方向代表 矢量的索引和上述差分值的幀內預測參數二值化索引。
[0073] 熵編碼部23實施如下處理:對由幀內預測參數二值化索引計算部22計算出的幀內 預測參數二值化索引進行算術編碼等的可變長編碼，輸出幀內預測參數代碼字。
[0074]圖10是表示基于本發明的實施方式1的運動圖像解碼裝置的結構圖。
[0075]在圖10中，可變長解碼部31實施如下處理：當輸入由運動圖像編碼裝置生成的位 流時，從該位流可變長解碼出壓縮數據、編碼模式、幀內預測參數(編碼模式為幀內編碼模 式的情況）、幀間預測參數(編碼模式為幀間編碼模式的情況）、預測差分編碼參數以及運動 矢量(編碼模式為幀間編碼模式的情況）。
[0076]其中，可變長解碼部31實施如下處理:在編碼模式為幀內編碼模式的情況下，作為 幀內預測參數的可變長解碼，對預測方向代表矢量的索引進行可變長解碼，并且對表示已 解碼塊(與圖1的運動圖像編碼裝置的"已編碼塊"相當的塊)的幀內預測參數所表示的預測 方向矢量與預測方向代表矢量的差分的索引進行可變長解碼，基于該預測方向代表矢量的 索引和表示上述差分的索引決定該幀內預測參數。
[0077] 此外，可變長解碼部31構成可變長解碼單元。
[0078] 逆量化/逆變換部32實施如下處理:參照由可變長解碼部31可變長解碼出的預測 差分編碼參數，對由可變長解碼部31可變長解碼出的壓縮數據進行逆量化，并且參照該預 測差分編碼參數，實施對于作為逆量化后的壓縮數據的變換系數的逆正交變換處理，來計 算與從圖1的減法部6輸出的預測差分信號相當的解碼預測差分信號。此外，逆量化/逆變換 部32構成逆量化單元。
[0079]切換開關33實施如下處理:如果由可變長解碼部31可變長解碼出的編碼模式為幀 內編碼模式，則將由可變長解碼部31可變長解碼出的幀內預測參數輸出到幀內預測部34， 如果由可變長解碼部31可變長解碼出的編碼模式為幀間編碼模式，則將由可變長解碼部31 可變長解碼出的幀間預測參數和運動矢量輸出到運動補償部35。
[0080] 幀內預測部34實施如下處理：一邊參照保存在幀內預測用存儲器37中的解碼圖 像，一邊使用從切換開關33輸出的幀內預測參數，實施對于解碼對象塊的幀內預測處理來 生成幀內預測圖像(預測圖像）。
[0081]此外，由切換開關33、幀內預測部34以及幀內預測用存儲器37構成預測圖像生成 單元。
[0082]運動補償部35實施如下處理:一邊參照保存在運動補償預測幀存儲器39中的濾波 處理后的解碼圖像，一邊使用從切換開關33輸出的運動矢量和幀間預測參數，實施對于解 碼對象塊的幀間預測處理(運動補償預測處理)來生成幀間預測圖像。
[0083]加法部36實施如下處理:將由逆量化/逆變換部32計算出的解碼預測差分信號與 由幀內預測部34生成的幀內預測圖像或由運動補償部35生成的幀間預測圖像相加，計算與 從圖1的塊分割部1輸出的編碼對象塊相當的解碼圖像。
[0084]幀內預測用存儲器37是保存由加法部36計算出的解碼圖像的記錄介質。
[0085]環路濾波部38實施如下處理:對由加法部36計算出的解碼圖像實施規定的濾波處 理，來輸出濾波處理后的解碼圖像。
[0086]運動補償預測幀存儲器39是保存濾波處理后的解碼圖像的記錄介質。
[0087]在圖10的例子中，假設作為運動圖像解碼裝置的結構要素的可變長解碼部31、逆 量化/逆變換部32、切換開關33、幀內預測部34、運動補償部35、加法部36、幀內預測用存儲 器37、環路濾波部38以及運動補償預測幀存儲器39分別由專用硬件(例如，安裝有CPU的半 導體集成電路、單片微型計算機等）構成，但是在運動圖像解碼裝置由計算機構成的情況 下，也可以將描述有可變長解碼部31、逆量化/逆變換部32、切換開關33、幀內預測部34、運 動補償部35、加法部36以及環路濾波部38的處理內容的程序保存在計算機的存儲器中，該 計算機的CHJ執行保存在該存儲器中的程序。
[0088] 圖12是表示基于本發明的實施方式1的運動圖像解碼裝置的處理內容(運動圖像 解碼方法)的流程圖。
[0089] 圖11是表示基于本發明的實施方式1的運動圖像解碼裝置的可變長解碼部31的內 部的結構圖。
[0090] 在可變長解碼部31中內置有幀內預測參數可變長解碼部31a作為結構要素之一。
[0091] 幀內預測參數可變長解碼部31a的熵解碼部41實施從幀內預測參數代碼字可變長 解碼出幀內預測參數二值化索引的處理。
[0092]幀內預測參數預測值計算部42實施基于與解碼對象塊鄰接的已解碼塊的幀內預 測參數計算解碼對象塊的幀內預測參數的預測值的處理。
[0093]幀內預測參數索引計算部43實施如下處理:如果由熵解碼部41可變長解碼出的幀 內預測參數二值化索引所包含的標志表示預測值與預測方向代表矢量的索引一致的意思， 則基于由幀內預測參數預測值計算部42計算出的預測值、以及該幀內預測參數二值化索引 所包含的已解碼塊的幀內預測參數所表示的預測方向矢量與預測方向代表矢量的差分值 計算幀內預測參數，如果該標志表示預測值與預測方向代表矢量的索引不一致的意思，則 基于由幀內預測參數預測值計算部42計算出的預測值、該幀內預測參數二值化索引所包含 的預測方向代表矢量的索引以及上述差分值計算幀內預測參數。
[0094] 接著說明動作。
[0095] 在本實施方式1中，說明運動圖像編碼裝置和運動圖像解碼裝置，該運動圖像編碼 裝置將影像的各幀圖像作為輸入圖像，在接近幀之間實施運動補償預測，對得到的預測差 分信號實施基于正交變換/量化的壓縮處理，之后，進行可變長編碼來生成位流，該運動圖 像解碼裝置對從該運動圖像編碼裝置輸出的位流進行解碼。
[0096] 圖1的運動圖像編碼裝置的特征在于，適應于影像信號的空間/時間方向的局部的 變化，將影像信號分割為多種大小的塊，來進行幀之內/幀之間自適應編碼。
[0097] -般，影像信號具有在空間/時間上信號的復雜度局部地變化的特性。從空間上來 看，在某一影像幀上，例如存在如天空、墻壁等那樣的在比較廣的圖像區域中具有均勻的信 號特性的圖形，有時還混合存在人物、包含細的紋理的圖畫等在小的圖像區域內具有復雜 的紋理圖案的圖形。
[0098]從時間上來看，天空、墻壁在局部上在時間方向上的圖形的變化小，而運動的人 物、物體由于其輪廓在時間上進行剛體/非剛體的運動，因此時間上的變化大。
[0099]關于編碼處理，通過時間/空間上的預測來生成信號電力、熵小的預測差分信號， 從而進行削減整體的代碼量的處理，但是如果能夠將預測中使用的參數均勻地應用于盡可 能大的圖像信號區域，則能夠使該參數的代碼量變小。
[0100]另一方面，如果針對在時間上/空間上變化大的圖像信號圖案將同一預測參數應 用于大的圖像區域，則導致預測的錯誤增加，因此導致預測差分信號的代碼量增加。
[0101]因而，在時間上/空間上變化大的區域中，期望使應用同一預測參數來進行預測處 理的塊大小變小，來增加預測中使用的參數的數據量，降低預測差分信號的電力/熵。
[0102] 在本實施方式1中，由于進行適應于這種影像信號的一般性質的編碼，因此采用如 下結構:最初從規定的最大塊大小開始進行預測處理等，分層地分割影像信號的區域，針對 分割出的每個區域使預測處理、該預測差分的編碼處理相適應。
[0103] 設圖1的運動圖像編碼裝置作為處理對象的影像信號格式為由亮度信號和兩個色 差信號構成的YUV信號、從數字攝像元件輸出的RGB信號等的任意的顏色空間的彩色影像信 號、除此以外單色圖像信號、紅外線圖像信號等、影像幀由水平/垂直二維的數字樣本(像 素)列構成的任意的影像信號。
[0104] 但是，各像素的灰度等級既可以是8位，也可以是10位、12位等的灰度等級。
[0105] 在以下的說明中，方便起見，只要沒有特別說明，設輸入圖像的影像信號為YUV信 號，并且敘述處理兩個色差成分U、V對于亮度成分Y二次采樣(subsample)得到的4:2:0格式 的信號的情況。
[0106] 另外，將與影像信號的各幀對應的處理數據單位稱為"圖片"。
[0107] 在本實施方式1中，將"圖片"設為依次掃描(逐行掃描)得到的影像幀信號進行說 明，但是在影像信號為交錯信號的情況下，"圖片"也可以是作為構成影像幀的單位的場 (field)圖像彳目號。
[0108] 最初，說明圖1的運動圖像編碼裝置的處理內容。
[0109] 首先，編碼控制部2決定作為編碼對象的圖片（當前圖片）的編碼中使用的最大編 碼塊的大小和將最大編碼塊進行分層分割的分層數的上限（圖3的步驟ST1)。
[0110] 作為最大編碼塊的大小的決定方法，例如可以根據輸入圖像的影像信號的分辨率 對所有圖片確定同一大小，也可以以輸入圖像的影像信號的局部的運動的復雜度的差異為 參數進行定量化，對于運動激烈的圖片確定小的大小，另一方面對于運動少的圖片確定大 的大小。
[0111] 作為分割分層數的上限的決定方法，例如有如下方法等:在輸入圖像的影像信號 的運動激烈的情況下，設定為使分層數變大，使得能夠檢測更細的運動，在運動少的情況 下，設定為抑制分層數。
[0112] 塊分割部1當輸入了輸入圖像的影像信號時，以由編碼控制部2決定的最大編碼塊 大小分割為輸入圖像的圖片，輸出分割后的各圖片。
[0113]另外，編碼控制部2針對最大編碼塊大小的每個圖像區域，直到達到先前確定的分 割分層數的上限為止，分層地分割為具有編碼塊大小的編碼對象塊，決定對于各編碼對象 塊的編碼模式(步驟ST2)。
[0114] 在此，圖4是表示最大編碼塊被分層地分割為多個編碼對象塊的例子的說明圖。
[0115] 在圖4中，最大編碼塊是記為"第0層"的亮度成分具有(L'M*3)的大小的編碼對象 塊。
[0116] 以最大編碼塊為出發點，以四叉樹結構另行確定的規定的深度為止，分層地進行 分割，由此得到編碼對象塊。
[0117]在深度n下，編碼對象塊是大小(Ln，Mn)的圖像區域。
[0118] 其中，LlPMn既可以相同，也可以不同，在圖4中示出Ln=Ml^事例。
[0119] 以后，將由編碼控制部2決定的編碼塊大小定義為編碼對象塊的亮度成分中的大 小(Ln，Mn)。
[0120] 由于進行四叉樹分割，〇^+1，+1) = (172,72)始終成立。
[0121] 此外，在RGB信號等所有顏色成分具有同一樣本數的彩色影像信號（4:4:4格式） 中，所有顏色成分的大小為(Ln，M n)，但是在處理4:2:0格式的情況下，對應的色差成分的編 碼塊大小為(Ln/2，M n/2)。
[0122] 以后，設以Bn表示第n層的編碼對象塊，以m(Bn)表示編碼對象塊妒中能夠選擇的編 碼模式。
[0123] 在由多個顏色成分構成的彩色影像信號的情況下，編碼模式m(Bn)既可以構成為 針對每個顏色成分使用分別獨立的模式，也可以構成為對所有顏色成分使用共同的模式。 以后，只要沒有特別說明，設為是指對于YUV信號、4:2:0格式的編碼塊的亮度成分的編碼模 式來進行說明。
[0124] 在編碼模式m(Bn)中有一個或多個幀內編碼模式（統稱為"INTRA"）和一個或多個 幀間編碼模式(統稱為"INTER"），編碼控制部2選擇該圖片中能夠利用的所有編碼模式、或 從其子集中選擇對于編碼對象塊^的編碼效率最高的編碼模式。
[0125] 并且，如圖4所示，編碼對象塊Bn通過塊分割部1被分割為一個或多個預測處理單 位(分區（partition))。
[0126] 以后，將屬于編碼對象塊Bn的分區表述為是第n層中的分區編號）。
[0127] 關于編碼對象塊妒的分區分割是如何進行的，作為信息包含在編碼模式m(Bn)中。
[0128] 分區Pf是按照所有的編碼模式m(Bn)進行預測處理，能夠針對每個分區P，選擇獨 立的預測參數。
[0129] 編碼控制部2對最大編碼塊例如生成如圖5所示那樣的塊分割狀態來確定編碼對 象塊。
[0130] 圖5的(a)的斜線部分表示分割后的分區的分布，圖5的(b)以四叉樹圖示出通過分 層分割分配編碼模式m(Bn)的狀況。
[0131] 圖5的(b)的用□包圍的節點是分配了編碼模式m(Bn)的節點(編碼對象塊）。
[0132] 后面說明編碼控制部2中的分層分割/編碼模式判定的詳細處理。
[0133] 切換開關3在由編碼控制部2決定的編碼模式m(Bn)為幀內編碼模式的情況(m(Bn) e INTRA的情況)下，將從塊分割部1輸出的編碼對象塊料俞出到幀內預測部4。
[0134] 另一方面，在由編碼控制部2決定的編碼模式m(Bn)為幀間編碼模式的情況(m(Bn) e INTER的情況)下，將從塊分割部1輸出的編碼對象塊料俞出到運動補償預測部5。
[0135] 幀內預測部4在由編碼控制部2決定的編碼模式m(Bn)為幀內編碼模式(m(Bn)e INTRA的情況）、且從切換開關3接收到編碼對象塊^時（步驟ST3)，一邊參照保存在幀內預 測用存儲器10中的局部解碼圖像，一邊使用由編碼控制部2決定的幀內預測參數實施對于 該編碼對象塊B n內的各分區P，的幀內預測處理，來生成幀內預測圖像???*，(步驟ST4)。
[0136] 此外，由于圖像解碼裝置需要生成與幀內預測圖像?1價1?1"完全相同的幀內預測圖 像，因此幀內預測圖像P INTRa119生成中使用的幀內預測參數從編碼控制部2輸出到可變長 編碼部13而多路復用于位流。
[0137] 后面說明幀內預測部4的處理內容的細節。
[0138] 運動補償預測部5在由編碼控制部2決定的編碼模式m(Bn)為幀間編碼模式(m(Bn) e INTER的情況）、且從切換開關3接收到編碼對象塊Bn時(步驟ST3)，將該編碼對象塊Bn內的 各分區P，與保存在運動補償預測幀存儲器12中的濾波處理后的局部解碼圖像進行比較來 搜索運動矢量，使用該運動矢量和由編碼控制部2決定的幀間預測參數來實施對于該編碼 對象塊Bn內的各分區P，的幀間預測處理，來生成幀間預測圖像???^(步驟ST5)。
[0139] 此外，由于圖像解碼裝置需要生成與幀間預測圖像?^以完全相同的幀間預測圖 像，因此幀間預測圖像生成中使用的幀間預測參數從編碼控制部2輸出到可變長 編碼部13而多路復用于位流。
[0140] 另外，由運動補償預測部5搜索到的運動矢量也被輸出到可變長編碼部13而多路 復用于位流。
[0141]減法部6當從塊分割部1接收到編碼對象塊^時，從該編碼對象塊BnR的分區P，減 去由幀內預測部4生成的幀內預測圖像PINTRMn或由運動補償預測部5生成的幀間預測圖像 PINTERln，將作為該減法結果的預測差分信號ein輸出到變換/量化部7(步驟ST6)。
[0142] 變換/量化部7當從減法部6接收到預測差分信號ein時，參照由編碼控制部2決定的 預測差分編碼參數，實施對于該預測差分信號 ein的正交變換處理(例如，DCT(離散余弦變 換）、預先對特定的學習系列進行了基底設計的KL變換等的正交變換處理），來計算變換系 數。
[0143] 另外，變換/量化部7參照該預測差分編碼參數來對該變換系數進行量化，將作為 量化后的變換系數的壓縮數據輸出到逆量化/逆變換部8和可變長編碼部13(步驟ST7)。
[0144] 逆量化/逆變換部8當從變換/量化部7接收到壓縮數據時，參照由編碼控制部2決 定的預測差分編碼參數來對該壓縮數據進行逆量化。
[0145] 另外，逆量化/逆變換部8參照該預測差分編碼參數，實施對于作為逆量化后的壓 縮數據的變換系數的逆正交變換處理(例如，逆DCT、逆KL變換等），來計算與從減法部6輸出 的預測差分信號 ein相當的局部解碼預測差分信號(步驟ST8)。
[0146] 加法部9當從逆量化/逆變換部8接收到局部解碼預測差分信號時，將該局部解碼 預測差分信號與由幀內預測部4生成的幀內預測圖像P INTRAln或由運動補償預測部5生成的 幀間預測圖像PiNTERl n相加，作為局部解碼分區圖像、或該局部解碼分區圖像的集合，計算與 從塊分割部1輸出的編碼對象塊Bn相當的局部解碼圖像(步驟ST9)。
[0147] 此外，加法部9將該局部解碼圖像輸出到環路濾波部11，并且將該局部解碼圖像保 存在幀內預測用存儲器10中。
[0148] 該局部解碼圖像成為以后的幀內預測用的圖像信號。
[0149] 環路濾波部11當從加法部9接收到局部解碼圖像時，對該局部解碼圖像實施規定 的濾波處理，將濾波處理后的局部解碼圖像保存在運動補償預測幀存儲器12中（步驟 ST10)〇
[0150] 此外，由環路濾波部11進行的濾波處理既可以以所輸入的局部解碼圖像的最大編 碼塊或各個編碼塊為單位進行，也可以在輸入與1個畫面的量的宏塊相當的局部解碼圖像 之后匯總1個畫面的量來進行。
[0151] 可變長編碼部13當完成對于所有的編碼對象塊Bn的步驟ST3~ST9的處理時(步驟 ST 11、ST 12)，對從變換/量化部7輸出的壓縮數據、從編碼控制部2輸出的編碼模式m(Bn)、從 編碼控制部2輸出的幀內預測參數(編碼模式為幀內編碼模式的情況)或幀間預測參數(編 碼模式為幀間編碼模式的情況）以及從運動補償預測部5輸出的運動矢量(編碼模式為幀間 編碼模式的情況)進行可變長編碼，生成表示這些編碼結果的位流(步驟ST13)。
[0152]后面說明可變長編碼部13的處理內容的細節。
[0153]接著，詳細說明幀內預測部4的處理內容。
[0154] 圖6是表示編碼對象塊Bn內的各分區P，能夠選擇的幀內預測參數(幀內預測模式） 的一例的說明圖。
[0155] 在圖6中，示出了幀內預測模式和該幀內預測模式所表示的預測方向矢量，在圖6 的例子中，設計成隨著能夠選擇的幀內預測模式的個數增加而預測方向矢量彼此的相對角 度變小。
[0156] 幀內預測部4如上所述那樣參照分區P，的幀內預測參數實施對于該分區P，的幀 內預測處理，來生成幀內預測圖像PINTRM n，在此說明基于對于分區P，的亮度信號的幀內預 測參數(幀內預測模式)生成亮度信號的幀內預測信號的幀內處理。
[0157] 將分區Pin的大小設為linXmin像素。
[0158] 圖7是表示在生成的情況下的分區P，內的像素的預測值時使用的像素 的一例的說明圖。
[0159] 在圖7中，將與分區P，鄰接的已編碼的上分區的像素（2X1^1)個和左分區的像 素(2Xmin)個設為預測中使用的像素，但是預測中使用的像素既可以多于也可以少于圖7所 示的像素。
[0160] 另外，在圖7中，將鄰接的1行或1列的像素使用于預測，但是也可以將2行或2列、或 其以上的像素使用于預測。
[0161] 在對于分區P，的幀內預測模式的索引值為2(平均值預測）的情況下，將上分區的 鄰接像素和左分區的鄰接像素的平均值設為分區Pf內的像素的預測值來生成預測圖像。
[0162] 在幀內預測模式的索引值為2(平均值預測）以外的情況下，基于索引值所表示的 預測方向矢量％=(dx，dy)生成分區P，內的像素的預測值。
[0163] 當將生成預測值的像素(預測對象像素）的分區Pf內的相對坐標(將分區的左上像 素設為原點)設為(x，y)時，預測中使用的參照像素的位置成為下述的L與鄰接像素的交點。
[0165] k是正的標量值
[0166] 在參照像素處于整數像素位置的情況下，將該整數像素設為預測對象像素的預測 值，在參照像素不處于整數像素位置的情況下，將從與參照像素鄰接的整數像素生成的插 值像素設為預測值。
[0167] 在圖7的例子中，參照像素不處于整數像素位置，因此將與參照像素鄰接的2個像 素的平均值設為預測值。此外，不僅可以從鄰接的2個像素，也可以從鄰接的2個像素以上的 像素生成插值像素來設為預測值。
[0168] 通過同樣的步驟，生成對于分區P，內的亮度信號的所有像素的預測像素來輸出幀 內預測圖像PlNTRAi'
[0169] 此外，關于幀內預測圖像PINTRAl%9生成中使用的幀內預測參數，為了多路復用于 位流而輸出到可變長編碼部13。
[0170] 對于分區P，的色差信號，也通過與亮度信號同樣的步驟，實施基于幀內預測參數 (幀內預測模式)的幀內處理，將在幀內預測圖像的生成中使用的幀內預測參數輸出到可變 長編碼部13。
[0171] 接著，詳細說明可變長編碼部13的處理內容。
[0172] 可變長編碼部13在對幀內預測參數進行可變長編碼時，基于周邊的已編碼分區的 幀內預測參數計算編碼對象的分區P，的幀內預測參數的預測值，使用該預測值進行預測編 碼。
[0173] 即，構成可變長編碼部13的一部分的幀內預測參數可變長編碼部13a的幀內預測 參數預測值計算部21基于已編碼周邊的分區的幀內預測參數計算作為編碼對象的分區P， 的幀內預測參數的預測值。
[0174] 在此，圖8是表示在分區P，的幀內預測參數的預測值的計算中使用的已編碼周邊 分區的一例的說明圖。
[0175] 在圖8的例子中，將分區Pin的左(A)、上(B)、右上(C)、左上(D)的分區的幀內預測參 數使用于預測值的計算。
[0176] 以幀內預測模式數為圖6所示的17種的情況為例說明幀內預測參數預測值計算部 21計算預測值的處理。
[0177] 在圖6中，17種幀內預測模式由平均值預測模式和16種方向性預測模式構成。
[0178] 圖9是表示17種幀內預測模式的索引值和除了平均值預測以外的、16種方向性預 測模式的預測方向矢量的一例的說明圖。設從16種預測方向矢量中預先決定表示代表方向 的預測方向代表矢量。
[0179] 在以下的說明中，以將圖9所示的從"0"至"8"的9個方向的預測方向矢量預先決定 為預測方向代表矢量的情況為例進行說明。
[0180] 幀內預測參數預測值計算部21根據在預測值的計算中使用的已編碼周邊分區的 幀內預測模式計算預測方向代表索引。
[0181] 其中，設方向性預測模式的預測方向代表索引為相對于該方向性預測模式所表示 的預測方向矢量的相對角度最小的預測方向代表矢量的索引。
[0182] 即，是其方向與方向性預測模式所表示的預測方向矢量近的預測方向代表矢量的 索引值。此外，設平均值預測模式的預測方向代表索引是自身(平均值預測模式)的索引值。
[0183] 圖9表示17種幀內預測模式的預測方向代表索引。并且，對具有相同的預測方向代 表索引的幀內預測模式索引分配有預測方向差分索引。
[0184] 接著，說明基于已編碼周邊分區的幀內預測模式的預測方向代表索引計算作為編 碼對象的分區Pf的幀內預測參數的預測值的處理。
[0185] 例如，在預測值的計算中使用的周邊分區為分區Pf的左(A)、上(B)、右上(C)、左上 (D)的分區的情況下，在將分區A、B、C、D的預測方向代表索引分別設為mA、mB、mc、mD時，將從 mA、mB、nK、mD的眾數、最小值、中值等的統計值中預先決定的統計值設為預測值pmP。或者，根 據周圍的分區的預測方向矢量的方向，例如在分區C的預測方向矢量的方向為左斜下的情 況(在圖9的例子中，幀內預測模式索引為8、10、16的情況)下，從邊緣的連續性考慮，分區P， 的預測方向矢量的方向也成為左斜下的概率高，因此將預測方向代表矢量的方向表示左斜 下的預測方向代表索引（在圖9的例子中是8)設為分區P，的預測值pm P。或者，也可以將從A、 B、C、D的分區中預先決定的一個分區的預測方向代表索引設為預測值pmP。或者，也可以不 使用周邊分區的預測方向代表索引而將預先決定的預測方向代表索引（例如平均值預測模 式的索引）設為預測值pmP。
[0186] 然后，將計算出的預測值pmP輸出到幀內預測參數二值化索引計算部22。
[0187] 幀內預測參數二值化索引計算部22輸入作為編碼對象的分區P，的幀內預測參數 (幀內預測模式的索引)_和預測值pmp，計算幀內預測參數二值化索引dm P。
[0188] 以下說明幀內預測參數二值化索引的計算方法。
[0189] 將幀內預測模式叫的預測方向代表索引設為rmP。
[0190] 如果 rmp = pmp 則 dmp = 0
[0191] 如果rmp關pmp則
[0192]
CEIL(x)是向最接近x的整數舍入的函數
[0193] 其中，m是預測方向代表索引的個數，在圖9的例子中m = 9、n = 3。
[0194] 接著，將幀內預測模式mP的預測方向差分索引設為drP，對上述幀內預測參數二值 化索引- 1)進一步進行基于下式的處理。
[0195] dmp= (dmp<<k) | drp k = CEIL(log2(l))
[0196] 其中，1是具有相同的預測方向代表索引的幀內預測模式的個數，在圖9的例子中， 在幀內預測模式為平均值預測的情況下，l = l、k = 0,在幀內預測模式為平均值預測以外的 情況下，l = 2、k=l。
[0197] 通過上述計算方法求出的幀內預測參數二值化索引dmP的第一位是表示幀內預測 模式的預測方向代表索引rm P與預測值pmP是否一致的標志位(在上述計算式中，在一致的情 況下分配有"0"，在不一致的情況下分配有"1"）。
[0198] 在幀內預測模式的預測方向代表索引^^與預測值pmP-致的情況下，幀內預測參 數二值化索引dmd92~(k+1)位為表示預測方向差分索引值的位。
[0199] 另一方面，在幀內預測模式的預測方向代表索引^^與預測值pmP不一致的情況下， 幀內預測參數二值化索引"的2~(n+1)位為表示預測方向代表索引值的位，（n+2)~(n+k +1)位為表示預測方向差分索引值的位。
[0200] 通過以上處理計算出的幀內預測參數二值化索引-^俞出到熵編碼部23。
[0201]熵編碼部23針對每個預測方向代表索引rmP和預測方向差分索引，根據各自的概 率模型切換上下文來對從幀內預測參數二值化索引計算部22輸出的幀內預測參數二值化 索引dmP進行算術編碼等的哈弗曼編碼。
[0202] 作為該編碼結果的幀內預測參數代碼字通過可變長編碼部13的位流多路復用部 (未圖示)多路復用于位流。
[0203] 圖1的運動圖像編碼裝置的可變長編碼部13在對幀內預測參數進行編碼時，從多 個方向性預測的預測方向矢量中選擇代表性的預測方向矢量(預測方向代表矢量），將幀內 預測參數以預測方向代表矢量的索引（預測方向代表索引）和表示相對于預測方向代表矢 量的差分的索引（預測方向差分索引）表示，針對各索引的每個進行與概率模型相應的算術 編碼等的哈弗曼編碼，由此能夠削減代碼量來進行編碼。
[0204] 接著，具體說明圖10的運動圖像解碼裝置的處理內容。
[0205] 可變長解碼部31當輸入由圖1的運動圖像編碼裝置生成的位流時，實施對于該位 流的可變長解碼處理（圖12的步驟ST21)，以由1幀以上的圖片構成的序列為單位、或者以圖 片為單位對幀大小的信息進行解碼。
[0206] 即，可變長解碼部31通過與運動圖像編碼裝置相同的步驟決定由圖1的運動圖像 編碼裝置的編碼控制部2決定的最大編碼塊大小以及分割分層數的上限(步驟ST22)。
[0207] 例如，在最大編碼塊大小是根據影像信號的分辨率決定的情況下，基于解碼得到 的幀大小信息通過與運動圖像編碼裝置相同的步驟決定最大編碼塊大小。
[0208] 在最大編碼塊大小和分割分層數上限在運動圖像編碼裝置側多路復用于位流的 情況下，使用從位流解碼得到的值。
[0209] 如圖4所示，運動圖像編碼裝置按以最大編碼塊為出發點分層地分割為多個編碼 對象塊而得到的編碼對象塊單位將編碼模式、進行變換/量化所得到的壓縮數據多路復用 于位流。
[0210] 接收到該位流的可變長解碼部31以所決定的最大編碼塊為單位對包含在編碼模 式中的最大編碼塊的分割狀態進行解碼。基于解碼出的分割狀態，分層地確定解碼對象塊 (與圖1的運動圖像編碼裝置的"編碼對象塊"相當的塊)（步驟ST23)。
[0211] 接著，可變長解碼部31對分配到編碼對象塊的編碼模式進行解碼。基于解碼出的 編碼模式所包含的信息將編碼對象塊進一步分割為一個或多個預測處理單位，解碼出對預 測處理單位分配的預測參數(步驟ST24)。
[0212] 可變長解碼部31在對解碼對象塊(編碼對象塊)分配的編碼模式為幀內編碼模式 的情況下，按包含在解碼對象塊(編碼對象塊）中的成為預測處理單位的一個以上分區的每 個解碼出幀內預測參數。
[0213] 關于幀內預測參數的解碼，通過與運動圖像編碼裝置側相同的步驟，基于周邊的 已解碼分區的幀內預測參數，計算作為解碼對象的分區P，的幀內預測參數的預測值，使用 該預測值進行解碼。
[0214] 即，構成可變長解碼部31的一部分的幀內預測參數可變長解碼部31a內的熵解碼 部41輸入包含在位流中的幀內預測參數代碼字，從該幀內預測參數代碼字可變長解碼出幀 內預測參數二值化索引。
[0215] 幀內預測參數預測值計算部42通過與運動圖像編碼裝置的幀內預測參數預測值 計算部21相同的步驟，基于與解碼對象塊鄰接的已解碼塊的幀內預測參數計算解碼對象塊 的幀內預測參數的預測值。
[0216]幀內預測參數索引計算部43基于由熵解碼部41可變長解碼出的幀內預測參數二 值化索引和由幀內預測參數預測值計算部42計算出的預測值計算幀內預測參數。
[0217] 以下說明幀內預測參數的計算方法。
[0218] 幀內預測參數索引計算部43為了計算幀內預測參數索引，計算預測方向代表索引 和預測方向差分索引。
[0219] 將幀內預測參數二值化索引設為dmP。
[0220]在幀內預測參數二值化索引dmP的第1位為"0"的情況下，將預測值pmP設為預測方 向代表索引值rmP。
[0221] 在幀內預測參數二值化索引dmP的第1位為"1"的情況下，接著對2~(k+1)位進行 解碼，對將2~(n+1)位解碼得到的值RM P通過下式計算預測方向代表索引值rmP。
[0222] RMn - rmp
[0223] rmP=RMP (RMP < pmP-1)
[0224] rmP = RMP+1 (RMP > pmP-1)
[0225] 接著，幀內預測參數索引計算部43在幀內預測參數二值化索引dmP的第1位為"0" 的情況下，對第2~(k+1)位進行解碼，在第1位為"1"的情況下，對第(n+2)~(n+k+1)位進行 解碼，將該解碼出的值設為預測方向差分索引dr P。
[0226] 在運動圖像解碼裝置中，也與運動圖像編碼裝置同樣地基于預測方向代表索引和 預測方向差分索引對幀內預測參數進行解碼。
[0227] 可變長解碼部31在對編碼對象塊分配的編碼模式為幀間編碼模式的情況下，針對 包含在解碼對象塊(編碼對象塊）中的成為預測處理單位的一個以上分區的每個對幀間預 測參數進行解碼。
[0228] 可變長解碼部31進一步基于包含在預測差分編碼參數中的變換塊大小的信息將 作為預測處理單位的分區分割為作為變換處理單位的一個或多個分區，針對作為變換處理 單位的每個分區對壓縮數據(變換/量化后的變換系數)進行解碼(步驟ST24)。
[0229] 如果由可變長解碼部31可變長解碼出的編碼模式m(Bn)為幀內編碼模式(m(Bn)e INTRA的情況），則切換開關33將由可變長解碼部31可變長解碼出的幀內預測參數輸出到幀 內預測部34。
[0230]另一方面，如果由可變長解碼部31可變長解碼出的編碼模式m(Bn)為幀間編碼模 式(m(Bn)eiNTER的情況），則將由可變長解碼部31可變長解碼出的幀間預測參數和運動矢 量輸出到運動補償部35。
[0231]幀內預測部34當由可變長解碼部31可變長解碼出的編碼模式m(Bn)為幀內編碼模 式(m(Bn)eiNTRA的情況）、且從切換開關33接收到幀內預測參數時（步驟ST25)，通過與圖1 的幀內預測部4相同的步驟，一邊參照保存在幀內預測用存儲器37中的局部解碼圖像，一邊 使用從切換開關33輸出的幀內預測參數實施對于解碼對象塊B n內的各分區P，的幀內預測 處理，來生成幀內預測圖像PINTRMn(步驟ST26)。
[0232]運動補償部35當由可變長解碼部31可變長解碼出的編碼模式m(Bn)為幀間編碼模 式(m(Bn) e INTER的情況）、且從切換開關33接收到編碼對象塊Bn時(步驟ST25)，一邊參照保 存在運動補償預測幀存儲器39中的濾波處理后的解碼圖像，一邊使用從切換開關33輸出的 運動矢量和幀間預測參數實施對于解碼對象塊的幀間預測處理，來生成幀間預測圖像 PINTER^(步驟 ST27)。
[0233] 逆量化/逆變換部32當從可變長解碼部31接收到壓縮數據和預測差分編碼參數 時，通過與圖1的逆量化/逆變換部8相同的步驟，參照該預測差分編碼參數來對該壓縮數據 進行逆量化，并且參照該預測差分編碼參數來實施對于作為逆量化后的壓縮數據的變換系 數的逆正交變換處理，來計算與從圖1的減法部6輸出的預測差分信號相當的解碼預測差分 信號(步驟ST28)。
[0234] 加法部36將由逆量化/逆變換部32計算出的解碼預測差分信號和由幀內預測部34 生成的幀內預測圖像PiNTRMnS由運動補償部35生成的幀間預測圖像PINTERl n相加，作為包含 在解碼對象塊內的一個或多個解碼分區圖像的集合，將解碼圖像輸出到環路濾波部38,并 且將該解碼圖像保存在幀內預測用存儲器37中（步驟ST29)。
[0235] 該解碼圖像成為以后的幀內預測用的圖像信號。
[0236] 環路濾波部11當完成了對于所有的解碼對象塊Bn的步驟ST23~ST29的處理時（步 驟ST30)，對從加法部36輸出的解碼圖像實施規定的濾波處理，將濾波處理后的解碼圖像保 存在運動補償預測幀存儲器39中（步驟ST31)。
[0237] 該解碼圖像成為運動補償預測用的參照圖像，而且成為再現圖像。
[0238] 圖10的運動圖像解碼裝置的可變長解碼部31在對幀內預測參數進行解碼時，對從 多個方向性預測的預測方向矢量中選擇的代表性的預測方向矢量(預測方向代表矢量）的 索引和表示相對于預測方向代表矢量的差分的索引（預測方向差分索引）通過與各自的概 率模型相應的算術解碼等進行熵解碼，由此能夠削減代碼量來正確地對編碼后的幀內預測 參數進行解碼。
[0239] 根據以上明確知道，根據本實施方式1，構成為運動圖像編碼裝置的可變長編碼部 13從涉及幀內預測處理中的多個方向性預測的預測方向矢量中確定其方向與鄰接于從塊 分割部1輸出的編碼對象塊的已編碼塊的幀內預測參數所表示的預測方向矢量最近的預測 方向矢量(預測方向代表矢量），作為由編碼控制部2決定的幀內預測參數的可變長編碼，對 該預測方向代表矢量的索引進行可變長編碼，并且對表示已編碼塊的幀內預測參數所表示 的預測方向矢量與預測方向代表矢量的差分的索引進行可變長編碼，因此起到如下效果： 即使增加能夠選擇的方向性預測的模式數，也能夠抑制涉及幀內預測模式的信息的代碼量 的增加。
[0240] 另外，根據本實施方式1，構成為運動圖像解碼裝置的可變長解碼部31作為幀內預 測參數的可變長解碼對預測方向代表矢量的索引進行可變長解碼，并且對表示已解碼塊的 幀內預測參數所表示的預測方向矢量與預測方向代表矢量的差分的索引進行可變長解碼， 從該預測方向代表矢量的索引和表示上述差分的索引決定該幀內預測參數，因此起到如下 效果:不會降低預測效率而能夠削減幀內預測參數的代碼量來正確地對編碼后的位流進行 解碼。
[0241] 實施方式2.
[0242] 在上述實施方式1中，運動圖像編碼裝置的幀內預測部4將影像信號中的亮度信號 和色差信號同樣地處理，將對于亮度信號的編碼對象塊的幀內預測處理和對于色差信號的 編碼對象塊的幀內預測處理分別獨立地實施。
[0243] 因此，可變長編碼部13對在實施對于亮度信號的編碼對象塊的幀內預測處理時使 用的幀內預測參數和在實施對于色差信號的編碼對象塊的幀內預測處理時使用的幀內預 測參數獨立地進行可變長編碼來多路復用于位流。
[0244] 在這種情況下，如果例如亮度信號的編碼對象塊與色差信號的編碼對象塊的特征 近似，在實施對于雙方的編碼對象塊的幀內預測處理時使用的幀內預測參數幾乎相同，則 多路復用于位流的幀內預測參數變得冗余。
[0245] 因此，在本實施方式2中，說明如下例子:在幀內預測部4生成色差信號的預測圖像 時例如亮度信號的編碼對象塊與色差信號的編碼對象塊的特征近似的情況下，使用與在實 施對于該亮度信號的編碼對象塊的幀內預測處理時使用的幀內預測參數相同的幀內預測 參數，來實施對于色差信號的編碼對象塊的幀內預測處理，由此削減多路復用于位流的幀 內預測參數。
[0246] 具體如下。
[0247] 圖13是表示亮度信號和色差信號的分區Pf的一例的說明圖。
[0248] 運動圖像編碼裝置的幀內預測部4利用如圖13的（a)所示，在分區P，的亮度信號 (Y)中存在邊緣的情況下，對色差信號(Cb，Cr)也存在同樣的邊緣的情況多這一特征，將在 亮度信號中應用的幀內預測參數作為色差信號的幀內預測參數直接應用，來生成幀內預測 圖像。
[0249] 其中，如圖13的(b)所示，即使在分區P，的亮度信號(Y)中有邊緣，在是灰度(gray scale)的邊緣的情況下也有時色差信號(Cb，Cr)中不存在邊緣。
[0250] 在這種情況下，不應用亮度信號的幀內預測參數而應用平均值預測來生成幀內預 測圖像。
[0251] 另外，如圖13的(c)所示，在分區Pf的亮度信號(Y)中存在邊緣的情況下，也有時在 色差信號(Cb，Cr)中邊緣的邊界模糊或斷開。
[0252] 在這種情況下，有如下擔憂:在邊緣的邊界模糊或斷開的區域的像素中預測殘差 變大，涉及預測殘差的代碼量增加。
[0253] 因此，為了避免涉及預測殘差的代碼量增加的狀況的發生，如圖14所示，使用與在 實施對于亮度信號的編碼對象塊的幀內預測處理時使用的幀內預測參數相同的幀內預測 參數來實施對于色差信號的編碼對象塊的幀內預測處理，由此生成預測圖像，之后以使邊 緣模糊的方式對該預測圖像施以平滑化濾波。
[0254] 在這種情況下，濾波處理后的預測圖像成為色差信號的預測圖像。
[0255] 關于在亮度信號中應用的幀內預測參數，可變長編碼部13與上述實施方式1同樣 地進行可變長編碼來多路復用于位流，但是關于在色差信號中應用的幀內預測參數，如下 處理。
[0256] 即，可變長編碼部13對在色差信號中應用的幀內預測參數自身不進行可變長編 碼，代替該幀內預測參數，而通過算術編碼等對1位的標志進行熵編碼，該1位的標志表示是 在使用與亮度信號相同的幀內預測參數來實施對于色差信號的編碼對象塊的幀內預測處 理、還是在應用平均值預測。
[0257] 由此，作為在色差信號中應用的幀內預測參數，將1位的標志多路復用于位流。
[0258] 此外，在根據需要對預測圖像施以平滑化濾波的情況下，通過算術編碼等對表示 是否施以平滑化濾波的1位的標志進行熵編碼。
[0259] 在此，示出了在幀內預測部4生成色差信號的預測圖像時不應用亮度信號的幀內 預測參數的情況下應用平均值預測來生成幀內預測圖像的情況，但是也可以除了平均值預 測以外還應用水平預測、垂直預測等與多個代表性的預測方向矢量對應的模式(方向性預 測模式)來生成預測圖像。
[0260] 另外，也可以將對于應用方向性預測模式來生成的預測圖像施以平滑化濾波而得 到的圖像設為色差信號的預測圖像。
[0261] 圖10的運動圖像解碼裝置的可變長解碼部31作為在色差信號中應用的幀內預測 參數，從位流可變長解碼出1位的標志。
[0262] 幀內預測部34在由可變長解碼部31可變長解碼出的標志表示使用與亮度信號相 同的幀內預測參數實施對于色差信號的編碼對象塊的幀內預測處理的意思的情況下，與圖 1的幀內預測部4同樣地使用與亮度信號相同的幀內預測參數實施對于色差信號的解碼對 象塊(編碼對象塊)的幀內預測處理，來生成色差信號的預測圖像。
[0263] 另一方面，在該標志表示應用平均值預測的意思的情況下（表示沒有使用與亮度 信號相同的幀內預測參數實施對于色差信號的編碼對象塊的幀內預測處理的意思的情況 下），與圖1的幀內預測部4同樣地應用平均值預測實施對于色差信號的解碼對象塊的幀內 預測處理，來生成色差信號的預測圖像。
[0264] 另外，在該標志表示應用水平預測（或者，垂直預測）的意思的情況下，應用水平預 測(或者，垂直預測）來實施對于色差信號的解碼對象塊的幀內預測處理，來生成色差信號 的預測圖像。
[0265] 幀內預測部34在由可變長解碼部31可變長解碼出表示是否施以平滑化濾波的1位 的標志的情況下，如果該標志表示施以平滑化濾波的意思，則使用與亮度信號相同的幀內 預測參數實施對于色差信號的解碼對象塊的幀內預測處理，來生成色差信號的預測圖像， 之后對該預測圖像施以平滑化濾波。
[0266] 在這種情況下，濾波處理后的預測圖像成為色差信號的預測圖像。
[0267] 根據以上明確知道，根據本實施方式2,構成為運動圖像編碼裝置的幀內預測部4 在生成色差信號的預測圖像時，使用與在實施對于亮度信號的編碼對象塊的幀內預測處理 時使用的幀內預測參數相同的幀內預測參數，實施對于色差信號的編碼對象塊的幀內預測 處理，或者應用平均值預測實施對于色差信號的編碼對象塊的幀內預測處理，可變長編碼 部13對表示幀內預測部4是否使用與亮度信號相同的幀內預測參數實施對于色差信號的編 碼對象塊的幀內預測處理的標志進行可變長編碼，來作為在實施對于色差信號的編碼對象 塊的幀內預測處理時使用的幀內預測參數，因此起到不會降低預測效率而能夠削減涉及色 差信號的幀內預測模式的代碼量的效果。
[0268] 另外，根據本實施方式2,構成為在運動圖像編碼裝置的幀內預測部4實施對于色 差信號的編碼對象塊的幀內預測處理生成色差信號的預測圖像之后，對該預測圖像施以平 滑化濾波，因此起到提高預測效率來能夠削減殘差信號的代碼量的效果。
[0269] 根據本實施方式2,構成為運動圖像解碼裝置的可變長解碼部31從位流可變長解 碼出標志，幀內預測部34在由可變長解碼部31可變長解碼出的標志表示使用與亮度信號相 同的幀內預測參數實施對于色差信號的編碼對象塊的幀內預測處理的意思的情況下，使用 與亮度信號相同的幀內預測參數實施對于色差信號的解碼對象塊(編碼對象塊）的幀內預 測處理來生成色差信號的預測圖像，在該標志表示沒有使用與亮度信號相同的幀內預測參 數實施對于色差信號的編碼對象塊的幀內預測處理的意思的情況下，應用平均值預測來實 施對于色差信號的解碼對象塊的幀內預測處理來生成色差信號的預測圖像，因此起到如下 效果:不會降低預測效率，而能夠削減色差信號的幀內預測參數的代碼量來正確地對編碼 后的位流進行解碼。
[0270] 另外，根據本實施方式2,構成為在運動圖像解碼裝置的幀內預測部34實施對于色 差信號的解碼對象塊的幀內預測處理來生成色差信號的預測圖像之后，對該預測圖像施以 平滑化濾波，因此起到如下效果:提高預測效率，能夠削減涉及殘差信號的代碼量來正確地 對編碼后的位流進行解碼。
[0271] 產業上的可利用性
[0272] 如上所述，本發明所涉及的運動圖像編碼裝置、運動圖像解碼裝置、運動圖像編碼 方法以及運動圖像解碼方法不使預測效率降低而能夠削減涉及色差信號的幀內預測模式 的代碼量，因此適于使用于實施幀內預測處理或幀間預測處理來實施預測編碼的運動圖像 編碼裝置、運動圖像解碼裝置、運動圖像編碼方法以及運動圖像解碼方法等。
【主權項】
1. 一種圖像編碼裝置，其特征在于，具備： 塊分割單元，將輸入圖像分割為編碼對象塊； 編碼控制單元，對于所述編碼對象塊，決定表示是幀間預測處理還是幀內預測處理的 編碼模式信息，并且決定在實施所述幀內預測處理時使用的幀內預測參數； 幀內預測圖像生成單元，使用所述幀內預測參數，實施對于所述編碼對象塊的幀內預 測處理來生成幀內預測圖像； 幀間預測圖像作成單元，對所述編碼對象塊實施幀間預測處理，生成幀間預測圖像； 量化單元，對所述幀內預測圖像或者所述幀間預測圖像與所述編碼對象塊的輸入圖像 的差分圖像進行量化，輸出所述差分圖像的量化系數;以及 編碼單元，對所述量化系數、所述幀內預測參數以及在所述幀間預測處理時使用的運 動矢量進行編碼來生成位流， 所述預測圖像生成單元實施對于所述編碼對象塊的色差信號的幀內預測處理， 所述編碼單元對用于選擇能夠應用于所述編碼對象塊的色差信號的多個幀內預測處 理之一的一個信息進行編碼，所述多個幀內預測處理包含使用了與所述編碼對象塊的亮度 信號相同的幀內預測參數的色差信號的幀內預測處理和使用了平均值預測的幀內預測處 理。2. -種圖像編碼方法，其特征在于，具備： 塊分割處理步驟，將輸入圖像分割為編碼對象塊； 編碼控制處理步驟，對所述編碼對象塊決定表示是幀間預測處理還是幀內預測處理的 編碼模式信息，并且決定在實施所述幀內預測處理時使用的幀內預測參數； 預測圖像生成處理步驟，使用所述幀內預測參數，實施對于所述編碼對象塊的幀內預 測處理來生成幀內預測圖像； 幀間預測圖像作成步驟，對所述編碼對象塊實施幀間預測處理，生成幀間預測圖像； 量化處理步驟，對所述幀內預測圖像或者所述幀間預測圖像和所述編碼對象塊的輸入 圖像的差分圖像進行量化，輸出所述差分圖像的量化系數;以及 編碼處理步驟，對所述量化系數、所述幀內預測參數以及所述幀間預測處理時使用的 運動矢量進行編碼來生成位流， 在所述預測圖像生成處理步驟中，實施對于所述編碼對象塊的色差信號幀內預測處 理， 在所述編碼處理步驟中，對用于選擇能夠應用于所述編碼對象塊的色差信號的多個幀 內預測處理之一的一個信息進行編碼，所述多個幀內預測處理包含使用了與所述編碼對象 塊的亮度信號相同的幀內預測參數的色差信號的幀內預測處理和使用了平均值預測的幀 內預測處理。3. -種圖像解碼裝置，其特征在于，具備： 解碼單元，從位流解碼出量化系數、幀內預測參數以及運動矢量； 逆量化單元，對所述量化系數進行逆量化； 幀內預測圖像生成單元，使用所述幀內預測參數，實施對于所述解碼對象塊的幀內預 測處理來生成包含亮度信號以及色差信號的幀內預測圖像； 幀間預測圖像生成單元，使用所述運動矢量來實施對于解碼對象塊的幀間預測處理， 生成幀間預測圖像；以及 圖像加法單元，將所述逆量化單元的逆量化結果進行逆變換而得到的差分圖像與所述 幀內預測圖像或者所述幀間預測圖像相加而得到解碼圖像， 所述解碼單元從所述位流解碼出信息， 所述信息是用于選擇能夠應用于所述解碼對象塊的色差信號的多個幀內預測處理之 一的一個信息，所述多個幀內預測處理包含使用了與所述解碼對象塊的亮度信號相同的幀 內預測參數的色差信號的幀內預測處理和使用了平均值預測的幀內預測處理， 所述預測圖像生成單元實施與所述信息對應的對于所述解碼對象塊的色差信號的幀 內預測處理來生成所述幀內預測圖像。4. 一種圖像解碼方法，其特征在于，具備： 解碼處理步驟，從位流解碼出量化系數、幀內預測參數以及運動矢量； 逆量化處理步驟，對所述量化系數進行逆量化； 幀內預測圖像生成處理步驟，使用所述幀內預測參數，實施對于所述解碼對象塊的幀 內預測處理來生成包含亮度信號以及色差信號的幀內預測圖像； 幀間預測圖像生成步驟，使用所述運動矢量來實施對于解碼對象塊的幀間預測處理， 生成幀間預測圖像；以及 圖像加法處理步驟，將對在所述逆量化處理步驟中的逆量化結果進行逆變換而得到的 差分圖像與所述幀內預測圖像或者所述幀間預測圖像相加來得到解碼圖像， 在所述解碼處理步驟中，從所述位流解碼出信息， 所述信息是用于選擇能夠應用于所述解碼對象塊的色差信號的多個幀內預測處理之 一的一個信息，所述多個幀內預測處理包含使用了與所述解碼對象塊的亮度信號相同的幀 內預測參數的色差信號的幀內預測處理和使用了平均值預測的幀內預測處理， 在所述預測圖像生成處理步驟中，實施與所述信息對應的對于所述解碼對象塊的色差 信號的幀內預測處理來生成所述幀內預測圖像。
【文檔編號】H04N19/96GK105847791SQ201610229316
【公開日】2016年8月10日
【申請日】2011年7月7日
【發明人】守屋芳美, 關口俊, 關口俊一, 杉本和夫, 服部亮史
【申請人】三菱電機株式會社