專利名稱:視頻圖像處理方法以及編/解碼器的制作方法
技術領域:
本發明涉及多媒體技術,尤其涉及一種視頻圖像處理方法以及編/解碼器。
背景技術:
隨著視頻編碼技術的不斷發展,幀間的運動搜索和補償技術能夠有效地去除視頻內容的時間冗余,編碼效率得到了很大程度的提高;通過運動估計得到運動信息并把它傳遞給解碼端,由解碼端通過運動補償的方法對視頻圖像進行預測重建。然而由于運動補償后預測殘差在碼流中所占的比重的大幅度下降,同時運動矢量信息在碼流中的比重不斷上升,如何有效地壓縮運動信息成為進一步提升視頻壓縮效率的關鍵。現有技術中獲取運動信息的方法包括通過模板匹配來獲取運動矢量;具體地,以當前編碼塊是B幀中的宏塊為例,如圖1所示,首先在當前編碼塊的周圍用重建值構造一個模板TM,然后在該塊的前向參考幀(RefListO)和后向參考幀(Ref Listl)中用與模板TM 形狀相同的模板進行搜索匹配得到運動矢量MVO和MVl作為當前編碼塊的運動矢量。通過現有技術獲得的運動信息由于只考慮到了當前編碼塊周邊的模板與參考幀中模板的相似度,經過搜索匹配后經常會出現找到只能保證模板相似,并不能保證參考塊與當前編碼塊相似,導致誤差大,精度低,使得視頻圖像編碼的效率低。
發明內容
本發明的實施例提供一種視頻圖像處理方法、裝置及設備以提高視頻圖像的編解碼效率。本發明的實施例采用如下技術方案—種獲取視頻圖像運動信息的方法,包括得到當前編碼塊的備選運動矢量集中的每一個備選運動矢量對應的當前編碼塊的至少兩個關聯參考塊;對所述每一個備選運動矢量對應的當前編碼塊的至少兩個關聯參考塊根據能量函數進行判斷,從所述備選運動矢量集中選擇一個備選運動矢量,所述能量函數根據所述至少兩個關聯參考塊的相似度以及當前編碼塊的模板區域分別和所述至少兩個關聯參考塊的模板區域的相似度得到;根據至少所述選擇的備選運動矢量確定當前編碼塊運動矢量。一種獲取視頻圖像運動信息的方法,包括采用當前編碼塊的備選運動矢量集中的每一個備選運動矢量,在所述每一個備選運動矢量的第一參考幀中找到對應的至少一個第一參考塊;對所述每一個備選運動矢量進行時間上外插得到對應的關聯運動矢量,根據關聯運動矢量在所述第一參考幀同向的第二參考幀中確定對應的至少一個第二參考塊;對所述每一個備選運動矢量對應的第一參考塊和所述關聯運動式量對應的第二參考塊根據能量函數進行判斷,從所述備選運動矢量集中選擇一個備選運動矢量,所述能量函數根據所述至少一個第一參考塊和所述至少一個第二參考塊的相似度以及當前編碼塊模板區域分別與所述至少一個第一參考塊和所述至少一個第二參考塊的模板區域的相似度得到;根據所述選擇的備選運動矢量確定當前編碼塊運
動矢量。一種獲取視頻圖像運動信息的方法,包括采用當前編碼塊的備選運動矢量集中的每一個備選運動矢量,在所述每一個備選運動矢量的第一參考幀中找到對應的第一參考塊;確定所述每一個備選運動矢量對應的關聯運動矢量,在與所述第一參考幀反向的所述關聯運動矢量的第二參考幀中確定對應的備選第二參考塊;對所述每一個備選運動矢量對應的第一參考塊以及所述關聯運動矢量對應的第二參考塊根據能量函數進行判斷,從所述備選運動矢量集中選擇一個備選運動矢量, 所述能量函數根據所述第一參考塊和所述第二參考塊的相似度以及當前編碼塊模板區域分別與所述第一參考塊和所述第二參考塊的模板區域的相似度得到;根據所述選擇的備選運動矢量以及所述關聯運動矢量確定當前編碼塊運動矢量。一種編/解碼器,用于執行上述任一獲取視頻圖像運動矢量信息的方法。一種編/解碼系統,所述編/解碼系統包括上述編/解碼器,所述編/解碼系統用于接收輸入信號,送入所述編/解碼器,并發送所述編/解碼器的輸出,其中,所述編/解碼器用于執行包括上述任一獲取視頻圖像運動矢量信息的方法。本發明實施例提供的視頻圖像處理方法以及編解碼裝置,通過對當前編碼塊的備選運動矢量集中的每一個備選運動矢量根據能量函數進行判斷,從所述每一個備選運動矢量中選擇至少一個運動矢量,所述能量函數根據所述當前編碼塊的至少兩個關聯參考塊的相似度以及當前編碼塊的模板區域分別和所述至少兩個關聯參考塊的模板區域的相似度得到,根據所述選擇的至少一個運動矢量確定當前編碼塊運動矢量可以有效減小誤差,以提高視頻圖像的編解碼效率。
為了更清楚地說明本發明實施例或現有技術中的技術方案,下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發明的一些實施例,對于本領域普通技術人員來講,在不付出創造性勞動性的前提下,還可以根據這些附圖獲得其他的附圖。圖1為現有技術的方法示意圖;圖2為本發明實施例一的方法流程圖;圖3為本發明實施例二的方法流程圖;圖4為本發明實施例的備選運動矢量集示意圖;圖5為本發明實施例二中的參考幀結構示意圖一;圖6為本發明實施例三的方法流程圖;圖7為本發明實施例的P幀外插示意圖。
具體實施例方式下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例是本發明一部分實施例,而不是全部的實施例。基于本發明中的實施例,本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例,都屬于本發明保護的范圍。實施例一如圖2所示,本實施例提供的視頻圖像處理的方法,包括以下步驟201,得到當前編碼塊的備選運動矢量集中的每一個備選運動矢量對應的當前編碼塊的至少兩個關聯參考塊。從與當前編碼塊相關的編碼塊/解碼塊的運動矢量中選擇其全部或者部分組成一個備選運動矢量集,所述當前編碼塊的備選運動矢量計根據時間空間相關性獲取已編碼塊的運動信息構建而成。根據每個備選運動矢量在第一參考幀中對應地確定一個備選第一參考塊,從而得到一組備選第一參考塊,進一步根據物體運動模型以及每個備選運動矢量確定所述每個備選運動矢量的關聯運動矢量,采用所述關聯運動矢量在當前幀的第二參考幀中對應地搜索確定一個備選第二參考塊,如可以采用對稱性搜索通過各個備選第一參考塊在所述第二參考幀中對應的備選第二參考塊,也就是說,對稱性搜索后,所述備選第一參考塊與其對應的搜索到的備選第二參考塊以當前編碼塊為中心等比例對稱,也可以不考慮對稱性進行等比例搜索確定一組備選第一參考塊和一組備選第二參考塊,同樣也可以采用根據每個備選運動矢量經過縮放在第二參考幀中搜索對應的第二參考塊。所述至少兩個關聯參考塊包括一組備選第一參考塊和一組備選第二參考塊,進一步的,在多參考幀的情況下,還可以確定一組備選第三參考塊,一組備選第四參考塊以及更多的關聯參考塊,確定方法和上述描述相同,也可以采用其他搜索方式,要求搜索到的關聯參考塊遵從特定的搜索模式。202,對所述每一個備選運動矢量對應的當前編碼塊的至少兩個關聯參考塊根據能量函數進行判斷,從所述備選運動矢量集的每一個備選運動矢量中選擇一個備選運動矢量,所述能量函數根據所述至少兩個關聯參考塊的相似度以及當前編碼塊的模板區域分別和所述至少兩個關聯參考塊的模板區域的相似度得到。所述至少兩個關聯參考塊的相似度可以通過如下方式獲得采用一個備選運動矢量對應的當前編碼塊的至少兩個關聯參考塊,計算所述至少兩個關聯參考塊像素間的相似度,其中,每個關聯參考塊像素的數量相同。所述當前編碼塊的模板區域分別和所述至少兩個關聯參考塊的模板區域的相似度可以通過如下方式獲得分別在一個備選運動矢量對應的當前編碼塊的至少兩個關聯參考塊周圍已編碼區域中獲取模板區域,在當前編碼塊周圍已編碼區域中獲取模板區域,分別計算當前編碼塊的模板區域和所述至少兩個關聯參考塊的模板區域的相似度,其中所述至少兩個關聯參考塊的模板區域與對應的關聯參考塊之間的位置和當前編碼塊的模板區域與當前編碼塊之間的位置相同,所述至少兩個關聯參考塊的模板區域的形狀與大小和當前編碼塊的模板區域的形狀與大小相同。如所述至少兩個關聯參考塊為兩個關聯參考塊時,所述至少兩個關聯參考塊的相似度,當前編碼塊的模板區域分別和所述至少兩個關聯參考塊的模板區域的相似度進行加權疊加得到所述能量函數包括CostDirect = lambdal^COST (MBassociatel, MBassociate2) +lambda2*C0ST (Templateassoci atei' Templatecurrent) +lambda3*C0ST (Templateassociate2, Templatecunrent)其中,lambdal、lambda2和lambda3為大于零的加權系數,COST代表相似度計算函數,MB表示當前編碼塊,template表示模板區域,associatel表示當前編碼塊的一個關聯參考塊,associate2表示當前編碼塊的另一關聯參考塊。所述相似度包括誤差和、絕對誤差和(SAD)、絕對轉換誤差和(sum ofabsolute transformation differences)或絕對平方差和。當然還可以是其它一些可以用于描述兩個參考塊之間相似度的參數;在本實施例中以及以下各個實施例中,均以絕對誤差和為例對本發明提供的方案進行闡述。選擇使所述能量函數最小時對應的備選運動矢量,也可以選擇能量函數稍小時對應的備選運動矢量,比如能量函數僅大于最小值而小于其他能量函數值時對應的備選運動矢量,在其他可能的應用中,由于環境、設備等因素能量函數可能產生小的誤差和不穩定, 本實施例的實施均需要結合進行考慮,不限定與上述描述的情況。203,根據至少所述選擇的備選運動矢量確定當前編碼塊運動矢量。編碼端將所述選擇的備選運動矢量即作為所述當前編碼塊的運動矢量;或者,得到所述選擇的備選運動矢量和當前編碼塊通過運動搜索得到的運動矢量之間的差值,并將所述差值發送給解碼端,解碼端進行解析,然后按照編碼逆過程根據得到的差值和執行步驟201,步驟202和步驟203選擇的備選運動矢量結合恢復出當前編碼塊的運動矢量。在另一實施情況下,編碼端將所述選擇的備選運動矢量以及所述選擇的備選運動矢量對應的關聯運動矢量即作為所述當前編碼塊的運動矢量;或者,得到所述選擇的備選運動矢量以及其所述關聯運動矢量和當前編碼塊通過運動搜索得到的運動矢量對之間的差值,并將所述差值發送給解碼端用于得到當前編碼塊的運動矢量。為了更好地實現上述視頻圖像處理的方法,本實施例還提供了一種編解碼器,用于執行獲取視頻圖像運動信息的方法,編碼器獲得當前編碼塊的備選運動矢量集中的每一個備選運動矢量對應的當前編碼塊的至少兩個關聯參考塊,對所述每一個備選運動矢量對應的當前編碼塊的至少兩個關聯參考塊根據能量函數進行判斷,從所述備選運動矢量集中選擇一個備選運動矢量,所述能量函數根據所述至少兩個關聯參考塊的相似度以及當前編碼塊的模板區域分別和所述至少兩個關聯參考塊的模板區域的相似度得到,根據至少所述選擇的備選運動矢量確定當前編碼塊運動矢量。本實施中提供的編碼器用于執行上述實施例一中所述獲取視頻圖像運動信息的方法。為了更好地實現上述視頻圖像處理的方法,本實施例還提供了一種編/解碼系統,包括上述的編/解碼器,編/解碼系統接收輸入信號,將所述接收的輸入信號送入編解碼器,所述編/解碼器用于執行上述獲取視頻圖像運動信息的方法,將編/解碼器的輸出進行發送。本發明實施例提供的方法可以根據實際需要對各個步驟順序進行調整。本實施例提供的獲取視頻圖像運動信息的方法及編/解碼器以及編/解碼系統, 改變了在確定參考塊過程中確定參考塊的策略,可以在保證編碼性能基本不變的情況下降低參考塊確定過程實現的復雜度,從而改進了視頻圖像中運動信息的獲取過程,提高了視頻圖像的編解碼效率。實施例二 以按B幀編碼為例,如圖3所示,本實施例提供的視頻圖像處理方法,具體包括以下步驟301、利用當前編碼塊周圍已編碼的塊的運動矢量組成一個備選運動矢量集,其中包括與當前編碼塊相關的編碼塊的運動矢量中的部分或者全部。所述當前編碼塊可以是完整的宏塊,也可以是宏塊的劃分塊,在這里以完整的宏塊為例;本實施例中,所述備選運動矢量集可以包括與當前編碼塊(Curr_blk)在空間上相關的周邊塊的運動矢量MVL、MVU、MVR,MVUL和MEAN(MVL、MVU、MVR),前向參考幀f^中相同位置塊中的運動矢量(如圖4中的col_MVl、col_MV2、col_MV3、col_MV4)以及相同位置
塊的周邊塊的運動矢量(如圖4中的MV1、MV2.....MV12),后向參考幀fn+1中相同位置塊
中的運動矢量(如圖4中的col_MVl'、col_MV2'、col_MV3'、col_MV4')以及相同位置
塊的周邊塊的運動矢量(如圖5中的MVl'、MV2' .....MV12')中的全部或者其中一部
分,即包括當前編碼塊的左邊塊,上邊塊,左上塊,右上塊,在參考幀中和當前編碼塊相同位置的塊的左邊塊,上邊塊,左上塊,右上塊或其中的一部分,以及在參考幀中和當前編碼塊相同位置的塊。針對備選運動矢量集中的每一個備選運動矢量,執行步驟302-步驟307。302、選擇所述備選運動矢量集中的一個備選運動矢量,根據該運動矢量在第一參考幀中找到一個備選第一參考塊blkll,在本實施例中,以當前幀的前向參考幀fn_i為第一參考幀。303、根據當前編碼塊所在編碼幀和所述第一參考幀以及第二參考幀的位置關系, 結合所述備選運動矢量確定所述備選運動矢量對應的關聯運動矢量,根據所述每個備選運動矢量的關聯運動矢量在第二參考幀中確定與所述備選第一參考塊blkll對應的備選第二參考塊blk21,在本實施例中,以當前幀的后向參考幀fn+1為第二參考幀。在本實施例中,將所述備選運動矢量和所述備選運動矢量對應的關聯運動矢量作為一組運動矢量。此時的第一參考幀為前向參考幀,第二參考幀為后向參考幀,在其他實施例中,第一參考幀可以為后向參考幀,第二參考幀可以為前向參考幀,甚至第一第二參考幀為同向參考幀,進一步的,本實施例中,僅以兩個關聯參考塊進行描述,分別為一個第一參考塊和一個第二參考塊,實際中,可以為一組第一參考塊和一組第二參考塊。步驟302和步驟303中,以兩個P幀之間只有一個B幀的情況為例,其當前待編碼塊的前后向運動矢量在編碼器中和解碼器中都通過一個相同的搜索過程得到,搜索過程必須保證所搜索到的前后向運動矢量滿足勻速線性模型,本實施例如圖5所示,即Vf = -Vb, 其中設Vf為備選運動矢量集中的一個備選運動矢量(前向運動矢量),Vb是所述備選運動矢量的關聯運動矢量(后向運動矢量)。在此實施例中,運動矢量的搜索精度為1/4像素, 采用整像素-> 1/2像素-> 1/4像素的全搜索過程,搜索范圍為8 (整像素單位)。在另一實施例中也可以采用如加速運動等其他運動模型,加速運動模型如Vf = -(Vb+α)其中α為速度差。對于多個連續B幀的情況,其前/后向運動矢量的獲得方式基本相同。在此實例中,其不同之處是對前/后向運動矢量關系的約束。如果當前B幀距第一參考幀(前向參考幀)之間的距離為Tf,距第二參考幀(前向參考幀)之間的距離為Tb,則搜索范圍內備選運動矢量和對應的關聯運動矢量滿足Vf/Tf = -Vb/Tb,其中,Tf是當前編碼塊所在編碼幀距第一參考幀之間的距離,Tb是當前編碼塊編碼所在編碼幀距第二參考幀之間的距離,Vf為備選運動矢量,Vb為對應的關聯運動矢量。304、采用一個備選運動矢量對應的當前編碼塊的第一參考塊和第二參考塊,計算第一參考塊和第二參考塊的相似度。其中,采用計算第一參考塊的像素和第二參考塊像素計算相似度,計算第一參考塊像素和第二參考塊像素間的相似度滿足第一參考塊像素的數量和第二參考塊像素的數量相同。305、在當前幀fn中當前編碼塊(Curr_blk)的周圍利用重建值和參考幀預測值構造一個模板TMl,在備選第一參考塊blkl 1的周圍利用重建值構建模板TMl 1,在備選第二參考塊blk21的周圍利用重建值構建模板TM21。306、計算當前編碼塊的模板TMl的模板區域和第一參考塊的模板TMll的模板區域的相似度,計算當前編碼塊的模板TMl的模板區域和第二參考塊的模板TM21的模板區域的相似度。其中所述第一,第二參考塊的模板區域與對應的第一,第二參考塊之間的位置和當前編碼塊的模板區域與當前編碼塊之間的位置相同,所述第一,第二將編/解碼器的輸出進行發送。實施例三以按P幀編碼為例,如圖6所示,本實施例提供的視頻圖像處理方法,具體包括以下步驟601、利用當前編碼塊周圍已編碼的塊的運動矢量組成一個備選運動矢量集,其中包括與當前編碼塊相關的編碼塊的運動矢量中的部分或者全部。所述當前編碼塊可以是完整的宏塊,也可以是宏塊的劃分塊,在這里以完整的宏塊為例;所述備選運動矢量集中可以包括與當前編碼塊(Curr_blk)在空間上相關的周邊塊的運動矢量MVL、MVU、MVR,MVUL和MEAN(MVL、MVU、MVR),前向參考幀f^中相同位置塊中的運動矢量(如圖5中的col_MVl、col_MV2、col_MV3、col_MV4)以及相同位置塊的周邊
塊的運動矢量(如圖4中的MV1、MV2.....MV12),后向參考幀fn+1中相同位置塊中的運動
矢量(如圖4中的col_MVl'、col_MV2'、col_MV3'、col_MV4')以及相同位置塊的周邊
塊的運動矢量(如圖4中的MVl'、MV2' .....MV12')中的全部或者其中一部分,即包括
當前編碼塊的左邊塊,上邊塊,左上塊,右上塊,在參考幀中和當前編碼塊相同位置的塊的左邊塊,上邊塊,左上塊,右上塊或其中的一部分,以及在參考幀中和當前編碼塊相同位置的塊。針對備選運動矢量集中的每一個備選運動矢量,執行步驟602-步驟607。602、選擇所述備選運動矢量集中的一個備選運動矢量,根據該運動矢量在第一參考幀中找到一個備選第一參考塊blkl2,在本實施例中,以當前幀的前向參考幀fn_i為第一參考幀。603、對所述備選運動矢量進行時間上外插得到對應的關聯運動矢量,根據關聯運動矢量在所述第一參考幀同向的第二參考幀中確定對應的至少一個第二參考塊blk22。對所述備選運動矢量進行時間上的外插,在距離當前編碼塊更遠的第二參考幀中找到與所述備選運動矢量對應的關聯運動矢量,也可以稱為外插運動矢量,根據所述外插運動矢量在第二參考幀中確定相應的第二參考塊blk22,本實參考塊的模板區域的形狀與大小和當前編碼塊的模板區域的形狀與大小相同。307、根據步驟304和步驟306得到的相似度計算對每一個備選運動矢量的能量信息。具體體現為能量函數,可以采用所述至少兩個關聯參考塊的相似度,當前編碼塊的模板區域分別和所述至少兩個關聯參考塊的模板區域的相似度進行加權疊加得到所述能量函數。采用計算得到的第一參考塊周圍的已編碼像素和第二參考塊周圍已編碼像素間的相似度,當前編碼塊的模板TMl的模板區域和第一參考塊的模板TMll的模板區域的相似度,當前編碼塊的模板TMl的模板區域和第二參考塊的模板TM21的模板區域的相似度進行加權疊加得到能量函數,可如下表示CostDirect = lambdal 1*C0ST (MBforward, MBbackward) +lambdal2*C0ST (Templateforward, Templatecurrent) +lambdal3*C0ST (Templatebackrward, Templatecunrent)其中,lambdal、lambda2和lambda3為大于零的加權系數,COST代表相似度計算函數,MB表示當前編碼塊,template表示模板區域,forward表示第一參考塊,backward表
示第二參考塊。本實施例中用誤差和表示相似度時,能量函數可以如下表示CostDirect = lambdal*SAD (MBforward, Bbackward) +lambda2*SAD (Templateforward, Temp Iatecurrent) +lambda3*SAD (Templatebackrward, Templatecunrent)308、選取針對每一個備選運動矢量的能量函數最小時所對應的備選運動矢量。309、根據所述選擇的備選運動矢量和所述選擇的備選運動矢量的關聯運動矢量確定當前編碼塊運動矢量。310、采用所述當前編碼塊運動矢量進行當前編碼塊編解碼。為了更好地實現上述視頻圖像處理的方法,本實施例還提供了一種編/解碼器, 用于執行獲取視頻圖像運動信息的方法對當前編碼塊編碼以及解碼。為了更好地實現上述視頻圖像處理的方法,本實施例還提供了一種編/解碼系統,包括上述的編/解碼器,編/解碼系統接收輸入信號,將所述接收的輸入信號送入編/ 解碼器,所述編/解碼器用于執行上述獲取視頻圖像運動信息的方法,施例中采用的運動模型可以物體勻速直線運動,如圖7所示,其中Fn為當前幀,Bn為當前待編碼塊,Blri和Blri, 為Bn根據備選運動矢量Vf在Fn第一參考幀Flri中找到的參考塊,Bn_2和Bn_2,為Bn根據備選運動矢量Vf經過縮放在距離Fn更遠的第二參考幀Fn_2中找到的參考塊,Bn_2和Bn_2,相對于Bn的運動矢量為Vf”其中Vf,與Vf的關系與Fn_2和Flri相對于Fn的距離以及采用運動模型相關,如果采用勻速直線運動模型,并且Flri為距離Fn最近的參考幀,Fn_2為距離Fn第二近的參考幀的情況下,Vf, = 2Vf。實施例也可以采用加速運動等其他運動模型,加速運動模型如下Vf, = 2 (Vf+α)其中 α 為速度差。上述只給出了兩個參考幀與當前編碼幀直接相鄰的情況,對于兩個參考幀與當前編碼幀有一定距離的情況下,其運動矢量Vf和時間域外插得運動矢量Vf,的關系要與參考幀與編碼幀的距離有關。在此實例中,如果當前編碼幀距第一參考幀Flri之間的距離為Tf, 距第二參考幀Fn_2之間的距離為Tf,,則搜索范圍內的每一對運動矢量應當滿足如下關系
Vf/Tf = Vf, /Tf,,其中,Vf為備選運動矢量,Vf,為外插運動矢量,Tf是當前編碼塊所在編碼幀距第一參考幀之間的距離,Tf,是當前編碼塊所在編碼幀距第二參考幀之間的距離。步驟604-步驟610同步驟304-步驟310604、采用一個備選運動矢量對應的當前編碼塊的第一參考塊和第二參考塊像素, 計算第一參考塊和第二參考塊的相似度。其中,采用計算第一參考塊的像素和第二參考塊像素計算相似度,計算第一參考塊像素和第二參考塊像素間的相似度滿足第一參考塊周圍的像素的數量和第二參考塊的像素數量相同。605、在當前幀fn中當前編碼塊(Curr_blk)的周圍利用重建值和參考幀預測值構造一個模板TMl,在備選第一參考塊blkl2的周圍利用重建值構建模板TMl 1,在備選第二參考塊blk22的周圍利用重建值構建模板TM21。606、計算當前編碼塊的模板TMl的模板區域和第一參考塊的模板TMll的模板區域的相似度,計算當前編碼塊的模板TMl的模板區域和第二參考塊的模板TM21的模板區域的相似度。其中所述第一,第二參考塊的模板區域與對應的第一,第二參考塊之間的位置和當前編碼塊的模板區域與當前編碼塊之間的位置相同,所述第一,第二參考塊的模板區域的形狀與大小和當前編碼塊的模板區域的形狀與大小相同。607、根據步驟604和步驟606得到的相似度計算對每一個備選運動矢量的能量信
肩、ο具體體現為能量函數,本實施例中用誤差和表示相似度,采用計算得到的第一參考塊周圍的已編碼像素和第二參考塊周圍已編碼像素間的相似度,當前編碼塊的模板TMl 的模板區域和第一參考塊的模板TMll的模板區域的相似度,當前編碼塊的模板TMl的模板區域和第二參考塊的模板TM21的模板區域的相似度進行加權疊加得到能量函數,可如下表不CostDirect = lambdal*C0ST (MBforward, MBforward) +lambda2*C0ST (Templateforward, Te mplatecurrent) +lambda3*C0ST (Templateforward., Templatecunrent)其中,lambdal、lambda2和lambda3為大于等于零的加權系數,COST代表相似度計算函數,MB表示當前編碼塊,template表示模板區域,forward表示第一參考塊,forward'
表示第二參考塊。本實施例中用誤差和表示相似度時,能量函數可以如下表示CostDirect = lambdal*SAD (MBforward, MBforward .) +lambda2*SAD (Templateforward, Tem platecurrent) +lambda3*SAD (Templateforward., Templatecunrent)。608、選取針對每一個備選運動矢量的能量函數最小時所對應的備選運動矢量。609、根據所述選擇的備選運動矢量確定當前編碼塊運動矢量。610、采用所述當前編碼塊運動矢量進行當前編碼塊編/解碼。為了更好地實現上述視頻圖像處理的方法,本實施例還提供了一種編/解碼器, 用于執行獲取視頻圖像運動信息的方法對當前編碼塊編碼以及解碼。為了更好地實現上述視頻圖像處理的方法,本實施例還提供了一種編/解碼系統,包括上述的編/解碼器,編/解碼系統接收輸入信號,將所述接收的輸入信號送入編/ 解碼器,所述編/解碼器用于執行上述獲取視頻圖像運動信息的方法,將編/解碼器的輸出進行發送。本領域技術人員可以理解,可以使用許多不同的工藝和技術中的任意一種來表示信息、消息和信號。例如,上述說明中提到過的消息、信息都可以表示為電壓、電流、電磁波、 磁場或磁性粒子、光場或以上任意組合。本領域普通技術人員可以意識到,結合本文中所公開的實施例描述的各示例的單元及算法步驟,能夠以電子硬件、計算機軟件或者二者的結合來實現,為了清楚地說明硬件和軟件的可互換性,在上述說明中已經按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來執行,取決于技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能,但是這種實現不應認為超出本發明的范圍。結合本文中所公開的實施例描述的方法或算法的步驟可以用硬件、處理器執行的軟件模塊,或者二者的結合來實施。軟件模塊可以置于隨機存儲器(RAM)、內存、只讀存儲器 (ROM)、電可編程ROM、電可擦除可編程ROM、寄存器、硬盤、可移動磁盤、CD-ROM、或技術領域內所公知的任意其它形式的存儲介質中。以上所述,僅為本發明的具體實施方式
,但本發明的保護范圍并不局限于此,任何熟悉本技術領域的技術人員在本發明揭露的技術范圍內,可輕易想到的變化或替換,都應涵蓋在本發明的保護范圍之內。因此,本發明的保護范圍應以所述權利要求的保護范圍為準。
權利要求
1.一種獲取視頻圖像運動信息的方法,其特征在于,包括得到當前編碼塊的備選運動矢量集中的每一個備選運動矢量對應的當前編碼塊的至少兩個關聯參考塊;對所述每一個備選運動矢量對應的當前編碼塊的至少兩個關聯參考塊根據能量函數進行判斷,從所述備選運動矢量集中選擇一個備選運動矢量,所述能量函數根據所述至少兩個關聯參考塊的相似度以及當前編碼塊的模板區域分別和所述至少兩個關聯參考塊的模板區域的相似度得到;根據至少所述選擇的備選運動矢量確定當前編碼塊運動矢量。
2.據權利要求1所述的獲取視頻圖像運動信息的方法,其特征在于,所述得到當前編碼塊的備選運動矢量集中的每一個備選運動矢量對應的當前編碼塊的至少兩個關聯參考塊包括根據物體運動模型以及備選運動矢量得到備選運動矢量的關聯運動矢量,通過所述的備選運動矢量以及其關聯運動矢量獲得至少兩個關聯參考塊。
3.據權利要求1所述的獲取視頻圖像運動信息的方法,其特征在于,所述當前編碼塊的模板區域分別和所述至少兩個關聯參考塊的模板區域的相似度如下獲得分別在一個備選運動矢量對應的當前編碼塊的至少兩個關聯參考塊周圍已編碼區域中獲取模板區域,在當前編碼塊周圍已編碼區域中獲取模板區域,分別計算當前編碼塊的模板區域和所述至少兩個關聯參考塊的模板區域的相似度,其中所述至少兩個關聯參考塊的模板區域與對應的關聯參考塊之間的位置和當前編碼塊的模板區域與當前編碼塊之間的位置相同,所述至少兩個關聯參考塊的模板區域的形狀與大小和當前編碼塊的模板區域的形狀與大小相同。
4.根據權利要求1所述的獲取視頻圖像運動信息的方法,其特征在于,所述至少兩個關聯參考塊的相似度以及當前編碼塊的模板區域分別和所述至少兩個關聯參考塊的模板區域的相似度進行加權疊加得到所述能量函數。
5.根據權利要求4所述的獲取視頻圖像運動信息的方法,其特征在于,所述相似度包括誤差和、絕對誤差和或絕對平方差和。
6.根據權利要求4所述的獲取視頻圖像運動信息的方法,其特征在于,所述至少兩個關聯參考塊為兩個關聯參考塊時,所述至少兩個關聯參考塊的相似度,當前編碼塊的模板區域分別和所述至少兩個關聯參考塊的模板區域的相似度進行加權疊加得到所述能量函數包括CostDirect = lambdal*COST (MBassociatel, MBassociate2) +lambda2*C0ST (Templateassociatel, T emplatecurrent) +lambda3*C0ST(Templateassociate2, Templatecunrent)其中,lambdalaambda2和lambda3為大于零的加權系數,COST代表相似度計算函數, MB表示當前編碼塊,template表示模板區域,associatel表示當前編碼塊的一個關聯參考塊,associate〗表示當前編碼塊的另一關聯參考塊。
7.根據權利要求1或6所述的獲取視頻圖像運動信息的方法,其特征在于,所述從所述備選運動矢量集中選擇一個備選運動矢量包括選擇使所述能量函數最小時對應的備選運動矢量。
8.根據權利要求1所述的獲取視頻圖像運動信息的方法,其特征在于,所述根據至少所述選擇的備選運動矢量確定當前編碼塊運動矢量包括將所述選擇的備選運動矢量作為所述當前編碼塊的運動矢量;或者, 將所述選擇的備選運動矢量以及所述選擇的備選運動矢量的關聯運動矢量作為當前編碼塊的運動矢量。
9.根據權利要求2所述的獲取視頻圖像運動信息的方法,其特征在于,所述根據至少所述選擇的備選運動矢量確定當前編碼塊運動矢量包括得到所述選擇的備選運動矢量和當前編碼塊通過運動搜索得到的運動矢量之間的差值,并將所述差值發送給解碼端用于得到當前編碼塊的運動矢量,或者,得到所述選擇的備選運動矢量以及其所述關聯運動矢量和當前編碼塊通過運動搜索得到的運動矢量對之間的差值,并將所述差值發送給解碼端用于得到當前編碼塊的運動矢量。
10.一種獲取視頻圖像運動信息的方法,其特征在于,包括采用當前編碼塊的備選運動矢量集中的每一個備選運動矢量,在所述每一個備選運動矢量的第一參考幀中找到對應的至少一個第一參考塊;對所述每一個備選運動矢量進行時間上外插得到對應的關聯運動矢量,根據關聯運動矢量在所述第一參考幀同向的第二參考幀中確定對應的至少一個第二參考塊;對所述每一個備選運動矢量對應的第一參考塊和所述關聯運動式量對應的第二參考塊根據能量函數進行判斷,從所述備選運動矢量集中選擇一個備選運動矢量,所述能量函數根據所述至少一個第一參考塊和所述至少一個第二參考塊的相似度以及當前編碼塊模板區域分別與所述至少一個第一參考塊和所述至少一個第二參考塊的模板區域的相似度得到;根據所述選擇的備選運動矢量確定當前編碼塊運動矢量。
11.根據權利要求10所述的獲取視頻圖像運動信息的方法,其特征在于,所述至少兩個關聯參考塊的相似度以及當前編碼塊的模板區域分別和所述至少兩個關聯參考塊的模板區域的相似度進行加權疊加得到所述能量函數。
12.根據權利要求10所述的備選運動適量集,其特征在于,所述備選運動矢量和對應的關聯運動矢量滿足Vf/Tf = Vf' /Tf',其中,Vf為備選運動矢量,Vf'為所述備選運動矢量對應的關聯運動矢量,Tf是當前編碼塊所在編碼幀距第一參考幀之間的距離,Tf'是當前編碼塊所在編碼幀距第二參考幀之間的距離。
13.一種獲取視頻圖像運動信息的方法,其特征在于,包括采用當前編碼塊的備選運動矢量集中的每一個備選運動矢量,在所述每一個備選運動矢量的第一參考幀中找到對應的第一參考塊;確定所述每一個備選運動矢量對應的關聯運動矢量,在與所述第一參考幀反向的所述關聯運動矢量的第二參考幀中確定對應的備選第二參考塊;對所述每一個備選運動矢量對應的第一參考塊以及所述關聯運動矢量對應的第二參考塊根據能量函數進行判斷,從所述備選運動矢量集中選擇一個備選運動矢量,所述能量函數根據所述第一參考塊和所述第二參考塊的相似度以及當前編碼塊模板區域分別與所述第一參考塊和所述第二參考塊的模板區域的相似度得到;根據所述選擇的備選運動矢量以及所述關聯運動矢量確定當前編碼塊運動矢量。
14.根據權利要求13所述的獲取視頻圖像運動信息的方法,其特征在于,所述至少兩個關聯參考塊的相似度以及當前編碼塊的模板區域分別和所述至少兩個關聯參考塊的模板區域的相似度進行加權疊加得到所述能量函數。
15.根據權利要求13所述的方法,其特征在于,所述備選運動運動矢量和所述備選運動矢量對應的關聯運動矢量滿足Vf/Tf = _Vb/Tb,其中,Tf是當前編碼塊所在編碼幀距第一參考幀f之間的距離,Tb是當前編碼塊編碼所在編碼幀距第二參考幀b之間的距離,Vf為備選運動矢量,Vb為所述備選運動矢量對應的關聯運動矢量。
16.一種編/解碼器,其特征在于,用于執行包括權利要求1、10和13任一的獲取視頻圖像運動矢量信息的方法。
17.一種編/解碼系統,其特征在于,所述編/解碼系統包括如權利要求16所述的編/ 解碼器,所述編/解碼系統用于接收輸入信號,送入所述編/解碼器,并發送所述編/解碼器的輸出,其中,所述編/解碼器用于執行包括權利要求1、10和13任一的獲取視頻圖像運動矢量信息的方法。
全文摘要
本發明實施例公開了一種視頻圖像處理方法、裝置及設備。所述方法通過對當前編碼塊的備選運動矢量集中的每一個備選運動矢量對應的當前編碼塊的至少兩個關聯參考塊根據能量函數進行判斷,從所述每一個備選運動矢量中選擇一個備選運動矢量,所述能量函數根據所述當前編碼塊的至少兩個關聯參考塊的相似度以及當前編碼塊的模板區域分別和所述至少兩個關聯參考塊的模板區域的相似度得到,根據至少所述選擇的備選運動矢量確定當前編碼塊運動矢量可以有效減小誤差,以提高視頻圖像的編解碼效率。
文檔編號H04N7/50GK102215387SQ20101014653
公開日2011年10月12日 申請日期2010年4月9日 優先權日2010年4月9日
發明者于浩平, 周建同, 張莉, 楊名遠, 王悅, 馬思偉, 高文 申請人:北京大學, 華為技術有限公司