本(ben)發(fa)明涉(she)及(ji)利用基(ji)于變換器的環內濾波器的視頻編解碼方法和裝置。

背景技術：

1、本(ben)部分中的(de)陳述(shu)僅提(ti)供與本(ben)發明(ming)有關的(de)背景技(ji)術(shu)(shu)信息，并不一定構(gou)成現有技(ji)術(shu)(shu)。

2、由于視頻數據與音(yin)頻數據或靜(jing)止影像數據相比(bi)具(ju)有大(da)量(liang)的(de)(de)數據，所以視頻數據需要大(da)量(liang)的(de)(de)硬件資(zi)源(其包括存儲器)來(lai)存儲或發送未經壓縮處理的(de)(de)視頻數據。

3、相應地，編碼(ma)器(qi)通常用于壓(ya)(ya)縮(suo)并存儲或發送視(shi)頻(pin)數(shu)(shu)據(ju)。解(jie)(jie)碼(ma)器(qi)接收(shou)壓(ya)(ya)縮(suo)的視(shi)頻(pin)數(shu)(shu)據(ju)，解(jie)(jie)壓(ya)(ya)縮(suo)接收(shou)到(dao)的壓(ya)(ya)縮(suo)的視(shi)頻(pin)數(shu)(shu)據(ju)，并且播(bo)放解(jie)(jie)壓(ya)(ya)縮(suo)的視(shi)頻(pin)數(shu)(shu)據(ju)。視(shi)頻(pin)壓(ya)(ya)縮(suo)技術包(bao)括h.264/avc、高效率視(shi)頻(pin)編解(jie)(jie)碼(ma)(high?efficiency?video?coding，hevc)和多功能視(shi)頻(pin)編解(jie)(jie)碼(ma)(vvc)，所述(shu)多功能視(shi)頻(pin)編解(jie)(jie)碼(ma)(vvc)比hevc的編解(jie)(jie)碼(ma)效率提高了大約30％或更多。

4、然而，由于影像大(da)小、分辨(bian)率(lv)(lv)和幀速率(lv)(lv)逐漸增加(jia)，要編(bian)(bian)碼的(de)數(shu)據量也會(hui)增加(jia)。相應地，需要提(ti)(ti)供比現有(you)壓縮技(ji)(ji)術(shu)更高的(de)編(bian)(bian)解碼效(xiao)率(lv)(lv)和改善的(de)圖(tu)像增強(qiang)效(xiao)果(guo)的(de)新(xin)的(de)壓縮技(ji)(ji)術(shu)。最近(jin)，除了卷積(ji)神經網絡(convolutional?neural?network，cnn)(其是一種(zhong)深度(du)學(xue)習技(ji)(ji)術(shu))之外，還利(li)用(yong)(yong)變換器(qi)以提(ti)(ti)高視頻幀的(de)質量。特(te)別是對于環(huan)內濾波，提(ti)(ti)高視頻編(bian)(bian)碼效(xiao)率(lv)(lv)和增強(qiang)視頻質量需要有(you)效(xiao)利(li)用(yong)(yong)深度(du)學(xue)習技(ji)(ji)術(shu)。

技術實現思路

1、技術問題

2、本發明致力于提供一種視頻編(bian)解(jie)(jie)碼方(fang)法和裝(zhuang)置，其將當前視頻塊應用于作為深度學習模型的變(bian)換(huan)(huan)器的注意力模塊，以提高(gao)視頻編(bian)解(jie)(jie)碼效率并且增(zeng)強圖像質量。視頻編(bian)解(jie)(jie)碼方(fang)法和裝(zhuang)置利用所得的基(ji)于變(bian)換(huan)(huan)器的環內濾波器。

3、技術方案

4、本(ben)發明的(de)(de)至少一個(ge)(ge)方(fang)面提(ti)供了由視頻(pin)解碼(ma)裝(zhuang)置執行的(de)(de)用于增(zeng)強重(zhong)(zhong)(zhong)構(gou)的(de)(de)幀(zhen)(zhen)的(de)(de)圖像質量的(de)(de)方(fang)法。該方(fang)法包括(kuo)(kuo)(kuo)從重(zhong)(zhong)(zhong)構(gou)的(de)(de)幀(zhen)(zhen)獲得預(yu)設大(da)小的(de)(de)輸(shu)入區(qu)域(yu)，所述重(zhong)(zhong)(zhong)構(gou)的(de)(de)幀(zhen)(zhen)是原(yuan)始幀(zhen)(zhen)的(de)(de)重(zhong)(zhong)(zhong)構(gou)，并且已經由視頻(pin)解碼(ma)裝(zhuang)置預(yu)先重(zhong)(zhong)(zhong)構(gou)。該方(fang)法還(huan)包括(kuo)(kuo)(kuo)通過將輸(shu)入區(qu)域(yu)饋送(song)到基于深度學習的(de)(de)環(huan)內(nei)濾波器中來生成(cheng)近(jin)似原(yuan)始幀(zhen)(zhen)的(de)(de)增(zeng)強的(de)(de)視頻(pin)區(qu)域(yu)。環(huan)內(nei)濾波器包括(kuo)(kuo)(kuo)k個(ge)(ge)連(lian)(lian)續(xu)的(de)(de)變(bian)換器塊，并且k是自(zi)然數(shu)。生成(cheng)增(zeng)強的(de)(de)視頻(pin)區(qu)域(yu)包括(kuo)(kuo)(kuo)通過利用k個(ge)(ge)連(lian)(lian)續(xu)的(de)(de)變(bian)換器塊，基于注意力操作將輸(shu)入圖像轉換為最終輸(shu)出特征(zheng)。

5、本發明的(de)(de)(de)(de)(de)另一個(ge)方面提(ti)供了由視頻(pin)編(bian)(bian)碼裝置(zhi)執行的(de)(de)(de)(de)(de)用于(yu)增(zeng)(zeng)強重(zhong)構(gou)(gou)的(de)(de)(de)(de)(de)幀(zhen)的(de)(de)(de)(de)(de)圖像(xiang)質量(liang)的(de)(de)(de)(de)(de)方法(fa)。該(gai)方法(fa)包括(kuo)從重(zhong)構(gou)(gou)的(de)(de)(de)(de)(de)幀(zhen)獲(huo)得預(yu)(yu)設(she)大小的(de)(de)(de)(de)(de)輸(shu)入區(qu)(qu)域(yu)，所述重(zhong)構(gou)(gou)的(de)(de)(de)(de)(de)幀(zhen)是原始幀(zhen)的(de)(de)(de)(de)(de)重(zhong)構(gou)(gou)，并且已經由視頻(pin)編(bian)(bian)碼裝置(zhi)預(yu)(yu)先重(zhong)構(gou)(gou)。該(gai)方法(fa)還包括(kuo)通過將輸(shu)入區(qu)(qu)域(yu)饋送到(dao)基于(yu)深度學習的(de)(de)(de)(de)(de)環(huan)內(nei)(nei)濾波(bo)器(qi)(qi)中來生(sheng)成近似原始幀(zhen)的(de)(de)(de)(de)(de)增(zeng)(zeng)強的(de)(de)(de)(de)(de)視頻(pin)區(qu)(qu)域(yu)。環(huan)內(nei)(nei)濾波(bo)器(qi)(qi)包括(kuo)k個(ge)連續(xu)的(de)(de)(de)(de)(de)變(bian)換(huan)器(qi)(qi)塊，并且k是自然(ran)數。生(sheng)成增(zeng)(zeng)強的(de)(de)(de)(de)(de)視頻(pin)區(qu)(qu)域(yu)包括(kuo)通過利(li)用k個(ge)連續(xu)的(de)(de)(de)(de)(de)變(bian)換(huan)器(qi)(qi)塊，基于(yu)注意力操作(zuo)將輸(shu)入圖像(xiang)轉(zhuan)換(huan)為最終(zhong)輸(shu)出(chu)特征。

6、本發(fa)明的(de)(de)(de)又一方面提供了計算(suan)機可讀記錄介質，其存儲由視(shi)頻編碼(ma)方法生(sheng)成的(de)(de)(de)比(bi)特流。視(shi)頻編碼(ma)方法包(bao)括從重構(gou)的(de)(de)(de)幀(zhen)獲得預設大小的(de)(de)(de)輸入(ru)區域(yu)，所述重構(gou)的(de)(de)(de)幀(zhen)是原始(shi)幀(zhen)的(de)(de)(de)重構(gou)，并且已(yi)經(jing)由視(shi)頻編碼(ma)裝(zhuang)置預先重構(gou)。視(shi)頻編碼(ma)方法還包(bao)括通過將(jiang)輸入(ru)區域(yu)饋送到(dao)基(ji)于(yu)深度學(xue)習的(de)(de)(de)環內(nei)濾波器(qi)中來生(sheng)成近(jin)似原始(shi)幀(zhen)的(de)(de)(de)增強的(de)(de)(de)視(shi)頻區域(yu)。環內(nei)濾波器(qi)包(bao)括k個連(lian)續的(de)(de)(de)變換器(qi)塊(kuai)，并且k是自然數。生(sheng)成增強的(de)(de)(de)視(shi)頻區域(yu)包(bao)括通過利用(yong)k個連(lian)續的(de)(de)(de)變換器(qi)塊(kuai)，基(ji)于(yu)注意力(li)操作將(jiang)輸入(ru)圖像轉換為最終輸出特征。

7、有益效果

8、如(ru)上所述，本發明提供(gong)了(le)一(yi)種視(shi)頻編解碼(ma)方法和裝(zhuang)置，其(qi)將當前視(shi)頻塊應用(yong)于作為深度學(xue)習模型的(de)(de)變(bian)換(huan)器(qi)的(de)(de)注意力(li)模塊，并且利用(yong)合(he)成(cheng)的(de)(de)基于變(bian)換(huan)器(qi)的(de)(de)環內濾波器(qi)。因此，視(shi)頻編解碼(ma)方法和裝(zhuang)置提高了(le)視(shi)頻編解碼(ma)效(xiao)率并且增(zeng)強了(le)視(shi)頻圖像質(zhi)量。

技術特征：

1.一種由視(shi)頻(pin)解(jie)碼裝置執(zhi)行(xing)的(de)用于(yu)增強重構的(de)幀的(de)圖(tu)像質(zhi)量的(de)方法，所述方法包(bao)括：

2.根據(ju)權利要(yao)求1所述的(de)方法，其中：

3.根據權利要(yao)求(qiu)2所述的方法，其中，環內濾波器(qi)進一步(bu)包括第(di)二cnn，并且其中，生(sheng)成增強的視頻區域(yu)包括將最終輸出特征饋送到第(di)二cnn中以生(sheng)成增強的視頻區域(yu)。

4.根據權利要(yao)求2所述的(de)方法(fa)，其中，轉換(huan)輸入特征包括：

5.根據權利要求4所述的方法，其中，轉(zhuan)換(huan)輸入(ru)特征包(bao)括：

6.根據(ju)權(quan)利(li)要求4所述(shu)的方法，其中，轉換輸入(ru)特征(zheng)包括：

7.根(gen)據(ju)權利要求5所(suo)述(shu)的方(fang)法(fa)，其中，轉換輸入特(te)征包括：

8.根據權利要(yao)求5所述的方法，其中，轉換(huan)輸入特(te)征包括：

9.根據(ju)權利要求4所(suo)述的方法，其中，輸入特(te)征包括：

10.根據權(quan)利要求4所述的方法，其中，轉換輸入特征(zheng)包括：

11.根據權(quan)利要求4所述的(de)方法，其中，每一個變(bian)換器塊包括：

12.根據權利要求11所述的方法，其中，每(mei)一個變換(huan)器塊(kuai)通(tong)過(guo)利用跳過(guo)連接(jie)形成為(wei)連續的變換(huan)器層的殘差(cha)塊(kuai)。

13.一種由視頻(pin)編碼裝置(zhi)執(zhi)行的用于(yu)增(zeng)強重(zhong)構的幀的圖(tu)像質量的方(fang)法，所(suo)述方(fang)法包括：

14.根(gen)據權利要求(qiu)13所述的方法(fa)，其(qi)中：

15.根據權(quan)利要求14所述的方法，其中：

16.一(yi)種(zhong)計算(suan)機可讀記錄介質，其(qi)存(cun)儲由視(shi)頻編(bian)碼方(fang)法(fa)生成的(de)比(bi)特流，所述視(shi)頻編(bian)碼方(fang)法(fa)包括：

技術總結
公開了一種利用基于變換器的環內濾波器的視頻編解碼方法和裝置。在本實施方案中，將當前視頻塊應用于變換器的注意力模塊，所述注意力模塊是深度學習模型，并且因此提供了利用基于變換器的環內濾波器的視頻編解碼方法和裝置。

技術研發人員：姜制遠,許鎮,樸勝煜
受保護的技術使用者：現代自動車株式會社
技術研發日：
技術公布日：2024/9/29