一種視頻中的污染區域的內容補繪方法
【專利說明】
【技術領域】
[0001]本發明涉及計算機視頻處理領域，特別是涉及一種視頻中的污染區域的內容補繪方法。
【【背景技術】】
[0002]視頻中存在一些污染區域，例如臺標所在的區域，拍攝視頻時某些物體誤入畫面后所在的區域，這些污染區域的存在既降低了視頻的觀賞舒適度，也增加了視頻之間交流的困難。因此，如何去除污染區域以及精確補繪污染區域是一個亟待解決的關鍵問題。目前有通過時間連續性以及空間連續性對污染區域進行補繪的方法，但修復時通常為簡單地取前后幀參考圖像中相應像素點的均值來進行修復。該修復過程簡單高效，但精確度較低。
【
【發明內容】
】
[0003]本發明所要解決的技術問題是:彌補上述現有技術的不足，提出一種視頻中的污染區域的內容補繪方法，補繪精確度較高。
[0004]本發明的技術問題通過以下的技術方案予以解決:
[0005]—種視頻中的污染區域的內容補繪方法，包括以下步驟:1)檢測視頻中的污染區域，并進行標定；2)對視頻中的各幀圖像進行如下補繪操作:21)取與當前幀圖像連續的前L幀圖像和后R幀圖像；其中，L和R均為大于等于0的整數，且L和R不同時為0，具體取值由用戶根據補繪精度要求進行設定；22)根據當前幀圖像與前L幀圖像、后R幀圖像的時間連續性，采用最小化總變差的方法，對當前幀圖像中的污染區域進行補繪；23)判斷當前幀圖像的污染區域是否補繪完全，如果是，則進入步驟25);如果否，則進入步驟24) ;24)利用當前幀圖像自身的空間連續性，采用最小化總變差的方法，對當前幀圖像污染區域中剩余未補繪的區域進行補繪:25)結束當前幀圖像的補繪。
[0006]本發明與現有技術對比的有益效果是:
[0007]本發明的視頻中的污染區域的內容補繪方法，從時間連續性上，利用最小化總變差的方法對當前幀圖像中的污染區域進行補繪。在采用時間連續性補繪后，如存在未補繪的區域，繼續由空間相關性，利用最小化總變差的方法對未補繪的區域進行補充補繪。由于前后L、R幀圖像是連續的，即前后兩幀變化是線性的，則除了污染區域外，前后兩幀的總變差(total variat1n)十分小，而在污染區域中，總變差較大。同樣地，當前幀圖像內部各像素點也是連續的，僅在污染區域不連續，總變差較大。因此，補繪過程中，通過最小化總變差的方法，如多次迭代補繪使得幀與幀、行與行以及列與列之間的總變差達到最小，則表示迭代后當前幀圖像與前后幀圖像較為連續，當前幀圖像內部各像素點之間比較連續，則達到了去除噪聲的目的，污染區域補繪得較好。這樣，通過最小化總變差的方法，不斷迭代，可得到補繪比較完整的幀圖像，從而有效提高補繪過程的精確度。
【【附圖說明】】
[0008]圖1是本發明【具體實施方式】的視頻中的污染區域的內容補繪方法的流程圖。
【【具體實施方式】】
[0009]下面結合【具體實施方式】并對照附圖對本發明做進一步詳細說明。
[0010]如圖1所示，為本【具體實施方式】中視頻中的污染區域的內容補繪方法的流程圖。補繪方法處理的輸入的視頻圖像，其污染區域可見，視頻的數據格式不限。補繪方法包括以下步驟:
[0011]1):檢測視頻中的污染區域，并標記污染區域。
[0012]檢測時，可通過人為觀察進行檢測，或者，根據相鄰兩幀的色彩變化進行識別檢測。標定時，將污染區域內的像素點的像素值標記為1，未污染區域內的像素點的像素值標記為0。這樣，建立當前幀關于污染區域所在位置信息的矩陣，后續進行補繪時，只需將修復后的結果中相應于污染區域的信息賦值給原圖像中的污染區域即可。
[0013]2):對視頻中的各幀圖像進行如下補繪操作:
[0014]21)取與當前幀圖像連續的前L幀圖像和后R幀圖像；其中，L和R均為大于等于0的整數，且L和R不同時為0，具體取值由用戶根據補繪精度要求進行設定。
[0015]優選地，取前L幀圖像、后R幀圖像時，直至遇到切換鏡頭幀時或者L、R的值增至閾值時停止。這樣，既能確保提取的參考幀圖像的數量較多，又不至于覆蓋到切換鏡頭幀影響了后續補繪精度。
[0016]22)根據當前幀圖像與前L幀圖像、后R幀圖像的時間連續性，采用最小化總變差的方法，對當前幀圖像中的污染區域進行補繪。
[0017]該步驟中，具體包括:22a)，根據所述前L幀、后R幀圖像以及當前幀圖像，構造矩陣K ;其中，矩陣K包括m行、η列數據，m的值為一幀圖像中包含的像素點的個數，η為L+R+1，矩陣中同一列的各元素的值分別對應一幀圖像中各像素點的像素值；
[0018]22b)根據最小化總變差的方法，將矩陣K分解為矩陣T和稀疏矩陣N，矩陣T中的一列元素對應補繪后的當前幀圖像，矩陣N中有數值的元素對應污染區域內的像素點的像素值；
[0019]22c)使用矩陣T中相應元素的值作為當前幀圖像的污染區域內的像素點的像素值進行補繪。
[0020]上述步驟中，將前L幀圖像、當前幀凸圖像以及后R幀圖像全局化為一個矩陣，其中每一幀圖像對應矩陣中一列元素，設矩陣為Km'm為一幀圖像的大小，也即所包含的像素點的個數，n = L+R+1，為所有幀圖像的幀數目，各元素的值為相應像素點的像素值，在0?255的范圍內。由于前后L+R幀是連續的，即前后幀圖像之間的變化是線性的，則除了污染區域外，前后兩幀的總變差(total variat1n)十分小，而在污染區域中，總變差較大，因此補繪時，可將補繪過程建模成為一個最小化總變差的過程。將矩陣K分解為矩陣T和稀疏矩陣N，求解得到的矩陣T中含有補繪后的當前幀圖像的像素點信息，得到的矩陣N中有數值的元素對應當前幀圖像中污染區域的像素點信息，元素的值也在0?255的范圍內。因此，后續可直接使用矩陣T中的信息補繪當前幀圖像中污染區域的像素點信息。
[0021]上述最小化總變差迭代的過程可轉化為迭代求解如下方程:
[0022]min |T| tvst.K = T+1 |N| | 丄，
[0023]迭代終止條件為Κ-Τ-1I N II i小于閾值或者迭代次數達到上限值；其中，tv表示矩陣τ沿行方向的總變差。II N I1:表示矩陣N的第一范式。求解如上方程的方法較多，例如增廣拉格朗日方法，在此不一一列舉。
[0024]例如，各幀圖像中包含的像素點個數為64個，提取了L = 3，R = 3幀圖像，則如前所述構造的矩陣K包括64行，7列元素，每一列元素對應一幀圖像中各像素點的像素值。假設構造時按照順序的方式依次排列，第一列元素對應提取的前第一幀圖像L1，第二列元素對應提取的前第二幀圖像L2，第三列元素對應提取的前第三幀圖像L3，第四列元素對應當前幀圖像Z，第五、六和七列元素分別對應提取的后第一幀圖像R1，后第二幀圖像R2以及后第三幀圖像R3。經過最小化總變差迭代求解后，得到的矩陣T和稀疏矩陣N也包括64行，7列元素。矩陣T沿行方向的總變差，也即幀圖像L1與幀圖像L2的變差，幀圖像L2與幀圖像L3的變差，幀圖像L3與幀圖像Z的變差，幀圖像Z與幀圖像R1的變差，幀圖像R1與幀圖像R2的變差、幀圖像R2與幀圖像R3的變差，各變差的總和。某一方向的變差為該方向上相鄰兩像素的像素值相減。補繪的目標即是使得該總變差最小。由于補繪的方法是一個全局優化的方法，總變差最小化是作用在提取的L+R+1幀圖像，用來保證各幀圖像的連續性。當補繪迭代充分后，得到的矩陣T相比于原圖像幀，減少了與前后幀圖像的像素點之間的突兀性，各幀圖像的像素點之間更加連續，從而達到了去除噪聲的目的。也因此矩陣T中第四列元素即對應補繪后的當前幀圖像，其余六列元素分別對應各幀圖像L1、L2、L3以及R1、R2、R3補繪后的情形。稀疏矩陣N中第四列元素中部分元素(有數值的元素)的值對應當前幀圖像中污染區域的像素點的像素值，第四列元素中其余元素以及其余六列元素的值均為0。迭代求解得到矩陣T后，參考前述步驟1)中標記的污染區域，使用矩陣T中第四列元素中相應于污染區域位置的元素的值替代當前幀圖像Z中污染區域內的像素點的像素值即可。例如，對于前述標定矩陣中1所在的位置，將矩陣T對應元素覆蓋原圖像幀中相應像素點；若為0，則直接跳過，從而進行當前幀圖像污染區域的補繪。
[0025]23)判斷當前幀圖像的污染區域是否補繪完全，如果是，則進入步驟25)。如果否，則進入步驟24)。
[0026]24)利用當前幀圖像自身的空間連續性，采用最小化總變差的方法，對當前幀圖像污染區域中剩余未補繪的區域進行補繪。
[0027]25)結束當前幀圖像的補繪。
[0028]如前述通過時間連續性已經補繪完整，則可直接結束當前幀圖像的補繪，進入下一幀的補繪。如還未補繪完整，則通過當前幀自身的空間信息的連續性，采用最小化總變差的方法對剩余污染區域進行補繪。
[0029]具體包括:24a)根據當前幀圖像，構造矩陣Μ ;其中，矩陣Μ包括r行