三維視頻虛擬視點合成中彩色混疊及陰影部分的處理方法
【專利摘要】本發明屬于3D視頻領域，涉及一種三維視頻虛擬視點合成中彩色混疊及陰影部分的處理方法。本發明是通過選擇性映射左右視點深度圖邊界部分對應的彩色混疊和陰影部分與判斷是否保留該彩色混疊和陰影部分來實現的。本發明消除了由彩色混疊和陰影部分造成的合成虛擬視點邊界位置的失真，提高合成虛擬視點的主客觀質量。
【專利說明】三維視頻虛擬視點合成中彩色混疊及陰影部分的處理方法
【技術領域】
[0001]本發明屬于3D視頻領域，涉及一種三維視頻虛擬視點合成中彩色混疊及陰影部分的處理方法。
【背景技術】
[0002]傳統雙目立體視頻及多視點視頻由于無法實現深度自主調節已不能滿足人們越來越高的視聽需求。與之相比，新一代的基于深度數據和視點合成的三維視頻系統能夠利用基于深度圖像的繪制(depth-1mage-based rendering, DIBR)技術合成虛擬視點圖像,根據用戶需求調整最終顯示的左右視圖的視差大小，改善用戶視覺體驗，因而得到了學術界和工業界的廣泛關注。
[0003]虛擬視點合成通過基于深度圖像的三維投影(3D warping)將三維場景在一個視點下拍攝的彩色圖像映射到另一個虛擬視點的圖像平面，形成投影圖像，即首先確定當前視點中像素在虛擬視點中的投影位置，然后將該像素的像素值賦予投影位置的像素。由于虛擬視點與相機視點位置不同，即拍攝角度不同，不同視點圖像的信息不同，因此虛擬視點圖像的部分信息，即在虛擬視點下暴露出來在原視點中卻被遮擋的區域，并不能由上述相機視點獲取。當采用兩個相機視點共同內插(view interpolation)合成一個虛擬視點時，原本無法從某個相機視點圖像中獲取的部分虛擬視點信息能夠在另一個視點相機圖像中找到，所以此時得到的虛擬視點圖像比僅使用一路相機圖像進行視點合成時得到的虛擬視點圖像具有更好的圖像質量。
[0004]但是，由于相機捕獲的彩色圖像邊界一般不是尖銳變化，而是具有一個若干像素跨度的混疊部分，即前景彩色與背景彩色的混合(可以認為是前景彩色與背景彩色經過低通濾波后的結果)，而且由于深度獲取技術的限制，深度圖在物體邊緣的質量普遍較差，所以物體邊緣在彩色圖和深度圖中的邊界不能高度吻合，導致產生邊界合成失真。另外，傳統有損編碼可能會使彩色和深度的邊界變得模糊，加劇合成視點的邊緣失真。另一方面，由于部分場景在采集時，并不能完全假設場景物體為朗伯體，物體周圍可能存在陰影，在視點映射后，陰影部分像素將偏離物體，進而影響背景，產生背景噪音。
[0005]目前，針對彩色圖邊界混疊部分的虛擬視點合成算法，如XuyuanXu等提出將彩色圖邊界混疊部分的深度值賦為前景深度值進行虛擬視點合成，此時能夠保證前景彩色到背景彩色的平滑過渡，但在前景至背景的邊界處，左視點的混疊部分將與右視點的正確彩色信息重合，導致視點融合(view blending)后彩色錯誤(在背景到前景的邊界處，右視點的混疊部分將與左視點的正確彩色信息重合，導致視點融合后彩色錯誤)，如圖1和2所示。Ce Zhu等人提出邊界區域的失配抑制對齊增強法，其中包括抑制彩色混疊部分的映射，該方法能夠有效地減少邊界失真，但同時因為彩色混疊部分(其中含有部分前景信息)不能映射至虛擬視點，虛擬視點中前景物體在邊界處將有所損失。另一方面，在傳統的視點合成算法中，由于沒有考慮在深度圖邊界位置左右視點的前景差異，導致視點融合后左右視點的部分正確前景信息與混疊部分融合，因此產生錯誤的融合結果，降低最終合成視點的質量。本發明通過對深度圖邊界位置的前景、背景以及彩色混疊和陰影部分的正確模擬，提出了相應的彩色混疊和陰影部分的映射方案，提高了虛擬視點合成質量。

【發明內容】

[0006]本發明的目的在于提供一種三維視頻虛擬視點合成中彩色混疊和陰影部分的處
理方法。
[0007]本發明的目的通過如下步驟實現: [0008]S1、選擇性映射左右視點深度圖邊界部分對應的彩色混疊和陰影部分，包括:
[0009]S11、在深度圖上建立平面直角坐標系Χ0Υ，規定X軸的正方向為右；
[0010]S12、從左向右進行掃描，判斷深度圖邊界部分對應的彩色混疊和陰影部分的深度變化為前景到背景或背景到前景；
[0011]S13、若S12所述彩色混疊和陰影部分對應的深度變化為前景到背景的變化，則抑制左視點的彩色混疊和陰影部分所有像素的映射，將右視點的彩色混疊和陰影部分的所有
像素的深度值和g右側相鄰的一個背景像孝P的深度值賦為前景像素的深度值進行獨立
映射保存，其中，W與之間像素位置差為1，其中，y為彩色混疊和陰影部分的最右側的一個像素，
[0012]若S12所述彩色混疊和陰影部分對應的深度變化為背景到前景的變化，則抑制右視點的彩色混疊和陰影部分的所有像素的映射，將左視點的彩色混疊和陰影部分的所有像
素的深度值和A1左側相鄰的一個背景像素W的深度值賦為前景像素的深度值進行獨立映
射保存，其中，W與W之間像素位置差為1，其中，Λ1為彩色混疊和陰影部分的最左側的一個像素；
[0013]S2、利用S13所述彩色混疊和陰影部分相鄰的背景像素P2的像素值判定是否保留彩色混疊和陰影部分，其中，P2包括P和A2:
[0014]當Cdiff < T1時，判定C1與Ctl相似，則用獨立映射的彩色混疊和陰影部分全部像素覆蓋虛擬視點中對應位置的像素，即，保留si3所述彩色混疊和陰影部分，其中I Ic11-1cqI=Cdiff, C1為S13所述彩色混疊和陰影部分相鄰的背景像素P2的像素值，C0為該P2像素映射至虛擬視點中對應位置所在像素的像素值，Cdiff為像素絕對值的絕對差，T1為閾值；
[0015]當Cdiff ^ T1時，判定C1與Ctl不相似，則不對彩色混疊和陰影部分進行保留。
[0016]進一步地，5≤T1≤10。
[0017]本發明的有益效果是:本發明通過對深度圖邊界位置的前景、背景以及彩色混疊和陰影部分的正確模擬，提出了一種三維視頻虛擬視點合成中彩色混疊和陰影部分的處理方法，消除了由彩色混疊和陰影部分全部造成的合成虛擬視點邊界位置的失真，提高合成虛擬視點的主客觀質量。
【專利附圖】

【附圖說明】
[0018]圖1為前景-背景設置的左視點示意圖。
[0019]圖2為前景-背景設置的右視點示意圖。[0020]圖3為前景-背景設置的左視點映射的虛擬視點示意圖。
[0021]圖4為前景-背景設置的右視點映射的虛擬視點示意圖。
[0022]圖5為Art的原始3視點圖。
[0023]圖6為利用虛擬視點合成參考軟件合成的虛擬視點圖，其中黑色橢圓標記區域為邊界區域失真較大位置。
[0024]圖7為經過本專利處理后合成的虛擬視點圖，其中黑色橢圓標定區域為圖6黑色橢圓標定區域的對應區域。
【具體實施方式】
[0025]下面結合附圖來說明本發明的【具體實施方式】:
[0026]實驗所用圖為Art，視點合成為利用2視點和4視點合成3視點。
[0027]S1、選擇性映射左右視點深度圖邊界部分對應的彩色混疊和陰影部分，包括:
[0028]S11、在深度圖上建立平面直角坐標系Χ0Υ，規定X軸的正方向為右；
[0029]S12、從左向右進行掃描，判斷深度圖邊界部分對應的彩色混疊和陰影部分的深度變化為前景到背景或背景到前景；
[0030]S13、若S12所 述彩色混疊和陰影部分對應的深度變化為前景到背景的變化，則抑制左視點的彩色混疊和陰影部分所有像素的映射，將右視點的彩色混疊和陰影部分的所有
像素的深度值和P1r右側相鄰的一個背景像素P1r的深度值賦為前景像素的深度值進行獨立
映射保存，其中，W與凡2之間像素位置差為1，其中，W為彩色混疊和陰影部分的最右側的
一個像素，
[0031]若S12所述彩色混疊和陰影部分對應的深度變化為背景到前景的變化，則抑制右視點的彩色混疊和陰影部分的所有像素的映射，將左視點的彩色混疊和陰影部分的所有像
素的深度值和A1左側相鄰的一個背景像素g的深度值賦為前景像素的深度值進行獨立映
射保存，其中廠與A2之間像素位置差為1，其中，Pi1為彩色混疊和陰影部分的最左側的一個像素；
[0032]S2、利用S13所述彩色混疊和陰影部分相鄰的背景像素P2的像素值判定是否保留彩色混疊和陰影部分，當所述背景像素P2的像素值與P2所在虛擬視點中映射到位置的像素值相似時，則認為該彩色混疊和陰影部分仍適合于當前前景至所述背景的過渡，此時應該
保留，其中，P2包括P1r和pf.[0033]當Cdiff < T1時，判定C1與Ctl相似，則用獨立映射的彩色混疊和陰影部分全部像素覆蓋虛擬視點中對應位置的像素，即，保留si3所述彩色混疊和陰影部分，其中I Ic11-1cqI=Cdiff, C1為S13所述彩色混疊和陰影部分相鄰的背景像素P2的像素值，C0為該P2像素映射至虛擬視點中對應位置所在像素的像素值，Cdiff為像素絕對值的絕對差，T1為閾值，5 ^ T1 ^ 10, T1的設定與期望彩色質量有關；
[0034]當Cdiff ^ T1時，判定C1與Ctl不相似，則不對彩色混疊和陰影部分進行保留。
[0035]下面結合附圖進行對比，圖6由現有的虛擬視點生成軟件合成的圖中，黑色橢圓標記區域位置呈現出較強烈的背景噪聲，表現為背景區域中的接近前景色的斑點。而在經過本專利處理后的圖7中，背景區域中幾乎不存在背景噪聲，提高了主觀質量。另一方面，在由現有的虛擬視點生成軟件合成的圖6的黑色橢圓標記區域中，在靠近前景位置，有明顯的前景腐蝕現象，而在經過本專利處理后圖7，與原始圖相比，前景腐蝕現象有所減弱。
【權利要求】
1.三維視頻虛擬視點合成中彩色混疊及陰影部分的處理方法，其特征在于:包括以下步驟: 51、選擇性映射左右視點深度圖邊界部分對應的彩色混疊和陰影部分，包括: 511、在深度圖上建立平面直角坐標系XOY，規定X軸的正方向為右； 512、從左向右進行掃描，判斷深度圖邊界部分對應的彩色混疊和陰影部分的深度變化為前景到背景或背景到前景； 513、若S12所述彩色混疊和陰影部分對應的深度變化為前景到背景的變化，則抑制左視點的彩色混疊和陰影部分所有像素的映射，將右視點的彩色混疊和陰影部分的所有像素的深度值和P)右側相鄰的一個背景像素的深度值賦為前景像素的深度值進行獨立映射保存，其中，乂與之間像素位置差為1，其中，P1力彩色混疊和陰影部分的最右側的一個像素， 若S12所述彩色混疊和陰影部分對應的深度變化為背景到前景的變化，則抑制右視點的彩色混疊和陰影部分的所有像素的映射，將左視點的彩色混疊和陰影部分的所有像素的深度值和A1左側相鄰的一個背景像素A2的深度值賦為前景像素的深度值進行獨立映射保存，其中，P)與f,之間像素位置差為1，其中，A1為彩色混疊和陰影部分的最左側的一個像素； 52、利用S13所述彩色混疊和陰影部分相鄰的背景像素P2的像素值判定是否保留彩色 混疊和陰影部分，其中，P2包括P和A2: 當Cdiff < T1時，判定C1與Ctl相似，則用獨立映射的彩色混疊和陰影部分全部像素覆蓋虛擬視點中對應位置的像素，即，保留S13所述彩色混疊和陰影部分，其中IIc11-1cciII =Cdiff, C1為S13所述彩色混疊和陰影部分相鄰的背景像素P2的像素值，C0為該P2像素映射至虛擬視點中對應位置所在像素的像素值，Cdiff為像素絕對值的絕對差，T1為閾值； 當Cdiff ^ T1時，判定C1與Ctl不相似，則不對彩色混疊和陰影部分進行保留。
2.根據權利要求1所述的三維視頻虛擬視點合成中彩色混疊及陰影部分的處理方法，其特征在于:5 < T1 < 10。
【文檔編號】H04N13/00GK103747229SQ201410040641
【公開日】2014年4月23日 申請日期:2014年1月27日 優先權日:2014年1月27日
【發明者】朱策, 李帥, 周益民, 王忠榮, 高艷博 申請人:電子科技大學