專利名稱：用于三維電視的分級圖像深度提取方法
技術領域：
本發明涉及一種用于三維電視的分級圖像深度提取方法。
背景技術：
立體視頻和多視點視頻可以應用在包括自由視點視頻/電視(FVV/FTV)、三 維電視(3DTV)等場合，它的提出體現了下一代多媒體應用網絡化、交互性和 真實感的發展方向。但多視點視頻的數據量隨著相機數目的增加而成倍地增加， 要實現大量數據的有效壓縮，在目前廣泛采用的主要有兩類壓縮方法。 一類是 多視點視頻編碼(Multi-view Video Coding, MVC)，它利用各個視點之間相關 性來進行壓縮，但是當視點數目增加時，所需要傳輸的數據量就會隨之顯著增 加。另一類是采用二維視頻加深度信息的方法來對多視點視頻進行壓縮編碼。
相對于MVC，利用深度信息進行立體或多視點視頻壓縮編碼的優點是所需要 傳輸的數據量不會隨著視點數目的增加而顯著增加，而在解碼器端，可根據深 度信息來恢復出多個視點的視頻。因此采用這種方法，可以顯著節省網絡帶寬。
深度信息有兩種獲取方式。第一種是采用特殊的攝像機，通過紅外線掃描 等方式，在拍攝的同時直接測量出深度信息，如ATTEST組織采用的攝像機Zcam。 該攝像機由一個傳統的攝像機，加上一個高速脈沖紅外線光源組成，攝像機在 拍攝的同時發射出紅外線脈沖，通過測量紅外線來回的時間獲取每個像素的深 度信息。另一種方式是通過立體或多路視頻恢復出深度信息。深度值的精確度 直接影響解碼器端立體或多視點視頻恢復的精確度，從而影響立體視頻的觀賞 效果和立體視覺效果。因此在第二種方式中，采用適當的算法以精確地恢復出 深度信息非常重要。
理想情況下的深度值Z可以由公式(1)得到
其中，b為相機間距，f為相機焦距，d為視差。b和f都是可以確定的，因此 可以看出，恢復深度信息的要點和難點就是從立體視頻或多視點視頻中，精確 地為每一幅圖像中每一個像素在另外幾個視點的圖像中尋找到匹配點，計算出 視差，從而恢復深度信息。雙目立體視覺的視差原理如圖1。圖中的模型采用最簡單的雙攝像機平行光 軸成像，Il和L分別表示左右像平面，0l和0b是左右攝像機的光心，b是左右攝
像機光心之間的距離，稱為體視基線。P(x，y，z)為三維空間中的一點，PR 分別表示P(x，y，z)在左右像平面上的投影點。投影線P^和P^所確定的平面稱 為核心平面，它與左右像平面的交線稱為核心線或極線(Epipolar line)。由 于兩個攝像機的光軸與像平面垂直，Y軸互相平行，將右邊圖像的平面坐標系平 移到左像平面，這樣左右兩個攝像機坐標系完全重合，則&在左平面坐標系上 成為^。視差即為尸￡和尸《之間的距離，艮P:<formula>formula see original document page 4</formula>
(2)
立體匹配的主要任務，就是將同一個空間物理點在不同圖像中的映像點對 應起來。它主要考慮三個問題基元選擇，匹配準則和算法結構。
在匹配基元選擇上，常見的匹配基元有點狀特征、線狀特征和區域特征等。 點狀特征定位準確，檢測和描述容易，精確度高；但它在圖像中數目多，包含 的信息量少，因此在匹配時需要較強的約束準則和匹配策略。而在一般應用時， 由于點在圖像中的數目非常多，因此往往并不是對每個點都進行匹配，而是選 擇特征點進行匹配，如邊緣點或角點，這類匹配稱為特征匹配。特征匹配并不 直接利用灰度值進行匹配，而是利用灰度的梯度等特征進行比配，因此抗干擾 性好；但是由于特征在圖像上的稀疏性決定了特征匹配只能得到稀疏的視差場， 并且匹配精度收到特征提取精度的影響。而線狀特征和區域特征含有更豐富的 圖像信息，在圖像中數目較少，易于實現快速匹配；但是它們的定位精度較差。
在匹配中要遵循一定的匹配準則。唯一性約束要求一幅圖像上的每個特征 點最多只能與另一幅圖像上的一個特征點對應。連續性約束要求物體表面上各 點的視差是連續的，因此深度場也是連續的，但在物體邊界兩側的兩個點，視 差是突變的。相容性約束要求物體表面上的一點或者一塊區域在兩幅或多幅圖 像上的投影點在灰度、灰度梯度和幾何形狀上相似。極線約束規定一幅圖像上 的任一點，在另一幅圖像上的對應點只可能唯一該點的外極線上。順序一致性 約束要求兩幅或多幅圖像對應極線上的對應點之間的排列順序是不變的。
匹配的算法結構是立體匹配中最重要的部分，它與基元的選擇相對應，主 要分為基于特征的匹配和基于區域的匹配。
采用基于特征的匹配時，主要分三個步驟-第一步，找出圖像中的特征點，如圖像中的邊緣點、角點等灰度不連續點。
常用的邊緣點檢測算子有Roberts、 Sobel、 Previtt、 L0G等。角點提取算子有 Beaudet、 Dreschler、 Nagel、 Kichen、 Rosenfeld、 Zuniga、 Hrarik等。
第二步，相似性檢驗。設左圖中任一邊緣像素為PL(x，y)，該像素在右圖中
的候選匹配邊緣像素為P"Sn，tJ， n=0，l，"'， PK(Sn，tJ要滿足:
(1) 搜索范圍為避免誤選，將極線約束的條件從一條極線放寬為核心帶，可 能匹配點的坐標(Sn， O應滿足
K^"w)l乂 —"max S ^X + Hmax)^一「max《L ^ ^ + ^nax } (3)
其中，H^是最大水平視差，V^為核心帶高度，x， y為PL(x，y)的坐標。
(2) 圖像間對應邊緣像素應該有相似的邊緣差分值
kz(^力-(4)
其中，gi0，力和&(X,O分別是左右圖像中邊緣點的差分值，S是確定圖像 間對應邊緣像素差分值相似程度的閾值。
(3) 圖像間對應邊緣像素應該有相似的邊緣梯度方向值
《(x，力-A(^，U卜^ (5)
其中，^(x,力和^c^,o分別是左右圖像中邊緣點的梯度方向值，3是確定
圖像間對應邊緣像素梯度方向值相似程度的閾值。
以上是從左邊圖像到右邊圖像的初始匹配。在完成了上述步驟后，再以同 樣的過程進行從右圖到左圖的初始匹配。
第三步，兼容性檢驗。經過初始匹配后，每個邊緣像素在另一幅圖像對應 一個候選的匹配像素集合，存在匹配的多義性和模糊性。因此要根據視差連續 性約束，進行兼容性檢驗。
定義視差之差為D和支持函數S分別為
<formula>formula see original document page 5</formula> (6)
<formula>formula see original document page 5</formula> (7)
其中，Pu(x，y)表示左圖中一個邊緣像素a， Wa表示以a為中心的鄰域，P"x， y) 表示左圖中一個邊緣像素c，它在a的鄰域Wa中，SP"x,y)是c的候選匹配集。 PLb(x，y)表示右圖中一個邊緣像素b，且&(^OeSi^(;c，力，即b是a的一個候 選匹配像素，Wb表示以b為中心的鄰域，PM(x，y)表示左圖中一個邊緣像素d， 它在b的鄰域Wb中，并且d是c的一個候選匹配像素。cU表示點a， b之間的視差，cL表示點c， d之間的視差。
當與匹配像素對相鄰的像素，經過匹配后的視差與其視差保持連續時，
D(，)二0， S(，)=l;反之，S(，Xl。
在此基礎上定義評價檢驗函數
其中，k為迭代次數，S為支持函數，C(^。,/^，/^，i^)為兼容檢驗加權系數
、，當(Pk, Pw)是唯一確定匹配像素對時
1,當(Pk,P^)是可能的匹配像素對時 (9) o，當(P^， p^)是非匹配像素對時
c(尸丄。,H。
對每個邊緣像素進行兼容性檢驗，當滿足-
和 "(&,尸助)，v&， & (10)
時，則像素對(Pu，Pj為唯一兼容匹配，從而可以得到視差dab。其中，Pw是a 的匹配像素集中的任意一點，而Pu是b的匹配像素集中的任意一點。
區域匹配直接利用像素灰度值，使用一定的約束條件來尋找立體圖像對中 像素點的對應關系進行匹配。其基本思想是假設兩幅圖像對應點的小鄰域內具 有相似的灰度分布。把一幅圖像中某一像素的灰度鄰域作為模板，在另一幅圖 像中搜索具有相同或類似灰度值分布的對應點鄰域，從而實現兩幅圖像的匹配。
設I,和Ir為兩幅立體圖像對，PJ Pr分別為兩幅圖像中的像素點，(2W+1)
為匹配區域的寬度，R(P》是Ir中與h相關的搜索區域，W (u, V)是兩個像素值u， v的相關函數。對于L中的每個像素P產[i， j]有，計算相關值
『 『
C(")= S Sw(/,(/ + A:，y + /)，/r(/ + A —/ (11)
其中，山,d2為視差矢量為d的x，y分量，W表示匹配區域的大小。R的視差就是 在R(PD中使C(d)最大的矢量d。
歐洲出版號W02007020570公開了一個根據單路視頻運動矢量獲取深度信息 的方法。該方法利用圖像內物體的運動特征從單路視頻獲得深度信息，首先從 視頻中獲得運動矢量的信息，然后根據是物體運動的越快，則深度越小的原則，
6計算出深度值，但是該方法只適用于靜態場景。
中國公開號1153362公開了一種從二維運動圖像獲得深度信息以產生三維 圖像的方法。首先選取適當的幀以計算深度信息或間斷計算，并用深度信息進 行圖象處理，通過塊匹配等方式取出屏上目標的運動信息。隨后，計算三維目 標的真實運動。由于取景器圖像是空間投影，可根據大量代表點的運動通過逆 變換獲得目標的初始三維運動，得到目標的三維坐標，從而獲得目標的深度信 息。但是該方法無法恢復出每個像素精確的深度信息，并且計算復雜，不適合 三維電視中實時深度提取。
中國公開號101051386公開了一種從多幅深度圖像的匹配方法，首先判斷 邊界點、噪聲點和孤立點，去掉噪聲較大的點后，在不同深度圖像的重疊區域 選擇參考點，并搜索參考點的對應點。然后采用迭代方法，逐步優化整體配準 精確度，在每次迭代過程中，首先為每個參考點在對應點緩沖區中搜索最近點 作為對應點；然后使用偽逆矩陣最小化所述的對應點之間的誤差，如此多次迭 代，直到誤差小于所要求的閾值為止。但該方法只對特征點進行匹配，獲得一 個稀疏的深度場。
本發明提出的用于三維電視的分級圖像深度提取方法，利用雙路視頻，采 用特征匹配與區域匹配相結合的方法，克服了以上原有幾種方法的缺點，可以 快速精確地獲得高密度的動態場景的深度場。

發明內容
本發明的目的是克服現有技術的不足，提供一種用于三維電視的分級圖像 深度提取方法。
它包括如下步驟
1) 利用兩個平行放置的攝像機分別拍攝得到左、右兩個視頻序列；
2) 對圖像的邊緣點進行特征匹配，得到邊緣點的深度值；
3) 根據邊緣點的深度值，將圖像分成幾個不同深度層次的區域，在每個區 域內，采用基于塊的分級塊大小的區域匹配，并計算每個塊的深度；
4) 對每個塊邊界進行濾波以去除塊效應,使塊邊界過渡平滑。 所述的對圖像的邊緣點進行特征匹配，得到邊緣點的深度值步驟
(a) 利用邊緣點檢測Sobel算法分別提取出左右圖像中邊緣像素點；
(b) 對邊緣點采用特征匹配的方法在左右圖像中尋找出所有邊緣匹配點
對；
(C)根據匹配邊緣點對在左右兩幅圖像的像素坐標，計算出視差；(d) 根據匹配邊緣點對的視差值計算邊緣點的深度值。 所述的根據邊緣點的深度值，將圖像分成幾個不同深度層次的區域，在每個
區域內，采用基于塊的分級塊大小的區域匹配，并計算每個塊的深度步驟
(e) 根據邊緣點的深度值，將圖像分成幾個不同深度層次的區域；
(f) 在左右圖像之間對每個區域,根據邊緣點匹配的結果進行亮度值校正;
(g) 將每個區域分成若干個16X16塊，在區域內部16X16塊匹配中，確 定搜索區域；
(h) 對每個16X16塊，以差值的平方和為匹配準則，進行基于塊的區域匹
配；
(i) 當16X16塊匹配中得到的差值平方和大于某個閾值1時，將16X16 塊分割成16個4X4塊，對每個4X4塊進行塊匹配；
(j)當4X4塊匹配中得到的差值平方和大于某個閾值2時，將4X4塊進 一步分割成4個2 X 2塊，對每個2 X 2塊進行塊匹配；
(k)對于區域邊緣非完整塊進行塊匹配和深度值加權。 本發明適用于三維電視中通過兩路視頻提取高密度的深度場。在深度提取 中，單獨使用特征匹配只能形成一個稀疏的視差場，而只使用區域匹配會導致 匹配的抗干擾性和精確度下降，而本專利中利用的特征匹配和區域匹配相結合 的立體匹配方法可以有效地避免單獨使用兩種匹配而導致的不足，得到一個精 確而高密度的視差場。同時分級塊大小的匹配，可以很好地實現在處理速度和 精確度上的折衷。


圖1是雙目立體視覺的視差原理圖； 圖2是立體視頻獲取中相機的擺放位置圖； 圖3是利用Sobel算子檢測邊緣點時相鄰像素點的加權系數圖； 圖4是對于左邊圖像的塊，在右邊圖像中塊匹配的搜索范圍圖； 圖5是對區域邊界的未匹配點，通過將周圍像素加權平均以計算深度值時， 周圍像素的加權系數分配圖6是塊邊界濾波時6種相鄰塊的組合的示意圖7是兩個16X 16塊相鄰時濾波方法和濾波順序的示意圖8是16X 16塊與4X4塊相鄰時濾波方法和濾波順序的示意圖9是兩個4X4塊相鄰時濾波方法和濾波順序的示意圖10是4X 4 ±央與2 X 2塊相鄰時濾波方法和濾波順序的示意圖。具體實施方法
用于三維電視的分級圖像深度提取方法包括如下步驟
1) 利用兩個平行放置的攝像機分別拍攝得到左、右兩個視頻序列； 相機的擺放位置如圖2。左右相機平行放置，它們的光軸Z!和Zr相互平行，
相機間距為b，即左右相機的光心ft和(X之間的距離為b。相機的焦距相等，都 為f。
2) 對圖像的邊緣點進行特征匹配，得到邊緣點的深度值；
3) 根據邊緣點的深度值，將圖像分成幾個不同深度層次的區域，在每個區 域內，采用基于塊的分級塊大小的區域匹配，并計算每個塊的深度；
4) 對每個塊邊界進行濾波以去除塊效應，使塊邊界過渡平滑。 所述的對圖像的邊緣點進行特征匹配，得到邊緣點的深度值步驟
(a) 利用邊緣點檢測Sobel算法分別提取出左右圖像中邊緣像素點； 用邊緣點檢測Sobel算法提取出相鄰像素灰度變換的大小和方向。Sobel算
子是一種一階微分算子。對于數字圖像的每個像素點，相鄰像素點灰度的加權 和可以用來表示相鄰像素灰度的變化，加權系數如圖3。通過式(13)來計算出 相鄰像素的灰度變化
<formula>formula see original document page 9</formula>當某像素點的g(/，力大于一定閾值時，將這個點確定為圖像中的邊緣點。
(b) 對邊緣點采用特征匹配的方法在左右圖像中尋找出所有邊緣匹配點
對；
當用Sobel算子尋找到圖像中所有的邊緣點之后，用背景技術中介紹的特征 匹配的方法，對左邊圖像中的每個邊緣點在右邊圖像中尋找到匹配點，然后再 對右邊圖像中的每個邊緣點，在左邊圖像中尋找到匹配點，從而得到匹配的邊 緣點對。
(c) 根據匹配邊緣點對在左右兩幅圖像的像素坐標，計算出視差；
(d) 根據匹配邊緣點對的視差值計算邊緣點的深度值。 所述的根據邊緣點的深度值，將圖像分成幾個不同深度層次的區域，在每個
區域內，采用基于塊的分級塊大小的區域匹配，并計算每個塊的深度步驟
(e) 根據邊緣點的深度值，將圖像分成幾個不同深度層次的區域； 經過特征匹配后，可以得到一個稀疏的物體輪廓的深度場。根據邊緣點的深度值，將圖像分成幾個不同深度層次的區域。在每個區域內，采用基于塊的 區域匹配(或稱塊匹配)。
(f )在左右圖像之間對每個區域，根據邊緣點匹配的結果進行亮度值校正；
立體視頻采用兩個攝像機分別拍攝左右兩路視頻，由于攝像機之間的位置， 以及它們的內、外部參數的影響，會造成左右兩個視頻之間在角度、對比度和 亮度上有差異。而區域匹配直接利用區域內所有像素的灰度值進行匹配，所以 這種方法對于圖像的亮度和對比度的變化比較敏感。因此，在進行區域匹配之 前首先要對區域內像素的灰度值進行校正，以增加匹配的精確度。
在本設計中利用區域邊緣像素的灰度值來進行校正。在之前的特征匹配中， 己經對區域的每個邊緣像素點進行了匹配。而由于特征匹配是利用像素的梯度 等特征值進行匹配，而不是直接利用像素的灰度值進行匹配，因此特征匹配的 抗干擾性較好，受到左右圖像之間亮度和對比度變化的影響很小。
對某個區域R內部，利用區域邊緣像素進行校正的方法是
① 計算出該區域R在左右圖像中邊緣匹配像素對灰度之差的均值A- :
一丄S(d) (14)
其中《和^為左右圖像中的一個匹配邊緣像素對，n為該區域R的所有邊緣像 素的總數。
② 左邊圖像像素的灰度值不變，對右邊圖像中的區域R進行灰度校正。對 于右邊圖像區域內的每個非邊緣像素《，其校正后的灰度值《為
(15)
對區域內的非邊緣像素進行了灰度校正后，開始對區域內進行基于塊的立 體匹配。
(g)將每個區域分成若干個16X16塊，在區域內部16X16塊匹配中，確 定搜索區域；
對于左邊圖像某一個區域R，首先將該區域分割成若干16X16塊，對于左 邊圖像的每個16X16塊，用類似運動估計的方法進行匹配，在右邊圖像中找到 匹配塊。
設該區域R的邊緣點視差的平均值為^[3p3:]， 3由式(16)得到
<formula>formula see original document page 10</formula>
(16)其中，《為該區域某個邊緣匹配像素對的視差。
對于左邊圖像中的每個16X16塊，其搜索區域的中心為該16X16的坐標 平移矢量3之后的16X16塊，而搜索窗口 W的寬度為-minU6，4^ } ~ +!!!^{16,43,}，高度為-min{8，432} +min{8，432}，搜索區域S為『ni 。如 圖4中，對于左邊圖像L某區域R中的一個16X16塊A，在右邊圖像L.中的搜 索范圍為右邊圖中的陰影區域。
(h) 對每個16X16 ±央，以差值的平方和為匹配準則，進行基于塊的區域匹
配；
在確定了左圖中一個16X16塊的搜索區域后，在右圖的該搜索區域范圍S 內，尋找與左圖中16X16塊的灰度分布最相似的16X16塊。匹配準則采用差 1!的平方和(Sum of Squared Difference, SSD):
<formula>formula see original document page 11</formula> (17)
其中，^分別為左右兩幅圖像中的像素。最佳匹配的16X16塊就是在搜索 區域中使得SSDw最小視差矢量d二[山，cy所指向的16X16塊，艮卩
d = argmijifSSAJcO} (is)
當這個最小的SSDw小于或等于一個預設的閾值h時，匹配結束，得到該 16X16塊的視差矢量為該d^山，d2]，然后通過公式(1)來計算出該16X16塊 的深度值，再開始對下一個16X 16塊進行匹配。
否則，當這個最小的SSDw大于^時，進入步驟i。
(i) 當16X16塊匹配中得到的差值平方和大于某個閾值1時，將16X16 塊分割成16個4X4 ±央，對每個4X4塊進行塊匹配；
將該16X16塊分割成16個4X4塊，對每個4X4塊進行匹配，匹配準則 仍然采用16X16塊匹配中使用的差值的平方和SSD:
<formula>formula see original document page 11</formula> (19)
最佳匹配的4X4塊就是在搜索區域中使得SSD4最小視差矢量c^[山，i]所指 向的4X4塊，艮卩
<formula>formula see original document page 11</formula> (20)
當SSD4小于或等于閾值e 2時，該4X4塊的匹配結束，同樣得到一個視差 矢量d，并計算出該4X4塊的深度值。否則，當SSD4仍然大于閾值e2時，進入步驟j。
(j)當4X4塊匹配中得到的差值平方和大于某個閾值2時，將4X4塊進 一步分割成4個2 X 2塊，對每個2X2塊進行塊匹配；
將該4X4塊分割成4個2X2塊，對每個2X2塊進行匹配，匹配準則仍然 采用上述差值的平方和SSD:
<formula>formula see original document page 12</formula> (21)
最佳匹配的2 X 2塊就是在搜索區域中使得SSD2最小視差矢量d=[山，d2]所指 向的2X2塊，艮卩
<formula>formula see original document page 12</formula> (22 )
得到該2X2塊的視差矢量d，并根據視差d計算出該2X2塊的深度值。 (k)對于區域邊緣非完整塊進行塊匹配和深度值加權。
經過分級匹配之后，為區域內每個完整的16X16塊都找到了相應的匹配塊， 得到它們的視差矢量和深度值。但是當區域的邊界非規則時，區域的邊緣會出 現非完整的16X16塊，即一個16X16塊的一部分屬于當前區域，而它的另外 部分屬于其它的區域。對于這些塊，采用下列過程匹配
① 判斷是否存在完整的4X4塊在區域R內部。若存在，則對這些4X4塊 按照步驟i的方法進行匹配，并計算出該4X4塊的深度值；
② 對于剩下的像素，再判斷是否存在完整的2X2塊在區域R內部。若存在， 則對這些2X2塊按照步驟j的方法進行匹配，并計算出該2X2塊的深度值；
③ 若經過2X2塊匹配后，仍然有未匹配的點，對于這些點，通過將周圍像 素的深度值加權平均來得到它的深度值。如圖5中，若p是待計算的像素，它 的深度值由相鄰像素(ai，ii…7)的深度值經過加權平均后得到。其中， ai， a3， a寸，a6 與P直接相鄰，其加權系數為2，而 與p對角相鄰，加權
系數為1。則P的深度為<formula>formula see original document page 12</formula>其中，加權系數l的取值為
<formula>formula see original document page 13</formula>
經過上述過程，區域邊界上非完整塊的所有像素也都得到了深度值，從而 區域R內的所有像素都得到了相應的深度值。
所述的對每個塊邊界進行濾波以去除塊效應，使塊邊界過渡平滑
在區域R內的大部分像素都是以塊為整體進行匹配和深度值計算的，因此 在每個塊內深度值相同，而在塊的邊界深度值有可能是突變的。而根據連續性 約束要求，由于物體表面一般來說是平滑的，因此物體表面上各點的視差和深 度值也應該是連續的，所以還要采用一定的塊邊界濾波方法去除塊效應，使塊 邊界深度過度平滑。
濾波之前，每個塊內像素深度的初始值即為其所屬塊的深度值。濾波的方 法根據不同的相鄰塊大小(如圖6)而略有差別， 一共有6種相鄰塊的組合，除 此之外，還有16X16塊，4X4塊和2X2塊處于區域R邊緣的3種情況。采用 如下的濾波步驟
①兩個16X16相鄰塊濾波
當兩個16X16塊相鄰時，首先對垂直邊界(即水平相鄰的兩個16X16塊 的邊界)進行濾波，即圖7中的過程①。垂直邊界濾波時，將處于同一行的每 16個點(即Ph， i=(>**7， pn以及pri， t0…7)的深度值同時進行濾波，濾波的 方法如式(25) (26):
<formula>formula see original document page 13</formula>
對所有的垂直邊界濾波完成后，再進行水平邊界(即上下相鄰的兩個16X 16塊)濾波，即圖7中的過程②。水平邊界濾波的方法與垂直邊界濾波方法相 同，將處于同一列的16個點(即pui， i岣…7， pn以及pdi， i=(>"7)的深度值 同時進行濾波，濾波的方法如式(27) (28):
<formula>formula see original document page 13</formula><formula>formula see original document page 14</formula>
待所有兩個16X 16塊相鄰的情況都濾波完成以后，進入第②步。 ②16X 16塊與4X4塊相鄰情況的濾波
當16X16塊與4X4塊相鄰時，同樣也是首先對垂直邊界進行濾波，即圖8 中的過程①。垂直邊界濾波時，將16X16塊中處于同一行的每8個點(即pn， i=0*"7)與4X4塊中處于相同行的2個點(pa i=0，l)的深度值同時進行濾 波，濾波的方法如式(29) (30):
<formula>formula see original document page 14</formula>(30)
對所有的垂直邊界濾波完成后，再進行水平邊界濾波，即圖8中的過程②， 如式(31) (32):
<formula>formula see original document page 14</formula>(31)
(32)
待所有16X 16塊與4X4塊相鄰的情況都濾波完成以后，進入第③步。 ③16X16塊與2X2塊相鄰情況，以及16X16塊處于區域R邊緣情況的濾
波
當16X16塊與2X2塊相鄰時，只對16X16塊的像素濾波，而2X2塊的 像素不進行濾波。濾波時同樣也是首先對垂直邊界進行濾波。垂直邊界濾波時， 將16X 16塊中處于同一行的每8個點(即pu， i=0"*7)的深度值同時進行濾波， 濾波的方法如式(33):
<formula>formula see original document page 14</formula>(33)
對所有的垂直邊界濾波完成后，再進行水平邊界濾波，如式(34):<formula>formula see original document page 15</formula>對于16X16塊處于區域R邊緣的情況，也采用式(33) (34)的濾波方法， 但式中的Z&。和Z&。由邊緣像素的深度值代替。待所有16X16塊與2X2塊相
鄰的情況，以及16X16塊處于區域R邊緣的情況都濾波完成以后，進入第④步。
④ 兩個4X4相鄰塊濾波
當兩個4X4塊相鄰時，同樣也是首先對垂直邊界進行濾波，即圖9中的過 程①。垂直邊界濾波時，將4X4塊中處于同一行的每4個點(即pn， i二0，l與 Ph， i=0，l)的深度值同時進行濾波，濾波的方法如式(35) (36):
《二^1^ (1-0 + 、, / = 0，1 (35)
Z— -z.
了
對所有的垂直邊界濾波完成后，再進行水平邊界濾波，即圖9中的過程②， 如式(37) (38):
y
z。 _zr
待所有兩個4X4塊相鄰的情況都濾波完成以后，進入第⑤步。
⑤ 4 X 4 ±央與2 X 2塊相鄰，以及4X 4塊處于區域R邊緣情況的濾波 當4X4塊與2X2塊相鄰時，只對4X4塊的像素濾波，而2X2塊的像素
不進行濾波(如圖10)。垂直邊界先進行濾波，然后再對水平邊界濾波。濾波時， 只對4X4塊邊緣像素(即圖10中的pw和pu。)濾波，如式(39) (40):
Z +々
z;"= u)+zPn, /=o,i (37)
Z二, \ "'、(2 + 0 + Z二", / = 0，1 (38)
7' — _,m、
4一-^- (39)
zp"0--^- (40)
對于4X4塊處于區域R邊緣的情況，也采用式(39) (40)的濾波方法， 但式中的Zp,。和Z&。由邊緣像素的深度值代替。待所有4X4塊與2X2塊相鄰 的情況，以及4X4塊處于區域R邊緣的情況都濾波完成以后，進入第⑥步。⑥兩個2X2相鄰塊的情況
對于兩個2X2塊相鄰的情況，不釆用塊邊界濾波。
經過濾波后，可以得到圖像的一個完整的高密度的深度場。在編碼端，只 需要對左邊視頻或者右邊視頻中的一路視頻，以及該深度場進行編碼和傳輸。 而在解碼端可以根據單路視頻和該深度場來恢復出另一路視頻，甚至可以內插 出多個視點的視頻。
權利要求
1. 一種用于三維電視的分級圖像深度提取方法，其特征在于包括如下步驟1) 利用兩個平行放置的攝像機分別拍攝得到左、右兩個視頻序列；2) 對圖像的邊緣點進行特征匹配,得到邊緣點的深度值；3) 根據邊緣點的深度值，將圖像分成幾個不同深度層次的區域，在每個區 域內，采用基于塊的分級塊大小的區域匹配，并計算每個塊的深度；4) 對每個塊邊界進行濾波以去除塊效應，使塊邊界過渡平滑。
2. 根據權利要求1所述的一種用于三維電視的分級圖像深度提取方法，其特 征在于所述的對圖像的邊緣點進行特征匹配，得到邊緣點的深度值步驟(a) 利用邊緣點檢測Sobel算法分別提取出左右圖像中邊緣像素點；(b) 對邊緣點采用特征匹配的方法在左右圖像中尋找出所有邊緣匹配點對；(C)根據匹配邊緣點對在左右兩幅圖像的像素坐標，計算出視差；(d) 根據匹配邊緣點對的視差值計算邊緣點的深度值。
3. 根據權利要求1所述的一種用于三維電視的分級圖像深度提取方法，其特 征在于所述的根據邊緣點的深度值，將圖像分成幾個不同深度層次的區域，在每個區域內，采用基于塊的分級塊大小的區域匹配，并計算每個塊的深度步驟(e) 根據邊緣點的深度值，將圖像分成幾個不同深度層次的區域；(f) 在左右圖像之間對每個區域,根據邊緣點匹配的結果進行亮度值校正；(g) 將每個區域分成若干個16X16塊，在區域內部16X16塊匹配中，確 定搜索區域；(h) 對每個16X16 ±央，以差值的平方和為匹配準則，進行基于塊的區域匹配；(i) 當16X16塊匹配中得到的差值平方和大于某個閾值1時,將16X16 塊分割成16個4X4塊，對每個4X4塊進行塊匹配；(j)當4X4塊匹配中得到的差值平方和大于某個閾值2時，將4X4塊進 一步分割成4個2 X 2 ±央，對每個2 X 2塊進行塊匹配；(k)對于區域邊緣非完整塊進行塊匹配和深度值加權。
全文摘要
本發明公開了一種用于三維電視的分級圖像深度提取方法。包括以下步驟(1)利用兩個平行放置的攝像機分別拍攝得到左、右兩個視頻序列；(2)對圖像的邊緣點進行特征匹配，得到邊緣點的深度值；(3)根據邊緣點的深度值，將圖像分成幾個不同深度層次的區域，在每個區域內，采用基于塊的分級塊大小的區域匹配，并計算每個塊的深度；(4)對每個塊邊界進行濾波以去除塊效應，使塊邊界過渡平滑。本發明利用的特征匹配和區域匹配相結合的方法，避免了單獨適用兩種匹配而導致的不足，得到一個精確而高密度的視差場；同時分級塊大小的匹配，可以很好地實現在處理速度和精確度上的折衷。
文檔編號H04N13/00GK101312539SQ200810062810
公開日2008年11月26日 申請日期2008年7月3日 優先權日2008年7月3日
發明者何賽軍, 馮雅美, 明 張, 李東曉, 冰 石, 謝賢海, 凱 駱 申請人:浙江大學