基于三維自組織映射的立體視頻視差估計方法
【專利摘要】本發明公開一種基于三維自組織映射的立體視頻視差估計方法，包括模式庫的訓練和視差模式識別兩個過程，先用3DSOM算法對視差序列樣本進行學習訓練，得到最佳匹配模式庫；再用3DSOM算法對視差序列每幀進行視差模式識別，得到視差預測圖。與傳統的基于塊的視差估計方法相比，本方法能得到更好的視差預測圖，并且計算量小。
【專利說明】
基于三維自組織映射的立體視頻視差估計方法
技術領域
[0001] 本發明涉及圖像處理技術領域，具體涉及一種基于三維自組織映射的立體視頻視 差估計方法。
【背景技術】
[0002] 視差估計作為立體視頻編碼的關鍵技術，已經得到越來越多的重視和關注，各種 算法也相繼提出。傳統視差估計算法大致可分為兩大類，一類是基于區域的視差估計，即把 圖像中的某一點或某一塊作為基本匹配單元，在另一幅圖像中搜索對應的點或塊，從而得 到各個點的視差，這類算法可以得到稠密的視差估計。根據匹配策略的不同，基于區域的視 差估計可以分為局部法和全局法。代表性的局部法是基于塊的方法，實現復雜度低。代表性 的全局算法有動態規劃法、圖割法和置信度傳播法等。全局法能得到比局部法更好的結果， 但是其計算復雜度高，不便于硬件實現。另一類是基于特征的視差估計，即利用圖像的自身 特征來實現匹配，這些特征包括一些特征點（如SIFT關鍵點等)或幾何結構。此類算法只能 得到稀疏的視差估計，且特征的提取比較復雜。可見，目前視差估計技術仍未成熟，沒有一 種具有普適性的視差估計方法，而且計算量巨大。

【發明內容】

[0003] 本發明所要解決的技術問題是提供一種基于三維自組織映射的立體視頻視差估 計方法，其能提高視差預測圖像的質量。
[0004] 為解決上述問題，本發明是通過以下技術方案實現的：
[0005] -種基于三維自組織映射的立體視頻視差估計方法，包括如下步驟：
[0006] 步驟1、對視差序列樣本進行不斷學習訓練，得到最佳匹配模式庫；
[0007]步驟1.1、對視差序列樣本的每幀圖像進行分塊，每個圖像塊為一個訓練矢量，共 得到含L個訓練矢量的訓練矢量集；
[0008] 步驟1.2、從訓練矢量集中選擇N個訓練矢量來構成初始化模式庫，該初始模式庫 中的訓練矢量稱為模式矢量，且初始模式庫中的模式矢量排列成三維立體結構;上述N< < L；
[0009] 步驟1.3、設定初始化鄰域函數；
[0010] 步驟1.4、輸入一個訓練矢量，并分別計算該訓練矢量與初始模式庫中的各個模式 矢量的失真，從中選擇出與訓練矢量失真最小的模式矢量作為獲勝模式矢量；
[0011] 步驟1.5、調整獲勝模式矢量及其三維鄰域范圍內的模式矢量；
[0012] 步驟1.6、返回步驟步驟1.3重新選擇一個訓練矢量，直到輸入完所有的訓練矢量， 得到最佳匹配模式庫；
[0013] 步驟2、對待估計的視差序列的每幀圖像進行分塊處理，并將這些待估計圖像塊與 最佳匹配模式庫中的模式矢量進行視差模式匹配，得到待估計的視差序列的預測圖。
[0014] 上述步驟1.2中，采用隨機法從訓練矢量集中選擇N個特征圖像塊來構成初始模式 庫。
[0015] 上述步驟1.4中，采用下式計算訓練矢量與模式矢量的失真山(t);
[0016] dj(t)=| |X(t)-ffj(t)2|
[0017] 其中，Wj(t)為模式矢量，X(t)為訓練矢量;j = 0，1，…，N-l，N為設定的三維自組織 映射網絡的大小;t = 0,1，…，L-l，L為訓練矢量集中訓練矢量的個數。
[0018] 上述步驟1.5中，根據下式調整獲勝模式矢量及其三維鄰域范圍內的模式矢量 \W ,{i) + a{l)[X{l)-W\1)\ ： ie. .U)
[則-叫，' ，
[0020] 其中，Wj(t+1)為第t+1次訓練時的模式矢量，Wj(t)為第t次訓練時的模式矢量，X (t)為訓練矢量，f為獲勝模式矢量，為獲勝模式矢量f在第 t次訓練時的鄰域函數，a (t)為第t次訓練時的學習速度函數;j = 0，1，…，N-l，N為設定的三維自組織映射網絡的大 小;t = 0，1，…，L-l，L為訓練矢量集中訓練矢量的個數。
[0021] 上述步驟2具體為：
[0022]步驟2.1、將待估計的視差序列的每幀分塊，其中待估計的視差序列的每幀分塊大 小與視差序列樣本的每幀分塊大小相一致；
[0023]步驟2.2、分別計算每一個待估計圖像塊與最佳匹配模式庫中各模式矢量的失真， 并選擇具有最小失真的模式矢量作為該圖像塊的預測塊；
[0024]步驟2.3、對待估計的視差序列的所有圖像進行步驟2.2的處理，得到待估計的視 差序列的預測圖。
[0025]與現有技術相比，本發明包括模式庫的訓練和視差模式識別兩個過程，先用3DS0M 算法對視差序列樣本進行學習訓練，得到最佳匹配模式庫;再用3DS0M算法對視差序列每幀 進行視差模式識別，得到視差預測圖。與傳統的基于塊的視差估計方法相比，本方法能得到 更好的視差預測圖，并且計算量小。
【附圖說明】
[0026] 圖1為視差模式庫的訓練過程。
[0027] 圖2為視差模式識別得到視差預測圖過程。
[0028]圖3為Exit序列視差預測圖像的PSNR分布情況。
[0029] 圖4為Vassar序列視差預測圖像的PSNR分布情況。
【具體實施方式】
[0030] 下面結合實施例，對本
【發明內容】
作進一步地詳細說明，但本發明的實施方式不限 于此。
[0031] 一種基于三維自組織映射的立體視頻視差估計方法，包括步驟如下：
[0032] 步驟1)對視差序列樣本進行不斷學習訓練，得到最佳匹配模式庫。參見圖1。
[0033]用3DS0M(三維自組織映射)算法對初始模式庫進行學習訓練，得到最佳匹配模式 庫。根據人腦神經元的組織原理所提出的自組織映射(S0M)算法，是一種具有自組織特性的 人工神經網絡算法。該算法模擬了人腦神經系統對某一圖形或某一頻率特定興奮的特征， 在模式識別和數據挖掘等領域得到了深入的研究和廣泛的應用，是一種高效的數據聚類方 法。SOM算法的核心是尋找最佳分類，即通過對大量的樣本序列的不斷學習和訓練，從而得 到最優匹配的模式庫。
[0034]為了提高視差模式庫的性能，本發明對S0M算法進行了改進，提出了一種三維自組 織映射算法(3DS0M)。三維S0M網絡結構及其算法能有效地將二維輸入映射為三維輸出，從 而實現三維信號的非線性映射。三維S0M網絡將映射層神經元排列成三維立體結構，三維立 體結構的行數、列數和層數可根據應用的需要選取不同的值，排列成不同的三維結構以適 應不同應用;通常三維鄰域形狀可選取球形鄰域、正方形鄰域或正交十字鄰域，選取不同的 三維鄰域形狀對算法的性能有一定的影響。S0M網絡與普通的競爭網絡一樣，對于每個輸入 模式，在映射層都有相應的獲勝節點，獲勝節點代表最相似的模式，該節點及其三維鄰域范 圍內的所有節點均按一定規則調整其權值。與二維平面結構鄰域相比，三維立體結構鄰域 在相等鄰域半徑內的節點數量增多，節點被調整的機會增加，因此，更有利于得到最佳匹配 的模式。
[0035]基于3DS0M算法的模式庫訓練步驟如下：
[0036] 步驟1.1)設定S0M網絡大小為(N，M)，其中N、M分別為模式庫的大小、模式庫中模式 矢量的大小。
[0037] 步驟1.2)對視差序列樣本的每幀分塊，塊的大小一般取8X8。每個圖像塊為一個 訓練矢量，共得到含L個訓練矢量的訓練矢量集{X(t);t = 0，l，…，L-1}。用隨機法從訓練矢 量集中選擇N(N< <L)個訓練矢量來構成初始化模式庫{Wj(0); j = 0，1，…，N-1}，并將初始 模式庫中的模式矢量排列成三維立體結構。隨機法就是從訓練矢量集中按固定的間隔抽取 訓練矢量。
[0038]步驟1 ? 3)將初始化鄰域設定為Nj(0)，j = 0，1，…，N-1。
[0039] 步驟1.4)輸入一個訓練矢量集中的訓練矢量X= (xi，X2，…，xm)t。
[0040] 步驟1.5)選擇均方誤差失真準則，均方誤差為山(t)=| |X(t)_WXt)2| |，分別計算 該訓練矢量與模式庫中各模式矢量的失真山（t);并選擇具有最小失真的模式矢量為獲勝 模式矢量f。
[0041] 步驟1.6)按式(1)調整獲勝模式矢量f及其三維鄰域⑴范圍內的模式矢量， 「 1，約，丄 n ?⑴+ _)[卻)-%(/)]: ,/乂/* 和/vr(〇 _2] W + ' clsc1 ⑴
[0043] 其中，〃/ (;)為鄰域函數，通常選用單調遞減函數~&卜為+_傘_"7>、六1分別為獲 勝模式矢量f的最小鄰域和最大鄰域，^為鄰域衰減常數。在訓練初始階段，鄰域半徑較大， 隨著訓練次數的增加，網絡逐漸趨于穩定，只需對獲勝節點進行較細微的權值調整，因而鄰 域半徑不斷縮小。a(t)為學習速度函數，它反映了模式矢量調整的幅度大小，一般選用單調 遞減函數沖) = .42#'式中A2為訓練開始時的最大學習速度，T2為學習衰減常數。
[0044] 步驟1.7)返回步驟步驟1.4)，直到輸入完訓練矢量集中所有的訓練矢量，即得到 最佳匹配模式庫。
[0045] 步驟2)對視差序列進行視差模式匹配，得到每幀的視差預測圖。參見圖2。
[0046] 對視差序列每幀分塊，塊的大小一般取8X8,然后在視差模式庫中尋找與子圖像 塊最匹配的視差模式作為該子塊圖像的預測塊。對所有子塊圖像進行處理后得到該幀的視 差預測圖。
[0047] 步驟2.1、將待估計的視差序列的每幀分塊，其中待估計的視差序列的每幀分塊大 小與視差序列樣本的每幀分塊大小相一致；
[0048] 步驟2.2、分別計算每一個待估計圖像塊與最佳匹配模式庫中各模式矢量的失真， 并選擇具有最小失真的模式矢量作為該圖像塊的預測塊；
[0049]采用均方誤差準則即下式來計算待估計圖像塊與最佳匹配模式庫中各模式矢量 的失真bW);
[0050] bjCt7 )= | |Y(t7 )2|
[0051 ]其中，Wj (V )為模式矢量，Y(V )為待估計圖像塊;j = 0，1，…，N-l，N為設定的三維 自組織映射網絡的大小;V =0，1，…，K-l，K為待估計圖像塊的個數。
[0052]步驟2.3、對待估計的視差序列的所有圖像進行步驟2.2的處理，得到待估計的視 差序列的預測圖。
[0053]為了說明本方法的性能，做了大量的仿真實驗，實驗采用標準立體視頻測試序列 Exi t、Vassar的第1、2視點，圖像分辨率為480 X 640，左右視點各8幀。重建圖像品質的客觀 評價采用峰值信噪比
式中EMSE為原始圖像與重建圖像之間的均方誤 差。在基于三維自組織映射的視差估計方法(3DS0M-DPR)中，圖像壓縮比為
式 中M為模式矢量的維數，Bo為原始圖像的每像素比特數，BC為模式矢量地址比特數。例如，模 式矢量大小為M = 8 X 8，模式庫大小設為2048，壓縮率為46.5。在基于塊的視差估計算法中， 塊的大小為M=8X8,橫向搜索范圍為[-31，32]，縱向搜索范圍為[-15,16]，壓縮率為46.5。 [0054] 圖3和圖4給出了 CFS-3DS0M-DPR方法與基于塊的方法的視差預測圖像的PSNR分布 情況，其中圖3為Exi t序列，圖4為Vas sar序列。表1給出了 3DS0M-DPR方法與基于塊的方法的 視差預測圖像的平均PSNR對比。由表1可以看出，由3DS0M-DPR方法得到的視差預測圖像的 平均峰值信噪比(PSNR)較基于塊的方法提高了0.14-0.48dB。
[0055]表1 3DS0M-DPR方法與基于塊的方法的比較結果(平均峰值信噪比/dB)
[0057]為了克服傳統視差估計算法的不足，改善視差補償預測的性能，本發明提出了基 于模式識別的視差估計算法，其視差預測編碼方案采用基于自組織映射算法(S0M)的圖像 模式識別作為視差預測器。實驗表明，3DS0M-DPR算法的視差預測圖像的平均峰值信噪比較 傳統基于塊的視差估計算法提_ 了0.14_0.48dB。
【主權項】
1. 基于三維自組織映射的立體視頻視差估計方法，其特征是，包括如下步驟： 步驟1、對視差序列樣本進行不斷學習訓練，得到最佳匹配模式庫； 步驟1.1、對視差序列樣本的每幀圖像進行分塊，每個圖像塊為一個訓練矢量，共得到 含L個訓練矢量的訓練矢量集； 步驟1.2、從訓練矢量集中選擇N個訓練矢量來構成初始化模式庫，該初始模式庫中的 訓練矢量稱為模式矢量，且初始模式庫中的模式矢量排列成三維立體結構;上述N< <L; 步驟1.3、設定初始化鄰域函數； 步驟1.4、輸入一個訓練矢量，并分別計算該訓練矢量與初始模式庫中的各個模式矢量 的失真，從中選擇出與訓練矢量失真最小的模式矢量作為獲勝模式矢量； 步驟1.5、調整獲勝模式矢量及其三維鄰域范圍內的模式矢量； 步驟1.6、返回步驟步驟1.3重新選擇一個訓練矢量，直到輸入完所有的訓練矢量，得到 最佳匹配模式庫； 步驟2、對待估計的視差序列的每幀圖像進行分塊處理，并將這些待估計圖像塊與最佳 匹配模式庫中的模式矢量進行視差模式匹配，得到待估計的視差序列的預測圖。2. 根據權利要求1所述基于三維自組織映射的立體視頻視差估計方法，其特征是，步驟 1.2中，采用隨機法從訓練矢量集中選擇N個訓練矢量來構成初始模式庫。3. 根據權利要求1所述基于三維自組織映射的立體視頻視差估計方法，其特征是，步驟 1.4中，采用下式計算訓練矢量與模式矢量的失真山(t); dj(t)= I |x(t)-ffj(t) 112 其中，Wj(t)為模式矢量，X(t)為訓練矢量；j = 0，1，…，N-l，N為設定的三維自組織映射 網絡的大小;t = 0,1，…，L_1，L為訓練矢量集中訓練矢量的個數。4. 根據權利要求1所述基于三維自組織映射的立體視頻視差估計方法，其特征是，步驟 1.5中，根據下式調整獲勝模式矢量及其三維鄰域范圍內的模式矢量其中，Wj (t+1)為第t+1次訓練時的模式矢量，Wj (t)為第t次訓練時的模式矢量，X⑴為 訓練矢量，f為獲勝模式矢量，〃/⑴為獲勝模式矢量f在第t次訓練時的鄰域函數，a(t)為 第t次訓練時的學習速度函數;j = 0，1，…，N-1，N為設定的三維自組織映射網絡的大小;t = 0，1，…，L-l，L為訓練矢量集中訓練矢量的個數。5. 根據權利要求1所述基于三維自組織映射的立體視頻視差估計方法，其特征是，步驟 2具體為： 步驟2.1、將待估計的視差序列的每幀分塊，其中待估計的視差序列的每幀分塊大小與 視差序列樣本的每幀分塊大小相一致； 步驟2.2、分別計算每一個待估計圖像塊與最佳匹配模式庫中各模式矢量的失真，并選 擇具有最小失真的模式矢量作為該圖像塊的預測塊； 步驟2.3、對待估計的視差序列的所有圖像進行步驟2.2的處理，得到待估計的視差序 列的預測圖。
【文檔編號】H04N19/597GK105959701SQ201610317547
【公開日】2016年9月21日
【申請日】2016年5月13日
【發明人】黎洪松, 程福林
【申請人】桂林電子科技大學