一種基于深度信息的多幅圖超分辨方法
【技術領域】
[0001] 本發明涉及圖像處理領域，特別是涉及一種基于深度信息的多幅圖超分辨方法。
【背景技術】
[0002] 在很多場合，由于設備或工作環境的限制，導致得到的圖像質量很低，不利于下一 步的工作開展，因此獲得更高的圖像質量是非常必要的。
[0003] 最直接獲取高質量圖像的方法是提高圖像獲取設備的性能，這就要求進一步減小 圖像傳感器的尺寸，然而在傳感器技術中這存在一個極限，當傳感器尺寸小到一定程度同 樣導致圖像質量不可避免的降低，這是因為隨著傳感器尺寸的降低，而噪聲卻不會變少，因 此信號中噪聲的比重就提高了。同時，這種方法的代價成本很高。因此，利用軟件上對圖像 的超分辨技術就是一個不錯的選擇。
[0004] 超分辨技術是指利用一組低分辨圖像，克服或補償圖像獲取設備或惡劣的獲取條 件帶來的限制從而得到更高分辨率的圖像恢復技術，超分辨技術的本質是重組或補償圖像 的細節信息，尤其是高頻信息，讓這些信息更加系統、全面，有利于圖像的識別和理解。
[0005] 現有的超分辨技術仍存在一些基本問題，比如很多文章都限定其算法在某種特定 情形之下性能較好，換一種場合效果可能就顯著降低，因而不具有普適性，而在實際情形 中，環境是多變的，算法的局限性就意味著本身存在不合理之處。例如，在多幅圖超分辨中 都有圖像配準這個環節，現有的方法注意力都集中在如何計算出的視差計算方法更準確， 為此有很多種配準方法，比如有基于光流法的，有基于單應性矩陣的，有基于運動矢量的， 有在頻域實現配準的，還有其它類似的方法。然而，光流法雖然本質上是合理的，但是過于 簡單粗糙，精度上是不夠的，這就意味著誤差會很大，因而最終超分辨結果也不會令人滿 意；基于單應性矩陣的這類方法本質上也是計算視點變換的運動矢量，這個方法理論上精 度更高，但是這方法是存在問題的，它假設場景中所有的像素的視點變換的運動矢量是一 樣的，這就意味著假定場景中所有像素不存在深度差異，這和實際場景不一致，實際情形 是，在場景中深度較小（較近）的對象在視點變換之后的視差較大，深度較大的對象則視差 較小，這就說明不可以用同一個運動矢量來描述視點變換矩陣，最終超分辨結果必然有錯 誤，而運動估計的問題也直接影響到最后超分辨率（SR)圖像恢復的質量。

【發明內容】

[0006] 本發明的主要目的在于克服現有技術的不足，針對多幅圖超分辨不同視點之間圖 像配準提出了基于深度信息配準的新方法，提供一種基于深度信息的多幅圖超分辨方法。
[0007] 為實現上述目的，本發明采用以下技術方案：
[0008] -種基于深度信息的多幅圖超分辨方法，包括以下步驟：
[0009]a.獲取一組同一場景、不同參考視點的低分辨率圖像以及對應的一組同等分辨率 的深度圖；
[0010]b.利用深度信息確定每個參考視點的圖像中的每個像素投影到指定視點位置的 視差大小，從而得到該像素在指定視點的位置；
[0011]c.將參考視點的低分辨率圖像投影至指定視點，將每幅圖像中的信息融合在一 起，得到一幅高分辨率圖像。
[0012] 本發明中，低分辨率圖像和高分辨率圖像，分辨率的高低是兩者之間相比較而言 的。
[0013] 進一步地：
[0014] 步驟b包括以下步驟：
[0015] bl.將參考視點的二維坐標轉換到三維世界坐標系中的世界坐標；
[0016] b2.將世界坐標轉換到指定視點的二維坐標。
[0017] 步驟bl包括：
[0018] 利用參考視點的深度信息，通過以下公式實現參考視點中的一個像素（u,，v,)變 換到世界坐標（Xw，Yw，Zw):
[0019]
[0020] 其中，r表示第r個參考視點，z1?是參考視點在（uuvj位置對應的深度值，其通過 下面的公式計算得到：
[0021]
[0022] 其中，v是歸一化之后的深度值，Zn_是真實深度值中距離拍攝低分辨率圖像的相 機最近的深度，Zfm是真實深度值中距離相機最遠的深度；
[0023] A為相機內部參數：
[0024]
[0025] 其中，ax=fmx,ay=fmy,f是焦距，nvfPmy是圖像不是正方形時引入的非等量尺 度因子，X。和是考慮到非等量尺度因子的圖像原點和相機主點的中心偏移量，xfmxpx， yQ=niyPppjPpy是相機主點在圖像坐標中的坐標，即相機主點在圖像原點的偏移，s是扭 曲參數；
[0026] R，t屬于相機外部參數，R是旋轉系數，為一個3X3旋轉矩陣，t是平移矢量， r= 為一個平移矩陣，6表示相機中心在世界坐標系中的坐標。
[0027] 步驟b2包括：
[0028] 通過以下公式將世界坐標（Xw，Yw，Zw)，投影到指定的中心視點（u。，V。）：
[0029]
[0030] 其中，c表示指定的中心視點，z。表示在中心視點處圖像的深度值，A3x3，。表示在中 心視點處相機坐標系轉化為二維圖像坐標系的相機內部參數，R3x3，。表示在中心視點處世界 坐標系轉化為相機坐標系的旋轉系數，t3xl，。是表示相機中心在世界坐標系中的方位的平移 矩陣。
[0031] 步驟b包括：
[0032] 設定參考視點的低分辨率圖像的分辨率為mXn，對應的高分辨率圖像的分辨率為 MXN，指定中心視點的高分辨率圖像的分辨率為MXN，參考視點的低分辨率圖像中某一不 為零的像素（^，^)經放大之后坐標為（I，V》，指定中心視點的高分辨率圖像的像素坐標 為（U。，V。)，坐標對應關系：(U,.,V,.)^(Uc,Vf),
[0033] 以大小為（MN)X(MN)的視點變換矩陣W描述參考視點的低分辨率圖像對應的高 分辨率圖像乙中每個像素位置和指定中心視點的高分辨率圖像X。中像素位置的對應關 系：
[0034]Yr=ffr,cXc (8)
[0035]W。。是視點變換矩陣，X。是指定中心視點的高分辨率圖像中像素坐標位置，是低 分辨率圖像對應的高分辨率圖像的像素坐標位置，
[0036] 由上面得到的坐標對應關系兄）G(U,.，Ve)，在矩陣W的第（U，VJ行、第 (KXV。）列的位置上值取1，在沒有這種坐標對應關系的位置取零，從而確定視點變換矩陣W；
[0037]利用公式（8)中的視點變換矩陣W并結合以下公式（2)，以獲得指定中心視點的高 分辨率圖像；
[0038]yi=DBWiX+ei (1)
[0039] 其中，yi是一組低分辨率圖像中第i幅圖像，X是待求的高分辨率圖像，Wi是第i 個視點轉換配準矩陣，B是模糊矩陣，D是降采樣矩陣，ei是噪聲，將所有視點的低分辨率圖 像代入上面的公式得到：
[0040]y=MX+e(2)
[0041]其中，
[0042]
[0043] 步驟c中采用插值方法得到高分辨率圖像，所述插值方法包括配準環節、插值環 節和去模糊環節。
[0044] 所述插值方法選自最近鄰插值法、非均勻插值法、運動最小方差插值法、迭代后向 投影法以及凸集投影法中的任一種。
[0045] 本發明是一種基于深度信息的多幅圖超分辨方法，輸入對象是一組低分辨率圖像 以及對應的一組深度圖，利用深度信息計算出每個視點圖像中的每個像素投影到指定視點 位置的視差大小，從而得到該像素在指定中心視點的位置，可實現不同視點的投影，再通過 圖像恢復技術將這些信息融合便得到一幅高分辨率圖像，還可經過一些后續圖像增強技術 的處理得到最終的高分辨圖像。同一場景不同視點的低分辨率圖像，該場景中的對象允許 有深度變化。每一個視點的圖像和深度圖是對應成對的，有同樣的尺寸，這樣保證每個像素 位置都有深度信息，這樣可保證每個像素點都能確定的計算視點變換之后的位置，同樣也 保證了視點變換的