一種基于自適應分塊的自由立體顯示內容生成方法
【技術領域】
[0001] 本發明屬于多視點自由立體顯示技術領域，具體涉及一種基于自適應分塊的自由 立體顯示內容生成方法。
【背景技術】
[0002] 多視點自由立體顯示技術由于在顯示端需要多個視點的圖像，故傳統的方式是在 拍攝過程中采用多個（一般是8~16個）相同的攝像機共同工作，從而獲取到多視點視 頻。在片源的獲取上，多個攝像機的協同工作增加了攝像機同步和后續的預處理的難度，另 外多個視點的圖像也不可避免會成比例地增加數據量，增加存儲和傳輸的負擔。考慮到目 前已存在的數目眾多的傳統的雙目3D片源，視點繪制是一種非常合適的解決方法。該方法 可利用現有的雙目3D視頻，繪制出所需的多個虛擬視點圖像，供多視點自由立體顯示系統 播放。
[0003] 學術界主流的多視點繪制算法是基于圖像的虛擬視點繪制算法，特別是基于深度 圖像的視點繪制算法〇)IBR)。DIBR的前提條件是視點的深度信息，這一般是通過立體匹配 獲取的。DIBR實際上是視點中像素點在空間中的兩次映射，首先，在深度信患和原始視點的 相機參數的指導下，將原始視點中的像素點投影到真實三維空間中，之后利用虛擬視點的 相機參數，將三維空間中的像素點投影回虛擬相機平面，得到虛擬視點圖像。由于視點間的 遮擋，生成的虛擬視點圖像中還會有空洞，需要另外做空洞填補。這種方法的技術難點在于 利用立體匹配得到精確的深度圖、后期的空洞填補問題和實際應用中相機參數的缺失。
[0004] 基于稀疏特征的視點繪制算法回避了DIBR中深度獲取和空洞填補兩大難題，利 用圖像的關注度和稀疏可靠的特征點計算視點間的映射關系。但這種方法也存在著一定的 問題，由于相同分塊內的像素點采取的是相同的線性映射的關系，分塊過大會導致分塊內 同時存在兩個或多個深度層次的物體，則這種映射關系就可能導致這個分塊內的某個物 體的映射關系被另一個物體所影響，導致相鄰兩個塊之間發生明顯的扭曲現象。然而，單純 減少分塊大小的辦法會導致求解能量方程的時間急劇增加，不能滿足較高的實時性要求。
【發明內容】
[0005] 針對現有技術所存在的上述技術問題，本發明提供了一種基于自適應分塊的自由 立體顯示內容生成方法，避免同一分塊中不同物體的映射關系相互影響，使得通過非線性 圖像扭曲得到的虛擬視點圖像在部分細節上更為自然，瑕疵更少。
[0006] -種基于自適應分塊的自由立體顯示內容生成方法，包括如下步驟：
[0007] (1)獲取立體視頻中包含左右視圖的當前幀圖像；
[0008] (2)通過計算當前幀圖像和上一幀圖像的相似度，判斷當前幀圖像在時域上是否 連續；
[0009] (3)提取當前幀左右視圖中對應的特征點；
[0010] (4)對左視圖或右視圖進行虛擬分塊并計算每個單元塊的關注度，進而根據所述 的關注度將各單元塊合并成若干個自適應塊；
[0011] (5)將左視圖或右視圖的結構約束、視差約束以及時域約束量化成能量項的形式 并加權疊加成一個總能量項E;
[0012] (6)對所述的總能量項E進行最小化求解，得到左視圖或右視圖中各特征點以及 各自適應塊頂點在虛擬視圖中的實際橫坐標；
[0013] (7)根據特征點以及自適應塊頂點在虛擬視圖中的實際橫坐標，通過幾何計算得 到自適應塊內各單元塊頂點在虛擬視圖中的實際橫坐標，進而求得單元塊內各像素在虛擬 視圖中的實際橫坐標；最后通過像素坐標映射生成虛擬視圖。
[0014] 所述的步驟（2)中，對于攝像機固定而場景中物體運動的情況下，采用計算三通 道圖像峰值信噪比比率的方法來判斷當前幀圖像在時域上是否連續；對于攝像機相對整個 場景移動的情況下，采用計算結構相似度的方法來判斷當前幀圖像在時域上是否連續。
[0015] 所述的步驟⑶中，采用稀疏特征點和稠密特征點相結合的方法提取 當前幀左右視圖中對應的特征點；其中，稀疏特征點采用ORB(OrientedBinary RobustlndependentElementaryFeatures)算法的方式檢測、描述和匹配；稠密特征點采用 均勻采樣的立體匹配方式尋找，并且對于采納匹配的置信度設置門限。
[0016] 所述的步驟（4)中，比較相鄰兩個單元塊的關注度差值，若差值小于預設的閾值， 則將這兩個單元塊進行合并。
[0017] 所述的總能量項E的表達式如下：
[0018] E=AdEd+AhEh+AvEv+AtEt
[0019] 其中：ED、EH、E#PET分別為視差能量項、水平能量項、垂直能量項和時域能量項， 入…入…入斤入辦辦^^和:對應的權重因子。
[0020]所述的視差能量項ed的表達式如下：
[0021]
【主權項】
1. 一種基于自適應分塊的自由立體顯示內容生成方法，包括如下步驟： (1) 獲取立體視頻中包含左右視圖的當如幀圖像； (2) 通過計算當前幀圖像和上一幀圖像的相似度，判斷當前幀圖像在時域上是否連 續； (3) 提取當前幀左右視圖中對應的特征點； (4) 對左視圖或右視圖進行虛擬分塊并計算每個單元塊的關注度，進而根據所述的關 注度將各單元塊合并成若干個自適應塊； (5) 將左視圖或右視圖的結構約束、視差約束以及時域約束量化成能量項的形式并加 權疊加成一個總能量項E ; (6) 對所述的總能量項E進行最小化求解，得到左視圖或右視圖中各特征點以及各自 適應塊頂點在虛擬視圖中的實際橫坐標； (7) 根據特征點以及自適應塊頂點在虛擬視圖中的實際橫坐標，通過幾何計算得到自 適應塊內各單元塊頂點在虛擬視圖中的實際橫坐標，進而求得單元塊內各像素在虛擬視圖 中的實際橫坐標；最后通過像素坐標映射生成虛擬視圖。
2. 根據權利要求1所述的自由立體顯示內容生成方法，其特征在于：所述的步驟（2) 中，對于攝像機固定而場景中物體運動的情況下，采用計算三通道圖像峰值信噪比比率的 方法來判斷當前幀圖像在時域上是否連續；對于攝像機相對整個場景移動的情況下，采用 計算結構相似度的方法來判斷當前幀圖像在時域上是否連續。
3. 根據權利要求1所述的自由立體顯示內容生成方法，其特征在于：所述的步驟（3) 中，采用稀疏特征點和稠密特征點相結合的方法提取當前幀左右視圖中對應的特征點；其 中，稀疏特征點采用ORB算法的方式檢測、描述和匹配；稠密特征點采用均勻采樣的立體匹 配方式尋找，并且對于采納匹配的置信度設置門限。
4. 根據權利要求1所述的自由立體顯示內容生成方法，其特征在于：所述的步驟（4) 中，比較相鄰兩個單元塊的關注度差值，若差值小于預設的閾值，則將這兩個單元塊進行合 并。
5. 根據權利要求1所述的自由立體顯示內容生成方法，其特征在于：所述的總能量項E 的表達式如下： E = λ dEd+ λ ηΕη+ λ νΕν+ λ ΤΕΤ 其中：ED、EH、EjP Et分別為視差能量項、水平能量項、垂直能量項和時域能量項，λ D、 λΗ、λ#Ρ λ τ分別為ED、EH、EV和ET對應的權重因子。
6. 根據權利要求5所述的自由立體顯示內容生成方法，其特征在于：所述的視差能量 項Ed的表達式如下：
豐見豐見St白勺<壬>牛寺點、##豐以豐見St白勺示豐黃示，χ特征力十亥 特征點在虛擬視圖中的理論橫坐標，Sme為該特征點所屬單元塊的關注度。
7. 根據權利要求5所述的自由立體顯示內容生成方法，其特征在于：所述的水平能量 項Eh的表達式如下：
其中：為左視圖或右視圖中的任一自適應塊右上頂點在虛擬視圖中的實際橫坐 標，i左上為該自適應塊左上頂點在虛擬視圖中的實際橫坐標，w為該自適應塊的上邊長，S左 ±為該自適應塊左上頂點所屬單元塊的關注度。
8. 根據權利要求5所述的自由立體顯示內容生成方法，其特征在于：所述的垂直能量 項Ev的表達式如下：
其中：為左視圖或右視圖中的任一自適應塊左下頂點在虛擬視圖中的實際橫坐 標，為該自適應塊左上頂點在虛擬視圖中的實際橫坐標，該自適應塊左下頂點 所屬單元塊的關注度。
9. 根據權利要求5所述的自由立體顯示內容生成方法，其特征在于：所述的時域能量 項Et的表達式如下：
其中：i為左視圖或右視圖中的任一自適應塊頂點在虛擬視圖中的實際橫坐標，為 該自適應塊頂點在前一幀虛擬視圖中的實際橫坐標，S為該自適應塊頂點所屬單元塊的關 注度。
【專利摘要】本發明公開了一種基于自適應分塊的自由立體顯示內容生成方法，包括：(1)獲取左右視圖；(2)提取左圖和右圖的對應特征點；(3)對圖像進行虛擬的分塊，分別計算左圖和右圖的關注度，并根據關注度進行自適應分塊；(4)將圖像結構約束、視差約束等約束項量化為能量項的形式，并加權疊加成一個總的能量項；(5)通過最小化總能量項，求解虛擬視點圖像與原始視點的映射函數；(6)根據視點間映射函數做反向映射，生成所需的多個虛擬視點。本發明通過對圖像進行基于關注度的自適應分塊，將不同物體分到不同分塊中去，避免同一分塊中不同物體的映射關系相互影響，使得通過非線性圖像扭曲得到的虛擬視點圖像在部分細節上更為自然，瑕疵更少。
【IPC分類】H04N13-00, H04N13-04
【公開號】CN104639932
【申請號】CN201410765445
【發明人】陶秋琰, 王梁昊, 李東曉, 張明
【申請人】浙江大學
【公開日】2015年5月20日
【申請日】2014年12月12日