一種基于gpu處理器的雙目3d畸變矯正方法
【專利摘要】本發明公開了一種基于GPU處理器的雙目3D畸變矯正方法，使用GPU對左右眼畫面進行分割，獲取主要前景物體，將中心點附件物體置于零平面；對前景物體進行特征點篩選配準；對左右眼畫面進行旋轉和縮放校正；根據平移量調節視差，處理后的左右眼畫面，對比左右眼原始畫面，首先是圖像邊緣畸變減小了很多，其次原先的左右眼圖像不在同一平面的問題也得到了解決，然后圖像邊緣黑邊問題也基本不存在了，最后再對比左右眼畫面視差，圖像視差也減小了，目的畫面相比原始畫面明顯提升了觀看的舒適度。
【專利說明】
-種基于GPU處理器的雙目3卵奇變矯正方法
技術領域
[0001 ]本發明設及一種基于GPU處理器的雙目3D崎變矯正方法。
【背景技術】
[0002] 近年來，W娃基液晶、娃基OLm)為典型代表的微顯示技術得到了迅速發展，與此同 時，3D成像及顯示技術也于近期得到飛速發展，相應的產品在軍事、野外探測、醫學等方面 已經較為普及，特別是得力于大屏幕平板顯示器(液晶顯示面板、PDP顯示面板)迅速普及， 在民用領域內的3D成像設備也屢見不鮮。根據對人眼的3D成像視差原理的研究得出，雙目 3D成像技術理論上是最為真實的3D成像手段。
【發明內容】
[0003] 本發明的目的在于克服現有技術的不足，提供一種基于GPU處理器的雙目3D崎變 矯正方法，使用GPU對左右眼畫面進行分割，獲取主要前景物體，將中屯、點附件物體置于零 平面;對前景物體進行特征點篩選配準;對左右眼畫面進行旋轉和縮放校正;根據平移量調 節視差。
[0004] 本發明的目的是通過W下技術方案來實現的：一種基于GPU處理器的雙目3D崎變 矯正方法，它包括如下步驟：
[0005] SI:對攝像機拍攝的左右眼畫面LImgl和RImgl進行攝像機標定，計算出攝像機的 內部參數，得到徑向崎變和切向崎變信息，計算公式如下：
[0006] A." = X,/ U + V;2) + (誠 + 記）+ 如4而記
[0007] 義,=扔(1+)+足4 (為 +3切+2如斯
[000引其中，,;/=為+廟心<1，74)為理想投影坐標，（別，7。)為實際投影坐標，化1山)為攝 像機徑向崎變，化3，k4 )為切向崎變；
[0009] S2:將左右眼畫面LImgl和RImgl上行到GPU中，使用Sl得到的公式，逐像素對原始 左右眼畫面進行內部參數的崎變校正，得到LImg2和RImg2;
[0010] S3:對崎變校正后的左右眼畫面LImg2和RImg2在GPU中進行邊緣提輪廓提取和圖 像分割，分別獲取左右眼畫面的主要前景物體序列LOb j和ROb j ;
[0011] S4:在GPU中對左右眼畫面的主要前景物體序列LObj和RObj進行特征提取，分別得 到LOb j和ROb j的旋轉、平移和縮放信息；
[0012] S5:計算LObj和RObj的平均平移量，進而計算出拍攝3D視頻畫面的攝像機間的相 對距離；
[0013] S6:根據LObj和RObj的平均旋轉和縮放信息，對左右眼畫面LImg2和RImg2進行相 向的旋轉和縮放校正，從而將左右眼畫面旋轉至同一個角度和保證左右眼畫面主要前景物 體大小一致，得到左右眼校正匹配后的畫面LIm的和RIm的；
[0014] S7:根據校正結果畫面LImg3和RImg3,計算出左右眼中距離中屯、點最近的主要前 景物體作為攝像機零平面，并依據左右眼最佳視差在2%到3%之間的經驗值，結合3D視頻 拍攝時左右眼攝像機的距離，參考LObj和RObj的平均平移量，對左右眼畫面的視差進行調 節，最后得到處理完畢的左右眼畫面LIm曲和RIm曲。
[0015] 步驟Sl中所述的攝像機標定使用含有棋盤或網格線的圖像進行自動標定或使用 手動方式選出多條平行直線進行標定。
[0016] 步驟S3中圖像分割采用有限聚類思想的適合GPU計算的圖像分割算法，此算法包 括如下流程步驟：
[0017] a.將待處理圖像上行到GPU中記做ImgA,對ImgA中的每個像素從左上角到右下角 按照行列順序從0開始依次賦值，將此信息上行至化PU中記做InfoA;
[001引b.將ImgA圖像分割為8*8的子圖像塊，利用GPU的并行性同時對子圖像塊按照顏色 和距離信息進行子聚類，并將聚類結果記錄在InfoA中；
[0019] C.將上一步驟得到的ImgA的子圖像塊上下左右四個為一組，看做新的子圖像塊， 根據子圖像塊邊界像素值信息對Inf OA進行合并；
[0020] d.對合并后得到的ImgA的新子圖像塊按照顏色和距離信息進行子聚類，并將聚類 結果記錄在InfoA中；
[0021] e.回退到步驟C順序執行，直到整個圖像ImgA只有一個子圖像塊，則停止聚類，執 行步驟f;
[0022] f.對InfoA記錄的信息捜索8鄰域，將孤立的點或小塊進行吸收合并，則最終InfoA 記錄的就是ImgA的圖像分割結果。
[0023] 步驟S4中采用GPU優化的SURF算法，提取Lobj和Robj的特征點，使用歐式距離計算 得到特征點的相似度，依據相似度進行排序，取前二分之一特征點進行配準，通過RANSAC算 法對配對的特征點進行檢驗篩選，計算出Lobj和Robj的旋轉、平移和縮放信息。
[0024] 所述的計算縮放信息時選取距離畫面中屯、點最近的物體作為標準進行計算，加速 縮放信息的計算。
[0025] 本發明的有益效果是:本發明提供了一種基于GPU處理器的雙目3D崎變矯正方法， 使用GPU對左右眼畫面進行分割，獲取主要前景物體，將中屯、點附件物體置于零平面;對前 景物體進行特征點篩選配準;對左右眼畫面進行旋轉和縮放校正;根據平移量調節視差。
【附圖說明】
[0026] 圖1為本發明方法的流程圖；
[0027] 圖2為雙目3時暴像機成像模型示意圖。
【具體實施方式】
[0028] 下面結合附圖進一步詳細描述本發明的技術方案，但本發明的保護范圍不局限于 W下所述。
[0029] 如圖2所示為雙目3時暴像機成像模型示意圖，圖1中，Cl和C2為左右眼攝像機的角 點位置，（xl，yl，zl)和（x2，y2，z2)分別為左右眼攝像機的相機坐標系，（xl，0Il，yl)和 (x2,0I2，y2)分別為左右眼攝像機的像平面，世界坐標系中的點（Xw，Yw，Zw)在左右眼攝像 機的像平面的投影分別為(X1，Y1WP(X2，Y2)。
[0030] 本發明的技術方案W圖2所示模型為基礎，進行闡述。本發明的技術方案實現，由 W下幾個步驟來完成。
[0031] 如圖1所示，一種基于GPU處理器的雙目3D崎變矯正方法，它包括如下步驟：
[0032] SI:輸入顏色格式為BGRA的左眼原始畫面LImgl和右眼原始畫面RImgl到內存，對 攝像機拍攝的左右眼畫面LImgl和RImgl進行攝像機標定，計算出攝像機的內部參數，得到 徑向崎變和切向崎變信息，攝像機標定使用含有棋盤或網格線的圖像進行自動標定或使用 手動方式選出多條平行直線進行標定，計算公式如下：
[0033]
[0034]
[003引 ：標，（xu，yu)為實際投影坐標，（ki，k2)為攝 像機徑向崎變，化3，k4 )為切向崎變；
[0036] S2:將左右眼畫面LImgl和RImgl上行到GPU中，使用Sl得到的公式，逐像素對原始 左右眼畫面LImgl和RImgl進行內部參數的崎變校正，得到校正之后的左右眼畫面LImg2和 民Img2;
[0037] S3:使用有限聚類方法的GHJ圖像分割算法對崎變校正后的左右眼畫面LImg2和 RImg2在GPU中進行邊緣提輪廓提取和圖像分割，分別獲取左右眼畫面的主要前景物體序列 LOb j 和ROb j ;
[003引 S4:使用SURF算法對步驟3得到的左右眼前景物體序列LObj和RObj進行特征提取， 得到左右眼前景物體對應的特征點，再使用歐氏距離計算得到特征點相似度，并根據相似 度排序，之后取相似度前二分之一的特征點進行配準。接著使用RANSAC算法對配對的特征 點進行檢驗篩選，最終計算出左右眼前景物體序列LObj和RObj的旋轉、平移和縮放信息;計 算縮放信息時選取距離畫面中屯、點最近的物體作為標準進行計算，加速縮放信息的計算；
[0039] S5:根據左右眼前景物體序列LObj和RObj的旋轉、平移和縮放信息，計算得到平均 旋轉、平均平移和平均縮放信息，根據平均平移信息計算出拍攝左右眼原始畫面的雙目攝 像機間的相對距離；
[0040] S6:根據崎變校正之后的左右眼畫面LImg2和RImg2進行反向旋轉和縮放，從而將 左右眼畫面旋轉到相同的角度位置并且保證了左右眼畫面主要前景物體大小一致，得到左 右眼校正匹配后的畫面LImg3和RImg3;
[0041 ] S7:根據校正結果畫面LImg3和RImg3,計算出左右眼中距離中屯、點最近的主要前 景物體作為攝像機零平面，然后根據左右眼視差范圍在2%到3%的經驗值，結合步驟5計算 得出的拍攝左右眼視頻的雙目攝像機間的距離，參考左右眼前景物體序列LObj和RObj的平 均平移量，對左右眼畫面視差進行調節，最后得到處理完畢的左右眼畫面LIm曲和RIm曲。
[0042] 將最終左右眼畫面LIm曲和RIm曲從GPU上下行到左右眼內存數據中，并將內存數 據作為目的輸出返回。
[0043] 步驟S3中圖像分割采用有限聚類思想的適合GPU計算的圖像分割算法。下面描述 一下此算法的流程步驟:a.將待處理圖像上行到GPU中記做ImgA,對ImgA中的每個像素從左 上角到右下角按照行列順序從0開始依次賦值，將此信息上行到GPU中記做InfoA;b.將ImgA 圖像分割為8*8的子圖像塊，利用GPU的并行性同時對子圖像塊按照顏色和距離信息進行子 聚類，并將聚類結果記錄在InfoA中；C.將上一步驟得到的ImgA的子圖像塊上下左右四個為 一組，看做新的子圖像塊，根據子圖像塊邊界像素值信息(顏色和距離)對InfoA進行合并； d.對合并后得到的ImgA的新子圖像塊按照顏色和距離信息進行子聚類，并將聚類結果記錄 在InfoA中；e.回退到步驟C順序執行，直到整個圖像ImgA只有一個子圖像塊，則停止聚類， 執行步驟f;f.對InfoA記錄的信息捜索8鄰域，將孤立的點或小塊進行吸收合并，則最終 I nf oA記錄的就是ImgA的圖像分割結果。
[0044]本發明的雙目3D崎變矯正方法矯正后的左右眼畫面圖像邊緣崎變減小了很多，其 次原先的左右眼圖像不在同一平面的問題也得到了解決，然后圖像邊緣黑邊問題也基本不 存在了，最后再對比左右眼畫面視差，圖像視差也減小了，目的畫面相比原始畫面明顯提升 了觀看的舒適度。
【主權項】
1. 一種基于GPU處理器的雙目3D畸變矯正方法，其特征在于:它包括如下步驟： S1:對攝像機拍攝的左右眼畫面LImg 1和RImg 1進行攝像機標定，計算出攝像機的內部 參數，得到徑向畸變和切向畸變信息，計算公式如下：其中，€ = 4 + ,A)為理想投影坐標，（Xu，^)為實際投影坐標，（h，k2)為攝像機 徑向畸變，（k3，k4)為切向畸變； S2:將左右眼畫面LImgl和RImgl上行到GPU中，使用Sl得到的公式，逐像素對原始左右 眼畫面進行內部參數的畸變校正，得到LImg2和RImg2; S3:對畸變校正后的左右眼畫面LImg2和RImg2在GPU中進行邊緣提輪廓提取和圖像分 害J，分別獲取左右眼畫面的主要前景物體序列LObj和RObj; S4:在GI3U中對左右眼畫面的主要前景物體序列LOb j和ROb j進行特征提取，分別得到 LOb j和ROb j的旋轉、平移和縮放信息； S5:計算LObj和RObj的平均平移量，進而計算出拍攝3D視頻畫面的攝像機間的相對距 離； S6:根據LObj和RObj的平均旋轉和縮放信息，對左右眼畫面LImg2和RImg2進行相向的 旋轉和縮放校正，從而將左右眼畫面旋轉至同一個角度和保證左右眼畫面主要前景物體大 小一致，得到左右眼校正匹配后的畫面LImg3和RImg3; S7:根據校正結果畫面LImg3和RImg3,計算出左右眼中距離中心點最近的主要前景物 體作為攝像機零平面，并依據左右眼最佳視差在2 %到3 %之間的經驗值，結合3D視頻拍攝 時左右眼攝像機的距離，參考LObj和RObj的平均平移量，對左右眼畫面的視差進行調節，最 后得到處理完畢的左右眼畫面LImgD和RlmgD。2. 根據權利要求1所述的一種基于GPU處理器的雙目3D畸變矯正方法，其特征在于：步 驟Sl中所述的攝像機標定使用含有棋盤或網格線的圖像進行自動標定或使用手動方式選 出多條平行直線進行標定。3. 根據權利要求1所述的一種基于GPU處理器的雙目3D畸變矯正方法，其特征在于：步 驟S3中圖像分割采用有限聚類思想的適合GPU計算的圖像分割算法，此算法包括如下流程 步驟： a. 將待處理圖像上行到GPU中記做I mgA，對I mgA中的每個像素從左上角到右下角按照 行列順序從〇開始依次賦值，將此信息上行到GHJ中記做InfoA; b. 將ImgA圖像分割為8*8的子圖像塊，利用GPU的并行性同時對子圖像塊按照顏色和距 離信息進行子聚類，并將聚類結果記錄在InfoA中； c. 將上一步驟得到的ImgA的子圖像塊上下左右四個為一組，看做新的子圖像塊，根據 子圖像塊邊界像素值信息對InfoA進行合并； d. 對合并后得到的ImgA的新子圖像塊按照顏色和距離信息進行子聚類，并將聚類結果 記錄在InfoA中； e. 回退到步驟c順序執行，直到整個圖像ImgA只有一個子圖像塊，則停止聚類，執行步 驟f; f.對InfoA記錄的信息搜索8鄰域，將孤立的點或小塊進行吸收合并，則最終InfoA記錄 的就是ImgA的圖像分割結果。4. 根據權利要求1所述的一種基于GPU處理器的雙目3D畸變矯正方法，其特征在于：步 驟S4中采用GPU優化的SURF算法，提取Lobj和Robj的特征點，使用歐式距離計算得到特征點 的相似度，依據相似度進行排序，取前二分之一特征點進行配準，通過RANSAC算法對配對的 特征點進行檢驗篩選，計算出Lobj和Robj的旋轉、平移和縮放信息。5. 根據權利要求4所述的一種基于GPU處理器的雙目3D畸變矯正方法，其特征在于：所 述的計算縮放信息時選取距離畫面中心點最近的物體作為標準進行計算，加速縮放信息的 計算。
【文檔編號】G06T7/00GK106023170SQ201610318480
【公開日】2016年10月12日
【申請日】2016年5月13日
【發明人】余剛, 王高飛, 李廣群
【申請人】成都索貝數碼科技股份有限公司