一種基于多幀的魚眼視頻校正方法
【專利摘要】本發明公開的一種基于多幀的魚眼視頻校正方法，包括以下步驟：混合多幀灰度圖，從混合后的灰度圖中提取邊緣圖，通過邊緣圖求得外接圓參數；然后根據所述外接圓參數采用等距投影校正魚眼視頻。本發明的基于多幀的魚眼視頻校正方法，解決了目前校正方法存在的無法準確區分成像和非成像區域和不具有容錯性的缺點。本發明的方法大大提高了魚眼視頻校正的魯棒性和效率，處理過程簡單，具有實時性和理想的校正效果。使用計算機軟件執行本方法時，易于模塊化和移植，可以很方便地嵌入到魚眼相關的應用系統。
【專利說明】
-種基于多順的魚眼視頻校正方法
技術領域
[0001] 本發明屬于圖像處理技術領域，具體是一種基于多帖的魚眼視頻校正方法。
【背景技術】
[0002] 魚眼鏡頭是一種基于仿生學的鏡頭，對物理空間進行變形，具有短焦距、大視角的 優點，比廣角鏡頭和超廣角鏡頭具有更大的視場角，視場角一般大于等于180°。起初是應用 于攝影，盡管引入桶形崎變，但不影響分辨率，可W實現大范圍的清晰成像，目前已經擴展 到虛擬實景、視頻監控、建筑測量、智能交通、機器人導航、國防軍事等領域。在全景監控方 面，魚眼鏡頭相較于多鏡頭式系統還具有結構緊湊、體積較小、不易損壞、技術要求低等特 點，所W在安全和軍事領域，由魚眼鏡頭為核屯、的全景監控系統也成為了近年來全景監控 研究的熱點之一。
[0003] 魚眼鏡頭所成的像，由于景深曲率的影響，圖像的桶形崎變十分嚴重。桶形崎變是 圖像的橫向放大率隨視場增大而減小的崎變。在魚眼視頻中，邊緣的會出現明顯的失真。不 同于小孔成像線性模型，現實世界中直線，如果不是沿著徑向，成像后是不可能是直線的。 所W，為了能正確地分析魚眼視頻中的信息，需要將魚眼視頻進行校正。
[0004] 魚眼鏡頭采用非相似投影模型，常用的投影模型包括等距投影、等立體角投影、正 交投影、體視投影模型等。在等距投影下，相同的半視場角在像面上對應著相等的距離，故 稱之為"等距投影"。等距投影成像使像高與半視場角成非常簡單的正比關系，可W方便地 提取空間目標的角坐標及其隨時間變化的動態信息。運是等距投影的特殊優勢，并使等距 投影成為最受重視的成像方式。

【發明內容】

[0005] 本發明要解決的問題是提供一種基于多帖的魚眼視頻校正方法，該方法首先使用 混合視頻的多帖灰度圖，然后外接圓的參數標定，最后使用等距投影模型來進行魚眼視頻 的實時校正，該校正方法能夠準確區分成像區域和非成像區域，并且不受成像區域頂點確 認錯誤的影響，提高魚眼視頻的校正精度。
[0006] 本發明的基于多帖的魚眼視頻校正方法，包括W下步驟：
[0007] 混合魚眼視頻的多帖灰度圖得到一張灰度圖，從混合后的灰度圖中提取邊緣圖， 通過邊緣圖求得外接圓參數，所述外接圓參數包括外接圓半徑和圓屯、坐標;通過混合多帖 視頻，可W防止單帖視頻出現的成像區域灰度值低而無法區分成像區域和非成像區域，同 時可W減少提取不必要的邊緣，減少噪點，提高外接圓邊緣的可靠性。
[000引根據所述外接圓半徑和圓屯、坐標，采用等距投影校正魚眼視頻。
[0009] 進一步的，所述混合多帖視頻灰度圖過程中，混合后的第n帖視頻灰度圖的計算公 式如下：
[0010]
公式（3)
[0011] 其中，氏,是前n-1帖的混合灰度圖，Gn是第n帖的灰度圖。
[0012] 進一步的，所述提取邊緣圖的過程采用Canny算法。Canny邊緣檢測算子是John F.Canny于1986年開發出來的一個多級邊緣檢測算法。成像區域和非成像區域的邊界可能 是模糊的，造成邊界處的梯度值不高，W至于不能被提取出來，所W本發明算法采取縮小圖 像的方法，邊界范圍縮小且清晰，并且進一步采用多尺度，即在多個縮放尺度上生成邊緣 圖，消除了誤差。
[0013] 進一步的，在通過邊緣圖求得所述外接圓參數前，確定成像區域的上下左右四個 頂點：Pt(xt，yt)，Pb(xb，yb)，Pi(xi，yi)，Pr(xr，yr)。
[0014] 二維坐標系下求外接圓的公式為：
[001 引（x-Xc)2+(廠 yc)2 = r2 公式（4)
[0016]
[0017] 由公式(4)可見，只要有任意=個不在一條直線的點，就可W建立=元方程組，可 W唯一確定一個圓（Xe,yc，r)，其中（Xe,yc)為圓屯、坐標，r為半徑。理論情況下，所有的邊緣 都應在外接圓內，所W同樣可W通過采用掃描邊緣圖，獲得成像區域的上下左右四個頂點： PtUt，yt)，PbUb，yb)，PiUi，yi)，PrUr，yr)，選擇任意；個點計算得到的圓，如果第四個點也 在運個圓上或圓內，那么運個圓就是外接圓。可W防止任意一個點出現錯誤而造成結果錯 誤。
[0018] 進一步的，所述采用等距投影校正魚眼視頻，包括W下幾個過程：
[0019] 根據魚眼視頻帖的外接圓半徑和圓屯、坐標;然后建立等距投影模型，經過多次拉 升變換，得到最終輸出的視頻帖圖中每個像素點在原始魚眼視頻帖中的對應點；最后采用 雙線性插值算法，逐個取原始魚眼圖的像素點去填充拉升后圖的像素點。進一步的，在所述 采用等距投影校正魚眼視頻的過程中，得到所述最終輸出的視頻帖圖中每個像素點在原始 魚眼視頻帖中的對應點，計算步驟如下：
[0020] 計算魚眼視頻投影模型中的0和a:
[0021] O = JiyZh 公式(5)
[0022] Q = ^txzV 公式(6)
[0023] 所述校正后視頻的分辨率為w*h。
[0024] 等距投影模型中，竺 n h
[0025] 其中h是整個弧長h;y是0角對應的弧長。
[0026] 計算魚眼視頻投影模型中的半徑f (圖2中線段OlPl的長度）
[0027] f =化/> 公式(7)
[002引其中，d)是是魚眼鏡頭的視角，r是外接圓半徑。
[00巧]計算線段0日P日的長度：
[0030] r〇 = f* 目 公式（8)
[0031] 0日為圓屯、。
[0032] 計算Po坐標： .V,, = ^sin a + .v " '、
[003；3] * ( 綻武 C9) T(,二 COS 彷 + r(
[0034] 其中（Xe, yc)是外接圓圓屯、Oo坐標。
[0035] 為了實現實時性，采用W用空間換時間的方式進行優化。通過建表，直接生成P3和 Po的對應關系表，性能上得到提升，但是需要分配w*h*4*2的字節內存空間，隨著輸出視頻 帖的分辨率成倍增長。在使用計算機軟件執行上述方法時，需要按照行和列遍歷進行處理， 總共需要調用w*h次COS和Sin函數，耗費大量時間。用查表代替函數調用，性能得到很大提 高。通過公式(6)可知，X的取值范圍在(0，w)，所W只需要分配W巧*4字節的內存空間，相比 較w*h*4*2，大大減少了內存的分配，一旦輸出視頻帖的分辨率確定，就可W重復使用COS和 Sin函數表。
[0036] 本發明的基于多帖的魚眼視頻校正方法，包括W下步驟:混合原始魚眼視頻的多 帖灰度圖得到一張灰度圖，從混合后的灰度圖中提取邊緣圖，通過邊緣圖求得外園參數外 接圓半徑和圓屯、坐標;根據所述外接圓參數包括外接圓半徑和圓屯、坐標，采用等距投影校 正魚眼視頻。本發明的基于多帖的魚眼視頻校正方法解決了目前校正方法存在的問題：單 帖視頻灰度低，無法區分成像和非成像區域;簡單依賴掃描圖像得到的成像區域上下左右 四個頂點，不具有容錯性。本發明的方法大大提高了魚眼視頻校正的魯棒性和效率，處理過 程簡單，具有實時性和理想的校正效果。使用計算機軟件執行本方法時，易于模塊化和移 植，可W很方便地嵌入到魚眼相關的應用系統。
【附圖說明】
[0037] 圖1為本發明的基于多帖的魚眼視頻校正方法一個實施例的一帖原始視頻灰度 圖；
[0038] 圖2為本發明的基于多帖的魚眼視頻校正方法一個實施例的投影模型示意圖；
[0039] 圖3為本發明的基于多帖的魚眼視頻校正方法一個實施例的展開模型；
[0040] 圖4為圖3所示的展開模型展開后的二維平面圖；
[0041] 圖5為本發明的基于多帖的魚眼視頻校正方法一個實施例的流程框圖。
【具體實施方式】
[0042] 下面結合附圖，對本發明提出的一種基于多帖的魚眼視頻校正方法進行詳細說 明。
[0043] 如圖1所示，魚眼鏡頭拍攝的場景，最終成像是個圓形，需要校正的是成像區域，所 W區分成像區域和非成像區域。
[0044] 已有的算法是直接掃描圖像的灰度圖，由于非成像區域的特征是灰度值低，設定 一定的灰度闊值來區分成像區域和非成像區域，得到成像區域的上下左右四個頂點：
[0045] Pt(xt,yt) ,Pb(xb,yb) ,Pi(xi,yi) ,Pr(xr,yr)
[0046] 圓屯、Oo坐標計算公式組（I)為：
[0047] Xc=(xr+xi)/2
[0048] yG=(yt+yb)/2 公式組（1)
[0049] 半徑r計算公式為：
[0050] r=max((xr-xi)/2, (yb-yt)/2) 公式（2)
[0051] 上述方法的缺點包括：
[0052] 1、灰度闊值的設定，不是自適應生成的，如果視頻成像區域的灰度值本身就低，就 無法準確的區分成像區域和非成像區域。
[0053] 2、如果成像區域的上下左右四個頂點某個點是錯誤的，會導致計算出來的圓形信 息的錯誤。
[0054] 本發明公開的一種基于多帖的魚眼視頻校正方法的一個實施例，包括W下步驟：
[0055] 如圖5所示，混合多帖視頻灰度圖得到混合視頻，從每帖混合后的灰度圖中提取邊 緣圖，通過邊緣圖求得外接圓參數外接圓半徑和圓屯、坐標；
[0056] 根據所述外接圓半徑和圓屯、坐標，采用等距投影校正魚眼視頻。混合多帖視頻灰 度圖過程中，混合后的第n帖視頻灰度圖的計算公式如下：
[0化7]
公乂（3)
[005引其中，民,是前n-1帖的混合灰度圖，Gn是第n帖的灰度圖。
[0059] 提取邊緣圖的過程采用化nny算法。Canny邊緣檢測算子是化hn F.化nny于1986年 開發出來的一個多級邊緣檢測算法。成像區域和非成像區域的邊界可能是模糊的，造成邊 界處的梯度值不高，W至于不能被提取出來，所W本發明算法采取縮小圖像的方法，邊界范 圍縮小且清晰，所W進一步采用多尺度，即在多個縮放尺度上生成邊緣圖。
[0060] 確定成像區域的上下左右四個頂點:Pt(xt，yt)，Pb(xb，yb)，Pi(xi,yi) ,Pr(Xr，yr)
[0061 ]二維坐標系下求外接圓的公式為：
[006^ (x-Xc)2+(廠 yc)2 = r2 公式（4)
[0063] 由公式(4)可見，只要有任意=個不在一條直線的點，就可W建立=元方程組，可 W唯一確定一個圓（Xe,yc，r)，其中（Xe,yc)為圓屯、坐標，r為半徑。理論情況下，所有的邊緣 都應在外接圓內，所W使用計算機軟件執行本發明的方法時，可W通過采用掃描邊緣圖，獲 得成像區域的上下左右四個頂點化(^；，71；)而(孔，71))，口1佔,71)瓜(&，71〇，選擇任意^個 點計算得到的圓，如果第四個點也在運個圓上或圓內，那么運個圓就是外接圓。可W防止任 意一個點出現錯誤而造成結果錯誤。
[0064] 采用等距投影校正魚眼視頻，包括W下個過程：
[0065] 建立魚眼視頻帖的投影模型，將混合視頻的其中一帖灰度圖轉換到魚眼視頻帖的 投影模型中，得到第二灰度圖；建立展開模型，將魚眼視頻帖的投影模型中的第二灰度圖轉 換到展開模型中，得到第=灰度圖；將展開模型展開為二維平面圖，其中對應的灰度圖即為 校正視頻帖圖；重復W上步驟，直至混合視頻的所有帖灰度圖均轉換為校正視頻帖圖。
[0066] 上述從混合視頻的一帖灰度圖轉換到校正視頻帖圖的過程中，將圖分為像素點進 行。
[0067] 如圖1所示，Io是混合灰度圖上任意一條與外接圓半徑重合的線段，Po是Io上任意 一個像素點。Io對應于圖2(等距投影模型）中線h，而線Ii對應于圖3(展開模型）中的線12， 最后圖3Wb展開就是最終輸出的校正視頻帖圖4(即展開模型展開后的二維平面圖），線b 對應于線13。
[0068] 得到校正視頻帖中的像素點P3在原始魚眼視頻帖中的對應點Po需要如下計算：
[0069] 計算魚眼視頻投影模型中的0和a:
[0070] 0 =JiyA 公式(5)
[0071] a =化 x/w 公式(6)
[0072] 混合視頻的像素分辨率為w*h。公式巧)和公式(6)對應圖I和圖2,是等距投影中第 一次拉升變換。
[0073] 計算魚眼視頻投影模型中的半徑f (圖2中線段OlPl的長度）
[0074] f = 2r/4) 公式(7)
[007引其中，(1)是是魚眼鏡頭的視角，r是外接圓半徑。
[0076] 計算線段OoPo的長度：
[0077] r〇 = f* 目 公式(8)
[007引 Oo為圓屯、。
[0079] 計算Po坐標：
[0080] ? L 公式（9) 扣COS a
[0081 ]其中（Xe, yc)是外接圓圓屯、Oo坐標。
[0082] 為了實現實時性，采用W用空間換時間的方式進行優化。通過建表，直接生成P3和 Po的對應關系表，性能上得到提升，但是需要分配w*h*4*2的字節內存空間，隨著輸出視頻 帖的分辨率成倍增長。
[0083] 創建COS和sin函數表，用于計算Po坐標。在使用計算機軟件執行上述方法時，需要 按照行和列遍歷進行處理，總共需要調用w*h次COS和Sin函數，耗費大量時間。用查表代替 函數調用，性能得到很大提高。通過公式(6)可知，X的取值范圍在(0，w)，所W只需要分配W* 2*4字節的內存空間，相比較w*h*4*2，大大減少了內存的分配，一旦輸出視頻帖的分辨率確 定，就可W重復使用COS和Sin函數表。本發明具體應用途徑很多，W上所述僅是本發明的優 選實施方式，應當指出，對于本技術領域的普通技術人員來說，在不脫離本發明原理的前提 下，還可W做出若干改進，運些改進也應視為本發明的保護范圍。
【主權項】
1. 一種基于多幀的魚眼視頻校正方法，其特征在于，包括以下步驟： 混合原始魚眼視頻的多幀灰度圖得到一張灰度圖，從混合后的灰度圖中提取邊緣圖， 通過邊緣圖求得外接圓參數，所述外接圓參數包括外接圓半徑和圓心坐標； 根據所述外接圓半徑和圓心坐標，采用等距投影校正魚眼視頻。2. 根據權利要求1所述的所述基于多幀的魚眼視頻校正方法，其特征在于，所述混合多 幀灰度圖過程中，混合后的第η幀灰度圖的計算公式如下：其中，CL ,是前η-1_的混合灰度圖，Gn是第η幀的灰度圖。3. 根據權利要求1所述的所述基于多幀的魚眼視頻校正方法，其特征在于，所述提取邊 緣圖的過程采用Canny算法。4. 根據權利要求1所述的所述基于多幀的魚眼視頻校正方法，其特征在于，在所述通過 邊緣圖求得外接圓參數前，確定成像區域的上下左右四個頂點:P t(Xt，yt)，Pb(Xb，y b)，Pi(xi， yi) ,Pr(xr,Yr)〇5. 根據權利要求1所述的所述基于多幀的魚眼視頻校正方法，其特征在于，所述通過邊 緣圖求得外接圓參數過程中，二維坐標系下求外接圓的公式為： (x-xc)2+(y-yc)2=r2 公式(4) 其中，（xc；，y。)是外接圓圓心Oo的坐標。6. 根據權利要求1所述的所述基于多幀的魚眼視頻校正方法，其特征在于，所述采用等 距投影校正魚眼視頻的過程如下： 根據魚眼視頻幀的外接圓半徑和圓心坐標建立等距投影模型，經過多次拉升變換，得 到最終輸出的視頻幀圖中每個像素點P3在原始魚眼視頻幀中的對應點Po;最后米用雙線性 插值算法，逐個取原始魚眼圖的像素點去填充拉升后圖的像素點。7. 根據權利要求6所述的所述基于多幀的魚眼視頻校正方法，其特征在于，在所述采用 等距投影校正魚眼視頻的過程中，得到所述最終輸出的視頻幀圖中每個像素點P 3在原始魚 眼視頻幀中的對應點Ρο,計算步驟如下： 計算魚眼視頻投影模型中的Θ和α: O = JiyA 公式(5) a = 23ix/w 公式(6) 所述混合視頻的像素分辨率為w*h; 計算魚眼視頻投影模型中的半徑f: f = 2r/ Φ 公式(7) 其中，Φ是是魚眼鏡頭的視角，r是外接圓半徑； 計算線段OoPo的長度： r〇 = f*0 公式(8) Oo為圓心； 計算Po坐標： 力歸+ ( 公式⑷ V0 = r0 * cos a+ Vf 其中(Xc；，y。)是外接圓圓心Oo坐標。8.根據權利要求7所述的所述基于多幀的魚眼視頻校正方法，其特征在于，在所述采用 等距投影校正魚眼視頻的過程中，創建cos和sin函數表，用于計算Po坐標。
【文檔編號】G06T5/50GK106023127SQ201610324176
【公開日】2016年10月12日
【申請日】2016年5月16日
【發明人】何健
【申請人】誠邁科技（南京）股份有限公司