大面積地形復雜區域無人機序列影像快速無縫拼接方法
【專利摘要】一種大面積地形復雜區域無人機序列影像快速無縫拼接方法，首先以無人機影像序列的航帶排布特性作為先驗知識，進行影像間多度重疊SIFT特征點的提取和匹配；然后開展基于隨機采樣一致性算法的匹配點粗差剔除和提純，并通過Levenberg-Marquardt算法平差求解拼接區域各影像的變換參數；接著根據中心投影的像點位移規律與影像間的相對位置關系進行重疊區影像的優選，并確定拼接線；最后進行接邊處影像勻色和融合、輸出拼接影像，實現海量無人機影像的無縫拼接。本發明避提高了SIFT特征點的提取效率，保證了拼接影像的幾何精度，消除了影像拼接線兩側的微小色彩差異，得到了色彩過渡自然、地物地貌連續性好的拼接影像。
【專利說明】大面積地形復雜區域無人機序列影像快速無縫拼接方法

【技術領域】
[0001] 本發明涉及一種無人機遙感影像處理方法，具體地說是一種大面積地形復雜區域 無人機序列影像快速無縫拼接方法，屬于圖像處理【技術領域】。

【背景技術】
[0002] 無人機遙感是近年來興起的一種新型遙感系統，因具有快速、靈活、低成本、高影 像分辨率等特點，正日益成為一項空間數據獲取的重要手段，在農作物監測、國土資源監 測、災害應急、災害評估、戰場偵察、火災監測等領域發揮重要的作用。由于無人機遙感具有 廣闊的應用前景，相應的圖像處理技術也得到了廣泛的關注和重視，大范圍地形復雜區域 (山區、丘陵）無人機序列影像拼接就是其中的一個研究熱點。
[0003] 現有的影像拼接主要包括影像配準和影像融合兩個關鍵環節。在國內外影像拼接 技術研究中，主要的重點都放在了影像配準這一核心環節上。根據影像配準的方法大致可 將影像拼接技術分為三類：①基于影像灰度的方法，該類方法通過計算圖像間重疊部分灰 度差等相似度衡量指標，來對模型參數做優化，因為計算出的參數對于光照條件，旋轉角度 等比較敏感，所以對于無人機影像并不適合。②基于變換域的方法，該類方法利用傅立葉變 換首先將影像由空域變換到頻域，然后通過它們的相互功率直接計算得出兩幅影像間的平 移矢量，進而實現影像的配準，但是，因為算法要求欲配準影像間有較大的重疊度，且對于 無人機影像中存在的鏡頭旋轉和比例尺不一致等情況很難處理，所以無法滿足無人機影像 拼接要求。③基于圖像特征的方法，該類方法主要由特征提取、特征匹配、選取變換模型和 求取參數、坐標變換及插值四個部分組成，是航空影像拼接的主要方法，其關鍵在于特征因 子的選取。為此，研究人員提出了基于SUSAN算子的配準方法，該算法分成粗細兩級匹配， 但是對于小區域重疊的航空影像難以配準。同時，研究人員也提出了基于層次法的配準方 法，但只適用于圖像間存在小角度旋轉（大約0-5度）的情況，而由于無人機平臺的不穩定 導致無人機影像可能存在大角度旋轉的情況。研究人員采用Harris提取角點，利用最小中 值法去除局外點，實現圖像拼接，但是由于最小中值法計算復雜度較高且不能處理小區域 重置的影像，所提取的特征點為像素級的，定位精度有待提1?。還有研究人員利用SIFT算 子實現了無人機影像的自動拼接，但因為采用的是依次向后傳遞拼接參數的方式，在進行 多張影像拼接時存在誤差累積的問題，無法實現大區域的無縫拼接。


【發明內容】

[0004] 針對現有技術的不足，本發明提供了一種大面積地形復雜區域無人機序列影像快 速無縫拼接方法，克服了現有無人機影像拼接技術的不足，不僅能夠實現無人機影像大區 域的無縫拼接，而且定位精度高。
[0005] 本發明解決其技術問題采取的技術方案是：大面積地形復雜區域無人機序列影像 快速無縫拼接方法，其特征是，包括以下步驟：
[0006] 步驟一，以無人機影像序列的航帶排布特性作為先驗知識，進行影像間多度重疊 SIFT (Scale Invariant Feature Transform,尺度不變特征變換）特征點的提取以及SIFT 特征匹配；
[0007] 步驟二，選擇投影變換模型作為影像間的幾何變換模型，開展基于RANSAC(RANdom SAmple Consensus，隨機采樣一致性）算法的匹配點粗差剔除和提純，基于投影變換模型建 立匹配點的非線性方程組，并通過Levenberg-Marquardt (LM)算法平差求解拼接區域各影 像的變換參數；
[0008] 步驟三，根據中心投影的像點位移規律與影像間的相對位置關系進行重疊區影像 的優選，并確定拼接線；
[0009] 步驟四，進行接邊處影像勻色和融合，并輸出無縫拼接影像，從而實現海量無人機 影像的無縫拼接。
[0010] 優選地，在步驟一中，從以下幾個方面對同名點的匹配策略進行優化：
[0011] (1)在SIFT特征點極值探測時，當差分影像中的極值點大于10時，才提取該點作 為特征點；
[0012] (2)在進行匹配時利用金子塔匹配策略，當上層金字塔匹配完成后，利用匹配點 求解影像間的投影矩陣，然后在下一層影像匹配時利用這種投影變換關系進行匹配點搜索 范圍約束；
[0013] (3)對于處在匹配搜索范圍內的點集，采用128維特征向量間的歐式距離作為衡 量關鍵點之間相似度的準則，在匹配過程中首先找出與待匹配關鍵點歐式距離最近的兩個 關鍵點，然后計算最近距離與次近距離之間的比值，當該比值小于〇. 3時，則接受該匹配點 對；
[0014] (4)每張影像只與其航帶內部左右相鄰的幾張影像和上下航帶間一定范圍內的影 像進行匹配。
[0015] 優選地，所述步驟二包括以下具體步驟：
[0016] (1)選擇投影變換模型作為影像間的幾何變換模型
[0017] 當完成圖像間的同名特征點匹配之后，需要選擇合適的幾何變換模型，并通過這 些同名特征點集的映射關系來估算影像間的變換參數。在眾多的變換模型中，投影變換是 一種復雜的幾何變換模型，又稱為透視變換，它可以描述圖像間存在平移、旋轉、水平和垂 直方向位移、縮放等多種變換情況。其他常見的二維變換，包括平移變換、旋轉變變換、剛體 變換、相似變換、仿射變換等均為投影變換的子變換。因為投影變換模型與無人機影像的中 心投影構象模型最為接近，所以本申請將其作為影像拼接參數的模型基準。
[0018] 假定（Xl，yi)、（X2，y 2)分別為圖像變換前后的像素坐標，則投影變換矩陣模型的齊 次坐標變換式如式1所示：
[0019]

【權利要求】
1. 大面積地形復雜區域無人機序列影像快速無縫拼接方法，其特征是，包括以下步 驟： 步驟一，以無人機影像序列的航帶排布特性作為先驗知識，進行影像間多度重疊 SIFT 特征點的提取以及SIFT特征匹配； 步驟二，選擇投影變換模型作為影像間的幾何變換模型，開展基于RANSAC算法 的匹配點粗差剔除和提純，基于投影變換模型建立匹配點的非線性方程組，并通過 Levenberg-Marquardt算法平差求解拼接區域各影像的變換參數； 步驟三，根據中心投影的像點位移規律與影像間的相對位置關系進行重疊區影像的優 選，并確定拼接線； 步驟四，進行接邊處影像勻色和融合，并輸出無縫拼接影像。
2. 根據權利要求1所述的大面積地形復雜區域無人機序列影像快速無縫拼接方法，其 特征是，在步驟一中，從以下幾個方面對同名點的匹配策略進行優化： (1) 在SIFT特征點極值探測時，當差分影像中的極值點大于10時，才提取該點作為特 征點； (2) 在進行匹配時利用金子塔匹配策略，當上層金字塔匹配完成后，利用匹配點求解 影像間的投影矩陣，然后在下一層影像匹配時利用這種投影變換關系進行匹配點搜索范圍 約束； (3) 對于處在匹配搜索范圍內的點集，采用128維特征向量間的歐式距離作為衡量關 鍵點之間相似度的準則，在匹配過程中首先找出與待匹配關鍵點歐式距離最近的兩個關鍵 點，然后計算最近距離與次近距離之間的比值，當該比值小于〇. 3時，則接受該匹配點對； (4) 每張影像只與其航帶內部左右相鄰的幾張影像和上下航帶間一定范圍內的影像進 行匹配。
3. 根據權利要求1所述的大面積地形復雜區域無人機序列影像快速無縫拼接方法，其 特征是，所述步驟二包括以下具體步驟： (1)選擇投影變換模型作為影像間的幾何變換模型 當完成圖像間的同名特征點匹配之后，需要選擇合適的幾何變換模型，并通過這些同 名特征點集的映射關系來估算影像間的變換參數；在眾多的變換模型中，投影變換是一種 復雜的幾何變換模型，可以描述圖像間存在平移、旋轉、水平和垂直方向位移、縮放等多種 變換情況，將投影變換模型作為影像拼接參數的模型基準； 假定分別為圖像變換前后的像素坐標，則投影變換矩陣模型的齊次坐 標變換式如式1所示： 式1的非線性形式如式2所示：
(2) (1)
式中，代表圖像的尺度和旋轉量，m2和m5分另ll代表圖像在水平和垂直方向 上的位移，1116和1117則代表圖像在水平和垂直方向上的變形量，比例系數P為標量； (2) 利用RANSAC算法進行匹配點粗差剔除和提純 對SIFT匹配點中的誤匹配點進行粗差剔除，并對粗差剔除后的正確匹配點集中進一 步優選出滿足拼接模型的點集，以待拼接影像中的第一幅影像為基準，設其投影矩陣為單 位陣4，然后利用RANSAC算法依次估計出第j(j>l)幅影像相對于第j-Ι幅影像的投影矩 陣&，同時從原始的匹配點集中挑選出支持％的內點用于構建法方程，最后利用這種相鄰 影像間的傳遞關系得到第j幅影像相對于拼接后影像的絕對投影矩陣初始值H/為：
(3) 以優選出的內點集合Inliers為基礎，按照下一步所述方法進行方程組的建立，并以 絕對投影矩陣H/作為求解方程組時的迭代初始值； (3) 建立非線性方程組 利用影像間的多度重疊點對待拼接的所有影像進行整體平差、最終得到全局最優的變 換參數；在方程組構建過程中，對應每張影像的變換矩陣有8個獨立未知數，而每個多度重 疊點在拼接后影像上的水平坐標包含兩個未知數；而對應一個k度重疊點按照式2所示的 方程式構建k*2個非線性方程；選取三度以上且滿足投影變換模型的重疊點構建法方程進 行平差解算； (4) 非線性方程組求解 利用經典的Levenberg-Marquardt算法對式2所示非線性投影變換模型的變換參數進 行求解。
4. 根據權利要求1所述的大面積地形復雜區域無人機序列影像快速無縫拼接方法，其 特征是，在步驟三中，根據影像間的空間排布關系，以像點位移最小化為影像優選準則，通 過對原始影像的投影區域進行逐級裁剪盡而獲取最優的影像區域及其拼接線。
5. 根據權利要求1所述的大面積地形復雜區域無人機序列影像快速無縫拼接方法，其 特征是，在步驟四中，利用拼接線兩側區域外擴與外擴后重疊區域影像加權融合的方法消 除影像拼接線兩側的微小色彩差異，從而得到色彩過渡自然、地物地貌連續性好的拼接影 像。
【文檔編號】G06T7/00GK104156968SQ201410408652
【公開日】2014年11月19日 申請日期:2014年8月19日 優先權日:2014年8月19日
【發明者】董梅, 蘇建東, 劉廣玉, 楊舉田, 林祥國, 孫曉峰, 程云吉, 王梅勛, 張彥東, 宗浩, 田雷, 劉勇, 徐碩, 武博, 譚效磊, 朱先志, 劉莉, 王苜華, 王麗麗 申請人:山東臨沂煙草有限公司