一種基于無人機航拍序列影像的邊坡三維重建方法
【技術領域】
[0001]本發明涉及一種基于無人機航拍序列影像的邊坡三維重建方法，屬于地質工程、攝影測量和計算機應用技術領域。
【背景技術】
[0002]在地震、降雨以及人類工程活動的作用下，邊坡地質災害頻發，如滑坡、泥石流、崩滑等，已嚴重制約了城市的可持續發展。快速準確地建立邊坡三維模型不僅可為邊坡變形監測提供基礎數據，而且對邊坡失穩后的災害評估及應急救援具有重要價值。
[0003]目前，邊坡三維重建方法主要有三維激光掃描、遙感影像解譯。三維激光掃描雖然能得到高精度的邊坡三維模型，但激光掃描設備昂貴、靈活性差、攜帶不方便。高空航拍靈活性差、成本高、飛行手續繁瑣、影像受云層影響大。而衛星遙感影像存在獲取影像周期長、實時性差、成本高等問題，且遙感影像的發布及獲取只能通過特定的渠道及權威部門獲取，無法滿足邊坡災害應急響應的需求。因此，迫切需要一種成本低、機動靈活、快速準確的邊坡三維重建方法。
【發明內容】
[0004]本發明的目的是針對當前邊坡災害頻發的現狀，以及現有邊坡三維建模方法成本高、靈活性差等局限性，提出一種基于無人機航拍序列影像的邊坡三維重建方法。
[0005]本發明提出的一種基于無人機航拍序列影像的邊坡三維重建方法，具體步驟如下:
(1):針對未標定的無人機多視圖航拍序列影像，采用基于特征匹配的算法即基于尺度特征不變換(Scale Invariant Feature Transform, SIFT)算法進行特征區域匹配與特征點對提取；
(1.1)通過將采樣點和所有相鄰點比較，檢測尺度空間極值點，初步確定關鍵點位置和所在尺度；
(1.2)將精確確定的關鍵點位置和所在尺度，達到亞像素精度，同時去除對比度低的關鍵點和不穩定的邊緣響應點，以增強匹配穩定性、提高抗噪聲能力；
(1.3)為每個關鍵點指定方向參數，使算子具備旋轉不變性；
(1.4)生成關鍵點描述子，即生成SIFT特征向量；
(2):基于無序匹配特征點，采用光束法平差方法從運動恢復結構，計算出邊坡的幾何結構和相機的運動參數，得到稀疏的邊坡三維點云模型；
(3):采用基于物方面元的多視圖立體視覺(Patch-basedMultiview Stereo, PMVS)算法對稀疏的邊坡三維點云模型進行處理，擴散為稠密的邊坡三維點云模型；所述多視圖立體視覺算法具體為:
(3.1)初始Patch集生成:基于邊坡稀疏的三維點云模型，通過特征點提取及匹配生成一系列稀疏的Patch集； (3.2) Patch的擴散:利用相鄰面片法向相似和位置相鄰的特性對初始面片進行擴散，逐步得到一個稠密的Patch集；
(3.3) Patch的過濾:由于重建過程中可能存在錯誤面片，采用幾何一致性以及灰度一致性約束來剔除外點，并與Patch的擴散操作迭代進行；
(4):采用泊松重建算法重建出邊坡的表面網格，并將邊坡表面的紋理信息映射到網格模型上，從而建立具有分辨率高和形象逼真的三維邊坡模型；
(4.1)邊坡模型表面參數化:對整個邊坡模型進行分割，建立每個局部的三維空間坐標與貼圖坐標的映射關系；
(4.2)優化目標圖像:計算面片在圖像中的可見性，并指定目標圖像，使具有相同目標圖像的連續紋理區域盡可能大，減少紋理接縫的數量，從而減少邊坡模型中紋理不連續的現象；
(4.3)邊坡模型顏色校正:減少光照引起的邊坡紋理不連續現象。
[0006]本發明中，步驟(2)的具體過程為，光束法平差方法借助上一步提取的無序匹配特征點信息，解算出各幅圖像拍攝時相機的旋轉與平移矩陣以及像點與相機之間的對應關系，還原拍攝場景，自動完成相機的標定流程，同時建立稀疏的邊坡三維點云模型。
[0007]與現有技術相比，本發明的優點如下:
(1)基于無人機獲取邊坡影像具有活成本低、機動靈活、攜帶方便、成像分辨率高、作業周期短等特點，相對于高空航拍和衛星遙感，在小塊區域、常規拍攝困難區域、突發邊坡災害等領域具有獨特的優勢；
(2)本發明提出的基于無人機航拍序列影像的邊坡三維重建方法，是基于多視圖圖像的三維重建方法，通過相機在不同角度、不同位置的拍攝圖像序列，恢復邊坡的三維模型，其優勢在于無需任務地面控制點，無需預先標定相機，且成本低、操作簡單、易于實現，適用于各種復雜場景的三維建模。
【附圖說明】
[0008]圖1為本發明方法流程圖。
[0009]圖2為基于無人機航拍序列影像的某邊坡三維重建模型。
【具體實施方式】
[0010]下面結合附圖和具體實施例對本發明一種基于無人機航拍序列影像的邊坡三維重建方法的實現過程進行詳細說明。
[0011 ] 實施例1:某邊坡三維地形重建
選擇某邊坡，前緣寬約75m，后緣寬約50m，前后緣高差約20m，斜長約40m。邊坡表面無植被覆蓋。
[0012](I)將拍攝所得的圖像經初步的鏡頭校正之后，選擇了 20幅清晰、重疊度高的多視圖像采用基于特征匹配的算法是指基于尺度特征不變換(Scale Invariant FeatureTransform, SIFT)算法，進行特征區域匹配與特征點對提取，從每單幅圖像中可提取出6000-7000個特征點信息，包括特征像點的RGB信息，具體步驟如下:
通過將采樣點和所有相鄰點比較，檢測尺度空間極值點，初步確定關鍵點位置和所在尺度；
精確確定關鍵點的位置和尺度，達到亞像素精度，同時去除對比度低的關鍵點和不穩定的邊緣響應點，以增強匹配穩定性、提高抗噪聲能力；
為每個關鍵點指定方向參數，使算子具備旋轉不變性；
生成關鍵點描述子，即生成SIFT特征向量。
[0013](2)借助上一步提取的無序匹配特征點信息，采用光束法平差方法從運動恢復結構，不斷最小化投影點和觀測圖像點之間的重投影誤差，解算出各幅圖像拍攝時相機的旋轉與平移矩陣以及像點與相機之間的對應關系，還原拍攝場景，自動完成相機的標定流程，同時建立稀疏的邊坡三維點云模型。
[0014](3)采用基于物方面元的多視圖立體視覺(Patch-based Multiview Stereo,PMVS)算法對稀疏的邊坡三維點云模型進行處理，擴散為稠密的邊坡三維點云模型:
基于邊坡稀疏的三維點云模型，通過特征點提取及匹配生成一系列初始的Patch集；利用相鄰面片法向相似和位置相鄰的特性對初始面片進行擴散，逐步得到一個稠密的Patch 集；
由于重建過程中可能存在錯誤面片，采用幾何一致性以及灰度一致性約束來剔除外點，并與Patch的擴散操作迭代進行。
[0015](4)剔除邊坡模型中明顯的異常點，采用泊松重建算法重建出邊坡的表面網格: 對整個邊坡模型進行分割，建立每個局部的三維空間坐標與貼圖坐標的映射關系； 計算面片在圖像中的可見性，并指定目標圖像，使具有相同目標圖像的連續紋理區域盡可能大，減少紋理接縫的數量，從而減少邊坡模型紋理不連續的現象；
進行顏色校正，減少光照引起的紋理不連續現象；
將邊坡表面的紋理信息映射到網格模型上，從而建立具有分辨率高和形象逼真的三維邊坡模型，如圖2邊坡三維重建模型所示。
[0016](5)上述(4)中邊坡模型表面網格構建的精細程度可選，即重建深度值越大，網格劃分越細，模型細部曲率變化越豐富，但同時也會大大增加運算時長。本案例對比重建深度分別為7和9情況下的邊坡三角網重建模型發現，當重建深度為9時，可以獲得細節部分較為完整的三角網模型，且所需的計算時長不需要太長。
【主權項】
1.一種基于無人機航拍序列影像的邊坡三維重建方法，其特征在于具體步驟如下: (1):針對未標定的無人機多視圖航拍序列影像，采用基于特征匹配的算法即基于尺度特征不變換算法進行特征區域匹配與特征點對提取； (1.1)通過將采樣點和所有相鄰點比較，檢測尺度空間極值點，初步確定關鍵點位置和所在尺度； (1.2)將精確確定的關鍵點位置和所在尺度，達到亞像素精度，同時去除對比度低的關鍵點和不穩定的邊緣響應點，以增強匹配穩定性、提高抗噪聲能力； (1.3)為每個關鍵點指定方向參數，使算子具備旋轉不變性； (1.4)生成關鍵點描述子，即生成SIFT特征向量； (2):基于無序匹配特征點，采用光束法平差方法從運動恢復結構，計算出邊坡的幾何結構和相機的運動參數，得到稀疏的邊坡三維點云模型； (3):采用基于物方面元的多視圖立體視覺算法對稀疏的邊坡三維點云模型進行處理，擴散為稠密的邊坡三維點云模型；所述基于物方面元的多視圖立體視覺算法具體為: (3.1)初始Patch集生成:基于邊坡稀疏的三維點云模型，通過特征點提取及匹配生成一系列稀疏的Patch集； (3.2) Patch的擴散:利用相鄰面片法向相似和位置相鄰的特性對初始面片進行擴散，逐步得到一個稠密的Patch集； (3.3) Patch的過濾:由于重建過程中可能存在錯誤面片，采用幾何一致性以及灰度一致性約束來剔除外點，并與Patch的擴散操作迭代進行； (4):采用泊松重建算法重建出邊坡的表面網格，并將邊坡表面的紋理信息映射到網格模型上，從而建立具有分辨率高和形象逼真的三維邊坡模型； (4.1)邊坡模型表面參數化:對整個邊坡模型進行分割，建立每個局部的三維空間坐標與貼圖坐標的映射關系； (4.2)優化目標圖像:計算面片在圖像中的可見性，并指定目標圖像，使具有相同目標圖像的連續紋理區域盡可能大，減少紋理接縫的數量，從而減少邊坡模型中紋理不連續的現象； (4.3)邊坡模型顏色校正:減少光照引起的邊坡紋理不連續現象。2.根據權利要求1所述的一種基于無人機航拍序列影像的邊坡三維重建方法，其特征在于，步驟(2)的具體過程為，光束法平差方法借助上一步提取的無序匹配特征點信息，解算出各幅圖像拍攝時相機的旋轉與平移矩陣以及像點與相機之間的對應關系，還原拍攝場景，自動完成相機的標定流程，同時建立稀疏的邊坡三維點云模型。
【專利摘要】本發明涉及一種基于無人機航拍序列影像的邊坡三維重建方法。針對未標定的無人機多視圖航拍序列影像，采用基于特征匹配的算法進行特征區域匹配與特征點對提取；基于無序匹配特征點，采用光束法平差方法從運動恢復結構，計算出邊坡的幾何結構和相機的運動參數，得到稀疏的邊坡三維點云模型；采用基于物方面元的多視圖立體視覺算法對稀疏的邊坡三維點云模型進行處理，擴散為稠密的邊坡三維點云模型；采用泊松重建算法重建出邊坡的表面網格，并將邊坡表面的紋理信息映射到網格模型上，從而建立具有分辨率高和形象逼真的三維邊坡模型。本發明具有成本低、機動靈活、攜帶方便、成像分辨率高、作業周期短、適宜高危地區勘測等特點，有力地推動了低空攝影測量和計算機視覺技術在地質工程防災減災領域的應用。
【IPC分類】G06T17/05
【公開號】CN105184863
【申請號】CN201510434193
【發明人】黃雨, 于淼, 周佳敏, 毛麗雅, 王賀
【申請人】同濟大學
【公開日】2015年12月23日
【申請日】2015年7月23日