專利名稱：基于視覺伺服的輸電線路無人機巡檢云臺控制方法
技術領域：
本發明涉及一種視覺伺服控制方法，尤其涉及一種于基于視覺伺服的輸電線路無人機巡檢云臺控制方法。
背景技術：
傳統的有人直升機或無人直升機對輸電線路以及高壓桿塔巡檢的過程中，都需手動控制搭載檢測設備的云臺或是吊艙，這使得檢測人員必須注意力高度集中的觀察視頻， 并及時的調整云臺或吊艙以便檢測目標(即輸電線路)能在檢測設備的視角范圍內。這對于有人直升機的飛行員來說具有嚴峻的考驗，同時無人直升機地面工作站對云臺的調整又受時間等因素的制約，無法滿足無人直升機在電力巡檢中的應用需求，因此，如何自動調整云臺實現對輸電線路的自動檢測顯得非常重要。
現有的基于視覺伺服的系統中，浙江省電力公司提出的基于視覺伺服的移動機器人精確定位云臺系統(專利號ZL 201020685635. 7)，雖然涉及利用視覺伺服來精確定位云臺的方法，來提高機器人整體性能，但這一專利只是從理論上進行分析可以實現通過圖像信息來實現對云臺的精確定位，但對如何實現通過圖像信息到云臺控制量的轉化這一關鍵步驟并沒有進行描述。發明內容
本發明的目的就是為了解決上述問題，提供一種基于視覺伺服的輸電線路無人機巡檢云臺控制方法，它實現了無人機搭載云臺根據檢測目標實現視覺伺服的控制方法，有效解決無人機巡檢過程中對目標的定位拍攝，提高巡檢的效率與質量。
為了實現上述目的，本發明采用如下技術方案
一種基于視覺伺服的輸電線路無人機巡檢云臺控制方法，具體步驟為
步驟I利用成像設備，獲取視頻信息，從視頻信息中獲取一幀實時圖像；
步驟2將該幀實時圖像與模板圖像進行匹配，獲取像素偏差；同時將模板圖像中人工標定的關注設備位置與實時圖像中關注設備的位置進行比較，確定圖像中心的偏差 P ；
步驟3判斷P是否大于偏差門限；若否則表示正常，本次檢測結束；若是，則轉入下一步；
步驟4通過P決定轉動方向,然后將云臺轉動最小單位d ；
步驟5再次獲取當前位置的設備圖像；
步驟6利用跟蹤算法企圖目標新位置；求取該新位置與模板圖像的偏差P1 ;
步驟7根據云臺轉動與圖像中像素偏移之間的線性關系J1(P)=Cl/ (P1-P);判斷P 是否大于門限，如否，則表明調整后滿足要求，本次檢測結束；若是，則根據P1決定云臺轉動方向，將云臺轉動J1 (P)-P1，然后返回步驟5。
所述像素偏差是指圖像空間二維像素偏差(px, py) i，其中，px，Py分別為X和y方4向上的偏差。
所述步驟2中所述的像素偏差與圖像中心的偏差P的獲取過程的具體步驟為
A.特征點檢測建立積分圖像，利用箱式濾波器建立尺度空間，Hessian極值點檢測；
B. SURF特征點描述子的生成根據特征點周圍的一個圓形區域，確定主方向；在這個選定的主方向上構造一個矩形區域并提取所需的描述信息；
C.特征點匹配在完成了圖像的SURF特征提取后，為了獲取當前圖像與模板圖像間的位置差異，通過計算兩幅圖像特征的匹配關系，并建立兩視圖間的單應關系矩陣H，恢復出兩幅圖像間的像素偏移關系；
D.像素偏差獲取根據模板中標出的目標及位置，通過步驟C獲取的H矩陣，得到當前圖像中目標的位置，計算圖像中目標的位置移動到中心處的像素偏差。
所述步驟A中具體步驟為
首先獲得原始圖像的積分圖像，對原始圖像I(x，y)進行積分，得到積分圖像 I (X，y)；
然后，建立尺度空間，對圖像進行預處理時，使用箱式濾波器對高斯核近似；
對于不同的尺度口，相應的正方形濾波器的尺寸S也做相應的調整，SURF算法使用箱式濾波器對高斯核函數近似，加權箱式濾波器在X，I和Xy方向上對高斯二階偏導近似；
最后，進行快速Hessian特征檢測，由Hessian矩陣來進行圖像極值點的檢測。
所述步驟B中具體方法為利用極值點的主方向即以極值點為中心選取某一半徑的圓形區域，在此區域內計算哈爾小波在X和y方向上的相應值，記為hx，hy，計算出圖像在 harr小波的x，y方向的響應值后，對兩個值進行因子為σ = 2s的高斯加權，s是極值點所在的尺度，加權后的值分別表示在X和y方向上的方向分量，記為Wh^Why ;對Wh^Why用直方圖進行統計；將以極值點為中心的圓形區域分割成多個大小相同的扇形區域，分別統計每個扇形區域內的Whx, Why記為％ = Σ 'Κ=ΣΚ唭中Ω為相應的扇形區域，同時計3&Ω3εΩ算該區域的梯度值，取最大值所在的方向，主方向的度數根據Wx，Wy的反正切值來求得；在選定主方向后，首先將坐標軸旋轉到主方向，按照主方向選取連長為20s的正方形區域將該區域劃分為4X4的子區域，在每個子區域內計算5s*5s范圍內的小波響應相當于主方向的水平和垂直方向的harr小波響應，記作dx，dy ;同時將高斯權值賦給響應值，增加其對幾何變換的魯棒性，減小局部誤差；接下來將每個子區域的響應以及響應的絕對值相加形成Σ<·，Σ4，ΣΙ <· I ’ΣΚ I ’其中Φ為4Χ4的子區域，這樣，每個子區域就有4維向量，一χεΦ λ·€Φ χ&ΦχεΦ個SURF特征就是一個64維的特征向量。
所述步驟C的具體步驟為首先使用歐式距離來計算匹配關系，然后通過計算兩視圖間的單應矩陣即H矩陣來恢復全局的像素偏差dx，dy進而計算整幅圖像的偏差，對H矩陣的求解利用RANSAC隨機采樣的模型估計方法來獲得，通過隨機采樣建立模型需要的最小的樣本集合，找到與該集合匹配的模型，然后檢測其余樣本與該模型的一致性，如果沒有顯著的一致性，包含外點的模型會被排除掉；通過幾次迭代就找到包含與足夠多的樣本一致的模型。
所述步驟D中具體步驟為根據模板中標出的目標及位置，通過步驟C獲取的H矩陣，得到當前圖像中目標的位置，計算圖像中目標的位置移動到中心處的像素偏差；設模板圖像中待識別目標位置為X，通過H矩陣得在待識別圖像中的位置記為X’，則X’ = HX,由此得X’相對于圖像中心的像素偏差Y ；
定義當前位置攝像機采集圖像的特征為S，目標位置的圖像特征為由于采用 Look-After-Move模式，定義s與云臺轉動量的映射關系為
s* = L(s) (px, Py)
其中，(px，Py)為(Vt1)時刻內的偏轉量，由上文中的基于SURF特征匹配獲得的單應矩陣給出的平移分量獲得，L(s)為h時刻獲取的關于(px，Py)的線性雅克比關系。
本發明的有益效果
I、本發明通過基于SURF特征匹配技術，通過雅可比矩陣實現圖像信息到控制信息的轉換，解決了無人機在拍攝過程中對待檢測設備圖像的精確采集。這對于無人機巡檢系統中對電力設備監測自動化方面具有重要的作用，大大提高檢測的效率。
2、本發明可通過圖像信息實現對云臺的控制，無需增加額外設備，系統簡單、靈活、投資較小；
3、本發明的有益成果還可用于變電站巡檢機器人系統中，將有助于提高機器人對設備圖像的采集質量，有助于后續的基于圖像信息的設備狀態識別。


圖I為高斯濾波器與正方形濾波器；
圖2為x，y方向的harr小波基；
圖3為基于圖像的視覺伺服流程圖4a為輸電線路鐵塔視覺伺服前圖像；
圖4b為輸電線路鐵塔視覺伺服后圖像。
具體實施方式
下面結合附圖與實施例對本發明作進一步說明。
圖3中，本發明的視覺流程圖
I)利用成像設備，獲取視頻信息，從視頻信息中獲取一幀實時圖像；
2)將該幀實時圖像與模板圖像進行匹配，獲取像素偏差；同時將模板圖像中人工標定的關注設備位置與實時圖像中關注設備的位置進行比較，確定圖像中心的偏差P;
3)判斷P是否大于偏差門限；若否則表示正常，本次檢測結束；若是，則轉入下一I K少；
4)通過P決定轉動方向,然后將云臺轉動最小單位d ；
5)再次獲取當前位置的設備圖像；
6)利用跟蹤算法企圖目標新位置；求取該新位置與模板圖像的偏差P1 ;
7)根據云臺轉動與圖像中像素偏移之間的線性關系J1(P)=Cl/ (P1-P);判斷P是否大于門限，如否，則表明調整后滿足要求，本次檢測結束；若是，則根據P1決定云臺轉動方向，將云臺轉動J1 (P)-P1，然后返回步驟5)。
在本發明中，在基于圖像的視覺伺服系統中，控制信息的獲取來自于目標圖像特征與模板圖像特征之間的差異。其關鍵的問題是如何建立反映圖像差異變化與云臺位姿速度變化之間關系的圖像雅可比矩陣。
云臺機器人手有η關節的η自由度，伺服任務以m圖像特征來定義，云臺機器人工作空間中一點使用η維向量表不為q = Lq1, q2, . . . , qn]T ;機器人手臂末端在笛卡爾坐標系中位置的P維向量，:r = Qr1, r2, ···, rp]T ;圖像特征空間一點的m維向量表示為f = [fi, f2.…，fm]T。
由云臺操作手末端到工作空間的速度變換關系如下
r = Jr[q] · qdr' dr. dr, dr, dn θκ, drn drn drn ^
式中./,.(//)=[
(、!'Λ/., /, OCj2 eg,, . Cy, vq2 dq 云臺操作手末端位置的改變導致圖像參數的變化，通過攝像機透視投影映射關系，可獲得圖像特征空間與操作手末端位置空間的變換關系
f = Jr · r.m …UHvdrn，drt Qr2 drn， ，drx dr2 drn=J r * q ·其中，Jq = J r * J ,即 df2 . Bfp dfp
其中，Jr =di\ Br2
從而有 fJ —嚴I.Sf2 可 2q ! … Sq1vq2，Sq2Λ ,為圖像調整空間變化量與機器人控制空間的變換關系，定義該式為圖像雅克比矩陣。
由于攝像機在工作過程中需要變化焦距，因此無法直接使用標定的手段來直接獲取變換矩陣Jq，且由于拍攝設備目標距離不確定，因此，無法直接根據目標的深度信息Z來計算變換矩陣Jq，且由于云臺轉動過程為加速_勻速-減速，無法得到均勻的速度模型，為了簡化圖像雅克比求解問題，假設局部范圍內云臺轉動速度為勻速V，且與攝像機局部范圍內轉動圖像空間特征變化映射關系為線性關系。基于方向性的試探動作，來獲取圖像雅克比初始值，在后續的伺服過程中，不斷更信圖像雅克比，保證整個伺服過程的收斂性。
獲取當前圖像與目標圖像間的像素偏差(px，py);根據運動控制系統反饋的云臺轉動量，計算圖像空間偏差與云臺控制量的線性關系J1(P)。
圖像特征提取與描述的具體方案如下
A特征點檢測
首先獲得原始圖像的積分圖像，對原始圖像I (X，y)進行積分，得到積分圖像 I Σ (X，y)，見下式i<x j<y
= X V/(X>0i=0 J^=Q
其中，I(x，y)為圖像像素值，(x，y)為像素坐標。
然后，建立尺度空間，對圖像進行預處理時，使用箱式濾波器對高斯核近似，由于其在計算卷積時的計算量與濾波器大小無關，因此可以極大的提高算法運行速度。
對于不同的尺度口，相應的正方形濾波器的尺寸S也做相應的調整，SURF算法使用箱式濾波器對高斯核函數近似，由于其在計算卷積時計算量與濾波器大小無關，因此可7以極大的提高算法的運行速度，加權箱式濾波器在X，I和xy方向上對高斯二階偏導近似；
最后，進行快速Hessian特征檢測。由Hessian矩陣來進行圖像極值點的檢測， 首先根據特征值計算出來的行列式的符號(如正或負)，然后根據行列式值的正或負判斷該點是不是局部極值點；如果行列式是正的，那么特征值全為正或者全為負，該點都是極值點。快速Hessian算子通過操作積分圖像來加速卷積，只使用Hessian矩陣的行列式同時來選擇位置和尺度，在點X和尺度σ下，Hessian矩陣的定義如下「 ^ 「ΚΑσ), ΙΛΤ(Χ,σ)1
H ='[Lv(X,a), L}y{X,a)_
其中，Lxx (X，σ)是在點X的高斯二階導數F琴(^)/議2與I (x，y)的卷積，其余三項的定義也如此類推，為了快速的計算高斯二階導數，這里選用正方形濾波器。
如圖I所示，從左至右y方向和xy方向的高斯濾波器，y方向和xy方向的正方形濾波器應用了正方形濾波器以后，Hessian矩陣的行列式表示在點X周圍的區域的箱式濾波器的響應值。通過det (Hessian)進行極值點的檢測，行列式的值可以近似為
h = Dxx · Dyy-(w · Dxy)2
其中Dxx，Dyy和Dxy分別是使用了正方形濾波器以后對Lxx，Lyy和Lxy的近似，w是權重系數，h是Hessian行列式的值，這樣我們就得到了在尺度σ上的近似響應，并通過閾值來選擇選擇局部極值點作為特征點。
B SURF特征點描述子的生成
特征描述子過程中，生成主方向和描述子生成的具體步驟如下
求極值點的主方向是以極值點為中心選取某一半徑的圓形區域，在此區域內計算哈爾小波在X和y方向上的相應值，記為hx，hy。
圖2為harr小波濾波器在x，y方向的上的描述。計算出圖像在harr小波的x，y 方向的響應值后，對兩個值進行因子為σ = 2s的高斯加權值，s是極值點所在的尺度，加權后的值分別表不在X和y方向上的方向分量，記為Whx, Why。
對Whx，Why用直方圖進行統計，將以極值點為中心的圓形區域分割成60度大小的區域，分別統計每個扇形區域內的whx，Why記為&，其中Ω為相應的扇形6εΩ區域，同時計算該區域的梯度值，取最大值所在的方向，主方向的度數根據wx，Wy的反正切值來求得，在選定主方向后，首先將坐標軸旋轉到主方向，按照主方向選取連長為20s的正方形區域將該區域劃分為4X 4的子區域，在每個子區域內計算5s*5s范圍內的小波響應相當于主方向的水平和垂直方向的harr小波響應,記作dx,dy。同時將高斯權值賦給響應值, 增加其對幾何變換的魯棒性，減小局部誤差。接下來將每個子區域的響應以及響應的絕對值相加形成ΣΧ·，Σ冬，ΣΚΙ，ΣΚ，Ι，其中Φ為4X4的子區域，這樣，每個子區域就有4χεΦ χεΦχ^Φ維向量，一個SURF特征就是一個64維的特征向量。
C特征點匹配
在圖像匹配的過程中，利用當前特征點描述向量和模板圖像特征點描述向量，通過匹配算法確定相似度，然后設定一定的閾值進行限制，當特征點對相似度大于閾值也就是相似度達到一定程度時，認為特征點對是同名點；本方法中使用歐式距離來計算匹配關系O
在確定了兩幅圖像間的特征點的匹配關系后，無法直接根據點的對應關系來計算整幅圖像的偏差；本方法通過計算兩視圖間的單應矩陣即H矩陣來恢復全局的像素偏差 dx，dy。由于SURF特征點的匹配算法，只獲得了稀疏點的匹配關系，且存在誤匹配，對H矩陣的求解可以利用RANSAC隨機采樣的模型估計方法來獲得。
兩個成像平面上點與點的單應關系可以通過一個單應矩陣H來表示。在2維圖像空間中，單應矩陣被定義成一個3 X 3的矩陣H
wp' = Hp
權利要求
1.一種基于視覺伺服的輸電線路無人機巡檢云臺控制方法，其特征是，具體步驟為 步驟I利用成像設備，獲取視頻信息，從視頻信息中獲取一幀實時圖像； 步驟2將該幀實時圖像與模板圖像進行匹配，獲取像素偏差；同時將模板圖像中人工標定的關注設備位置與實時圖像中關注設備的位置進行比較，確定圖像中心的偏差P; 步驟3判斷P是否大于偏差門限；若否則表示正常，本次檢測結束；若是，則轉入下一I K少； 步驟4通過P決定轉動方向，然后將云臺轉動最小單位d ； 步驟5再次獲取當前位置的設備圖像； 步驟6利用跟蹤算法企圖目標新位置；求取該新位置與模板圖像的偏差P1 ； 步驟7根據云臺轉動與圖像中像素偏移之間的線性關系J1(P)=Cl/ (P1-P);判斷P是否大于門限，如否，則表明調整后滿足要求，本次檢測結束；若是，則根據P1決定云臺轉動方向，將云臺轉動J1 (P)-P1，然后返回步驟5。
2.如權利要求I所述一種基于視覺伺服的輸電線路無人機巡檢云臺控制方法，其特征是所述像素偏差是指圖像空間二維像素偏差(px, Py) i，其中，px，Py分別為X和y方向上的偏差。
3.如權利要求I所述一種基于視覺伺服的輸電線路無人機巡檢云臺控制方法，其特征是，所述步驟2中所述的像素偏差與圖像中心的偏差P的獲取過程的具體步驟為 A.特征點檢測建立積分圖像，利用箱式濾波器建立尺度空間，Hessian極值點檢測； B.SURF特征點描述子的生成根據特征點周圍的一個圓形區域，確定主方向；在這個選定的主方向上構造一個矩形區域并提取所需的描述信息； C.特征點匹配在完成了圖像的SURF特征提取后，為了獲取當前圖像與模板圖像間的位置差異，通過計算兩幅圖像特征的匹配關系，并建立兩視圖間的單應關系矩陣H，恢復出兩幅圖像間的像素偏移關系； D.像素偏差獲取根據模板中標出的目標及位置，通過步驟C獲取的H矩陣，得到當前圖像中目標的位置，計算圖像中目標的位置移動到中心處的像素偏差。
4.如權利要求3所述的一種基于視覺伺服的輸電線路無人機巡檢云臺控制方法，其特征是，所述步驟A中具體步驟為 首先獲得原始圖像的積分圖像，對原始圖像I(x，y)進行積分，得到積分圖像I (X，y)； 然后，建立尺度空間，對圖像進行預處理時，使用箱式濾波器對高斯核近似； 對于不同的尺度口，相應的正方形濾波器的尺寸S也做相應的調整，SURF算法使用箱式濾波器對高斯核函數近似，加權箱式濾波器在X，y和xy方向上對高斯二階偏導近似；最后，進行快速Hessian特征檢測，由Hessian矩陣來進行圖像極值點的檢測。
5.如權利要求3所述的一種基于視覺伺服的輸電線路無人機巡檢云臺控制方法，其特征是，所述步驟B中具體方法為利用極值點的主方向即以極值點為中心選取某一半徑的圓形區域，在此區域內計算哈爾小波在X和y方向上的相應值，記為hx，hy，計算出圖像在harr小波的x，y方向的響應值后，對兩個值進行因子為σ = 2s的高斯加權，s是極值點所在的尺度，加權后的值分別表示在X和y方向上的方向分量，記為Wh^Why ;對Wh^Why用直方圖進行統計；將以極值點為中心的圓形區域分割成多個大小相同的扇形區域，分別統計每個扇形區域內的Whx, Why記為R 二 ΣΙ ,r =Σ% ’其中Ω為相應的扇形區域，同時計 算該區域的梯度值，取最大值所在的方向，主方向的度數根據wx，Wy的反正切值來求得；在選定主方向后，首先將坐標軸旋轉到主方向，按照主方向選取連長為20s的正方形區域將該區域劃分為4X4的子區域，在每個子區域內計算5s*5s范圍內的小波響應相當于主方向的水平和垂直方向的harr小波響應，記作dx，dy ;同時將高斯權值賦給響應值，增加其對幾何變換的魯棒性，減小局部誤差；接下來將每個子區域的響應以及響應的絕對值相加形成TA ’ΣΚΙ ’ΣΚΙ’其中Φ為4X4的子區域，這樣，每個子區域就有4維向量，一Λ€Φ λ*€Φ個SURF特征就是一個64維的特征向量。
6.如權利要求3所述一種基于視覺伺服的輸電線路無人機巡檢云臺控制方法，其特征是，所述步驟C的具體步驟為首先使用歐式距離來計算匹配關系，然后通過計算兩視圖間的單應矩陣即H矩陣來恢復全局的像素偏差dx，dy進而計算整幅圖像的偏差，對H矩陣的求解利用RANSAC隨機采樣的模型估計方法來獲得，通過隨機采樣建立模型需要的最小的樣本集合，找到與該集合匹配的模型，然后檢測其余樣本與該模型的一致性，如果沒有顯著的一致性，包含外點的模型會被排除掉；通過幾次迭代就找到包含與足夠多的樣本一致的模型。
7.如權利要求3所述的一種基于視覺伺服的輸電線路無人機巡檢云臺控制方法，其特征是，所述步驟D中具體步驟為根據模板中標出的目標及位置，通過步驟C獲取的H矩陣，得到當前圖像中目標的位置，計算圖像中目標的位置移動到中心處的像素偏差；設模板圖像中待識別目標位置為X，通過H矩陣得在待識別圖像中的位置記為X’，則X’ = HX,由此得X'相對于圖像中心的像素偏差Y ; 定義當前位置攝像機采集圖像的特征為S，目標位置的圖像特征為S'由于采用Look-After-Move模式，定義s與云臺轉動量的映射關系為 其中，(Px, Py)為UtTt1)時刻內的偏轉量，由上文中的基于SURF特征匹配獲得的單應矩陣給出的平移分量獲得，L(s)為h時刻獲取的關于(px，Py)的線性雅克比關系。
全文摘要
本發明公開了一種基于視覺伺服的輸電線路無人機巡檢云臺控制方法，步驟為步驟1利用成像設備，獲取視頻信息；步驟2將該幀實時圖像與模板圖像進行匹配，獲取像素偏差和確定圖像中心的偏差P；步驟3判斷P是否大于偏差門限；若否則表示正常，本次檢測結束；若是，則轉入下一步；步驟4通過P決定轉動方向，然后將云臺轉動最小單位d；步驟5再次獲取當前位置的設備圖像；步驟6利用跟蹤算法企圖目標新位置；求取該新位置與模板圖像的偏差P1；步驟7根據云臺轉動與圖像中像素偏移之間的線性關系，判斷P是否大于門限，如否，本次檢測結束；若是，然后返回步驟5。它有效解決無人機巡檢過程中對目標的定位拍攝，提高了巡檢的效率與質量。
文檔編號G06K9/40GK102929288SQ20121030242
公開日2013年2月13日 申請日期2012年8月23日 優先權日2012年8月23日
發明者王濱海, 王萬國, 李麗, 王振利, 張晶晶, 王騫, 劉俍, 張嘉峰 申請人:山東電力集團公司電力科學研究院, 國家電網公司