專利名稱：一種機場監視視頻目標魯棒跟蹤方法
技術領域：
本發明涉及一種目標跟蹤方法，尤其涉及一種機場監控視頻圖像中的目標跟蹤方
法。
背景技術：
目前，主要的機場場面活動目標監視手段是依靠場面監視雷達，同時以多點定位 (Multilateration,MLAT)的場面監視系統作為輔助。當前的場監雷達存在明顯的缺點，諸 如昂貴、分辨能力不夠(不能檢測跑道異物)、雷達覆蓋范圍在盲區。若采用多部場監雷達 數據融合，可以實現對整個機場的完整監視，但將大大增加系統建設費用，且針對場監雷達 數據融合的成熟應用不多。相對于場監雷達而言，多點定位有成本低、可以全天候工作、數 據更新率快(1次/秒)、安裝維護方便等優點，但多點定位技術只能針對合作目標，對于沒 有安裝機載設備的飛機，這種方法則無法監控。相對于場面監視雷達而言，基于視頻圖像融 合技術的場面監視系統具有成本低、被動監視、分辨率高和易于實現全天候監視的特點。基 于動態視頻的機場場面目標監視系統已成為機場場面監控技術和計算機視覺領域中近年 來備受關注的前沿研究方向。運動目標跟蹤作為一門跨學科的前沿技術，融合了圖像處理、模式識別、人工智 能、自動控制等多種不同領域的理論知識。隨著視覺理論和算法研究的發展，以及計算機硬 件性能的不斷提高，如今已成為最活躍的研究課題之一。目標跟蹤系統一般是基于對圖像 序列的處理，對目標的運動規律加以預測，實現對目標的連續、準確的跟蹤。其中特征提取 和目標跟蹤算法是目標跟蹤系統的關鍵。目前在、標特征提取中主要采用的有顏色特征、紋 理特征和形狀特征。顏色特征是一種全局特征，描述了圖像或圖像區域所對應的景物的表面性質。一 般顏色特征是基于像素點的特征，此時所有屬于圖像或圖像區域的像素都有各自的貢獻。 由于顏色對圖像或圖像區域的方向、大小等變化不敏感，所以顏色特征不能很好地捕捉圖 像中對象的局部特征。顏色直方圖是最常用的表達顏色特征的方法，其優點是不受圖像旋 轉和平移變化的影響，進一步借助歸一化還可不受圖像尺度變化的影響，其缺點是沒有表 達出顏色空間分布的信息，無法描述圖像中顏色的局部分布及每種色彩所處的空間位置， 即無法描述圖像中的某一具體的對象或物體。紋理特征也是一種全局特征，它也描述了圖像或圖像區域所對應景物的表面性 質。但由于紋理只是一種物體表面的特性，并不能完全反映出物體的本質屬性，所以僅僅利 用紋理特征是無法獲得高層次圖像內容的。與顏色特征不同，紋理特征不是基于像素點的 特征，它需要在包含多個像素點的區域中進行統計計算。在模式匹配中，這種區域性的特征 具有較大的優越性，不會由于局部的偏差而無法匹配成功。作為一種統計特征，紋理特征常 具有旋轉不變性，并且對于噪聲有較強的抵抗能力。但是紋理特征一個很明顯的缺點是當 圖像的分辨率變化的時候，所計算出來的紋理可能會有較大偏差。另外，由于有可能受到光 照、反射情況的影響，從2-D圖像中反映出來的紋理不一定是3-D物體表面真實的紋理。
基于形狀特征的跟蹤可以比較有效地利用圖像中感興趣的目標來進行檢索，但它 們也有一些共同的問題，包括目前基于形狀的檢索方法還缺乏比較完善的數學模型；如 果目標有變形時結果往往不太可靠；許多形狀特征僅描述了目標局部的性質，要全面描述 目標常對計算時間和存儲量有較高的要求；許多形狀特征所反映的目標形狀信息與人的直 觀感覺不完全一致，或者說，特征空間的相似性與人視覺系統感受到的相似性有差別。另 外，從2-D圖像中表現的3-D物體實際上只是物體在空間某一平面的投影，從2-D圖像中反 映出來的形狀常不是3-D物體真實的形狀，由于視點的變化，可能會產生各種失真。機場場景比較復雜，光照變化、相似物或干擾物較多。目前現有的跟蹤方法利用顏 色、紋理、形狀等低層特征進行目標建模，無法精確跟蹤機場復雜環境中的目標。

發明內容
本發明的技術解決問題針對現有技術存在的不足，提供一種機場監視視頻目標 魯棒跟蹤方法，結合奇異值分解建模和粒子濾波的目標跟蹤技術，解決了光照變化和與目 標空間靠近的相似物干擾，難以實現復雜背景中的目標精確跟蹤的問題。本發明的技術解決方案機場監視視頻目標魯棒跟蹤方法，步驟如下步驟100、初始化，以目標狀態的輸入值加入高斯噪聲生成包含N個粒子的粒子 群，并對要跟蹤的目標進行奇異值分解，選取前K個最大值建立模板模型；步驟200、狀態預測，由前一幀目標的位置根據勻速運動模型預測步驟100所產生 的粒子在當前幀中的坐標位置；步驟300、粒子權重更新，對步驟200中所產生的預測的粒子所對應的圖像區域進 行奇異值分解，構建特征向量，并利用最小二乘準則衡量此候選區域與模板的相似度作為 粒子的權重；步驟400、粒子重采樣，對步驟300所產生的粒子群保留原先權重大的粒子，丟棄 權重小的粒子，并由權重大的粒子派生新粒子，使粒子總數保持N不變，新一代粒子和下一 幀圖像轉到步驟200循環執行；步驟500、計算平均狀態輸出，將步驟300中權重更新后的粒子及其權重加權，得 出目標在當前幀的位置。本發明與現有技術相比的優點在于(1)本發明方法中的目標特征具有旋轉和尺度不變性。旋轉矩陣 cose sin$ 01|SX 0 0iMn§ ms& 和尺度變換矩陣% 01均為正交矩陣(0為旋轉角度，Sx和 .0 0 11 10 0 11
sy為尺度系數)。若P為正交矩陣，則PA的奇異值與A是一樣的。因此，當圖像區域或目
標發生旋轉或尺度變化，奇異值所表示的特征均具有不變性；(2)本發明方法中的目標特征具有較強的抵御噪聲能力。若
步驟130、判斷當前粒子數是否大于等于N，若是則執行步驟140，否則執行步驟 120 ；步驟140、建立目標模板，對目標區域的圖像塊做奇異值分解；步驟150、選取前K個最大的奇異值作為目標的特征向量；步驟160、將K個奇異值歸一化作為目標模板，設0 mi為目標模板的奇異值，歸一
化即 tv為歸一化后的奇異值。圖2為本發明狀態預測流程圖，在

圖1所示的技術方案中，所述步驟200具體為步驟210、由前一幀目標的中心位置xt_i，yt_i根據勻速直線運動模型預測目標在本
=1,2, ，#，所述的AT為兩幀間的時
幀的中心位置，;即
間差，由于兩幀間的時間差很小，故采用勻速直線運動模型是合理的；步驟220、預測當前粒子中的目標速度，根據勻速運動模型，將目標看成速 度不變，由于兩幀間隔時間很短，因此勻速直線模型是合理的，考慮到實際干擾的影響，本
幀預測速度為上一幀的速度加入高斯噪聲，計算表達式為
, 此處 <，< 是高斯擾動；步驟230、i = i+1，判斷i是否大于N，是則執行步驟240，否則執行步驟210 ；步驟240、將N個粒子作為預測粒子集丨1輸出。圖3為本發明粒子權重更新流程圖，在圖1所示的技術方案中，所述步驟300具體 為步驟310、對當前粒子表示的圖像塊做奇異值分解，所述的圖像塊為jx)，乂，妒，
即中心在X,',乂，長和寬分別為W，H的圖像塊，設分解所得的奇異值為丨<1，1彡i彡N，j = 1,2, -,rank(I), Ii為當前粒子表示的圖像塊；
a' 步驟320、選取前K個最大的奇異值，并按式
構建該粒子的特征向量 步驟330、根據最小二乘準則計算當前粒子的權重
,A是由目標模板的特征值拓展成的齊次矩陣，Y是當前粒子的特征向量，求解方程AX = Y的最小二乘解，得到b，顯而易見，b越小，當前粒子的特征 向量與模板的特征向量的距離最小，即Σ -σ；) =min，因此，當前粒子的權重 步驟340、判斷粒子數是否等于N，是則執行步驟350，否則執行步驟310 ；步驟350、完成粒子權重更新，得到粒子集jX丨。圖4為本發明粒子重采樣流程圖，在圖1所示的技術方案中，所述步驟400具體 為步驟410、將權值累加并歸一化，<’(0 = 2<" = 1，2,···，"，..是累加后的權值， 步驟420、產生隨機數r，0 < r < 1 ；步驟430、在累加后的權值中找出r所在的位置index，使得 π* {index) <r < π* {index + 1)步驟440、判斷粒子數是否等于N，是則執行步驟450，否則執行步驟420 ；步驟450、進入下一幀跟蹤。圖5為本發明平均狀態計算流程圖，在圖1所示的技術方案中，所述步驟500具體 為步驟510、開始進入平均狀態計算；步驟520、判斷是否為第一個粒子，是則執行步驟530，否則執行步驟540 ；步驟530、當前粒子的中心位置及速度分量乘以該粒子的權重，結果即為平均狀態
并將結果保存為MeanStateJ^。《，彳。 ”如為弟
\MeanState.y = X .y-π [MeanState.vy = X .vy-π
一個粒子，MeanState. x, MeanState. y, MeanState. vx, MeanState. vy 分別為 MeanState 的 X，y方向的坐標和速度x°. X, X0. y，X0. vx, X0. vy分別為第一個粒子的x，y方向的坐標和速 度，π °為第一個粒子的權重；步驟540、當前粒子的中心位置及速度分量乘以該粒子的權重并將結果加上
分別為 MeanState 的 x， y方向的坐標和速度Xi. χ，Xi. y，Xi. vx, Xi. vy分別為第i個粒子的x，y方向的坐標和速度，^為第i個粒子的權重；步驟550、判斷是否遍歷完N個粒子，是則執行步驟570，否則執行步驟560 ；步驟560、繼續訪問下一個粒子；步驟570、輸出MeanState作為跟蹤的結果。本發明未詳細闡述的部分屬于本領域的公知技術。
權利要求
機場監視視頻目標魯棒跟蹤方法，其特征在于實現步驟如下步驟100、初始化，以目標狀態的輸入值加入高斯噪聲生成包含N個粒子的粒子群，并對要跟蹤的目標進行奇異值分解，選取前K個最大值建立模板模型；步驟200、狀態預測，由前一幀目標的位置根據勻速運動模型預測步驟100所產生的粒子在當前幀中的坐標位置；步驟300、粒子權重更新，對步驟200中所產生的預測的粒子所對應的圖像區域進行奇異值分解，構建特征向量，并利用最小二乘準則衡量此候選區域與模板的相似度作為粒子的權重；步驟400、粒子重采樣，對步驟300所產生的粒子群保留原先權重大的粒子，丟棄權重小的粒子，并由權重大的粒子派生新粒子，使粒子總數保持N不變，新一代粒子和下一幀圖像轉到步驟200循環執行；步驟500、計算平均狀態輸出，將步驟300中權重更新后的粒子及其權重加權，得出目標在當前幀的位置。
2.根據權利要求1所述的機場監視視頻目標魯棒跟蹤方法，其特征在于所述步驟100 具體實現為步驟110、以目標的輸入狀態作為粒子的初始值，粒子的各分量選取為目標中心位置的 x, y坐標，目標窗的長、寬及目標的速度，初始速度置為0 ；步驟120、對粒子的各分量，即心位置的x，y坐標，目標窗的長、寬及目標的速度加上高 斯擾動，即采樣按照高斯分布進行；步驟130、判斷當前粒子數是否大于等于N，若是則執行步驟140，否則執行步驟120 ； 步驟140、建立目標模板，對目標區域的圖像塊做奇異值分解； 步驟150、選取前K個最大的奇異值作為目標的特征向量；步驟160、將K個奇異值歸一化作為目標模板，設o mi為目標模板的奇異值，歸一化即 cr* -u mik，Vo- i = l，…，K，為歸一化后的奇異值。 Z-i "y*
3.根據權利要求1所述的機場監視視頻目標魯棒跟蹤方法，其特征在于所述步驟200 具體實現為步驟210、由前一幀目標的中心位置xt_i，yt_i根據勻速直線運動模型預測目標在本幀的中心位置..即！ X； =X'~l+VX,~r^l + n ,i = 1,2, ...，N，AT為兩幀間的時間差；步驟220、預測當前粒子中的目標速度vx^vY，vx丨，vy丨為第i個粒子在第t幀所對應的x方向和y的速度，％ = + ，i = 1，2，…，N，，，為高斯擾動，,,為第i個粒子在第t幀所對應的x方向和y的高斯噪聲；步驟230、判斷粒子總數是否等于N，是則執行步驟240，否則執行步驟210 ；步驟240、將N個粒子作為預測粒子集丨j輸出。
4.根據權利要求1所述的機場監視視頻目標魯棒跟蹤方法，其特征在于所述步驟300具體實現為步驟310、對當前粒子表示的圖像塊做奇異值分解，所述的圖像塊為乂，即中心在x;，y;，長和寬分別為W，H的圖像塊，設分解所得的奇異值為1≤i≤N，j = 1， 2，…，rankd)，〗1為當前粒子表示的圖像塊；步驟320、選取前K個最大的奇異值，并按式 ^ ,構建該粒子的特征向量 ；=i步驟330、根據最小二乘準則計算當前粒子的權重 ，A是由目標模板的特征值拓展成的齊次矩陣，Y是當前粒子的特征向量，求解方程AX = Y的最小二乘解，得到b，當前粒子的權重 為第i個粒子在第t巾貞的權重，N為粒子總數； 步驟340、判斷粒子數是否等于N，是則執行步驟350，否則執行步驟310 ； 步驟350、完成粒子權重更新，得到粒子集fX丨，;r/1。
5.根據權利要求1所述的機場監視視頻目標魯棒跟蹤方法，其特征在于所述步驟400 具體實現為i步驟410、將權值累加并歸一化 是累加后的權值， 步驟420、產生隨機數r，0 <r < 1 ；步驟430、在累加后的權值中找出r所在的位置index，使得 步驟440、判斷粒子數是否等于N，是則執行步驟450，否則執行步驟420 ； 步驟450、進入下一幀跟蹤。
6.根據權利要求1所述的機場監視視頻目標魯棒跟蹤方法，其特征在于所述步驟500 具體實現為步驟510、開始進入平均狀態計算；步驟520、判斷是否為第一個粒子，是則執行步驟530，否則執行步驟540 ；步驟530、當前粒子的中心位置及速度分量乘以該粒子的權重，結果即為平均狀態并將 結果保存為MemiState，即 為第一個粒子，MeanState. x，MeanState. y，MeanState. vx, MeanState. vy 分別為 MeanState 的 x，y 方向的坐標和速度x°. X, X°. y，X°. vx, X°. vy分別為第一個粒子的x，y方向的坐標和速度， ^為第一個粒子的權重；步驟540、當前粒子的中心位置及速度分量乘以該粒子的權重并將結果加上MeanState. x,MeanState. y,MeanState. vx,MeanState. vy 分別為 MeanState 的 x，y 方向的坐標和速度Xi. X, X1. y，X1. vx, X1. vy分別為第i個粒子的x，y方向的坐標和速度，n 1 為第i個粒子的權重；步驟550、判斷是否遍歷完N個粒子，是則執行步驟570，否則執行步驟560 ； 步驟560、繼續訪問下一個粒子； 步驟570、輸出MeanState作為跟蹤的結果。
全文摘要
機場監視視頻目標魯棒跟蹤方法，結合了奇異值分解和粒子濾波目標跟蹤技術，步驟如下步驟100、初始化，生成包含N個粒子的粒子群，并對要跟蹤的目標進行奇異值分解，建立模板模型；步驟200、狀態預測，由前一幀目標的位置預測目標在當前幀的位置；步驟300、粒子權重更新，對候選的圖像區域進行奇異值分解，構建特征向量，并利用最小二乘準則衡量此候選區域與模板的相似度作為粒子的權重；步驟400、粒子重采樣，保留原先權重大的粒子，丟棄權重小的粒子，并由權重大的粒子派生新粒子，使粒子總數保持N不變，新一代粒子和下一幀圖像轉到步驟200循環執行；步驟500、結果輸出，將所有粒子及其權重加權，得出目標在當前幀的位置。本發明解決了機場監視視頻場景復雜，光照變化頻繁，背景相似物干擾嚴重等問題，達到了監視跟蹤中的魯棒性和精確性要求。
文檔編號H04N7/18GK101877134SQ20101017213
公開日2010年11月3日 申請日期2010年5月7日 優先權日2010年5月7日
發明者羅喜玲, 黃雁 申請人:北京航空航天大學