子與第t-50、t-40、t-30、t-20、t-10、t-5、t-4、t-3、t-2、 t-1幀目標對象跟蹤結果的余弦相似性，濾去離異粒子； 步驟13)，篩選后的侯選目標粒子基于模板字典的線性表示； 步驟14)，線性系數矩陣的低秩稀疏數學模型； 步驟15)，基于不精確拉格朗日乘子優化算法求解系數矩陣； 步驟16)，根據判別函數選出最佳的候選目標作為跟蹤結果； 步驟17)，在線更新模板字典。2. 如權利要求1所述的一種魯棒性的視頻目標對象跟蹤方法，其特征在于：所述步驟 11)包括預測和更新兩個階段，其中， 預測階段包括：以第t-1幀的狀態變量為均值和常數為方差進行高斯隨機采樣獲得第t幀的狀態變量；定位出狀態變量在當前幀第t幀圖像中所對應的區域；把所述區域映射到 規范化大小的矩形模板；對所述矩形模板向量化得到候選目標粒子的灰度觀測向量； 更新階段包括：計算的判別函數值作為篩選后的候選目標粒子所對應狀態變量的權 重，被濾去的候選目標所對應狀態變量權重設為0,并將所有粒子權重進行歸一化處理，根 據歸一化后權值進行重新采樣得到新的狀態變量。3. 如權利要求1所述的一種魯棒性的視頻目標對象跟蹤方法，其特征在于：所述 預測階段具體為，以第t-1幀重采樣后的狀態變量矩陣為均值，定義的常數SeR1x6為方差進行高斯隨機采樣得到第t幀狀態變量矩陣st， St=st !+randn木diag( 5 )； 其中，是一個隨機矩陣，diag(5)是一個對角化的操作；n。為粒子的數 目，6為每個粒子狀態變量的維數，包括2個位置參數和4個變形參數； 5 = (xt，yt, 0t，st，at, <i>t)，xtSx方向的位移、ytSy方向的位移、0t為旋轉角度、 St為尺度變化、at為寬高比、巾t為斜切度； 找出St中每個粒子狀態變量，即st的每一行在當前幀第t幀圖像中所對應的區域并 規范化為模板大小，相應的向量化灰度圖像觀測組成的矩陣為為=[心七，…，'J，其中 X1GRd為第i個候選目標粒子的灰度觀測向量。4. 如權利要求1所述的一種魯棒性的視頻目標對象跟蹤方法，其特征在于：所述的步 驟12)為， 計算候選目標粒子與第t-50、t-40、t-30、t-20、t-10、t-5、t-4、t-3、t-2、t-1幀目標對 象的余弦相似度，濾去相似度值都小于閾值的候選目標粒子，余弦相似度的計算公式為：t~2,t_l 其中，X1是第i個獲選目標粒子的灰度觀測向量，y是第j幀目標對象跟蹤結果的灰 度觀測向量；對于第i個候選目標粒子，若(j=t-10，t-9,…，t-l;n為常數） 都成立，就濾去該候選粒子，剩下的候選目標粒子組成新的矩陣XGRdxn，其中n << n。。5. 如權利要求1所述的一種魯棒性的視頻目標對象跟蹤方法，其特征在于：所述的 步驟13)具體為，通過對第一幀手動標出的目標對象坐標加1或者減1產生目標模板集 ?Qe 同時在標出的目標對象約定半徑外隨機采樣產生背景模板集瑪把目標 模板集和背景模板集組合成模板字典D= ,其中，Ilci和以分別為目標模板 集和背景模板集中目標模板和背景模板的個數，d為模板灰度向量化的維數；為應對目標 外觀的變化，防止跟蹤發生漂移，模板字典必須在跟蹤過程中更新；經篩選后的候選目標粒 子組成的矩陣X能夠被模板字典線性表示，公式表示為：X=DZ+E，其中X為篩選后的獲選 目標粒子組成觀測矩陣，D為模板字典，Z為線性系數矩陣，E為誤差矩陣。6. 如權利要求1所述的一種魯棒性的視頻目標對象跟蹤方法，其特征在于：所述的步 驟14)具體為，利用線性系數矩陣固有屬性和前后幀目標對象線性表示系數一致性，建立 求解該系數矩陣的數學模型，該線性系數矩陣Z具有低秩、稀疏、行稀疏屬性，同時系數矩 陣Z的每一列都減去前一幀目標對象的線性表示系數z。后具有列稀疏性，據此建立關于系 數矩陣的數學模型為： ^il|z|I*+^2I|z| 11,2+^3I|z|IiiI+^4I|z-z〇|I2lI+^5I|e|Ii.i s.t.X=DZ+E (式I); 其中，X為篩選后的候選目標粒子組成的觀測矩陣，每一列代表一個候選目標粒子；D為模板字典，包括目標模板集和背景模板集；Z為線性系數矩陣，E為誤差矩陣；矩陣Z。= zJt的每一列都是z。，2。為前一幀目標對象跟蹤結果的線性表示系數；I|Z|I$是矩陣Z核范 數，其值等于Z的奇異值之和，用來約束Z的秩，I|Z| |p，q是矩陣Z的p，q范數，其中[Z]i_j為矩陣Z的第i行第j個元素，P= 1，q= 2時約束Z行稀疏，P= 2,q= 1 約束Z列稀疏，p= 1，q= 1約束Z稀疏。7. 如權利要求1所述的一種魯棒性的視頻目標對象跟蹤方法，其特征在于：所述的步 驟15)具體為， 采樣不精確拉格朗日乘子優化算法求解（式1)中系數矩陣，引進了四個等式約束： 入llIziII*+入21 |z2|IU+入31 |z3|I1JA4I|z4|Iiu+入5|IE|IliI s.tX=DZ+E Z=Z1 (式 2); Z=Z2 Z=Z3 Z=z4+z〇 利用增廣拉格朗日乘子法合并（式2)中等式約束和目標函數，得到拉格朗日函數：其中，Y1J2,Y3，Y4,Y5為拉格朗日乘數，y為大于O的懲罰參數，（式3)通過一個封閉 的迭代操作進行優化求出系數矩陣，算法過程為： 輸入：X，D，Z0,入！5,P，y，ymax,e輸出：Z，E 初始化Z，O矩陣；while(norm(X-D*Z-E,'fro') >e)Y1=Yi+y(X-DZ-E) Y2=Y2+y(Z-Z1) Y3=Y3+y(Z-Z2) Y4=Y4+y(Z-Z3) Y5=Y5+y(Z-Z4-Z0)y=min(Py,ymax) end 其中，X為篩選后的候選目標粒子組成的觀測矩陣，每一列代表一個候選目標粒子；D為模板字典，包括目標模板集和背景模板集；Z為線性系數矩陣，E為誤差矩陣；Zli ..、4為與Z 等價的中間變量，\..、5為拉格朗日乘數；y為懲罰參數，P，iimaX，e為常數參數，本發明 中設定y= 106，P= 1. 1，ymax= 101。，e= 10s;SE (Q)、DE (Q)、TE (Q)、We (Q)是關于 矩陣Q和參數e的函數，公式為： Se (Q) =max(|Q| -e，O)sgn(Q)，其中sgn( ?)為符號函數8. 如權利要求1所述的一種魯棒性的視頻目標對象跟蹤方法，其特征在于：所述的步 驟16)中，包括： 計算候選目標粒子在目標模板集上的重構誤差； 計算候選目標粒子在背景模板集上的重構誤差； 計算判別函數的值； 根據判別函數值確定當前幀的跟蹤結果；其中，判別函數的公式為目標粒子1^乍為當前幀的跟蹤結果yt。9. 如權利要求1所述的一種魯棒性的視頻目標對象跟蹤方法，其特征在于：所述的步 驟17)具體為，模板字典的更新包括目標模板集的更新和背景模板集的更新；其中，目標模 板集的更新具體步驟如下： a:yt是當前幀的跟蹤結果，即使判別函數最大的候選目標粒子X1; b 是當前幀的跟蹤結果yt或者Xi在目標模板集上的線性表示系數；10.如權利要求1所述的一種魯棒性的視頻目標對象跟蹤方法，其特征在于：所述的背 景模板集的更新為：以當前幀目標對象的中心為圓心，在大于r小于R的圓環內隨機采樣mb 個與當前跟蹤的目標一樣大的圖像塊作為背景模板集。
【專利摘要】本發明公開了一種魯棒性的視頻目標對象跟蹤方法，包括：基于粒子濾波重要性采樣原理采樣獲取當前幀的候選目標粒子；基于候選目標粒子與前面跟蹤結果的余弦相似性濾去離異粒子；篩選后的侯選目標粒子基于模板字典的線性表示；線性系數矩陣的低秩稀疏數學模型；基于不精確拉格朗日乘子優化算法求解系數矩陣；根據判別函數選出最佳的候選目標作為跟蹤結果；在線更新模板字典。本發明的方法的魯棒性保證了方法能夠應對各種挑戰因素，對視頻中目標對象進行準確跟蹤。克服視頻中目標對象因光照變化、尺度變化、遮擋、變形、運動模糊、快速運動、旋轉、背景雜波、低分辨率等原因導致跟蹤不準確甚至漂移。
【IPC分類】G06T7/20
【公開號】CN105046717
【申請號】CN201510270455
【發明人】熊繼平, 湯清華, 蔡麗桑, 王妃
【申請人】浙江師范大學
【公開日】2015年11月11日
【申請日】2015年5月25日