一種基于流形判別非負矩陣分解的目標跟蹤方法
【專利摘要】一種基于流形判別非負矩陣分解的目標跟蹤方法，包括：S1獲取當前幀正負樣本，S2獲取正負樣本特征和樣本矩陣Xl；S3讀取下一幀，獲取候選樣本矩陣Xu；S4合并Xl和Xu為數據矩陣X，將X分解為非負矩陣乘積，再經學習得到分類器；S5通過分類器計算每個候選樣本的響應值，選取最大響應作為跟蹤目標；S6判斷是否最后一幀，若是，進入S7輸出每一幀目標的狀態，若否，跳至S1。本發明通過非負矩陣分解來獲得更高層圖像特征，能更好描述局部特性，排除遮擋和背景干擾；使用半監督流形正則方法，結合標記和無標記樣本訓練含空間結構信息的分類器，可保留更多判別信息，有效應對光照和目標形變；通過在線訓練更新特征提取模型，快速定位視頻中的指定目標。
【專利說明】
一種基于流形判別非負矩陣分解的目標跟蹤方法
技術領域
[0001] 本發明涉及一種基于流形判別非負矩陣分解的目標跟蹤方法，屬于計算機視覺、 模式識別以及視頻監控技術領域。
【背景技術】
[0002] 目標跟蹤旨在從視頻中定位、識別場景中的指定目標，并估計其運動軌跡。計算機 視覺的許多高層任務，如場景理解、事件檢測、行為識別等，都很大程度上依賴于目標跟蹤 的結果。在計算機視覺和模式識別領域的國際頂級學術刊物和會議上，目標跟蹤都占據了 不低的篇幅和比重。作為一個融合了計算機視覺、圖像處理、模式識別、機器學習、統計分析 和隨機過程等多學科交叉的前沿性研究方向，目標跟蹤在視頻監控、人機交互、視覺導航、 運動分析、視頻檢索等系統等領域中具有很重要的實際應用價值。近年來出現的目標跟蹤 方法，大致可以分為生成式和判別式兩類。生成式的跟蹤方法通常為需要跟蹤目標生成一 個表觀模型，通過模型匹配，尋找當前幀中與被跟蹤目標最相似的候選目標作為跟蹤結果， 其中的關鍵問題是，如何衡量目標之間相似程度，以確保跟蹤結果的正確性。而判別式的方 法則采用了不同的思路，它將跟蹤看成一個二分類問題，把目標作為正樣本，背景信息作為 負樣本，通過訓練一個分類器來區分目標和背景，其中的關鍵是訓練一個魯棒的分類器，減 少錯分的發生。
[0003]目前已有的生成式跟蹤方法，通常使用低層視覺特征(如顏色、邊緣、紋理等)描述 目標的表觀信息，并根據表觀特征在特征空間中的空間分布構建有判別力的表觀模型。然 而在實際跟蹤任務中，由于存在目標被遮擋、目標變形和快速位移以及光照變化等干擾，僅 僅依靠表觀特征的空間分布很容易使得被跟蹤目標與背景或遮擋物混淆，限制了表觀模型 在實際中起的作用。常見的一些判別式方法也僅僅是考慮標記樣本，由于標記樣本的數目 往往很少，很難獲得有效的判別信息。因此，考慮半監督的判別式跟蹤方法，充分利用標記 信息的同時，綜合考慮無標記樣本的特性和空間結構信息，提高分類器的判別能力勢在必 行。
[0004] 近年來，非負矩陣分解作為一種有效的圖像表示方法，已經被廣泛應用于圖像分 類和人臉識別領域。它將圖像低層特征進行非負分解，將得到的系數矩陣作為新的中層特 征，由于非負中層特征能夠更好地表示圖像的局部信息，語義比僅僅考慮低層視覺特征要 豐富的多。
[0005] (1)在Signal Processing 2013年第93卷第6號第 1608頁至 1623頁，題目為："On-line learning parts-based representation via incremental orthogonal projective non-negative matrix factorization"文章中，Wang等人首次將非負矩陣分 解應用于跟蹤領域，提出了基于正交非負矩陣分解的生成式跟蹤方法。但是該方法僅僅把 分解獲得的基向量作為目標模板，而沒有利用目標的標記信息，使得跟蹤方法的準確度不 1? 〇
[0006] (2)在IEEE Transactions on Circuits and Systems for Video Technology 2014年第24卷第3號第374至383頁，題目為："Visual tracking via online nonnegative matrix factorization"的文章中，Wu等人提出了基于一般非負矩陣分解的判別式跟蹤方 法，取得了較好的跟蹤性能。然而，該方法雖然利用了標記信息，但是沒有考慮數量巨大的 無標記樣本，并且只使用單一流形正則來擬合樣本的幾何特性，不能很好的表示樣本的空 間結構信息。
[0007] 針對上述已有方法的不足，本發明一種基于流形判別非負矩陣分解的目標跟蹤方 法提出基于半監督流形判別的非負矩陣分解跟蹤方法，在利用樣本標記信息的同時，考慮 無標記樣本共同提供的空間結構信息，使得跟蹤方法對于目標變形和遮擋等干擾更加魯 棒。

【發明內容】

[0008] 本發明的目的要解決現有目標跟蹤方法采用的表觀模型或者訓練的分類器判別 能力不足，不能有效處理復雜場景中遮擋、目標變形和位移、光照變化為主的問題、從而導 致目標容易丟失和跟蹤失敗，提出了一種基于流形判別非負矩陣分解的目標跟蹤方法。
[0009] -種基于流形判別非負矩陣分解的目標跟蹤方法，包括如下步驟：
[0010] S1:在當前幀，按照粒子濾波框架在目標位置附近分別提取正樣本和負樣本，且每 個樣本都包含一組仿射參數；
[0011]所述的正樣本為nP個，所述的負樣本為nn個;且每個樣本可以為nP個正樣本中的一 個，或者為nn個負樣本中的一個；
[0012] S2:根據S1輸出的每個樣本包含的仿射參數獲取對應該樣本的圖像塊并提取此圖 像塊的圖像特征，生成樣本矩陣；
[0013] 其中，生成樣本矩陣記為χ:，其中1=ηρ+ηη;
[0014] S3 :讀取下一幀，在前一幀目標位置附近提取候選樣本，獲取對應的候選樣本矩 陣；
[0015] 其中，所述的候選樣本為u個，候選樣本矩陣記為Xu;
[0016] 其中，S1中的當前幀、S3中的前一幀及下一幀均指某監控視頻流圖像幀，所述的監 控視頻圖像幀來自于場景中監控攝像機采集的在線視頻流；
[0017] S4:合并S2輸出的樣本矩陣和S3輸出的候選樣本矩陣為數據矩陣，將此數據矩陣 分解為兩個低秩的非負矩陣的乘積，同時考慮樣本的標記信息和幾何特性，引入判別約束 和流形約束，最終學習得到一個貝葉斯分類器；
[0018] 其中，S4中的數據矩陣記為X，兩個低秩的非負矩陣記為U和V，其乘積記為X = UV;
[0019] S5:通過S4輸出的貝葉斯分類器計算S3中每個候選樣本的響應值，選取響應值最 大的候選樣本作為當前幀的跟蹤目標；
[0020] S6、判斷當前幀數是否是最后一幀，并進行相應操作，具體為：
[0021] S6.1如果當前幀數是最后一幀，表明跟蹤結束，跳至S7;
[0022] S6.2如果當前幀數不是最后一幀，表明還需要繼續跟蹤，跳至S1，繼續下一幀圖像 的目標跟蹤；
[0023] S7、輸出每一幀目標的狀態；
[0024]至此，從S1到S7完成了一種基于流形判別非負矩陣分解的目標跟蹤方法。
[0025] 有益效果
[0026] 本發明一種基于流形判別非負矩陣分解的目標跟蹤方法，用于快速定位視頻中的 指定目標，與已有目標跟蹤方法相比，具有如下有益效果：
[0027] 1、本發明通過非負矩陣分解來獲得更高層的圖像特征，相比于目標的表觀特征能 夠更好地描述局部特性，有利于排除遮擋和相似背景的干擾；
[0028] 2、本發明使用半監督的流形正則方法，結合標記樣本和候選無標記樣本共同訓練 帶有空間結構信息的分類器，能夠保留更多的判別信息，有效應對光照變化和目標形變； [0029] 3、本發明通過在線訓練更新特征提取模型，在保持跟蹤性能的同時保證了跟蹤的 實時性，即可以用于實時跟蹤監控視頻中的指定監控目標。
【附圖說明】
[0030] 圖1是本發明一種基于流形判別非負矩陣分解的目標跟蹤方法的目標跟蹤方法流 程圖；
[0031] 圖2是本發明一種基于流形判別非負矩陣分解的目標跟蹤方法及實施例具體實施 非負矩陣分解的跟蹤示意圖。
【具體實施方式】
[0032] -種基于流形判別非負矩陣分解的目標跟蹤方法，通過對低層圖像特征進行非負 矩陣分解來獲得能更好表達目標局部特性的中層特征，綜合考慮目標的空間結構，在線訓 練分類器利用標記樣本的判別信息來實現候選位置與實際目標的精確匹配;其流程圖如圖 1所示。
[0033] 由圖1可以看出：S1獲取當前幀正負樣本，S2獲取正負樣本特征和樣本矩陣Xi; S3 讀取下一幀，獲取候選樣本矩陣Xu; S4中合并Χι和Xu為數據矩陣X，并將此X分解為非負矩陣U 和V，再經學習得到分類器;S5通過分類器計算每個候選樣本的響應值，選取最大響應作為 跟蹤目標;S6判斷是否最后一幀，若是，進入S7輸出每一幀目標的狀態，若否，跳至S1。
[0034]以下通過具體實施例詳細描述本發明的實施方式，實施例不作為對本發明的保護 范圍的限制。
[0035] 實施例1
[0036] 本發明具體實施時的目標跟蹤方法，包含如下步驟：
[0037]步驟一獲取正樣本和負樣本；
[0038] 其中，正樣本和正樣本均通過上一幀目標位置附近獲取;在本實例中，選取正樣本 5個和負樣本200個；
[0039]與此同時，按照粒子濾波框架，每個粒子由6個仿射參數構成，分別表示目標縱軸 方向方向X的位移、橫軸方向y的位移、旋轉角度、尺度變化比例、縱橫比和傾斜度，通過此6 個仿射參數的隨機變化，就能獲得和目標位置相近的其他圖像區域的位置參數;對于上述 放射參數，正樣本的X方向的位移和y方向的位移設定為5:即在目標位置為中心邊長為10的 區域內隨機采樣;負樣本X方向的位移和y方向的位移設定為7.5，即在邊長為15的區域內隨 機采樣;隨機采樣的示意圖如圖2中的上一幀中的實線框和虛線框所示:具體的，實線方框 內獲取的為正樣本，虛線方框中獲取的為負樣本。
[0040]步驟二提取樣本特征；
[0041 ]通過仿射參數變換，將步驟一選取的對應區域圖像轉化為寬高為32 X 32大小的矩 陣，然后對每一個樣本提取圖像特征并轉化為列向量;通常使用的圖像特征有灰度、H0G、 LAB為主的特征;在本實例中，我們使用了三種特征的組合，其中，灰度特征向量是32 X 32 = 1024維，采用的優化H0G特征向量是6 X 6 X 31 = 1116維，LAB特征向量是32 X 32 X 3 = 3072 維，針對跟蹤視頻原始圖像的不同，分別采取灰度及H0G和LAB及H0G的組合;得到樣本矩陣 X, e IT·和對應的樣本標記γ e IR'其中e表示屬于，聯表示實數空間，賢&艦表示d X 205維的實數空間，賤表示205維實數空間，d表示最終特征的維度，205表示總的有標記樣 本個數，含正樣本200個和負樣本5個；
[0042]步驟三獲取候選樣本，生成候選樣本矩陣；
[0043] 讀取當前幀，參照上一幀的目標位置，同樣采用粒子濾波框架獲取候選樣本;對應 圖2中的第二行圖像實線方框內獲取的為候選樣本;具體在在本實例中，選取300個無標記 的候選樣本，在邊長為10的范圍內隨機采樣;按照S2步驟中的特征提取方法，提取圖像特征 后獲得的候選樣本矩陣為X" e;
[0044] 步驟四學習半監督分類器；
[0045] 數據矩陣X= [XpXJ e 為所有的數據組成的矩陣，其中505表示全部樣本的 個數，包括有標記樣本205個，無標記樣本300個;根據非負矩陣分解的理論，我們可以將數 據矩陣X分解為兩個低秩的非負矩陣的乘積，在本實例中，選擇分解的維度為30,即，X=UV， 其中，U e e，V e R^5，其中表示正實數空間，如圖2所示；
[0046] 此時，求解U矩陣和V矩陣就轉化為以下優化問題：
[0047] ||X - UV III
[0048] s.t. U彡0 V彡0
[0049] 其中，min表示最小化(minimize的英文縮寫），s.t.表示受制于（subject to的英 文縮寫），| I · I If表示矩陣的Frobenius范數，即矩陣元素絕對值的平方和再開平方;矩陣U 可以看做一個字典，V可以看做數據矩陣相對于字典的系數，也可以作為字典的一種新的表 示。在本發明中，我們把V作為一種新的中層特征來訓練分類器。如圖2所示，字典U直觀上可 以看作是原始圖像局部特征的具體刻畫。
[0050]考慮樣本的標記信息和空間結構信息，引入流形判別約束，即在原優化問題的基 礎上增加約束： 「00511 h- lx …?νΒ+σ (iir …+λΗΜΡμ 咖（f
[0052] s.t. U^0 V^0
[0053] S(10，71，，、'，.p
[0054]第二項和第三項分別是分類器的判別誤差和流形正則約束，其中 F[奶;….,_坊;0;…，0]2 € Hyi，· · ·，yi表示1個樣本的標記，[· · · =1?示中括號中的矩陣 或者向量的轉置，f=[f(vi)，. . .，f(vn)]T = VTw，f表示分類器函數，向量vi是矩陣V的第i列， w為分類器的最佳分界面;J … ；1:()e 示對角化操作算子，即將其后的向量轉化成一個對角矩陣，表示nXn維的實數空間;矩 陣ι = ，是p個預定的圖所形成的陣的線性組合，衡量了樣本之間 的相似程度，包含了目標的結構信息，其中Σ表示求和符號，在這里求多個矩陣的和，處表 示第k個預定的Laplacian矩陣的L(k)的權重。對其中每一項，L(k)=D(k)-A (k)，A(k)是樣本的親 近矩陣，D(k)是一個對角矩陣，其每個對角元素1)^ = ，其中Σ表示求和符號，在這 里求多個數的和。
[0055] 通過對上述分步迭代求解，可以得到分類器的最佳分界面w和Laplacian矩陣的最 優組合參數a k。通過聯合優化，一方面提高了運算效率，另一方面也避免陷入局部最優值。
[0056] 步驟五選取最優候選目標；
[0057] 學習得到分類器以后，候選樣本中響應值最大的目標就可以認為是當前幀的目 標。在本發明中，我們在考慮分類器的分類結果的基礎上綜合考慮了圖像非負矩陣分解的 重構誤差，進一步提高了準確度。如圖2所示，直觀上，最優候選樣本對應的特征向量與模板 矩陣U的乘積可以得到當前幀的目標圖像，在本發明中，我們只計算得到候選樣本的響應 值，直接把最優候選樣本的位置代入下一步計算。
[0058]步驟六判斷是否結束；
[0059]跟蹤流程的最后是判斷跟蹤是否結束，在本發明中，正負樣本的獲取放在流程第 一步進行，避免跟蹤流程已經結束依舊在最后一幀獲取正負樣本的額外步驟。
[0060] 綜上所述，給定一個在線視頻流，本發明通過對每一幀圖像依次運行步驟一到步 驟六，完成了一種基于流形判別非負矩陣分解的目標跟蹤方法。
[0061] 通過發明主體及實施例的細節描述，解決了現有目標跟蹤方法不能有效處理復雜 場景中遮擋、目標變形和位移、光照變化等問題的不足，獲得了較為魯棒的跟蹤結果。
[0062] 以上所述的【具體實施方式】，對本發明的目的、技術方案和有益效果進行了進一步 詳細說明。應理解的是，以上所述僅為本發明的具體實施例而已，并不用于限制本發明，凡 在本發明的精神和原則之內，所做的任何修改、等同替換、局部改進等，均應包含在本發明 的保護范圍之內。
【主權項】
1. 一種基于流形判別非負矩陣分解的目標跟蹤方法，其特征在于： 包括如下步驟： S1:在當前幀，按照粒子濾波框架在目標位置附近分別提取正樣本和負樣本，且每個樣 本都包含一組仿射參數； S2:根據S1輸出的每個樣本包含的仿射參數獲取對應該樣本的圖像塊并提取此圖像塊 的圖像特征，生成樣本矩陣； S3:讀取下一幀，在前一幀目標位置附近提取候選樣本，獲取對應的候選樣本矩陣； S4:合并S2輸出的樣本矩陣和S3輸出的候選樣本矩陣為數據矩陣，將此數據矩陣分解 為兩個低秩的非負矩陣的乘積，同時考慮樣本的標記信息和幾何特性，引入判別約束和流 形約束，最終學習得到一個貝葉斯分類器； S5:通過S4輸出的貝葉斯分類器計算S3中每個候選樣本的響應值，選取響應值最大的 候選樣本作為當前幀的跟蹤目標； 56、 判斷當前幀數是否是最后一幀，并進行相應操作； 57、 輸出每一幀目標的狀態； 至此，從S1到S7完成了一種基于流形判別非負矩陣分解的目標跟蹤方法。2. 如權利要求1所述的一種基于流形判別非負矩陣分解的目標跟蹤方法，其特征還在 于： S1中所述的正樣本為nP個，所述的負樣本為nn個;且每個樣本可以為nP個正樣本中的一 個，或者為nn個負樣本中的一個。3. 如權利要求1所述的一種基于流形判別非負矩陣分解的目標跟蹤方法，其特征還在 于： S2中生成樣本矩陣表示為:Χι，其中1 = ηΡ+ηη。4. 如權利要求1所述的一種基于流形判別非負矩陣分解的目標跟蹤方法，其特征還在 于： 其中，S3所述的候選樣本為u個，候選樣本矩陣記為Xu。5. 如權利要求1所述的一種基于流形判別非負矩陣分解的目標跟蹤方法，其特征還在 于： 其中，S1中的當前幀、S3中的前一幀及下一幀均指某監控視頻流圖像幀，所述的監控視 頻圖像幀來自于場景中監控攝像機采集的在線視頻流。6. 如權利要求1所述的一種基于流形判別非負矩陣分解的目標跟蹤方法，其特征還在 于： 其中，S4中的數據矩陣記為X，兩個低秩的非負矩陣記為U和V，其乘積記為X = UV。7. 如權利要求1所述的一種基于流形判別非負矩陣分解的目標跟蹤方法，其特征還在 于： S6中判斷當前幀數是否是最后一幀，并進行的相應操作，具體為： S6.1如果當前幀數是最后一幀，表明跟蹤結束，跳至S7; S6.2如果當前幀數不是最后一幀，表明還需要繼續跟蹤，跳至S1，繼續下一幀圖像的目 標跟蹤。
【文檔編號】G06T7/20GK106097381SQ201610365886
【公開日】2016年11月9日
【申請日】2016年5月27日
【發明人】馬波, 賀輝
【申請人】北京理工大學