一種視頻中的目標跟蹤方法及裝置的制造方法
【專利摘要】本發明公開了一種視頻中的目標跟蹤方法及裝置，用于解決現有的目標模板采用單一的樣本，跟蹤精度低的問題。方法包括：根據目標模板中的樣本，確定出當前幀圖像中待跟蹤目標所在位置的目標矩形框；提取出目標矩形框內圖像的特征信息，確定出目標矩形框內圖像的特征信息與目標模板中的樣本的相似度；在所述相似度滿足設定條件時，將所述目標矩形框內圖像的特征信息作為新的樣本存儲于目標模板中，并使用更新后的目標模板，對下一幀圖像中的待跟蹤目標進行跟蹤。在目標跟蹤過程中，不斷對目標模板進行更新和完善，使得目標模板中包含足夠多的關鍵幀中待跟蹤目標的特征信息，跟蹤結果更可靠。
【專利說明】
一種視頻中的目標跟蹤方法及裝置
技術領域
[0001] 本發明涉及視頻監控領域，特別涉及一種視頻中的目標跟蹤方法及裝置。
【背景技術】
[0002] 隨著監控網絡地不斷發展，實時視頻監控已經成為維護城市安全的重要手段。但 由于人力監控需要大量的勞動力，并且可能受到人為因素影響，在監控點逐步增多的情況 下，人力監控受到越來越大的挑戰。因此，通過圖像識別和行為識別等相關算法進行智能監 控的技術受到越來越多的關注。
[0003] 在使用視頻監控中，最主要的目的是能夠對突發事件及時發現并處理。而在突發 事件中，實現對視頻中的目標跟蹤，如對人、移動物體等的跟蹤，發揮著重要的作用。例如， 在敏感區域，通過分析跟蹤到的人的行走路線，分析其可能的行為，可以做到及時進行預 警，從而進一步降低了未來發生安全問題的概率，維護社會和諧。
[0004] 由于視頻中的目標跟蹤過程中，跟蹤結果經常受到一系列的內部或外部條件變化 的影響，例如，被跟蹤目標的形狀、尺寸、色調的變化，又如，外界光線變化和障礙物遮擋等， 使得難以實現對視頻中目標長時間的有效跟蹤，在跟蹤過程中經常會出現被跟蹤目標丟失 的情況。在多目標跟蹤過程中，問題更加嚴重，經常會出現不同目標跟蹤混淆的現象。
[0005] 為了實現有效跟蹤，通過樣本訓練，得到每個被跟蹤的目標對應的樣本模型，從而 形成目標模板，目標模板中包含每個被跟蹤的目標對應的樣本模型，這樣，在目標丟失和混 淆的情況下，可以基于該目標模板，對目標所在的位置進行更新和校正。由于現有的目標模 板采用單一的樣本模型來表征目標，跟蹤精度較低，不能有效的跟蹤到指定的目標。

【發明內容】

[0006] 本發明實施例提供了一種視頻中的目標跟蹤方法及裝置，用于解決現有的目標模 板采用單一的樣本模型來表征目標，跟蹤精度較低，不能有效的跟蹤到指定的目標的問題。
[0007] 第一方面，提供了一種視頻中的目標跟蹤方法，所述方法包括：
[0008] 根據目標模板中的樣本，確定出當前幀圖像中待跟蹤目標所在位置的目標矩形 框；
[0009] 提取出所述目標矩形框內圖像的特征信息，確定出所述目標矩形框內圖像的特征 信息與所述目標模板中的樣本的相似度；
[0010]在所述相似度滿足設定條件時，將所述目標矩形框內圖像的特征信息作為新的樣 本存儲于所述目標模板中，并使用更新后的目標模板，對下一幀圖像中的待跟蹤目標進行 跟蹤。
[0011] 第二方面，提供了 一種視頻中的目標跟蹤裝置，所述裝置包括：
[0012] 第一確定模塊，用于根據目標模板中的樣本，確定出當前幀圖像中待跟蹤目標所 在位置的目標矩形框；
[0013] 第二確定模塊，用于提取出所述目標矩形框內圖像的特征信息，確定出所述目標 矩形框內圖像的特征信息與所述目標模板中的樣本的相似度；
[0014] 樣本更新模塊，用于在所述相似度滿足設定條件時，將所述目標矩形框內圖像的 特征信息作為新的樣本存儲于所述目標模板中，并使用更新后的目標模板，對下一幀圖像 中的待跟蹤目標進行跟蹤。
[0015] 本發明實施例提供的方法和裝置中，在目標跟蹤過程中，根據獲取到的幀圖像中 待跟蹤目標所在位置的目標矩形框內圖像的特征信息，不斷對目標模板中的樣本進行更新 和完善，從而在目標模板中形成多個樣本來表征待跟蹤目標，使得目標模板中包含足夠多 的關鍵幀中待跟蹤目標的特征信息，并且采用多樣本的目標模板進行跟蹤，能夠應對待跟 蹤目標在跟蹤過程中出現的變化，使得跟蹤結果更可靠，準確性更高。另外，由于目標模板 中包含多個樣本，個別跟蹤效果較差的樣本的負面影響可以由其他樣本來補償。因此，采用 多樣本的目標模板進行跟蹤，極大提高了目標模板的魯棒性和普適性。
【附圖說明】
[0016] 圖1為本發明實施例提供的一種視頻中的目標跟蹤方法的流程示意圖；
[0017] 圖2為本發明實施例提供的一種視頻中的目標跟蹤方法中更新目標模板的示意 圖；
[0018] 圖3為本發明實施例提供的一種視頻中的目標跟蹤方法的另一流程示意圖；
[0019]圖4為本發明實施例提供的一種視頻中的目標跟蹤裝置的示意圖。
【具體實施方式】
[0020] 為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例 中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是 本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員 在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。
[0021] 下面結合說明書附圖對本發明實施例作進一步詳細描述。應當理解，此處所描述 的實施例僅用于說明和解釋本發明，并不用于限定本發明。
[0022] 本發明實施例提供了一種視頻中的目標跟蹤方法，如圖1所示，所述方法包括：
[0023] S11、根據目標模板中的樣本，確定出當前幀圖像中待跟蹤目標所在位置的目標矩 形框；
[0024] S12、提取出所述目標矩形框內圖像的特征信息，確定出所述目標矩形框內圖像的 特征信息與所述目標模板中樣本的相似度。
[0025] 具體的，若所述目標模板中包含一個樣本，則確定出所述目標矩形框內圖像的特 征信息與該樣本的相似度;若所述目標模板中包含至少兩個樣本，則分別確定出所述目標 矩形框內圖像的特征信息與每個樣本的相似度。
[0026] S13、在所述相似度滿足設定條件時，將所述目標矩形框內圖像的特征信息作為新 的樣本存儲于所述目標模板中，并使用更新后的目標模板，對下一幀圖像中的待跟蹤目標 進行跟蹤。
[0027] 具體的，使用更新后的目標模板，對于下一幀圖像繼續執行上述步驟S11~S13。 [0028]本發明實施例中，在目標跟蹤過程中，根據獲取到的幀圖像中待跟蹤目標所在位 置的目標矩形框內圖像的特征信息，不斷對目標模板進行更新和完善，從而在目標模板中 形成多個樣本來表征待跟蹤目標，使得目標模板中包含足夠多的關鍵幀中待跟蹤目標的特 征信息，并且采用多樣本的目標模板進行跟蹤，能夠應對待跟蹤目標在跟蹤過程中出現的 變化，使得跟蹤結果更可靠，準確性更高。另外，由于目標模板中包含多個樣本，個別跟蹤效 果較差的樣本的負面影響可以由其他樣本來補償。因此，采用多樣本的目標模板進行跟蹤， 極大提高了目標模板的魯棒性和普適性。
[0029] 本發明實施例中，對于同一幀圖像中的不同的待跟蹤目標，均可采用上述步驟S11 ~步驟S13的方法進行跟蹤，并不斷更新每個待跟蹤目標對應的多樣本的目標模板。
[0030] 本發明實施例中，S11中根據目標模板中的樣本，確定出當前幀圖像中待跟蹤目標 所在位置的目標矩形框，包括：
[0031] 根據前N幀圖像中待跟蹤目標所在位置的目標矩形框，預測當前幀圖像中待跟蹤 目標所在位置的第一矩形框，其中，N為正整數；
[0032] 以所述第一矩形框為基準，確定出至少一個第二矩形框，其中，第二矩形框與所述 第一矩形框的距離小于或等于設定的距離閾值；
[0033] 分別提取出所述第一矩形框內圖像的特征信息和所述第二矩形框內圖像的特征 信息，并分別確定所提取的特征信息與所述目標模板中的樣本的相似度；
[0034]根據所述相似度，從所述第一矩形框和所述第二矩形框中，選擇一個矩形框確定 為所述目標矩形框。
[0035]由于目標模板中包含多個樣本，能夠應對待跟蹤目標在跟蹤過程中出現的變化， 使得跟蹤結果更可靠，準確性更高，并且可以降低個別跟蹤效果較差的樣本的負面影響，極 大提高了目標模板的魯棒性和普適性。
[0036] 進一步，一種可能的實現方式中，根據所述相似度，從所述第一矩形框和所述第二 矩形框中，選擇一個矩形框確定為所述目標矩形框，包括：
[0037] 對于所述第一矩形框，確定出所述第一矩形框內圖像的特征信息與所述目標模板 中的樣本的相似度的平均值；以及對于所述第二矩形框，確定出所述第二矩形框內圖像的 特征信息與所述目標模板中的樣本的相似度的平均值；
[0038] 從所述第一矩形框和所述第二矩形框中，選擇出相似度的平均值大于設定相似度 閾值的矩形框，并將選擇出的矩形框中相似度的平均值最大的矩形框確定為所述目標矩形 框。
[0039] 具體的，若所述目標模板中包含一個樣本，則所述第一矩形框內圖像的特征信息 與所述目標模板中的樣本的相似度的平均值，即為所述第一矩形框內圖像的特征信息與該 樣本的相似度;所述第二矩形框內圖像的特征信息與所述目標模板中的樣本的相似度的平 均值，即為所述第二矩形框內圖像的特征信息與該樣本的相似度。
[0040] 若所述目標模板中包含至少兩個樣本，則所述第一矩形框內圖像的特征信息與所 述目標模板中的樣本的相似度的平均值，即為所述第一矩形框內圖像的特征信息與所述至 少兩個樣本中的每個樣本的相似度的平均值;所述第二矩形框內圖像的特征信息與所述目 標模板中的樣本的相似度的平均值，即為所述第二矩形框內圖像的特征信息與所述至少兩 個樣本中的每個樣本的相似度的平均值。
[0041 ]另一種可能的實現方式中，若所述第一矩形框和所有所述第二矩形框與所述目標 模板的相似度的平均值均小于或等于所述相似度閾值，將所述第一矩形框確定為所述目標 矩形框。
[0042] 本發明實施例中不限定采用上述方式確定出目標矩形框，也可以采用其他方式， 如從所述第一矩形框和所述第二矩形框中，將相似度的平均值最高的矩形框確定為所述目 標矩形框。
[0043] 在所述目標模板中包含多個樣本時，由于采用平均值方式，在進行相似度的大小 比較時，只需比較第一矩形框與所述目標模板中的樣本的相似度的平均值、以及第二矩形 框與所述目標模板中的樣本的相似度的平均值的大小即可，從而減少了比較次數，提高了 處理效率。
[0044] 本發明實施例中，S12中提取出的所述目標矩形框內圖像的特征信息可以是所述 目標矩形框內圖像的紋理特征，如方向梯度直方圖（Histogram of oriented gradients， 簡稱HOG)，局部二值模式(Local Binary Patterns，簡稱LBP)等，也可以是對目標矩形框進 行分塊后所提取的顏色直方圖。本發明實施例不對所提取出的特征信息進行限定。
[0045] 本發明實施例中，S13中在所述相似度滿足設定條件時，將所述目標矩形框內圖像 的特征信息作為新的樣本存儲于所述目標模板中，包括：
[0046] 在所述相似度的平均值大于設定的相似度閾值，且當前時刻距離上一次樣本更新 的間隔時長大于設定的時間閾值時，將所述目標矩形框內圖像的特征信息作為新的樣本存 儲于所述目標模板中。
[0047] 為了使目標模板中新的樣本能夠更準確的追蹤到待跟蹤目標，確定出的相似度需 要滿足平均值大于設定的相似度閾值的條件，為了避免頻繁更新目標模板中的樣本，需滿 足當前時刻距離上一次樣本更新的間隔時長大于設定的時間閾值。
[0048] 具體的，假設當前時刻為t時刻，此時目標模板內的樣本數量為n(n<N)，N表示目 標模板能存儲的樣本數量的上限值，計算所述目標矩形框內圖像的特征信息與所述目標模 板中每個樣本的相似度，記為P」（j = l，2,…，n)。則當
的值大于設定的相似 度閾值，并且當前時刻距離上一次樣本更新的間隔時長大于設定的時間閾值T時，將當前時 刻采集到的圖像幀中的目標矩形框內圖像的特征信息作為新的樣本存儲于所述目標模板 中，不斷重復上述待跟蹤目標的跟蹤和目標模板的更新過程，以不斷更新目標模板中的樣 本。
[0049] 本發明實施例中，相似度閾值和時間閾值均為經驗值，可以根據經驗或仿真或應 用環境進行設定。
[0050] 本發明實施例中，若所述相似度的平均值小于或等于設定的相似度閾值，或者當 前時刻距離上一次樣本更新的間隔時長小于或等于設定的時間閾值時，確定不滿足設定條 件，則轉入步驟S11繼續對下一幀圖像中的待跟蹤目標進行跟蹤。
[0051 ]本發明實施例中，所述方法還包括目標模板的初始化過程，具體如下：
[0052]從第一幀包括所述待跟蹤目標的圖像中，確定出所述待跟蹤目標所在位置的目標 矩形框；
[0053]提取出所述第一幀包括所述待跟蹤目標的圖像中的目標矩形框內圖像的特征信 息；
[0054] 將所提取出的特征信息作為所述目標模板中的固定樣本。
[0055] 由于初始化時確定出的待跟蹤目標的特征信息的準確度較高，因此，將初始化的 第一幀包括所述待跟蹤目標的圖像確定出的樣本作為固定樣本，在所述目標模板的更新過 程中固定樣本是不會被替換掉的。具體的，在第i個待跟蹤目標初始化的第一幀圖像 tl>1中， 確定出待跟蹤目標所在位置的目標矩形框，i = 1，…，M，M表示待跟蹤目標的數量;然后提取 出該目標矩形框內圖像的特征信息，并將該特征信息作為所述目標模板中的固定樣本，該 固定樣本在后續目標模板的更新過程中，一直保持不變，不會在后續的更新過程中被替換 掉的。之后，基于初始化后的目標模板進行待跟蹤目標的跟蹤（即根據該目標模板確定出下 一幀圖像中所述待跟蹤目標所在位置的目標矩形框），并根據跟蹤結果更新所述目標模板。
[0056] 舉例說明，第一幀圖像中的目標矩形框可以采用如下方式確定：（1)通過人為選取 的方式來確定目標矩形框；（2)通過目標檢測的方式，檢測出指定類型的待跟蹤目標，將檢 測到的待跟蹤目標位置所在的矩形框確定為目標矩形框。當然，本發明實施例中也可以采 用其他方式確定第一幀圖像中的目標矩形框，本發明實施例中不限定第一幀圖像中的目標 矩形框的確定方式。
[0057]本發明實施例中，若所述目標模板中已有的樣本的數量未達到上限值，則將所述 目標矩形框內圖像的特征信息作為新的樣本直接存儲于所述目標模板中即可;若所述目標 模板中已有的樣本的數量達到上限值，則將所述目標矩形框內圖像的特征信息作為新的樣 本進行更新時，需要替換目標模板中已有的樣本，具體可采用如下兩種可選的方式進行更 新：
[0058] 方式1、將所述目標矩形框內圖像的特征信息作為新的樣本，替換所述目標模板中 除所述固定樣本之外的任一樣本。
[0059] 該方式下，在存儲新的樣本時，可將新的樣本替換所述目標模板中除所述固定樣 本之外的任一樣本。
[0060] 方式2、將所述目標矩形框內圖像的特征信息作為新的樣本，替換所述目標模板中 除所述固定樣本之外存儲時間最長的樣本。
[0061] 該方式下，在存儲新的樣本時，將新的樣本替換所述目標模板中除所述固定樣本 之外的存儲時間最長的樣本，從而使目標模板中的樣本更好地應對待跟蹤目標在跟蹤過程 中出現的變化，使得跟蹤結果更可靠，準確性更高。
[0062] 舉例說明，如圖2所示，假設上限值為6,分別通過時刻的圖像中待跟蹤目 標所在位置的目標矩形框內的圖像的特征信息，得到六個樣本并存儲于目標模板中，在后 續的跟蹤過程中，t1>7時刻的圖像中待跟蹤目標所在位置的目標矩形框內的圖像的特征信 息與所述目標模板中已有的六個樣本的相似度滿足設定條件，可作為新的樣本存儲于所述 目標模板中，在存儲時，由于目標模板中的樣本數量已達到上限值，因此，新的樣本需要替 換目標模板中已有的樣本，此時，新的樣本替換^, 2時刻得到的樣本。在后續的跟蹤過程中， 假設t1>8時刻的圖像中待跟蹤目標所在位置的目標矩形框內的圖像的特征信息與所述目標 模板中已有的六個樣本的相似度也滿足設定條件，可作為新的樣本存儲于所述目標模板 中，在存儲時，新的樣本替換43時刻得到的樣本，依次類推。
[0063] 下面通過一個具體實施例，對本發明提供的一種視頻中的目標跟蹤方法進行詳細 說明。
[0064] 實施例一、如圖3所示，本實施例中目標跟蹤方法包括如下過程：
[0065] S31、根據目標模板中的樣本，確定出當前幀圖像中待跟蹤目標所在位置的目標矩 形框；
[0066] S32、提取出所述目標矩形框內圖像的特征信息；
[0067] S33、確定出所述目標矩形框內圖像的特征信息與所述目標模板中的樣本的相似 度；
[0068] S34、判斷是否為所述目標模板中的最后一個樣本；
[0069]若是，執行S35;
[0070] 若否，執行S33;
[0071] S35、判斷是否滿足設定條件；
[0072]若是，執行S36;
[0073] 若否，執行S31，即根據目標模板，確定出下一幀圖像中待跟蹤目標所在位置的目 標矩形框；
[0074] S36、將所述目標矩形框內圖像的特征信息作為新的樣本存儲于所述目標模板中， 并轉至S31，即根據更新后的目標模板，確定出下一幀圖像中待跟蹤目標所在位置的目標矩 形框。
[0075] 上述方法處理流程可以用軟件程序實現，該軟件程序可以存儲在存儲介質中，當 存儲的軟件程序被調用時，執行上述方法步驟。
[0076] 基于同一發明構思，本發明實施例中還提供了一種視頻中的目標跟蹤裝置，由于 該裝置解決問題的原理與一種視頻中的目標跟蹤方法相似，因此該裝置的實施可以參見方 法的實施，重復之處不再贅述。
[0077]本發明實施例提供了一種視頻中的目標跟蹤裝置，如圖4所示，所述裝置包括： [0078]第一確定模塊41，用于根據目標模板中的樣本，確定出當前幀圖像中待跟蹤目標 所在位置的目標矩形框；
[0079] 第二確定模塊42,用于提取出所述目標矩形框內圖像的特征信息，確定出所述目 標矩形框內圖像的特征信息與所述目標模板中的樣本的相似度；
[0080] 樣本更新模塊43，用于在所述相似度滿足設定條件時，將所述目標矩形框內圖像 的特征信息作為新的樣本存儲于所述目標模板中，并使用更新后的目標模板，對下一幀圖 像中的待跟蹤目標進行跟蹤。
[0081 ]可選的，所述樣本更新模塊43具體用于：
[0082]在所述相似度的平均值大于設定的相似度閾值，且當前時刻距離上一次樣本更新 的間隔時長大于設定的時間閾值時，將所述目標矩形框內圖像的特征信息作為新的樣本存 儲于所述目標模板中。
[0083]可選的，所述第一確定模塊41具體用于：
[0084]根據前N幀圖像中待跟蹤目標所在位置的目標矩形框，預測當前幀圖像中待跟蹤 目標所在位置的第一矩形框，其中，N為正整數；
[0085]以所述第一矩形框為基準，確定出至少一個第二矩形框，其中，第二矩形框與所述 第一矩形框的距離小于或等于設定的距離閾值；
[0086] 分別提取出所述第一矩形框內圖像的特征信息和所述第二矩形框內圖像的特征 信息，并分別確定所提取的特征信息與所述目標模板中的樣本的相似度；
[0087] 根據所述相似度，從所述第一矩形框和所述第二矩形框中，選擇一個矩形框確定 為所述目標矩形框。
[0088]可選的，所述第一確定模塊41具體用于：
[0089] 對于所述第一矩形框，確定出所述第一矩形框內圖像的特征信息與所述目標模板 中的樣本的相似度的平均值；以及對于所述第二矩形框，確定出所述第二矩形框內圖像的 特征信息與所述目標模板中的樣本的相似度的平均值；
[0090] 從所述第一矩形框和所述第二矩形框中，選擇出相似度的平均值大于設定相似度 閾值的矩形框，并將選擇出的矩形框中相似度的平均值最大的矩形框確定為所述目標矩形 框。
[0091] 可選的，所述第一確定模塊41還用于:若所述第一矩形框和所有所述第二矩形框 與所述目標模板的相似度的平均值均小于或等于所述相似度閾值，將所述第一矩形框確定 為所述目標矩形框。
[0092]可選的，所述裝置還包括：
[0093]初始化模塊40,用于從第一幀包括所述待跟蹤目標的圖像中，確定出所述待跟蹤 目標所在位置的目標矩形框;提取出所述第一幀包括所述待跟蹤目標的圖像中的目標矩形 框內圖像的特征信息;將所提取出的特征信息作為所述目標模板中的固定樣本。
[0094]可選的，若所述目標模板中已有的樣本的數量達到上限值，所述樣本更新模塊43 具體用于：
[0095] 將所述目標矩形框內圖像的特征信息作為新的樣本，替換所述目標模板中除所述 固定樣本之外存儲時間最長的樣本;或者
[0096] 將所述目標矩形框內圖像的特征信息作為新的樣本，替換所述目標模板中除所述 固定樣本之外的任一樣本。
[0097] 本發明實施例中，在目標跟蹤過程中，不斷對目標模板進行更新和完善，從而在目 標模板中形成多個樣本來表征待跟蹤目標，使得目標模板中包含足夠多的關鍵幀中待跟蹤 目標的特征信息，并且采用多樣本的目標模板進行跟蹤，能夠應對待跟蹤目標在跟蹤過程 中出現的變化，使得跟蹤結果更可靠，準確性更高。另外，由于目標模板中包含多個樣本，個 別跟蹤效果較差的樣本的負面影響可以由其他樣本來補償。因此，采用多樣本的目標模板 進行跟蹤，極大提高了目標模板的魯棒性和普適性。
[0098] 本領域內的技術人員應明白，本發明的實施例可提供為方法、系統、或計算機程序 產品。因此，本發明可采用完全硬件實施例、完全軟件實施例、或結合軟件和硬件方面的實 施例的形式。而且，本發明可采用在一個或多個其中包含有計算機可用程序代碼的計算機 可用存儲介質（包括但不限于磁盤存儲器、CD-ROM、光學存儲器等）上實施的計算機程序產 品的形式。
[0099] 本發明是參照根據本發明實施例的方法、設備（系統）、和計算機程序產品的流程 圖和/或方框圖來描述的。應理解可由計算機程序指令實現流程圖和/或方框圖中的每一流 程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些計算機程序 指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理設備的處理器以產 生一個機器，使得通過計算機或其他可編程數據處理設備的處理器執行的指令產生用于實 現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
[0100] 這些計算機程序指令也可存儲在能引導計算機或其他可編程數據處理設備以特 定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產生包括指 令裝置的制造品，該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或 多個方框中指定的功能。
[0101] 這些計算機程序指令也可裝載到計算機或其他可編程數據處理設備上，使得在計 算機或其他可編程設備上執行一系列操作步驟以產生計算機實現的處理，從而在計算機或 其他可編程設備上執行的指令提供用于實現在流程圖一個流程或多個流程和/或方框圖一 個方框或多個方框中指定的功能的步驟。
[0102] 盡管已描述了本發明的優選實施例，但本領域內的技術人員一旦得知了基本創造 性概念，則可對這些實施例作出另外的變更和修改。所以，所附權利要求意欲解釋為包括優 選實施例以及落入本發明范圍的所有變更和修改。
[0103] 顯然，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精 神和范圍。這樣，倘若本發明的這些修改和變型屬于本發明權利要求及其等同技術的范圍 之內，則本發明也意圖包含這些改動和變型在內。
【主權項】
1. 一種視頻中的目標跟蹤方法，其特征在于，所述方法包括： 根據目標模板中的樣本，確定出當前幀圖像中待跟蹤目標所在位置的目標矩形框； 提取出所述目標矩形框內圖像的特征信息，確定出所述目標矩形框內圖像的特征信息 與所述目標模板中的樣本的相似度； 在所述相似度滿足設定條件時，將所述目標矩形框內圖像的特征信息作為新的樣本存 儲于所述目標模板中，并使用更新后的目標模板，對下一幀圖像中的待跟蹤目標進行跟蹤。2. 如權利要求1所述的方法，其特征在于，在所述相似度滿足設定條件時，將所述目標 矩形框內圖像的特征信息作為新的樣本存儲于所述目標模板中，包括： 在所述相似度的平均值大于設定的相似度閾值，且當前時刻距離上一次樣本更新的間 隔時長大于設定的時間閾值時，將所述目標矩形框內圖像的特征信息作為新的樣本存儲于 所述目標模板中。3. 如權利要求1所述的方法，其特征在于，根據目標模板中的樣本，確定出當前幀圖像 中待跟蹤目標所在位置的目標矩形框，包括： 根據前N幀圖像中待跟蹤目標所在位置的目標矩形框，預測當前幀圖像中待跟蹤目標 所在位置的第一矩形框，其中，N為正整數； 以所述第一矩形框為基準，確定出至少一個第二矩形框，其中，第二矩形框與所述第一 矩形框的距離小于或等于設定的距離閾值； 分別提取出所述第一矩形框內圖像的特征信息和所述第二矩形框內圖像的特征信息， 并分別確定所提取的特征信息與所述目標模板中的樣本的相似度； 根據所述相似度，從所述第一矩形框和所述第二矩形框中，選擇一個矩形框確定為所 述目標矩形框。4. 如權利要求3所述的方法，其特征在于，根據所述相似度，從所述第一矩形框和所述 第二矩形框中，選擇一個矩形框確定為所述目標矩形框，包括： 對于所述第一矩形框，確定出所述第一矩形框內圖像的特征信息與所述目標模板中的 樣本的相似度的平均值；以及對于所述第二矩形框，確定出所述第二矩形框內圖像的特征 信息與所述目標模板中的樣本的相似度的平均值； 從所述第一矩形框和所述第二矩形框中，選擇出相似度的平均值大于設定相似度閾值 的矩形框，并將選擇出的矩形框中相似度的平均值最大的矩形框確定為所述目標矩形框。5. 如權利要求4所述的方法，其特征在于，根據所述相似度，從所述第一矩形框和所述 第二矩形框中，選擇一個矩形框確定為所述目標矩形框，還包括： 若所述第一矩形框和所有所述第二矩形框與所述目標模板的相似度的平均值均小于 或等于所述相似度閾值，將所述第一矩形框確定為所述目標矩形框。6. 如權利要求1~5任一項所述的方法，其特征在于，根據目標模板中的樣本，確定出所 述目標矩形框之前，還包括： 從第一幀包括所述待跟蹤目標的圖像中，確定出所述待跟蹤目標所在位置的目標矩形 框； 提取出所述第一幀包括所述待跟蹤目標的圖像中的目標矩形框內圖像的特征信息； 將所提取出的特征信息作為所述目標模板中的固定樣本。7. 如權利要求6所述的方法，其特征在于，若所述目標模板中已有的樣本的數量達到上 限值，將所述目標矩形框內圖像的特征信息作為新的樣本存儲于所述目標模板中，包括： 將所述目標矩形框內圖像的特征信息作為新的樣本，替換所述目標模板中除所述固定 樣本之外存儲時間最長的樣本;或者 將所述目標矩形框內圖像的特征信息作為新的樣本，替換所述目標模板中除所述固定 樣本之外的任一樣本。8. -種視頻中的目標跟蹤裝置，其特征在于，所述裝置包括： 第一確定模塊，用于根據目標模板中的樣本，確定出當前幀圖像中待跟蹤目標所在位 置的目標矩形框； 第二確定模塊，用于提取出所述目標矩形框內圖像的特征信息，確定出所述目標矩形 框內圖像的特征信息與所述目標模板中的樣本的相似度； 樣本更新模塊，用于在所述相似度滿足設定條件時，將所述目標矩形框內圖像的特征 信息作為新的樣本存儲于所述目標模板中，以使所述第一確定模塊使用更新后的目標模 板，對下一幀圖像中的待跟蹤目標進行跟蹤。9. 如權利要求8所述的裝置，其特征在于，所述第一確定模塊具體用于： 根據前N幀圖像中待跟蹤目標所在位置的目標矩形框，預測當前幀圖像中待跟蹤目標 所在位置的第一矩形框，其中，N為正整數； 以所述第一矩形框為基準，確定出至少一個第二矩形框，其中，第二矩形框與所述第一 矩形框的距離小于或等于設定的距離閾值； 分別提取出所述第一矩形框內圖像的特征信息和所述第二矩形框內圖像的特征信息， 并分別確定所提取的特征信息與所述目標模板中的樣本的相似度； 根據所述相似度，從所述第一矩形框和所述第二矩形框中，選擇一個矩形框確定為所 述目標矩形框。10. 如權利要求9所述的裝置，其特征在于，所述第一確定模塊具體用于： 對于所述第一矩形框，確定出所述第一矩形框內圖像的特征信息與所述目標模板中的 樣本的相似度的平均值；以及對于所述第二矩形框，確定出所述第二矩形框內圖像的特征 信息與所述目標模板中的樣本的相似度的平均值； 從所述第一矩形框和所述第二矩形框中，選擇出相似度的平均值大于設定相似度閾值 的矩形框，并將選擇出的矩形框中相似度的平均值最大的矩形框確定為所述目標矩形框。
【文檔編號】G06T7/20GK105931269SQ201610257212
【公開日】2016年9月7日
【申請日】2016年4月22日
【發明人】王智慧
【申請人】海信集團有限公司