目標跟蹤方法及裝置的制造方法
【專利摘要】本發明提供了一種目標跟蹤方法及裝置，其中方法包括：對當前幀圖像進行采樣，得到靠近初始目標區域的若干個第一樣本區，以及遠離初始目標區域的若干個第二樣本區、以相同的預設方式獲取N對圖像塊；根據任一對圖像塊之間的圖像差異計算與該對圖像塊對應的特征值，以組成N維特征向量；分別在全部第一樣本區和全部第二樣本區的范圍內對N維特征向量進行統計，得到與N維特征向量中每一維對應的兩個直方圖；在此后任一幀的圖像中以同樣的方式獲取與任一候選目標樣本區對應的N維特征向量，并通過對該N維特征向量與所有直方圖的比較得到該候選目標樣本區與待測目標區域的匹配程度。本發明可以解決現有方法難以通過低復雜度算法實現目標跟蹤的問題。
【專利說明】
目標跟蹤方法及裝置
技術領域
[0001] 本發明涉及計算機技術，具體涉及一種目標跟蹤方法及裝置。
【背景技術】
[0002] 隨著智能手機等移動終端快速流行與發展，使得增強現實等應用的需求逐漸增 大。而作為增強現實等應用必不可少的部分，目標跟蹤過程需要提供實時而準確的目標跟 蹤結果，以使增強現實將虛擬的增強信息準確而實時地疊加到真實場景中。包括增強現實 的應用要求目標跟蹤滿足實時、準確的要求的同時，還要求目標跟蹤可以有效地適應圖像 在光照、尺度、旋轉等方面上的變化。
[0003] 基于計算機視覺的特征跟蹤方法包括基于局部特征匹配的跟蹤方法、基于全局特 征的跟蹤方法以及混合全局與局部特征的跟蹤方法。其中，基于局部特征的跟蹤方法受局 部特征提取及匹配速度的影響，很難達到實時的要求，同時基于局部特征匹配的方法在圖 像模糊等情況下很難提取局部特征，從而導致跟蹤準確率下降。而基于全局特征的跟蹤方 法不依賴局部細節特征，同時全局特征的提取與匹配速度較快，所以更加適合對實時性要 求高的應用。然而現有方法在特征擬合以及特征匹配方面常使用較高復雜度的算法，仍然 無法滿足移動終端實時、準確的需求。

【發明內容】

[0004] 針對現有技術中的缺陷，本發明提供一種目標跟蹤方法及裝置，可以解決現有方 法難以通過低復雜度算法實現目標跟蹤的問題。
[0005] 第一方面，本發明提供了一種目標跟蹤方法，包括：
[0006] 對當前幀的圖像進行采樣，得到靠近初始目標區域的若干個第一樣本區，以及遠 離初始目標區域的若干個第二樣本區，所述第一樣本區與所述第二樣本區具有相同的形狀 和大小；
[0007] 在所述若干個第一樣本區和所述若干個第二樣本區內以相同的預設方式獲取N 對圖像塊；
[0008] 根據任一對圖像塊之間的圖像差異計算與該對圖像塊對應的特征值，以組成與每 一第一樣本區或第二樣本區對應的N維特征向量；
[0009] 分別在全部第一樣本區和全部第二樣本區的范圍內對所述N維特征向量進行統 計，得到與所述N維特征向量中每一維對應的兩個直方圖；
[0010] 在此后任一幀的圖像中以同樣的方式獲取與任一候選目標樣本區對應的N維特 征向量，并通過對該N維特征向量與所有所述直方圖的比較得到該候選目標樣本區與待測 目標區域的匹配程度；
[0011] 其中，所述N大于等于1。
[0012] 可選地，在所述分別在全部第一樣本區和全部第二樣本區的范圍內對所述N維特 征向量進行統計，得到與所述N維特征向量中每一維對應的兩個直方圖之后，還包括：
[0013] 對應于所述N維特征向量中的每一維，計算對應于全部第一樣本區的直方圖與對 應于全部第二樣本的直方圖中每一直方圖單元的值的比值的對數值，得到與所述N維特征 向量中的每一維對應的對數表。
[0014] 可選地，所述在此后任一幀的圖像中以相同的方式獲取與任一候選目標樣本區對 應的N維特征向量，并通過對該N維特征向量與所有所述直方圖的比較得到該候選目標樣 本區與待測目標區域的匹配程度，包括：
[0015] 獲取與任一候選目標樣本區對應的N維特征向量，將每一維的值所在的直方圖單 元在所述對數表中的對數值進行求和，得到代表該候選目標樣本區與待測目標區域的匹配 程度的響應值。
[0016] 可選地，在所述在此后任一幀的圖像中以同樣的方式獲取與任一候選目標樣本區 對應的N維特征向量，并通過對該N維特征向量與所有所述直方圖的比較得到該候選目標 樣本區與待測目標區域的匹配程度之前，還包括：
[0017] 在確定待測目標區域的位置之后，將待測目標區域作為初始目標區域以相同的方 式得到與N維特征向量中每一維對應的兩個直方圖；
[0018] 利用確定待測目標區域的位置之后得到的直方圖更新確定待測目標區域的位置 之前得到的直方圖，并根據更新后的直方圖計算所述與N維特征向量中的每一維對應的對 數表。
[0019] 可選地，在所述在此后任一幀的圖像中以相同的方式獲取與任一候選目標樣本區 對應的N維特征向量，并通過對該N維特征向量與所有所述直方圖的比較得到該候選目標 樣本區與待測目標區域的匹配程度之前，還包括：
[0020] 根據待測目標的位置的歷史記錄獲取待測目標區域所在的預測目標區域，并在所 述預測目標區域中獲取形狀和大小均與所述第一樣本區相同的若干個候選目標樣本區。
[0021] 第二方面，本發明還提供了一種目標跟蹤裝置，包括：
[0022] 采樣單元，用于對當前幀的圖像進行采樣，得到靠近初始目標區域的若干個第一 樣本區，以及遠離初始目標區域的若干個第二樣本區，所述第一樣本區與所述第二樣本區 具有相同的形狀和大小；
[0023] 獲取單元，用于在所述采樣單元得到的若干個第一樣本區和所述若干個第二樣本 區內以相同的預設方式獲取N對圖像塊；
[0024] 計算單元，用于根據所述獲取單元獲取的任一對圖像塊之間的圖像差異計算與該 對圖像塊對應的特征值，以組成與每一第一樣本區或第二樣本區對應的N維特征向量；
[0025] 統計單元，用于分別在全部第一樣本區和全部第二樣本區的范圍內對所述計算單 元得到的N維特征向量進行統計，得到與所述N維特征向量中每一維對應的兩個直方圖；
[0026] 比較單元，用于在此后任一幀的圖像中以相同的方式獲取與任一候選目標樣本區 對應的N維特征向量，并通過對該N維特征向量與所有所述直方圖的比較得到該候選目標 樣本區與待測目標區域的匹配程度；
[0027] 其中，所述N大于等于1。
[0028] 可選地，所述計算單元還用于在所述統計單元得到與所述N維特征向量中每一維 對應的兩個直方圖之后，對應于所述N維特征向量中的每一維，計算對應于全部第一樣本 區的直方圖與對應于全部第二樣本的直方圖中每一直方圖單元的值的比值的對數值，得到 與所述N維特征向量中的每一維對應的對數表。
[0029] 可選地，所述比較單元進一步用于在此后任一幀的圖像中以相同的方式獲取與任 一候選目標樣本區對應的N維特征向量，并將該N維特征向量種每一維的值所在的直方圖 單元在所述對數表中的對數值進行求和，得到代表該候選目標樣本區與待測目標區域的匹 配程度的響應值。
[0030] 可選地，還包括：
[0031] 生成單元，用于在確定待測目標區域的位置之后，將待測目標區域作為初始目標 區域以相同的方式得到與N維特征向量中每一維對應的兩個直方圖；
[0032] 更新單元，用于根據所述生成單元得到的直方圖更新所述統計單元得到的直方 圖，并根據更新后的直方圖計算與N維特征向量中的每一維對應的對數表。
[0033] 可選地，所述獲取單元還用于在比較單元獲取與任一候選目標樣本區對應的N維 特征向量之前，根據待測目標的位置的歷史記錄獲取待測目標區域所在的預測目標區域， 并在所述預測目標區域中獲取形狀和大小均與所述第一樣本區相同的若干個候選目標樣 本區。
[0034] 由上述技術方案可知，本發明采用獲取圖像塊、計算N維特征向量的方式提取圖 像中每一樣本區的特征，并采用對N維特征向量進行統計、再根據統計得到的直方圖進行 目標跟蹤的方式，可以使得基于全局特征的跟蹤方法能夠以離散化的計算方式進行，相較 于包括連續函數的特征擬合或特征匹配等步驟的計算方式可以大大減小計算量和算法的 復雜度，因此可以解決現有方法難以通過低復雜度算法實現目標跟蹤的問題，有利于在移 動終端上實現實時、準確的目標跟蹤。
【附圖說明】
[0035] 為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現 有技術描述中所需要使用的附圖作一簡單的介紹，顯而易見地，下面描述中的附圖是本發 明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根 據這些附圖獲得其他的附圖。
[0036] 圖1是本發明一個實施例中一種目標跟蹤方法的步驟流程示意圖；
[0037] 圖2是本發明一個實施例中一種更新對數表的步驟流程示意圖；
[0038] 圖3是本發明一個較佳實施例中一種目標跟蹤方法的步驟流程示意圖；
[0039] 圖4是本發明一個實施例中一種目標跟蹤裝置的結構框圖。
【具體實施方式】
[0040] 為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例 中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是 本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員 在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。
[0041] 圖1是本發明一個實施例中一種目標跟蹤方法的步驟流程圖。需要說明的是， 本發明實施例的方法將目標跟蹤流程具體細化到根據已知初始目標區域的當前幀圖像獲 取此后任一幀圖像中待檢測目標區域的處理流程，其中的初始目標區域可以根據在上一幀 (或者前幾幀）圖像中獲取的待檢測目標區域確定，也可以根據適當的目標區域查找算法 確定（由于效率較低所以一般用于初始幀圖像），本發明均不做限制。基于此，在進行目標 跟蹤時的此后任一幀的圖像中的待測目標區域都可以按照該處理流程來確定，實現任何具 有連續多幀圖像的影像中的目標區域跟蹤。參見圖1，該方法包括：
[0042] 步驟101 :對當前幀的圖像進行采樣，得到靠近初始目標區域的若干個第一樣本 區，以及遠離初始目標區域的若干個第二樣本區，所述第一樣本區與所述第二樣本區具有 相同的形狀和大小；
[0043] 步驟102 :在所述若干個第一樣本區和所述若干個第二樣本區內以相同的預設方 式獲取N對圖像塊（N多1);
[0044] 步驟103 :根據任一對圖像塊之間的圖像差異計算與該對圖像塊對應的特征值， 以組成與每一第一樣本區或第二樣本區對應的N維特征向量；
[0045] 步驟104 :分別在全部第一樣本區和全部第二樣本區的范圍內對所述N維特征向 量進行統計，得到與所述N維特征向量中每一維對應的兩個直方圖；
[0046] 步驟105 :在此后任一幀的圖像中以相同的方式獲取與任一候選目標樣本區對應 的N維特征向量，并通過對該N維特征向量與所有所述直方圖的比較得到該候選目標樣本 區與待測目標區域的匹配程度。
[0047] 需要說明的是，上述步驟101中，若干個第一樣本區靠近初始目標區域與上述若 干個第二樣本區遠離初始目標區域均是相對于彼此而言的，也就是說任一第一樣本區相較 于任一個第二樣本區都更加靠近初始目標區域。
[0048] 而上述步驟102中，由于第一樣本區與第二樣本區具有相同的形狀和大小，因而 可以通過相同的預設方式獲取N對圖像塊，也就是說對于任意一個第一樣本區或者第二樣 本區，獲取的所有N對圖像塊的數量、大小、形狀、以及相對于該第一樣本區或者第二樣本 區的相對位置均是相同的。所以，可以對N對圖像塊進行排序，得到第1對、第2對、……、 第N對圖像塊，而對于任意的m(1 < m < N)，第m對圖像塊在每一個第一樣本區或者第二樣 本區中均存在，且大小、形狀以及相對位置在每一個第一樣本區或者第二樣本區中均是相 同的。
[0049] 上述步驟103中，對于任一樣本區中任意的第m對圖像塊，可以按照根據當前幀圖 像在這兩個圖像塊內的圖像差異來計算該樣本區中與第m對圖像塊對應的特征值，比如說 直接取特征值為兩個圖像塊內的灰度值之和的差值，或者為取特征值為兩個圖像塊內紅色 通道的像素值之和的差值等等，本發明均不作限制。在計算得到該樣本區中每一對圖像塊 的特征值時，就可以按照上述1、2、…、N-l、N的順序把每一個特征值都作為特征向量中的 一維，從而組成一個與該樣本區對應的N維特征向量。可見，為了計算特征值，圖像塊的形 狀可以是任意的，而不僅限于常規的矩形或者正方形。
[0050] 當然，按照上述方式根據每一個第一樣本區或者第二樣本區都可以得到一個N維 特征向量，假設第一樣本區的總數為X，第二樣本區的總數為Y，那么按照上述方式可以得 到X個第一樣本區的N維特征向量和Y個第二樣本區的N維特征向量。從而，上述步驟104 中可以分別對X個第一樣本區的N維特征向量中的每一維進行統計、得到與N維特征向量 中的任意的第m維對應的直方圖HXm，同時對Y個第二樣本區的N維特征向量中的每一維 進行統計、得到與N維特征向量中的任意的第m維對應的直方圖HYm。以直方圖HXm為例， 該直方圖中以按照預設范圍劃分的直方圖單元統計了X個第一樣本區的N維特征向量中第 m維特征值，每一個直方圖單元的值都代表了特征值落在這一范圍內的第一樣本區的個數， 顯然地該直方圖中所有直方圖單元的值的總和等于X。
[0051] 從而，在上述步驟105中，可以在此后任一幀的圖像中按照相同的方式根據一個 候選目標樣本區得到一個N維特征向量（其中的候選目標樣本區可以通過任意方式在圖像 中選取，但顯然地其也要與第一樣本區和第二樣本區具有相同的大小和形狀），然后就可以 通過將這一N維特征向量中的每一維與對應的直方圖進行比較（比如將這一N維特征向量 中的第m維與上述直方圖HXm和HYm進行比較），由于第一樣本區對應的直方圖和第二樣本 區對應的直方圖分別代表了靠近和遠離目標的圖像的特征，因而經過上述比較過程就可以 得到該候選目標樣本區與待測目標區域的匹配程度。
[0052] 當然，根據若干個候選目標樣本區與待測目標區域的比較結果，就可以很快地確 定待測目標區域在這一幀圖像中的位置，也就是實現了圖像的目標跟蹤。
[0053] 本發明實施例采用獲取圖像塊、計算N維特征向量的方式提取圖像中每一樣本區 的特征，并采用對N維特征向量進行統計、再根據統計得到的直方圖進行目標跟蹤的方式， 可以使得基于全局特征的跟蹤方法能夠以離散化的計算方式進行，相較于包括連續函數的 特征擬合或特征匹配等步驟的計算方式可以大大減小計算量和算法的復雜度，因此可以解 決現有方法難以通過低復雜度算法實現目標跟蹤的問題，有利于在移動終端上實現實時、 準確的目標跟蹤。
[0054] 然而，上述步驟105中的比較過程可能會涉及多次復雜運算，為了進一步減小復 雜度、提高目標跟蹤的處理效率，可以使上述方法在上述步驟104 :在所述分別在全部第一 樣本區和全部第二樣本區的范圍內對所述N維特征向量進行統計，得到與所述N維特征向 量中每一維對應的兩個直方圖之后，還包括附圖中未示出的下述步驟：
[0055] 步驟104a :對應于所述N維特征向量中的每一維，計算對應于全部第一樣本區的 直方圖與對應于全部第二樣本的直方圖中在歸一化后每一直方圖單元的值的比值的對數 值，得到與所述N維特征向量中的每一維對應的對數表。
[0056] 舉例來說，對于N維特征向量中的第m維，直方圖HXm中直方圖單元Ul、U2、U3在 歸一化后的值分別是41、六233，直方圖冊111中直方圖1]1、1]2、1]3、1]4、1]5在歸一化后的值分 另lj Bl、B2、B3、B4、B5。從而與第m維對應的對數表中就記錄了分別與Ul、U2、U3、U4、U5對 應的 5 個值：log(Al/Bl)、log(A2/B2)、log(A3/B3)、log(0/B4)、log(0/B5)，其中的 "log" 的底數可以任意設置，比如可以取常用的自然常數e或者10,且上式中的值僅是沒有經過 計算的示意。當然，為了避免除零錯誤，可以將直方圖單元中的"〇"用一個很小的數字代替， 例如0. 001或0. 0001等等。按照這一處理方式，對于N維特征向量，總計可以得到N個對 數表。由于這N個對數表中整合了所有直方圖的數據信息，因此在上述步驟105中的比較 過程可以基于這N個對數表來進行（也就是說上述步驟104a在步驟105之前進行），有利 于比較過程的運算復雜度的減小和處理效率的提高。
[0057] 進一步地，基于這N個對數表，可以使上述步驟105 :在此后任一幀的圖像中以相 同的方式獲取與任一候選目標樣本區對應的N維特征向量，并通過對該N維特征向量與所 有所述直方圖的比較得到該候選目標樣本區與待測目標區域的匹配程度，具體包括附圖中 未示出的下述步驟：
[0058] 步驟105a :獲取與任一候選目標樣本區對應的N維特征向量，將每一維的值所在 的直方圖單元在所述對數表中的對數值進行求和，得到代表該候選目標樣本區與待測目標 區域的匹配程度的響應值。
[0059] 舉例來說，比如與一個候選目標樣本區對應的N維特征向量的第m維的值屬于上 述直方圖單元U3的范圍內，那么求和項中與第m維對應的項就是上述log(A3/B3)。對于 該N維特征向量中的每一維都進行類似的計算，經求和后就可以得到與該候選目標樣本區 對應的響應值，其大小代表了該候選目標樣本區與待測目標區域的匹配程度。
[0060] 由此可見，上述N個對數表相當于是預先根據一幀圖像得到的所有的直方圖經計 算得到的，而在上述比較過程中只需要在得到候選目標樣本區的N維特征向量之后根據上 述N個對數表進行簡單的求和運算就可以得到任意一個候選目標樣本區的響應值，可以通 過較低的運算復雜度實現此后每一幀圖像的目標跟蹤。
[0061] 當然，上述N個對數表還可以在每一次確定目標位置時進行更新，從而在后續幀 的目標跟蹤過程中保障對數表的準確性。具體來說，可以使上述方法在步驟105 :在所述在 此后任一幀的圖像中以同樣的方式獲取與任一候選目標樣本區對應的N維特征向量，并通 過對該N維特征向量與所有所述直方圖的比較得到該候選目標樣本區與待測目標區域的 匹配程度之前，還包括如圖2所示出的步驟流程：
[0062] 步驟201 :在確定待測目標區域的位置之后，將待測目標區域作為初始目標區域 以相同的方式得到與N維特征向量中每一維對應的兩個直方圖；
[0063] 步驟202 :利用確定待測目標區域的位置之后得到的直方圖更新確定待測目標區 域的位置之前得到的直方圖，并根據更新后的直方圖計算所述與N維特征向量中的每一維 對應的對數表。
[0064] 也就是說，上述步驟201中，在任一幀圖像中確定了待測目標區域的位置之后，就 可以將這一待測目標區域作為初始目標區域，按照上述步驟101至步驟104的流程得到與N 維特征向量中每一維對應的兩個直方圖，然后上述步驟202中就可以利用這一直方圖來對 原有的直方圖進行更新，具體的更新方式可以是按照一個預設的比例α來按照a :(1-α) 的比例來對每一個直方圖中每一個直方圖單元的值進行加權求和，以得到更新后的直方 圖。基于此，就可以根據更新后的直方圖按照上述步驟104a的計算方式得到與Ν維特征向 量中的每一維對應的對數表，也就是結合原有和更新的直方圖來進行對數表的更新。當然， 更新后的對數表可以繼續用于本幀和后續幀圖像中的目標跟蹤。
[0065] 另一方面，上述候選目標樣本區可以根據待測目標的位置的歷史記錄來進行預估 或篩選，即使得上述方法在上述步驟105 :在此后任一幀的圖像中以相同的方式獲取與任 一候選目標樣本區對應的N維特征向量，并通過對該N維特征向量與所有所述直方圖的比 較得到該候選目標樣本區與待測目標區域的匹配程度之前，還包括附圖中未示出的下述步 驟：
[0066] 步驟105b :根據待測目標的位置的歷史記錄獲取待測目標區域所在的預測目標 區域，并在所述預測目標區域中獲取形狀和大小均與所述第一樣本區相同的若干個候選目 標樣本區。
[0067] 舉例來說，可以根據待測目標的位置的歷史記錄以上一幀圖像中的目標位置為中 心選取一定半徑范圍內的預測目標區域，選取方式可以采用高斯分布或者均勻分布等，并 繼續在預測目標區域中獲取形狀和大小均與所述第一樣本區相同的若干個候選目標樣本 區，從而盡可能地以較少的計算量獲得較高可靠度的目標位置結果。顯然地，當上述方法同 時包括步驟105a和步驟105b時，上述步驟105a應在步驟105b之前。
[0068] 另外，在上述步驟101 :對當前幀的圖像進行采樣，得到靠近初始目標區域的若干 個第一樣本區，以及遠離初始目標區域的若干個第二樣本區之前，上述方法還可以包括附 圖中未示出的下述步驟：
[0069] 步驟100 :將待跟蹤目標所在的區域劃分為若干個初始目標區域，并對每一個所 述初始目標區域單獨進行跟蹤；
[0070] 在上述步驟105 :在此后任一幀的圖像中以相同的方式獲取與任一候選目標樣本 區對應的N維特征向量，并通過對該N維特征向量與所有所述直方圖的比較得到該候選目 標樣本區與待測目標區域的匹配程度之后，上述方法還可以包括附圖中未示出的下述步 驟：
[0071] 步驟106 :在確定與每一個所述初始目標區域對應的待測目標區域后，通過計算 若干個待測目標區域相對于若干個初始目標區域的變換矩陣來確定待跟蹤目標的位置。
[0072] 舉例來說，上述步驟100中，在執行上述步驟101至步驟105之前，先將待跟蹤目 標所在的區域劃分為3*3的初始目標區域，并根據每一初始目標區域的中心位置生成初始 矩陣，然后對每一個初始目標區域都單獨進行跟蹤（即對每一初始目標區域分別執行上述 步驟101至105的步驟流程）。上述步驟106中，在得到每一個初始目標區域的跟蹤結果， 也就是得到每一個待測目標區域之后，就可以根據每一個待測目標區域的中心位置生成目 標矩陣，對上述初始矩陣和目標矩陣進行變換矩陣（例如仿射變換的變換矩陣）的運算，就 可以得知這兩幀圖像之間待跟蹤目標經歷了什么樣的變換，從而可以不依賴于初始目標區 域的大小和形狀來準確地定位待跟蹤目標的位置和所在區域，更加有利于在移動終端上實 現實時、準確的目標跟蹤。
[0073] 為了更清楚地說明本發明實施例的技術方案，下面以一個較佳實施例具體說明本 發明實施例的可選技術方案。
[0074] 圖3是本發明一個較佳實施例中一種目標跟蹤方法的步驟流程示意圖。參見圖3， 該方法包括：
[0075] 301、將目標視為一個整體，根據目標初始區域選取目標正負樣本（分別對應上述 第一樣本區和第二樣本區）。
[0076] 其中，正樣本是距離目標最近的一組樣本，例如目標通過一個300*300像素的矩 形框標識，可以在距離該矩形框最近的范圍內選取50個相同大小的矩形框作為正樣本。負 樣本是距離目標較遠的一組樣本，例如，在距離目標矩形框較遠的范圍內選取50個相同大 小的矩形框作為負樣本。這里僅僅是舉例，正樣本和負樣本的數量不做限制。
[0077] 302、對所有樣本以相同的方式分塊，并以相同的方式選取N對圖像塊，經計算得 到N維特征向量。
[0078] 舉例來說，目標通過一個300*300像素的矩形框標識，所以可以將目標區域均勻 劃分為10*10塊，每一個圖像塊為30*30像素。每一個像素塊的值為塊中所有像素的灰度 值之和。采樣所用的分布可以是高斯分布、均勻分布或是其他分布，這里不做限制。
[0079] N對圖像塊的位置需要記錄下來，后續跟蹤過程需要用到。例如隨機選取5對圖 像塊，分別為（2，1 ;4,3)、（5,8 ;3,9)、（7，1 ;9,6)、（9,3 ;4,8)、（6,6 ;4,7)，這里的坐標為相 對于正樣本或者負樣本的坐標。其中（2,1 ;4,3)表示第2行第1列的圖像塊與第4行第3 列的圖像塊作為一對。記錄每一對圖像塊差值，最終形成一個N維特征向量。每一個樣本 對應一個N維特征向量。
[0080] 303、根據正負樣本利用直方圖對N維特征向量的每一維進行特征值的統計（特征 分布的擬合），并保存正負樣本直方圖的對應直方圖單元的比值的對數，形成對數表。
[0081] N維特征向量的每一維都相對獨立，因此可以對每一維單獨做特征分布擬合，同時 每一維特征的分布分為正樣本特征分布和負樣本特征分布。舉例來說，對正樣本特征的某 一維進行特征擬合時，首先得到所有正樣本在該維度的值，然后把所有值離散化到直方圖 中，該直方圖可以近似為特征分布結果。直方圖擬合方法如下，首先設定直方圖的單元數h， 例如這里可以設h為30。假定按照均勻分布劃分的圖像塊的大小為像素，那么直方圖 中每一個直方圖單元所包含的范圍大小L可以按照下式計算：
[0082]
[0083] 對于每一個特征值V，其對應的直方圖單元可以按照以下公式計算：
[0084]
[0085] 對每一個特征的每一維度生成正樣本和負樣本的特征擬合直方圖。最后對直方圖 進行歸一化處理，使得每一個直方圖所有單元之和為1。
[0086] 最后，為N維特征向量中的每一維建立一個對數表，每個對數表保存的數值為正 樣本和負樣本對應單元的比值取對數ratio,具體按照如下公式計算：
[0087]
[0088] 其中，obj (i)表示正樣本直方圖第i個單元的值，bkg(i)表示負樣本直方圖第i 個單元的值。為了避免除零錯誤，bkg(i)如果為0,則用一個很小的值代替，例如0. 001或 0· 0001 等等。
[0089] 304、后續幀的跟蹤過程確定目標的預測位置。
[0090] 舉例來說，一幀圖像中目標的預測位置的坐標可以認為與前一幀相同，也可以將 前幾幀的位移向量做加權平均來獲取目標的預測位置，這里可以不做限制。
[0091] 305、在目標的預測位置周圍選取若干候選目標樣本區，并對每個候選目標樣本區 以相同的方式提取N維特征向量。
[0092] 舉例來說，可以以目標的預測位置為中心在一定的半徑范圍內選取候選目標樣本 區，所用的分布可以采用高斯分布、均勻分布或是其他分布。每一個候選目標樣本區的N維 特征向量選擇方法與前述302相同。
[0093] 306、利用分類器計算每一個候選目標樣本區的響應值，并根據響應值最大的候選 目標樣本區確定目標位置。
[0094] 舉例來說，可以利用貝葉斯分類器計算每一個樣本的響應值res，具體的計算公式 如下：
[0095]
[0096] 其中，y = 1表示正樣本特征分布，y = 0表示負樣本特征分布。根據Vi的值利用 公式：
[0097]
[0098] 計算其對應的直方圖單元bp從第i個對數表中讀取h直方圖單元的值，即為上 面求和式中的第i項的值。計算求和式得到每一樣本的響應值。并根據響應值最大的候選 目標樣本區確定目標位置。
[0099] 307、更新特征分布。
[0100] 舉例來說，每一維的特征分布由直方圖近似表示，由于N維特征向量中的每 一維相互獨立，因此特征分布可以獨立更新。首先利用前述301至303所述的方法得 到在當前幀的特征分布直方圖，假設直方圖包括10個直方圖單元，各個直方圖單元的 值分別為（Xi，χ2, χ3，…，χ1(])，當前幀之前的特征分布直方圖中的這10個直方圖單元 為（ Χι'，χ2'，χ3'，…，χ1(/ )，通過加權平均得到更新后的特征分布直方圖中每個直方圖 Jp- ^ ： (x^rate+x/ *(l~rate), x2*rate+x2, *(l~rate), x3*rate+x3, * (1-rate) ···, x10*rate+x1Q'*(l-rate))，其中rate的值為0~1之間的有理數，這里對rate的具體數值 可以任意設置。根據加權得到的特征分布直方圖，可以更新對數表，具體的方法與前述303 相同。
[0101] 基于同樣的發明構思，本發明實施例提供一種目標跟蹤裝置。圖4是本發明一個 實施例中一種目標跟蹤裝置的結構框圖，參見圖4,該裝置包括：
[0102] 采樣單元41，用于對當前幀的圖像進行采樣，得到靠近初始目標區域的若干個第 一樣本區，以及遠離初始目標區域的若干個第二樣本區，上述第一樣本區與上述第二樣本 區具有相同的形狀和大小；
[0103] 獲取單元42,用于在上述采樣單元41得到的若干個第一樣本區和上述若干個第 二樣本區內以相同的預設方式獲取N對圖像塊；
[0104] 計算單元43,用于根據上述獲取單元42獲取的任一對圖像塊之間的圖像差異計 算與該對圖像塊對應的特征值，以組成與每一第一樣本區或第二樣本區對應的N維特征向 量；
[0105] 統計單元44,用于分別在全部第一樣本區或者全部第二樣本區的范圍內對上述計 算單元43得到的N維特征向量進行統計，得到與上述N維特征向量中每一維對應的兩個直 方圖；
[0106] 比較單元45,用于在此后任一幀的圖像中以相同的方式獲取與任一候選目標樣本 區對應的N維特征向量，并通過對該N維特征向量與所有上述直方圖的比較得到該候選目 標樣本區與待測目標區域的匹配程度；
[0107] 其中，上述N大于等于1。
[0108] 可見，上述結構可以用于執行上述目標跟蹤方法中步驟101至步驟105的步驟流 程，在此不再詳述。
[0109] 進一步地，上述計算單元43可以還用于在上述統計單元44得到與上述N維特征 向量中每一維對應的兩個直方圖之后，對應于上述N維特征向量中的每一維，計算對應于 全部第一樣本區的直方圖與對應于全部第二樣本的直方圖中每一直方圖單元的值的比值 的對數值，得到與上述N維特征向量中的每一維對應的對數表。
[0110] 可見，上述結構可以用于執行上述目標跟蹤方法中步驟l〇4a的步驟流程，在此不 再詳述。
[0111] 更進一步地，上述比較單元45進一步用于在此后任一幀的圖像中以相同的方式 獲取與任一候選目標樣本區對應的N維特征向量，并將該N維特征向量種每一維的值所在 的直方圖單元在上述對數表中的對數值進行求和，得到代表該候選目標樣本區與待測目標 區域的匹配程度的響應值。
[0112] 可見，上述結構可以用于執行上述目標跟蹤方法中步驟105a的步驟流程，在此不 再詳述。
[0113] 更進一步地，上述裝置還可以包括附圖中未示出的下述結構：
[0114] 生成單元46,用于在確定待測目標區域的位置之后，將待測目標區域作為初始目 標區域以相同的方式得到與N維特征向量中每一維對應的兩個直方圖；
[0115] 更新單元47,用于根據上述生成單元46得到的直方圖更新上述統計單元44得到 的直方圖，并根據更新后的直方圖計算與N維特征向量中的每一維對應的對數表。
[0116] 可見，上述結構可以用于執行上述目標跟蹤方法中步驟201至步驟202的步驟流 程，在此不再詳述。
[0117] 另一方面，上述獲取單元42還可以用于在比較單元45獲取與任一候選目標樣本 區對應的N維特征向量之前，根據待測目標的位置的歷史記錄獲取待測目標區域所在的預 測目標區域，并在上述預測目標區域中獲取形狀和大小均與上述第一樣本區相同的若干個 候選目標樣本區。
[0118] 可見，上述結構可以用于執行上述目標跟蹤方法中步驟105b步驟流程，在此不再 詳述。
[0119] 另外，上述目標跟蹤裝置還可以包括附圖中未示出的下述結構：
[0120] 劃分單元40,用于在采樣單元41對當前幀的圖像進行采樣之前，將待跟蹤目標所 在的區域劃分為若干個初始目標區域，并對每一個所述初始目標區域單獨進行跟蹤；
[0121] 確定單元48,用于在確定與每一個由所述劃分單元40得到的初始目標區域對應 的待測目標區域后，通過計算若干個待測目標區域相對于若干個初始目標區域的變換矩陣 來確定待跟蹤目標的位置。
[0122] 可見，上述結構可以用于執行上述目標跟蹤方法中步驟100和步驟106的步驟流 程，在此不再詳述。
[0123] 本領域普通技術人員可以理解：實現上述各方法實施例的全部或部分步驟可以通 過程序指令相關的硬件來完成。前述的裝置可以以程序代碼的形式存儲于一計算機可讀取 存儲介質中。該程序在執行時，執行包括上述各方法實施例的步驟；而前述的存儲介質包 括：ROM (Read-Only Memory，只讀存儲器）、RAM (Random Access Memory，隨機存取存儲器）、 硬盤存儲器、磁碟或者光盤等各種可以存儲程序代碼的介質。
[0124] 在本發明的描述中需要說明的是，術語"上"、"下"等指示的方位或位置關系為基 于附圖所示的方位或位置關系，僅是為了便于描述本發明和簡化描述，而不是指示或暗示 所指的裝置或元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本 發明的限制。除非另有明確的規定和限定，術語"安裝"、"相連"、"連接"應做廣義理解，例 如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機械連接，也可以是電連 接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內部的連通。對于本 領域的普通技術人員而言，可以根據具體情況理解上述術語在本發明中的具體含義。
[0125] 還需要說明的是，在本文中，諸如第一和第二等之類的關系術語僅僅用來將一個 實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間 存在任何這種實際的關系或者順序。而且，術語"包括"、"包含"或者其任何其他變體意在 涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些 要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設 備所固有的要素。在沒有更多限制的情況下，由語句"包括一個……"限定的要素，并不排 除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。
[0126] 以上實施例僅用以說明本發明的技術方案，而非對其限制；盡管參照前述實施例 對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施 例所記載的技術方案進行修改，或者對其中部分技術特征進行等同替換；而這些修改或者 替換，并不使相應技術方案的本質脫離本發明各實施例技術方案的精神和范圍。
【主權項】
1. 一種目標跟蹤方法，其特征在于，包括： 對當前幀的圖像進行采樣，得到靠近初始目標區域的若干個第一樣本區，以及遠離初 始目標區域的若干個第二樣本區，所述第一樣本區與所述第二樣本區具有相同的形狀和大 小； 在所述若干個第一樣本區和所述若干個第二樣本區內以相同的預設方式獲取N對圖 像塊； 根據任一對圖像塊之間的圖像差異計算與該對圖像塊對應的特征值，以組成與每一第 一樣本區或第二樣本區對應的N維特征向量； 分別在全部第一樣本區和全部第二樣本區的范圍內對所述N維特征向量進行統計，得 到與所述N維特征向量中每一維對應的兩個直方圖； 在此后任一幀的圖像中以同樣的方式獲取與任一候選目標樣本區對應的N維特征向 量，并通過對該N維特征向量與所有所述直方圖的比較得到該候選目標樣本區與待測目標 區域的匹配程度； 其中，所述N大于等于1。2. 根據權利要求1所述的方法，其特征在于，在所述分別在全部第一樣本區和全部第 二樣本區的范圍內對所述N維特征向量進行統計，得到與所述N維特征向量中每一維對應 的兩個直方圖之后，還包括： 對應于所述N維特征向量中的每一維，計算對應于全部第一樣本區的直方圖與對應于 全部第二樣本的直方圖中每一直方圖單元的值的比值的對數值，得到與所述N維特征向量 中的每一維對應的對數表。3. 根據權利要求2所述的方法，其特征在于，所述在此后任一幀的圖像中以相同的方 式獲取與任一候選目標樣本區對應的N維特征向量，并通過對該N維特征向量與所有所述 直方圖的比較得到該候選目標樣本區與待測目標區域的匹配程度，包括： 獲取與任一候選目標樣本區對應的N維特征向量，將每一維的值所在的直方圖單元在 所述對數表中的對數值進行求和，得到代表該候選目標樣本區與待測目標區域的匹配程度 的響應值。4. 根據權利要求3中任意一項所述的方法，其特征在于，在所述在此后任一幀的圖像 中以同樣的方式獲取與任一候選目標樣本區對應的N維特征向量，并通過對該N維特征向 量與所有所述直方圖的比較得到該候選目標樣本區與待測目標區域的匹配程度之前，還包 括： 在確定待測目標區域的位置之后，將待測目標區域作為初始目標區域以相同的方式得 到與N維特征向量中每一維對應的兩個直方圖； 利用確定待測目標區域的位置之后得到的直方圖更新確定待測目標區域的位置之前 得到的直方圖，并根據更新后的直方圖計算所述與N維特征向量中的每一維對應的對數 表。5. 根據權利要求1至4中任意一項所述的方法，其特征在于，在所述在此后任一幀的圖 像中以相同的方式獲取與任一候選目標樣本區對應的N維特征向量，并通過對該N維特征 向量與所有所述直方圖的比較得到該候選目標樣本區與待測目標區域的匹配程度之前，還 包括： 根據待測目標的位置的歷史記錄獲取待測目標區域所在的預測目標區域，并在所述預 測目標區域中獲取形狀和大小均與所述第一樣本區相同的若干個候選目標樣本區。6. -種目標跟蹤裝置，其特征在于，包括： 采樣單元，用于對當前幀的圖像進行采樣，得到靠近初始目標區域的若干個第一樣本 區，以及遠離初始目標區域的若干個第二樣本區，所述第一樣本區與所述第二樣本區具有 相同的形狀和大小； 獲取單元，用于在所述采樣單元得到的若干個第一樣本區和所述若干個第二樣本區內 以相同的預設方式獲取N對圖像塊； 計算單元，用于根據所述獲取單元獲取的任一對圖像塊之間的圖像差異計算與該對圖 像塊對應的特征值，以組成與每一第一樣本區或第二樣本區對應的N維特征向量； 統計單元，用于分別在全部第一樣本區和全部第二樣本區的范圍內對所述計算單元得 到的N維特征向量進行統計，得到與所述N維特征向量中每一維對應的兩個直方圖； 比較單元，用于在此后任一幀的圖像中以相同的方式獲取與任一候選目標樣本區對應 的N維特征向量，并通過對該N維特征向量與所有所述直方圖的比較得到該候選目標樣本 區與待測目標區域的匹配程度； 其中，所述N大于等于1。7. 根據權利要求6所述的裝置，其特征在于，所述計算單元還用于在所述統計單元得 到與所述N維特征向量中每一維對應的兩個直方圖之后，對應于所述N維特征向量中的每 一維，計算對應于全部第一樣本區的直方圖與對應于全部第二樣本的直方圖中每一直方圖 單元的值的比值的對數值，得到與所述N維特征向量中的每一維對應的對數表。8. 根據權利要求7所述的裝置，其特征在于，所述比較單元進一步用于在此后任一幀 的圖像中以相同的方式獲取與任一候選目標樣本區對應的N維特征向量，并將該N維特征 向量種每一維的值所在的直方圖單元在所述對數表中的對數值進行求和，得到代表該候選 目標樣本區與待測目標區域的匹配程度的響應值。9. 根據權利要求8所述的裝置，其特征在于，還包括： 生成單元，用于在確定待測目標區域的位置之后，將待測目標區域作為初始目標區域 以相同的方式得到與N維特征向量中每一維對應的兩個直方圖； 更新單元，用于根據所述生成單元得到的直方圖更新所述統計單元得到的直方圖，并 根據更新后的直方圖計算與N維特征向量中的每一維對應的對數表。10. 根據權利要求6至9中任意一項所述的裝置，其特征在于，所述獲取單元還用于在 比較單元獲取與任一候選目標樣本區對應的N維特征向量之前，根據待測目標的位置的歷 史記錄獲取待測目標區域所在的預測目標區域，并在所述預測目標區域中獲取形狀和大小 均與所述第一樣本區相同的若干個候選目標樣本區。
【文檔編號】G06K9/62GK106033550SQ201510115146
【公開日】2016年10月19日
【申請日】2015年3月16日
【發明人】段凌宇, 張藝, 陳杰, 黃鐵軍, 高文
【申請人】北京大學