一種用于復雜環境遺留物的檢測方法
【專利摘要】本發明公開了一種用于復雜環境遺留物的檢測方法，包含以下步驟：將基于局部更新的混合高斯背景建模方法和改進的三幀差分法得到的前景目標進行比較，結合基于YCbCr顏色空間的陰影消除方法、連通域分析，分割得到場景內的暫時靜止物團塊；對每一幀圖像采用質心判距法，分別統計每一個團塊的靜止時間；對于達到時間閾值的靜止團塊，通過方向梯度直方圖行人檢測算法排除駐留行人的可能性后，將其標記為遺留物，并通過加速分割檢測特征FAST特征點檢測算法排除駐留行人的可能性。本發明的方法，能提高遺留物檢測的準確度，降低計算復雜度，同時能較好地適用于人流密集、遮擋頻繁的復雜環境中，增強抗干擾能力。
【專利說明】-種用于復雜環境遺留物的檢測方法

【技術領域】
[0001] 本發明涉及視頻圖像處理領域，特別涉及一種用于復雜環境遺留物的檢測方法。

【背景技術】
[0002] 在公共場所里，威脅公共安全的一大隱患是不明遺留物品的放置，諸如爆炸物、有 毒物質等危險品，尤其對于地鐵站、機場、商場等人流密集的公共區域，會造成嚴重后果。遺 留物是指由運動主體攜帶進監控場景中，與運動主體分離，并在場景中保持靜止超過一定 時間閾值的物體（見文獻[1])。遺留物檢測的主要任務，就是要對視頻監控場景進行智能 分析，從存在著大量無關人和物的復雜環境中準確分割出目標對象，及時做出報警。
[0003] 針對遺留物檢測的實現，目前已有人提出不同的方法。文獻[2]提出一種基于雙 背景的方法，將兩個不同更新率的混合高斯背景模型進行比較，得到遺留物對象，但兩個背 景同時建模的計算復雜度比較大，且若物體遺留時間過長，仍會融入背景中，造成漏檢測。 文獻[3]采用貝葉斯推理的方法來檢測遺留行李，將物體的速度、方向、距離等跟蹤軌跡信 息作為證據，通過貝葉斯推理的框架對事件進行分析和識別，處理流程相對復雜，實時性要 求不易滿足。文獻[4]使用一個實時更新的背景模型來檢測運動目標區域，再通過匹配靜 止前景區域的邊緣來判定目標區域是遺留物還是遺失物區域，這種方法對于人流密集、遮 擋頻繁的復雜場景的抗干擾能力不強。
[0004] 因此，人們需要一種新的遺留物檢測方法來滿足需求。
[0005] 參考文獻：
[0006] [l]Muchtar K, Lin C Y, Kang L ff, et al. Abandoned object detection in complicated environments[C]//Proc of Signal and Information Processing Association Annual Summit and Conference, 2013:l_6〇
[0007] 穆達爾K，林C Y，康L W，等.復雜環境中的遺留物檢測[C]//信號與信息處理協 會年度高峰會議錄，2013:1-6。
[0008] [2]Porikli F.Detection of temporarily static regions by processing video at different frame rates[C]//Proc of Advanced Video and Signal Based Surveillance, 2007:236-241〇
[0009] 普里克利F.不同幀率視頻處理下的暫時靜止區域檢測[C]//基于視頻與信號的 高級監控會議錄，2007:236-241。
[0010] [3]Lv F, Song X, ffu B, et al. Left-luggage detection using bayesian inference[C]//Proc of the9th IEEE International Workshop on PETS, 2006:83-90〇
[0011] 呂F，宋X，吳B，等.使用貝葉斯推理的遺留行李檢測[C]//第9屆跟蹤與監控性 能評價IEEE國際研討會會議錄，2006:83-90。
[0012] [4]Spagnolo P, Caroppo A, Leo M, et al. An abandoned/removed objects detection algorithm and its evaluation on PETS datasets[C]//Proc of Video and Signal Based Surveillance, 2006:17_17〇
[0013] 斯帕諾羅P，卡羅波A，利奧M，等.一種遺留/移走物體檢測算法及其PETS數據集 評測[C]//基于視頻與信號的監控會議錄，2006:17-17。


【發明內容】

[0014] 本發明的目的在于克服現有技術的缺點與不足，提供一種用于復雜環境遺留物的 檢測方法。
[0015] 本發明的目的通過以下的技術方案實現：
[0016] 一種用于復雜環境遺留物的檢測方法，包含以下順序的步驟：
[0017] S1.對于獲取視頻幀圖像，分別用基于局部更新的混合高斯背景建模方法、改進的 三幀差分法進行處理，并將上述兩種方法得到的前景目標進行比較：對于一個像素點，如果 在基于局部更新的混合高斯背景建模方法中被判斷為前景，而在改進的三幀差分法中被判 斷為背景，則將其歸入對應暫時靜止物的像素點集合中，由此初步得到暫時靜止物的候選 前景區域；
[0018] S2.對于候選前景區域，結合基于YCbCr顏色空間的陰影消除方法、連通域分析， 分割得到場景內的暫時靜止物團塊；
[0019] S3.對每一幀圖像采用質心判距法，分別統計每一個靜止物團塊的靜止時間；
[0020] S4.對于靜止時間達到閾值的靜止物團塊，通過方向梯度直方圖行人檢測算法排 除駐留行人的可能性后，將其標記為遺留物；
[0021] S5.在某個遺留物被檢出的初始幀，采用加速分割檢測特征FAST特征點檢測算 法檢測該遺留物區域的局部特征：若后續幀中遺留物受到行人遮擋干擾，導致前景中不含 有前面已檢出的遺留物團塊，則針對該區域再次檢測局部特征，與首幀所檢特征進行匹配， 若匹配成功，則繼續保持遺留物報警狀態；否則說明遺留物已發生移動或消失，取消報警狀 態。
[0022] 步驟S1中，所述的基于局部更新的混合高斯背景建模方法，具體如下：
[0023] A、當場景中沒有檢測出遺留物時，按照一般的方法對混合高斯背景模型進行更 新；
[0024] B、當場景中檢測出遺留物后，制作遺留物前景掩膜圖像M，設當前幀圖像為I，經 過前面各幀更新后的混合高斯背景圖像為B，則根據下式構造用于當前幀背景模型更新的 圖像U:
[0025]

【權利要求】
1. 一種用于復雜環境遺留物的檢測方法，其特征在于，包含以下順序的步驟：
51. 對于獲取視頻幀圖像，分別用基于局部更新的混合高斯背景建模方法、改進的三幀 差分法進行處理，并將上述兩種方法得到的前景目標進行比較：對于一個像素點，如果在基 于局部更新的混合高斯背景建模方法中被判斷為前景，而在改進的三幀差分法中被判斷為 背景，則將其歸入對應暫時靜止物的像素點集合中，由此初步得到暫時靜止物的候選前景 區域；
52. 對于候選前景區域，結合基于YCbCr顏色空間的陰影消除方法、連通域分析，分割 得到場景內的暫時靜止物團塊；
53. 對每一幀圖像采用質心判距法，分別統計每一個靜止物團塊的靜止時間；
54. 對于靜止時間達到閾值的靜止物團塊，通過方向梯度直方圖行人檢測算法排除駐 留行人的可能性后，將其標記為遺留物；
55. 在某個遺留物被檢出的初始幀，采用加速分割檢測特征FAST特征點檢測算法檢測 該遺留物區域的局部特征：若后續幀中遺留物受到行人遮擋干擾，導致前景中不含有前面 已檢出的遺留物團塊，則針對該區域再次檢測局部特征，與首幀所檢特征進行匹配，若匹配 成功，則繼續保持遺留物報警狀態；否則說明遺留物已發生移動或消失，取消報警狀態。
2. 根據權利要求1所述的用于復雜環境遺留物的檢測方法，其特征在于：步驟S1中， 所述的基于局部更新的混合高斯背景建模方法，具體如下： A、 當場景中沒有檢測出遺留物時，按照一般的方法對混合高斯背景模型進行更新； B、 當場景中檢測出遺留物后，制作遺留物前景掩膜圖像M，設當前幀圖像為I，經過前 面各幀更新后的混合高斯背景圖像為B，則根據下式構造用于當前幀背景模型更新的圖像 U ：
C、 將當前幀圖像與更新后的混合高斯背景模型進行匹配，分割得到前景目標，包括運 動目標和暫時靜止物。
3. 根據權利要求1所述的用于復雜環境遺留物的檢測方法，其特征在于：步驟S1中， 所述的改進的三幀差分法具體如下： A、 首先對連續的三幀圖像f\、f2和f3做差分運算，得到前兩幀的幀差結果Diff12與后 兩幀的幀差結果Diff 23 ; B、 然后對中間幀f2與相應背景圖像fBe做差分得到DiffBe，將Diff Be分別和Diff12與 Diff23做"與"運算，得到結果和Af2，最后將和Af2做"或"運算，結合膨脹和腐 蝕形態學處理，進一步消除差值圖像中的空洞，得到較完整的運動目標。
4. 根據權利要求1所述的用于復雜環境遺留物的檢測方法，其特征在于：所述的步驟 S2,具體包含以下順序的步驟： A、將候選前景區域的像素轉換到YCbCr顏色空間中，然后將滿足如下條件的像素判斷 為陰影像素：
其中，YFe、CbFe、CrFe分別表示前景區域的各分量大小；Y Be、CbBe、CrBe分別表示背景區域 的各分量大小；Ta和τ&分別表不對應分量的差值閾值； Β、將屬于陰影像素從前景區域中排除，得到暫時靜止物對應的前景區域； C、 對暫時靜止物對應的前景區域進行連通域分析處理，即對這些區域的邊緣輪廓采用 多邊形進行擬合，獲得面積大于一定閾值的完整連通區域，并濾除面積較小的噪聲區域； D、 對前景中的連通區域進行連續的查找處理，獲得當前幀中數個完整的暫時靜止物團 塊。
5. 根據權利要求1所述的用于復雜環境遺留物的檢測方法，其特征在于：所述的步驟 53, 具體包含以下步驟： Α、分別計算每個團塊的質心點坐標和外接矩形框，并定義數組contour_center[n]和 b〇unding_b〇X[n]將相應數據保存起來，其中，η表示當前幀中團塊的數量，即數組的長度； Β、在對下一巾貞圖像進行相同的處理之后，得到另一組contour_center [η]和 bounding_box[n]數據，為了將每巾貞之間不同的暫時靜止物對應起來，逐一采用質心判距 法，將上一幀的第j個團塊，分別與當前幀的每個團塊按照下式計算質心距離：
其中，X和y分別表示質心點的橫坐標和縱坐標，表示當前巾貞中團塊的數量； C、設定距離閾值Td，若4』彡Td，3/ e {0，1，…，-U，則認為當前幀的第i個團塊 與上一幀的第j個團塊對應，且依然保持靜止，此時將該團塊的持續靜止幀數加1 ;若 di J>Td，V/e{0，Wcur-l}，貝IJ說明上一中貞的第j個團塊已經發生了移動，從暫時靜止物對應 的前景區域中消失，此時將該團塊從暫時靜止物中排除，并計算圖像幀中每一個暫時靜止 物所對應的持續靜止時間，持續靜止時間以巾貞數為單位。
6. 根據權利要求1所述的用于復雜環境遺留物的檢測方法，其特征在于：所述的步驟 54, 具體包含以下步驟： A、 從特定的時刻開始對視頻進行連續數幀的方向梯度直方圖行人檢測，使用圖像 局部區域的方向梯度直方圖作為行人檢測的特征描述子，結合SVM分類器進行訓練與識 別：設團塊的靜止時間為t，其被判斷為遺留物的靜止時間閾值為t a，比例系數為η，其中 0〈 η〈1 ;當t = ilta時開始進行行人檢測，當t>ta時則停止檢測；在這段時間里，如果至少 存在一幀圖像將該團塊所在區域檢測為行人，則排除其為遺留物的可能； B、 將達到時間閾值的暫時靜止物標記為遺留物，并將代表其性質的參數，包括質心點 坐標和外接矩形框，加入遺留物參數結構序列中；對于場景中檢測出的不同遺留物，分別使 用這樣一組參數結構記錄其性質，用以區分不同的目標； C、 在一幀檢測出遺留物后，將下一幀獲得的所有暫時靜止團塊按照質心判距法分別與 之匹配，若某一暫時靜止團塊與該遺留物的質心距離小于閾值，則認為是同一物體，且依舊 保持遺留狀態； 所述的步驟S5,具體包含以下步驟： A、 若某一暫時靜止團塊與該遺留物的質心距離均大于閾值，在某個遺留物被檢出的初 始幀，對該遺留物的區域檢測FAST特征點，并將得到的特征點集合\保存到代表該遺留物 性質的參數結構中； B、 在后續某一幀中，若所有暫時靜止團塊與該遺留物的質心距離都大于閾值，則對該 幀中對應原遺留物的區域再次檢測FAST特征點，得到特征點集合Xi ; 將&中的特征點與X〇中的特征點按照下式計算匹配率k :
設定匹配率閾值λ，若k > λ，則說明遺留物被遮擋，但依然保持靜止狀態；設定幀數 閾值Τη，若連續Τη幀都滿足k〈 λ，則說明原遺留物已經發生移動，將其從遺留物參數結構序 列中刪除。
【文檔編號】G06T7/00GK104156942SQ201410314759
【公開日】2014年11月19日 申請日期:2014年7月2日 優先權日:2014年7月2日
【發明者】李遠清, 葉立仁, 何盛鴻, 趙連超 申請人:華南理工大學