一種自學習的視頻火災探測方法
【專利摘要】本發明公開了一種自學習的視頻火災探測方法，該方法的技術方案包括：收集一批煙火圖像，去除背景并加注標簽，作為種子數據集；利用種子數據和采集的視頻自動生成針對特定應用環境的數據樣本；通過在線學習算法在這些樣本上訓練得到火焰和煙霧檢測器；前端將獲取的疑似火災圖像發送給檢測服務器來判斷是否發生火災；在運行過程中，檢測服務器不斷獲取新樣本來在線更新檢測器。本發明較現有技術具有以下優點：能用于各類場景，能自適應的提升性能，降低誤報；疑似區域提取與火災識別分離，火災識別可以遠程化，甚至部署在云端，這使得整個系統的升級和維護更方便。
【專利說明】
一種自學習的視頻火災探測方法
技術領域
[0001] 本發明涉及火災探測、視頻監控領域，特別是涉及火災探測及視頻監控領域中一 種自學習的視頻火災探測方法。
【背景技術】
[0002] 基于視頻圖像處理技術的圖像型火災探測器能夠在火災發生的早期發現火災，并 且能直觀反應現場情況，有利于火災的早發現早撲滅，特別是在室外及室內高大空間等應 用場合具有顯著優勢，愈來愈受到重視，應用需求旺盛。
[0003] 圖像型火災探測器的核心是圖像分析算法，要求能準確識別火焰和煙霧，不漏報， 少誤報。圖像型火災探測系統一般采用前端攝像頭采集數據傳輸到后臺服務器進行火災識 別的架構。后臺服務器對于輸入的視頻流進行一序列圖像處理和分析，一體化完成火災的 檢測和報警。這需要大量的訓練樣本(而這在實際中代價很高)才能學習到一個較為可靠的 識別器。在實際應用中，由于應用環境的開放性，系統將面臨多種多樣的應用場合和干擾。 要獲得一個能裝配到多種場合的圖像火災探測器是極其困難的，即使部署時針對特定場合 配置好了識別模塊參數，在運行過程中，由于季節、天氣、堆放物等因素，設備要處理的環境 也發生了變化，也會逐漸導致誤報問題突出，系統維護困難。

【發明內容】

[0004] 為了克服上述現有技術的不足，本發明提供一種自學習的視頻火災探測方法，該 方法在運行過程中自行學習和適應對應的場景。
[0005] 本發明所采用的技術方案如下:一種自學習的視頻火災探測方法，包括步驟如下：
[0006] 步驟一、收集一批煙火圖像，去除背景并加注標簽，作為種子數據集；
[0007] 步驟二、利用種子數據和采集的視頻自動生成針對特定應用環境的數據樣本；
[0008] 步驟三、訓練過程:通過在線學習算法在這些樣本上訓練出煙火檢測器；
[0009] 步驟四、檢測過程:前端將獲取的疑似火災圖像發送給檢測服務器來判斷是否發 生火災；
[0010] 步驟五、在運行過程中，檢測服務器不斷的截取場景圖像作為新的樣本在線更新 檢測器，以適應場景的變化。
[0011] 其中，步驟一所述種子數據集，其圖像為縮放到固定大小mxn的圖像塊，其中煙霧 或火焰區域是原圖像值，非煙火區域的像素值全部為〇,標簽分別為'smoke'，'fire'，一張 圖像最多有兩個標簽。
[0012] 其中，步驟二所述樣本生成方法包括：
[0013] 從監控視頻流中定時或隨機截取一些幀，從這些幀中隨機裁剪出一些圖像塊，圖 像塊滿足：1)最小邊長不小于限值L_(例如60)，2)長邊與短邊之比不大于比值ratio(例如 3);然后縮放到與種子圖像同樣大小，歸入負樣本集；
[0014] 從負樣本集和種子集中分別隨機選取一張圖像，按照下列方法采用不同的α進行1 ~3次疊加融合： Γ 1 .、 f(1 - a)I(x,y) + aS(s,y) if S(x,y) > 0
[0015] M(.r,>〇= v \ γ ^ (. / (x, y) otherwise
[0016] label(M) = label(S)
[0017] 其中ae (0.6,1.0)，用來模擬煙的濃度，I為負樣本，S為種子樣本，M為融合得到的 煙火圖像，是對場景中發生火災的一種模擬，將用于訓練針對該場景的火焰和煙霧檢測器， label為圖像的標簽。
[0018] 其中，步驟三所述訓練過程，包括：
[0019] 從負樣本集中隨機挑選出一個子集聯合火焰樣本集訓練一個火焰檢測器Df，從負 樣本集中隨機挑出一個子集聯合煙霧樣本集訓練一個煙霧檢測器D s，如圖2;
[0020] 圖像特征提取采用基于人類視覺感知機理的多層模型，如圖3,每一張圖像用一個 d維特征向量描述;學習方法采用增量學習算法。例如online boosting或onl ine svm或增 量神經網絡等。
[0021] 其中，步驟四所述檢測過程，包括：
[0022] 前端處理(嵌入式智能相機或者處理服務器）負責提取并跟蹤疑似區域，可以采用 成熟的運動目標提取或者顏色篩選；
[0023] 前端以固定時間間隔t，將提取的疑似區域圖像發送給檢測服務器；
[0024] 檢測端調用對應的火焰和煙霧檢測器，對接收到的圖像進行檢測，如果兩者之一 輸出為正響應，這說明有對應的異常情況發生，向中心控制平臺發送報警信號，否則發送正 常信號。
[0025] 其中，步驟五所述系統更新過程，包括：
[0026] 在系統運行過程中，將持續的提供一些新的樣本給檢測服務器，用于更新檢測器， 更新樣本分為負樣本集，火焰集和煙霧集；
[0027]定時地將收集到的負樣本集和火焰集輸入學習算法，更新火焰檢測器，將負樣本 集和煙霧集輸入學習算法，更新煙霧檢測器。
[0028] 其中，所述的更新檢測器，更新樣本來源可分為4類：
[0029] 1)從視頻流中截取的隨機圖像，賦予普通權重，歸入負樣本集，它們可以讓模型適 應變化了的場景；
[0030] 2)被檢測服務器判斷為正常且響應值很高或經人工確認的非火災圖像，賦予普通 權重，歸類為負樣本，它們可以讓模型更好的處理干擾模式；
[0031] 3)被檢測服務器判斷為異常，且響應值很高或者經過人工確認的火災圖像，與第 一類圖片采用與與第一類圖片進行疊加融合處理，生成一批火災圖像，賦予普通權重，按標 簽歸入火焰集或煙霧集，它們有助于模型學習該場景下的火災模式；
[0032] 4)經人工確認被檢測服務器誤判的圖像，按照實際的類別歸入樣本集，并賦予其 高倍的權重，他們將有利于模型進行糾錯，避免后續的誤判。
[0033] 與現有技術相比，本發明的方法不是賦予系統一體化的視頻分析算法，而是一組 數據和一個學習方法，讓它根據初始數據和實際的場景視頻，在運行過程中自行學習和適 應對應的場景。這能有效的解決算法不能適應應用環境的問題，顯著降低誤報的發生，提高 報警的準確性。此外基于該方法的系統維護和升級也更為方便。
【附圖說明】
[0034]為了更清楚的說明本發明實施例或現有技術中的技術方案，下面將對實施例或現 有技術描述中所需要使用的附圖做一些簡單的介紹。顯而易見，下面描述中的附圖是本發 明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根 據這些附圖獲得其他附圖。
[0035]圖1為本發明實施例提供的自學習視頻火災探測方法流程圖；
[0036] 圖2為本發明實施例提供的樣本生成方法及檢測器訓練流程圖；
[0037] 圖3為本發明實采用的圖像特征提取方法示意圖；
[0038] 圖4為本發明用于更新模型的四種數據來源。
【具體實施方式】
[0039]為使本發明實施的目的，技術方案及優點更加清楚，以下將結合本發明實施例中 的附圖，對本發明實施中的技術方案進行詳細、完整的描述。顯然，所描述的實施例是本發 明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒 有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。
[0040]圖1為本發明自學習的視頻火災探測方法實施例的流程圖。如圖1所示，本實施例 的方法包括：
[0041 ]步驟1、收集一批煙火圖像，去除背景并加注標簽，作為種子數據集；
[0042] 圖像要么包含煙霧，要么包含火焰，且為煙火區域的外接矩形或者稍大，經背景消 除處理后，煙火區域像素點保持原像素值，非煙火區域RGB三個通道全部為0,最后縮放到統 一大小，例如60X60像素。
[0043] 步驟2、利用種子數據和采集的視頻自動生成針對特定應用環境的數據樣本；
[0044] 步驟3、通過在線學習算法在這些樣本上訓練得到火焰和煙霧檢測器；
[0045] 步驟4、檢測過程，前端將獲取的疑似火災圖像發送給檢測服務器來判斷是否發生 火災；
[0046] 步驟5、系統更新，在運行過程中，不斷獲取新樣本來在線更新檢測器。
[0047] 具體步驟如下：
[0048] 步驟一、收集一批煙火圖像，去除背景并加注標簽，作為種子數據集。
[0049] 種子集中的圖像從網絡或實際的火災錄像中截取，去除背景而只保留煙和火的區 域，并打上相應的標簽。種子集越大越好，多樣性越豐富越好，這樣訓練出來的火災檢測模 型的可靠性也更高。種子集圖像最終被縮放到一個固定的大小m X η。
[0050] 步驟二、利用種子數據和采集的視頻自動生成針對特定應用環境的數據樣本。
[0051] 安裝視頻探測點之后，從實際的視頻流中抽取一部分幀，可以以一個固定間隔定 時抽取或者隨機抽取，然后從截取的視頻幀中裁剪出一些符合大小及長寬比要求的圖像 塊。最后將這些圖像塊縮放到與種子圖像一樣大小，歸入負樣本集。
[0052] 然后從種子集和負樣本集隨機選擇一張圖像，采用公式（1)的疊加融合方法生成 一張正樣本圖片，模擬畫面對應的區域發生火災的情況。
[0053]步驟三、訓練過程，通過在線學習算法在這些樣本上訓練出煙火檢測器。
[0054] 準備一組火焰圖像作正樣本和一組負樣本圖像組成訓練集，正負樣本規模基本相 當，數量可以從幾百到幾萬。然后提取d維的C2特征，每個樣本用一個特征向量表示；
[0055] 采用在線學習算法，在訓練集上學習出一個火焰檢測器，專門用于檢測圖像中是 否包含火焰；
[0056] 同樣的，對于煙霧也采用相同的方法訓練一個煙霧檢測器；
[0057]步驟四、檢測過程，前端將獲取的疑似火災圖像發送給檢測服務器來判斷是否發 生火災;此系統中，疑似火災圖像的提取和火災判斷是分離的，前端可以根據應用的不同采 用不同的方法進行抽取，例如針對固定攝像頭可以采用運動區域提取，對于森林中的巡檢 攝像頭可以根據色彩進行提取。檢測服務器接收統一規格的圖像，分別調用火焰和煙霧檢 測器進行檢測，當兩個檢測器均輸出負響應時認為沒有火災發生，否則表示有火災異常，發 出報警信號。智能判決模塊只負責對輸入的圖像塊進行分析，判斷是否包含火焰或者煙霧； 其作為一個服務，既可以部署在監控中心也可以部署在云端。
[0058]步驟五、在運行過程中，系統不斷的截取場景圖像作為新的樣本在線更新檢測器， 以適應場景的變化。樣本獲取模塊，采集場景數據，自動生成一批針對該場景的訓練樣本；
[0059] 在實際應用中，環境會隨著時間、季節、天氣等因素發生變化，傳統方法的模型可 能會逐漸變得不再適應，或者只能適應部分情況，也不能隨著數據量的增加而變的更加健 壯和穩定。本發明提出的方法在檢測的同時，不斷地利用新的數據來更新和提升模型的性 能，使得模型能夠適應環境的變化，并且隨著運行時間越長數據越多，其檢測的穩定性和可 靠性也越來越高。
[0060] 圖2為本發明實施例提供的樣本生成方法及煙霧檢測器訓練流程圖，如圖2所示， 以煙霧檢測器的訓練為例進行說明，火焰的處理方法與之相同。
[0061] 由于訓練需要大量的當前環境下的樣本，才能獲得比較可靠的檢測器，但在實際 情況中，火災的正樣本非常難以收集，點火試驗的代價與風險也比較大。因此本發明采用一 種合成的方法來模擬當前環境下的火災。首先隨機的從事先準備好的種子集和負樣本集中 各挑出一張圖像，然后在煙霧區域以隨機的比例進行線性疊加，將煙霧嵌入到當前環境的 背景上，生成煙霧圖像樣本。這樣生成的樣本有利于學習出對環境背景不敏感的檢測器，而 疊加的比例還可以模擬不同的煙霧濃度。
[0062]在合成訓練樣本的基礎上，將一組負樣本和一組正樣本輸入到學習模塊中，得到 煙霧檢測器。圖中采用了online adaboost學習算法，adaboost是機器學習領域的著名算 法，其通過不斷的迭代，將一些弱分類器組合起來，最終構成一個強分類器。Online adaboost是其增量學習的變種，之所以采用在線學習方法是為了方便進行模型更新（步驟 5)，在運行過程中可以將新的樣本投入到學習框架中，以提高其對環境的適應性和識別性 能。采用哪一種學習方法不是本發明的限制特征，此處同樣可以采用其他在線學習方法，例 如online svm，增量神經網絡等。
[0063]圖3為本發明實采用的圖像特征提取方法示意圖，如圖3所示，該特征是T.Serre等 人在CVPR2005提出的基于人類視覺感知機理提出的特征提取模型，簡稱為C2特征。特征提 取模型共分為五層：圖像層、三個中間層和特征層。每一層都由上一層通過一族濾波器得到 (模板卷積或者最大值抽取）。
[0064]圖像層是一個圖5層像金字塔，最底層是大小為60X60的輸入圖像，之上每一層尺 寸都是下一層的
圖像層經
四個方向的Gabor濾波器濾波后得到S1層。采用一 個2層棱臺模板對S1層進行局部最大值濾波之后得到C1層。然后采用d個模板對C1層進行卷 積得到S2層，因此S2層由d個小金字塔組成。最后對S2層的每一個金字塔進行全局最大值濾 波，得到最終的C2層，即一個d維的特征向量。本發明就用這個特征向量來對一張圖像進行 特征表達。
[0065] 圖4為本發明用于更新模型的四種數據來源，如圖4所示，系統將利用這四類數據 進行自我提升。
[0066] 在實際應用中，由于兩個方面的因素，系統需要對模型進行更新。一方面，即使同 一個攝像頭的視頻，其環境也不是長期不變的，因此之前針對該場景訓練的檢測器可能逐 漸變得不適應，從而導致誤報發生。另一方面，從理論上講，誤報和漏報是不可避免的，人們 希望系統能自動學習，對曾經發生的誤報和漏報進行學習，改進模型，避免以后同類情況下 繼續出錯。
[0067] 第1類為從視頻流中抽取的背景圖像，第2類為被正確識別為非火災的疑似圖像， 第3類為被正確識別為火災的疑似圖像，第4類是經人工確認為誤報和漏報的疑似圖像。其 中第1，2類和4類中的誤報被標記為負樣本，第3類和第4類中的漏報標記為正樣本。圖中箭 頭上的數字表示樣本權重，w>l。第3類已經能正常識別，并不直接用于繼續訓練，而是采用 圖2中一樣的樣本生成方法，用它和第1類負樣本生成新的樣本用于訓練。
[0068] 以上所述僅為本發明的較佳實施例而已，并不用以限制本發明，凡在本發明的精 神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明的保護范圍之內。
【主權項】
1. 一種自學習的視頻火災探測方法，其特征在于，包括步驟如下： 步驟一、收集一批煙火圖像，去除背景并加注標簽，作為種子數據集； 步驟二、利用種子數據和采集的視頻自動生成針對特定應用環境的數據樣本； 步驟Ξ、訓練過程:通過在線學習算法在運些樣本上訓練出煙火檢測器； 步驟四、檢測過程:前端將獲取的疑似火災圖像發送給檢測服務器來判斷是否發生火 災； 步驟五、在運行過程中，檢測服務器不斷的截取場景圖像作為新的樣本在線更新檢測 器，W適應場景的變化。2. 根據權利要求1所述的一種自學習的視頻火災探測方法，其特征在于:步驟一所述種 子數據集，其圖像為縮放到固定大小mXn的圖像塊，其中煙霧或火焰區域是原圖像值，非煙 火區域的像素值全部為0,標簽分別為'smoke'，'fire'，一張圖像最多有兩個標簽。3. 根據權利要求1所述的一種自學習的視頻火災探測方法，其特征在于，步驟二所述樣 本生成方法包括： 從監控視頻流中定時或隨機截取一些帖，從運些帖中隨機裁剪出一些圖像塊，圖像塊 滿足：1)最小邊長不小于限值Lmin，2)長邊與短邊之比不大于比值ratio;然后縮放到與種子 圖像同樣大小，歸入負樣本集； 從負樣本集和種子集中分別隨機選取一張圖像，按照下列方法采用不同的α進行1~3 次疊加融合：label(M) = label(S) 其中ae (0.6,1.0)，用來模擬煙的濃度，I為負樣本，S為種子樣本，Μ為融合得到的煙火 圖像，是對場景中發生火災的一種模擬，將用于訓練針對該場景的火焰和煙霧檢測器， label為圖像的標簽。4. 根據權利要求1所述一種自學習的視頻火災探測方法，其特征在于，步驟Ξ所述訓練 過程，包括： 從負樣本集中隨機挑選出一個子集聯合火焰樣本集訓練一個火焰檢測器化，從負樣本 集中隨機挑出一個子集聯合煙霧樣本集訓練一個煙霧檢測器Ds， 圖像特征提取采用基于人類視覺感知機理的多層模型，每一張圖像用一個d維特征向 量描述;學習方法采用增量學習算法。5. 根據權利要求1所述一種自學習的視頻火災探測方法，其特征在于，步驟四所述檢測 過程，包括： 前端處理負責提取并跟蹤疑似區域，可W采用成熟的運動目標提取或者顏色篩選，前 端處理為嵌入式智能相機或者處理服務器； 前端W固定時間間隔t，將提取的疑似區域圖像發送給檢測服務器； 檢測端調用對應的火焰和煙霧檢測器，對接收到的圖像進行檢測，如果兩者之一輸出 為正響應，運說明有對應的異常情況發生，向中屯、控制平臺發送報警信號，否則發送正常信 號。6. 根據權利要求1所述一種自學習的視頻火災探測方法，其特征在于，步驟五所述系統 更新過程，包括： 在系統運行過程中，將持續的提供一些新的樣本給檢測服務器，用于更新檢測器，更新 樣本分為負樣本集，火焰集和煙霧集； 定時地將收集到的負樣本集和火焰集輸入學習算法，更新火焰檢測器，將負樣本集和 煙霧集輸入學習算法，更新煙霧檢測器。7.根據權利要求1或6所述一種自學習的視頻火災探測方法，其特征在于，所述的更新 檢測器，更新的樣本來源可分為4類： 1) 從視頻流中截取的隨機圖像，賦予普通權重，歸入負樣本集，它們可W讓模型適應變 化了的場景； 2) 被檢測服務器判斷為正常且響應值很高或經人工確認的非火災圖像，賦予普通權 重，歸類為負樣本，它們可W讓模型更好的處理干擾模式； 3) 被檢測服務器判斷為異常，且響應值很高或者經過人工確認的火災圖像，與第一類 圖片采用與第一類圖片進行疊加融合處理，生成一批火災圖像，賦予普通權重，按標簽歸入 火焰集或煙霧集，它們有助于模型學習該場景下的火災模式； 4) 經人工確認被檢測服務器誤判的圖像，按照實際的類別歸入樣本集，并賦予其高倍 的權重，他們將有利于模型進行糾錯，避免后續的誤判。
【文檔編號】G08B17/10GK106097346SQ201610418420
【公開日】2016年11月9日
【申請日】2016年6月13日 公開號201610418420.0, CN 106097346 A, CN 106097346A, CN 201610418420, CN-A-106097346, CN106097346 A, CN106097346A, CN201610418420, CN201610418420.0
【發明人】張啟興, 張永明, 周維, 林高華, 賈陽, 徐高
【申請人】中國科學技術大學