基于級聯卷積神經網絡的前車車輛信息結構化輸出方法
【技術領域】
[0001] 本發明屬于圖像處理技術領域，特別涉及一種車輛信息結構化輸出方法，可用于 智能監控、智能交通、駕駛員輔助系統和交通信息檢測。
【背景技術】
[0002] 計算機視覺中的車輛檢測識別是指僅利用攝像機的圖像輸入來獲取車輛信息，其 是一門應用前景十分廣闊的技術。基于計算機視覺的車輛檢測系統硬件成本較低，能感知 到豐富的環境信息，但受環境變化影響大，對光照條件的變化比較敏感。車輛信息檢測識別 在多個領域都有較好的應用前景，但是由于車輛的多樣性，背景的混雜以及天氣影響，光照 條件，自身遮擋等多方面的因素導致車輛檢測識別在目前并沒有通用的、穩定的解決方案。 [0003]目前，基于計算機視覺的車體、車牌、車標的檢測識別都分別有各自不同的方法， 這些方法大多都是利用滑動窗口在檢測區域掃描并提取人工構造的特征，根據人工提取到 的特征進行識別。其中：
[0004] 基于計算機視覺的車體檢測方法，主要是提取車體的對稱性、紋理、邊緣、顏色、陰 影等具有一定的可識別性的特征，并利用這些特征訓練分類器來檢測車體，這些方法對環 境、光照，及圖像的拍攝質量要求高，不適用于一般場景。
[0005] 基于計算機視覺的車牌檢測、識別方法，首先要檢測到精確的車牌區域，然后依據 光學字符識別OCR技術進行車牌識別。目前對于車牌的檢測，主要是利用車牌的顏色、紋 理、邊緣等特征和形態學方法對檢測區域進行滑動窗口掃描。這種方法的不足是對環境要 求較高，且算法復雜，處理時間過長。
[0006] 基于計算機視覺的車標檢測、識別方法，主要是先利用邊緣檢測、模板濾波、紋理 特征等進行車標定位，然后利用支持向量機SVM、自適應增強Adaboost等基于統計分類的 方法構造分類器進行識別。其缺點是對待檢測圖像的分辨率要求較高，定位時間長，識別率 不尚。

【發明內容】

[0007] 本發明的目的在于針對上述已有技術的不足，提出了一種基于級聯卷積神經網絡 的前車車輛信息結構化輸出方法，以減小環境、光照對穩定性的影響，有效提高車輛信息的 檢測和識別的正確率。
[0008] 為實現上述目的，本發明的技術方案包括如下步驟：
[0009] (1)拍攝不同場景、環境、光照下的總時長不少于10小時或最終圖片不少于20萬 張的前車車輛行駛的視頻及圖片，用這些數據圖片構成最初始樣本集，隨機選擇其中約5% 的圖片標注出其中的車體位置，車牌位置，車標位置及車標類型；
[0010] ⑵利用二值范數梯度BING方法對所有標注了車體的圖片進行訓練，得到訓練好 的參數V和支持向量機模型SVM ;
[0011] (3)分別訓練車體、車牌、車標的卷積神經網絡：
[0012] (3a)利用訓練好的參數v和支持向量機模型SVM在所有未標注的圖片上生成車體 的候選區域，選擇其中的車體區域，用該車體區域和已標注的車體樣本作為車體正樣本，將 其余非車體的候選區域作為車體負樣本；用所有車體的正、負樣本計算車體樣本均值M 1，使 用車體的正、負樣本和樣本均值1訓練車體的卷積神經網絡CNN 1;
[0013] (3b)利用選擇性搜索selective search方法在車體區域上生成車牌候選區域， 選擇其中的車牌區域，用該車牌區域和已標注的車牌樣本作為車牌正樣本，將其余非車牌 的候選區域作為車牌負樣本；用所有車牌的正、負樣本計算車牌樣本均值M 2，使用車牌的 正、負樣本和樣本均值％訓練車牌的卷積神經網絡CNN 2;
[0014] (3c)利用選擇性搜索selective search方法在車牌鄰域內生成車標的候選區 域，選擇其中的車標區域，用該車標區域和已標注的車標樣本作為車標正樣本，將其余非車 標的候選區域作為車標負樣本；用所有車標的正、負樣本計算車標樣本均值M 3，使用車標的 正、負樣本和樣本均值％訓練車標的卷積神經網絡CNN 3;
[0015] (4)根據訓練好的卷積神經網絡，判斷出車體區域、顏色，車牌區域、車牌號，車標 區域L及車標類別：
[0016] (4a)對于給定的待檢測視頻流，依次截取其每一幀，利用訓練好的參數V和支持 向量機模型SVM為幀圖像生成待檢測的車體候選區域，將所有待檢測的車體候選區域送入 車體的卷積神經網絡CNN^，提取待檢測的車體候選區域特征并通過全連接法判斷出該區 域的車體區域，將斷定為車體的區域進行合并，得到最終的車體區域B，統計該最終車體區 域B的色彩信息得到車體顏色；
[0017] (4b)使用選擇性搜索selective search方法在最終車體區域B里生成待檢測的 車牌候選區域，在生成的待檢測車牌候選區域中選取待檢測車牌候選區域送入到車牌的卷 積神經網絡CNN 2*，提取待檢測車牌候選區域特征并使用全連接法判斷該區域的車牌區域 P，并對該車牌的區域進行車牌號碼識別；
[0018] (4c)獲取車牌區域P的鄰域，使用選擇性搜索selective search方法在得到的車 牌區域P的鄰域范圍內生成待檢測的車標候選區域，將所有待檢測的車標候選區域送入到 車標的卷積神經網絡CNN 3*，提取待檢測的車標候選區域特征，判斷出該區域的車標區域L 和車標的類別；
[0019] (5)將步驟（4)得到的車體區域B、顏色，車牌區域P、車牌號，車標區域L及車標類 別這些信息一起輸出到幀圖像。
[0020] 本發明與現有的技術相比具有以下優點：
[0021] 1、本發明由于在獲取候選檢測區域時使用基于顯著性目標檢測的二值范數梯度 BING方法和選擇性搜索selective search算法，能夠避免現有的基于滑動窗口所產生的 大量冗余檢測區域，大大減少了需要檢測的區域，可以極大的加快檢測和識別的速度。
[0022] 2、本發明由于在提取圖像特征時是利用基于深度學習的卷積神經網絡CNN，因而 提取的圖像特征較傳統的基于圖像描述方法能有效提取出車體、車牌、車標的本質性特征， 對于各種復雜的環境，能大大提高檢測的準確率。
[0023] 3、本發明由于是基于級聯的檢測識別方法，能一次性檢測、識別車體、車牌、車標， 可以結構化輸出前方車輛信息。
【附圖說明】
[0024] 圖1是本發明的實現流程圖；
[0025] 圖2是本發明中車體訓練樣本部分正樣本圖；
[0026] 圖3是本發明中車牌訓練樣本部分正樣本圖；
[0027] 圖4是本發明中車標訓練樣本部分正樣本圖；
[0028] 圖5是用本發明檢測到的車體結果圖；
[0029] 圖6是用本發明檢測到的車牌結果圖；
[0030] 圖7是用本發明檢測到的車標結果圖；
[0031] 圖8是用本發明檢測的前車車輛結構化信息輸出結果圖。
【具體實施方式】
[0032] 以下結合附圖對本發明實施例和效果進行詳細描述。
[0033] 參照圖1，本發明實施步驟如下：
[0034] 步驟一，獲取訓練樣本集：
[0035] (Ia)拍攝不同場景、環境、光照下的總時長不少于10小時或最終圖片不少于20萬 張的前車車輛行駛的視頻及圖片，用這些數據圖片構成樣本集；
[0036] (Ib)從樣本集中隨機選擇5%的圖片，在選擇出來的每一張圖片中標注出車體的 區域，車牌的區域，車標的區域及車標類別，作為最初樣本集；
[0037] 圖2給出了車體訓練樣本部分正樣本圖，圖3給出了車牌訓練樣本部分正樣本圖， 圖4給出了車標訓練樣本部分正樣本圖。
[0038] 步驟二，利用二值范數梯度BING方法對車體的最初樣本集進行訓練。
[0039] (2a)選取36種不同大小的尺寸，對車體的最初樣本集中的所有車體區域，按照每 個車體區域的長和寬，將這個區域縮放到相應的尺寸，計算出縮放后車體區域的二值梯度 特征圖gi，其中下標1是一個三元組，包括采樣的窗口尺寸i，窗口位置X和y，即I = (i， X，y)，如果屬于某窗口尺寸的車體區域樣本數少于500個，則去掉該窗口尺寸；
[0040] (2b)使用線性支持向量機算法學習出一個模型，
[0041] S1= < ω , g !>
[0042] 其中S1是分類器的輸出分數，訓練樣本為正樣本時s i的值為1，訓練樣本為負樣 本時S1的值為-1，ω是學習得到的支持向量機模型SVM ;
[0043] (2c)對每一種尺寸分別使用線性支持向量機SVM按下式算出系數vjP偏置項t ;， i〈 = 36,其中O1是窗口分數，
[0044] O1= ViX S^ti
[0045] (2d)由vJP t i組成訓練好的參數V = (V p tj。
[0046] 步驟三，分別訓練車體、車牌、車標的卷積神經網絡：
[0047] (3a)利用訓練好的參數V和支持向量機模型SVM在所有未標注的圖片上生成車體 的候選區域，選擇其中的車體區域，用該車體區域和已標注的車體樣本作為車體正樣本，將 其余非車體的候選區域作為車體負樣本；
[0048] (3b)將所有車體的正、負樣本縮放至長寬為227*227的尺寸，用所有縮放后的車 體的正、負樣本計算車體樣本均值M 1,使用縮放后的車體的正、負樣本和樣本均值1訓練車 體的卷積神經網絡CNN1;
[0049] (3c)利用選擇性搜索selective search方法在車體區域上生成車牌候選區域， 選擇其中的車牌區域，用該車牌區域和已標注的車牌樣本作為車牌正樣本，將其余非車牌 的候選區域作為車牌負樣本；
[0050] (3d)將所有車牌的正、負樣本縮放至長寬為90*30的尺寸，用所有縮放后的車牌 的正、負樣本計算車牌樣本均值M 2,使用縮放后的車牌的正、負樣本和樣本均值％訓練車牌 的卷積神經網絡CNN2;
[0051] (3e)利用選擇性搜索selective search方法在車牌鄰域內生成車標的候選區 域，選擇其中的車標區域，用該車標區域和已標注的車標樣本作為車標正樣本，將其余非車 標的候選區域作為車標負樣本；
[0052] (3f)將所有車標的正、負樣本縮放至長寬為32*32的尺寸，用所有縮放后的車標 的正、負樣本計算車標樣本均值M 3，使用縮放后的車標的正、負樣本和樣本均值]\13訓練車標 的卷積神經網絡CNN3。
[0053] 步驟四，根據訓練好的車體的卷積神經網絡CNN1，判斷出車體區域、顏色：<