一種基于圖像處理的機動車道車輛逆行識別方法
【專利摘要】本發明公開了一種基于圖像處理的機動車道車輛逆行識別方法,該方法利用幾何濾波和空間聚類方法過濾線段噪聲,提高了中心黃線的識別率;同時利用Kalman濾波算法對中心黃線進行預跟蹤和預測從而得出最優中心黃線,有效地降低了個別幀的中心黃線識別錯誤或失敗對車輛逆行識別方法造成的影響,魯棒性強;本發明通過利用車載攝像頭來識別和跟蹤中心黃線,從而判斷待檢測車輛是否逆行,算法簡單易行,實時性高。
【專利說明】
-種基于圖像處理的機動車道車輛逆行識別方法
技術領域
[0001] 本發明屬于圖像識別技術領域,具體設及一種基于圖像處理的機動車道車輛逆行 識別方法。
【背景技術】
[0002] 隨著汽車的普及,車輛行駛安全越來越受到人們的關注。在國內,車輛逆行行為是 引發交通事故額第=高頻交通違法行為。而據國內交通法律法規,機動車道上使用黃色實 線區分不同方向的車道。機動車輛壓黃色實線或者跨越黃色實線,則視為逆行行為。目前在 檢測車輛違章逆行方面有多種方法,其中主要分為兩個方向:檢測路上車輛逆行和檢測己 方車輛逆行。
[0003] 檢測路上車輛逆行,主要應用于基于視頻的交通違章檢測系統中。此類交通違章 檢測系統一個重要前提是攝像頭安放于路旁或者道路上方的固定位置處,檢測行駛在該條 道路上的車輛是否違章逆行。該方法主要建立在對車輛進行檢測跟蹤并得到車輛運動軌跡 的基礎上,通過對車輛運動軌跡進行分析,判斷車輛是否為逆行。在檢測路上車輛逆行技術 中,由于攝像頭自身安放在固定位置處于靜止狀態,因此可通過識別車輛動態信息從而進 行判斷。
[0004] 而在檢測己方車輛逆行方面中,由于攝像頭安放于己方車輛上,并且絕大多數時 間處于運動狀態,因此上述方法并不適用。其中,公開號為CN102792350A的中國專利提出了 一種檢測已方車輛是否違章逆行的車輛逆行檢測裝置,該裝置所要解決的問題是判斷車輛 是否正在單行道上逆行,其事先在車載電子系統中存儲標記有單行道的地圖信息,并通過 車載GI^接收機獲取自身位置信息,進而比較自身車輛的位置和禁止逆行道路的位置,從而 判斷自身車輛是否正在單行道上;然后進一步通過自身位置信息計算車輛行駛方向,從而 判斷車輛是否正在單行道上逆行。但此裝置主要存在W下不足:(1)在自身車輛接收到的 GPS位置信息中包含誤差的情況下,即使實際上車輛正在禁止逆行道路周邊的道路上行駛, 也判斷為正在禁止逆行道路上行駛,對駕駛員誤報警告信息;(2)該裝置需要事先存儲大量 地圖信息;(3)該裝置并不適用于在雙向車道上檢測己方車輛是否違章逆行。
[0005] 此外,公開號為CN104732774A的中國專利提出了一種車輛逆行的檢測方法和檢測 系統,該裝置主要通過顏色識別和直線識別從道路行駛圖像中確定待檢測車輛在道路中的 位置,再結合表征方向的靜態特征物來確定車輛的預估行駛方向,并且通過光流法檢測移 動特征物的運動方向和速度,最后加權確定車輛是否逆行。但此方法主要存在W下不足: (1)該方法面向非機動車道,若道路寬闊的機動車道全部位于攝像頭視野內時,則無法通過 所述的圖像處理方法從行駛圖像中確定待檢測車輛在道路中的位置;(2)該方法通過檢測 表征道路方向的特征物來確定待檢測車輛的預估行駛方向,而沒有利用機動車道方向分割 線;(3)該方法需要通過圖像處理方法檢測多種靜態特征物,并使用算法復雜度較高的光流 法檢測移動特征物,最后加權才得出待檢測車輛是否逆行,算法復雜度高,缺乏實時性。
【發明內容】
[0006] 針對現有技術所存在的上述技術問題,本發明提供了一種基于圖像處理的機動車 道車輛逆行識別方法,通過檢測機動車道上區分不同方向車道的黃線,W實現機動車道上 己方車輛行駛方向的識別。
[0007] -種基于圖像處理的機動車道車輛逆行識別方法,包括如下步驟:
[0008] (1)利用安裝于車身上的攝像頭采集實景圖像,截取實景圖像中的道路區域作為 目標區域并對目標區域進行預處理;
[0009] (2)基于色調信息對預處理后的目標區域進行圖像分割,從中提取出若干近似黃 色的連通區塊;
[0010] (3)對所述的連通區塊進行中值濾波,W去除目標區域中孤立的噪聲點;
[0011] (4)對中值濾波后保留下來的連通區塊進行邊緣檢測W提取輪廓并對輪廓進行線 段檢測,進而將檢測得到的所有線段分類為左側線段集合和右側線段集合;
[0012] (5)對上述兩組集合中的線段進行篩選W及合并,進而判定中屯、黃線;
[OOU] (6)基于Kalman濾波算法生成當前帖中屯、黃線的預測結果,結合步驟(5)中得到的 當前帖中屯、黃線的判定結果,確定當前帖中屯、黃線的最終結果;進而根據中屯、黃線的最終 結果判斷當前車輛是否在道路上逆向行駛。
[0014] 所述的步驟(1)中對目標區域進行預處理包括直方圖均衡化處理、飽和度調節W 及亮度調節,W突出目標區域的顏色特征便于后續識別。
[0015] 所述的步驟(2)中對預處理后的目標區域進行圖像分割,即對預處理后的目標區 域基于服V顏色空間進行近黃色調區間的二值化分割。
[0016] 所述的步驟(3)中對連通區塊進行中值濾波,即去除零星面積較小的連通區塊,然 后對剩余連通區塊進行內部填充及邊緣平滑。
[0017] 所述的步驟(4)中利用化nny算子對中值濾波后保留下來的連通區塊進行邊緣檢 測W提取輪廓,并利用概率霍夫變換對輪廓進行線段檢測,進而將檢測得到的所有線段分 類為左側線段集合和右側線段集合:處于左=分之二目標區域內且斜率QG [0,V2]的線段 歸屬于左側線段集合,處于右=分之二目標區域內且斜率QG (V2,n]的線段歸屬于右側線 段集合。
[0018] 所述的步驟(5)中首先通過幾何濾波剔除掉兩組集合中長度小于一定闊值的線 段,然后通過空間聚類方法將任一組集合中斜率相近且間距小于一定闊值的多條線段合并 為一條線段。
[0019] 所述的步驟(5)中判定中屯、黃線的方法如下:
[0020] 若兩組集合均為空,則中屯、黃線判定失敗;
[0021 ]若兩組集合其中一組為空,另一組不為空,則W線段長度越長W及越靠近目標區 域中央作為兩項指標通過加權求和得到綜合評定值,選取非空集合中綜合評定值最高的線 段作為中屯、黃線的判定結果;
[0022]若兩組集合均不為空,則選取兩組集合中長度最長且所屬連通區塊平均色調值最 大的線段作為中屯、黃線的判定結果,若無法找到同時滿足長度最長且所屬連通區塊平均色 調值最大的線段,則中屯、黃線判定失敗。
[0023] 所述的步驟(6)中根據上一帖中屯、黃線的最終結果,W該最終結果所對應線段的 斜率和截距作為輸入通過Kalman濾波算法求解,輸出求得的斜率和截距所對應的線段即為 當前帖中屯、黃線的預測結果。
[0024] 所述的步驟(6)中確定當前帖中屯、黃線的最終結果,具體標準如下:
[0025] 若步驟(5)中的中屯、黃線判定失敗,則當前帖中屯、黃線的最終結果即采用預測結 果;若連續多次中屯、黃線判定失敗,則認定實景圖像中不存在中屯、黃線,無法識別當前車輛 是否逆向行駛;
[0026] 若當前帖中屯、黃線的判定結果與預測結果的斜率誤差W及截距誤差在闊值范圍 內,則當前帖中屯、黃線的最終結果即采用判定結果;
[0027] 若當前帖中屯、黃線的判定結果與預測結果的斜率誤差或截距誤差超出了闊值范 圍且非連續多次出現該情況,則當前帖中屯、黃線的最終結果即采用預測結果;若當前帖中 屯、黃線的判定結果與預測結果的斜率誤差或截距誤差超出了闊值范圍且連續多次出現該 情況,則當前帖中屯、黃線的最終結果即采用判定結果。
[0028] 所述的步驟(6)中判斷當前車輛是否在道路上逆向行駛:若當前帖中屯、黃線的最 終結果所對應線段的斜率OG [0,n/2],則判定車輛順行;若當前帖中屯、黃線的最終結果所 對應線段的斜率OG (V2,n],則判定車輛逆行。
[0029] 與現有技術相比,本發明具有W下有益技術效果:
[0030] (1)本發明利用幾何濾波和空間聚類方法過濾線段噪聲,提高了中屯、黃線的識別 率.
[0031] (2)本發明利用Kalman濾波算法對中屯、黃線進行預跟蹤和預測從而得出最優中屯、 黃線,有效地降低了個別帖的中屯、黃線識別錯誤或失敗對車輛逆行識別方法造成的影響, 魯棒性強;
[0032] (3)本發明通過利用車載攝像頭來識別和跟蹤中屯、黃線,從而判斷待檢測車輛是 否逆行,算法簡單易行,實時性高。
【附圖說明】
[0033] 圖1為本發明方法的步驟流程示意圖。
[0034] 圖2為本發明中基于Kalman濾波的中屯、黃線跟蹤算法流程示意圖。
【具體實施方式】
[0035] 為了更為具體地描述本發明,下面結合附圖及【具體實施方式】對本發明的技術方案 進行詳細說明。
[0036] 如圖1所示,本發明基于圖像處理的機動車道車輛逆行識別方法,包括如下步驟:
[0037] 步驟1:采集實景圖像,根據圖像采集設備在車上的安裝位置,截取實景圖像中的 馬路區域作為目標區域,如將圖像的上半部分作為目標區域等,然后對目標區域進行直方 圖均衡化處理,調整圖像飽和度和亮度。
[0038] 本實施方式中直方圖均衡化是一種利用圖像直方圖對對比度進行調整的方法,其 基本思想是把原始圖像的直方圖變換為均勻分布的形式,對圖像進行非線性拉伸,重新分 配圖像像素值,使一定灰度范圍內的像素數量大致相同,運樣就增加了圖像灰度值的動態 范圍,從而可W用于增強局部的對比度而不影響整體的對比度。
[0039] 步驟2:對直方圖均衡化處理后的目標區域基于HSV顏色空間進行顏色闊值圖像分 害d,從中提取出若干近黃色連通區域的二值化區域。
[0040] HSV顏色空間用H、S、VS參數描述顏色特性。其中色調H定義顏色的波長,描述顏色 的屬性;飽和度S表示顏色的純度,即顏色的深淺程度;亮度V表示顏色的明亮程度。由于其 使用單個通道H來描述色調,因此可通過設定閥值對顏色進行有效的分割,并通過對S,V通 道進行約束從而進一步減少噪聲。
[0041] 顏色闊值圖像分割中根據W下表達式對目標區域的每一像素進行二值化:
[0042]
[0043] 其中:P(x,y)為像素(x,y)的HSV顏色空間中的屬性值,PH(x,y)為對應色相屬性 值,Ps(x,y)為對應飽和度色屬性值,Pv(x,y)為對應亮度屬性值,世6:£1、出6:2、5地、¥地均為預 設的HSV顏色空間中的各屬性闊值;上述閥值通過對中屯、黃線樣本的各通道值進行直方圖 統計得到。
[0044] 完成顏色闊值圖像分割后,對生成的二值化區域進行中值濾波,去除微小噪聲并 對連通區域邊緣進行平滑處理。中值濾波通過圖像中的像素按照灰度級進行排序,然后選 擇出運個輸入窗口中所有像素點的灰度值的中間值,并作為最后輸出的灰度值,從而有效 抑制圖像噪聲,提高圖像信噪比。而二值化圖像可視為只有0和255兩個灰度級的灰度圖像, 因此亦可應用中值濾波去除噪聲。
[0045] 步驟3:利用化nny算子對濾波后的區域進行邊緣檢測,利用概率化U曲變換進行線 段檢測,并且將檢測得到的線段歸類為左側或右側主線候選集。
[0046] 本實施方式的化nny算子是一個具有濾波、增強和檢測的多階段優化算子,其使用 雙闊值進行邊緣檢測和連接,使得弱邊緣也能夠較好地檢測出來,檢測出來的輪廓比較清 晰,具有高信噪比和定位精度。化nny算法一般分為W下四個步驟:
[0047] (1)首先通過與高斯核的高斯卷積對圖像進行高斯平滑,獲得高斯模糊圖像,從而 在過濾噪聲的同時保留環境的有用信息;
[004引(2)然后對平滑后的圖像進行差分操作,即計算梯度的幅度值和方向,從而得到梯 度圖;
[0049] (3)再采用非最大抑制算法尋找圖像中的所有可能邊緣點;
[0050] (4)最后通過雙闊值法遞歸找到圖像邊緣點,得到單像素寬度邊緣圖像。
[0051] 經過基于化nny算子的邊緣檢測后,得到二值化區域的邊緣圖像。在實際中,前方 近處的道路方向主線總是為直線狀態,直到遠處或遠離主線時才會出現曲線情況,而且曲 率一般比較小,可用直線進行擬合,從而近似替代曲線主線。基于上述特征,本實施方式將 中屯、黃線模型簡化為直線模型。
[0052] 概率化U曲變換基于標準化U曲變換,其基本思想是采用隨機抽取的方法在整個圖 像空間中取點映射,每次映射后檢測累加器A(P,0)對應點的數值。當某一條直線被擬合的 次數達到特定闊值時,便完成該條直線的擬合,并將位于該直線上的所有候選邊緣點刪除。
[0053] 為識別中屯、黃線位置W判斷自身車輛是否正在逆行,需要基于直線的斜率和位置 將檢測得到的線段進行歸類。本實施方式將檢測線段歸類為左側或右側主線候選集中,左 側主線候選集中的線段與X軸夾角為O~90度,并且線段的左側端點位于ROI的左半區域,右 側端點位于ROI的左S分之二區域,記為集合IeftLines;右側主線候選集中的線段與X軸夾 角為90~180度,并且線段的左側端點位于ROI的右S分之二區域,右側端點位于ROI的右半 區域,記為ri曲tLines。上述歸類方法的表達式分別如下:
[i
[i
[0056] 步驟4:依次通過幾何濾波和空間聚類方法對檢測出的線段進行篩選,過濾線段噪 聲,并且中心黃線判定。
[0057] 本實施方式的幾何濾波是根據中屯、黃線特點所制定的濾波方法,其中包括設置線 段長度最小口限HihLength W及線段斜率之絕對值的最小口限minK和最大口限maxK,表達 式分別如下:
[0化引
[0059] L.kI G[minK,maxK]
[0060] 本實施方式的空間聚類方法是針對車道線特點所制定的濾波方法,將一定范圍內 (斜率差絕對值為k,截距差絕對值為b)相鄰的線段聚類為一條,并且選擇長度最大的線段 作為車道線代表。
[0061] 本實施方式的中屯、黃線判定方法是基于兩側的主線候選集進行道路方向主線判 定,其中主要4V責W下的釉信瓶.
[0062] (a: 道路方向主線識別失敗;
[0063] (b :綜合考慮線段的長度length、斜率k 和截距b。根據線段長度length從大到小賦予權值,同時依據斜率k和截距b,根據其距離圖 像中央的距離從小到大賦予權值,最后將加權和最大的線段判定為中屯、黃線;
[0064] (C: 判定原理同(b)-致;
[00化](d :首先基于(b)和(C)分別從兩側篩選 出一條候選線段,然后分別求取兩條線段所在的連通區域,并計算能夠包含連通區域的最 小旋轉矩形,此時即可得到兩個車道線模型,記為ILine和rLine。分別統計車道線模型 ILine和rLine內所有像素,若一側的車道線模型其平均色調馬運和線段長度Ieng化均比另 一側車道線模型的大,則將其判定為中屯、黃線;而若僅滿足其中一項,則認為條件不足,無 法辨別和去除線段噪聲,中屯、黃線失敗,表達式如下:
[0066]
[0067] 步驟5:基于Kalman濾波算法,利用歷史數據對中屯、黃線進行跟蹤和預測,再與當 前判定得到的中屯、黃線進行比較,從而得出最優中屯、黃線。
[0068] 本實施方式的Kalman濾波是一種對動態系統的狀態序列進行線性最小方差估計 的數字濾波算法,它的預測過程是在系統上一時刻狀態的基礎上估計系統的當前狀態。 Kalman濾波首先估計系統某一時刻的運行狀態,然后通過測量變量的方式獲得反饋。因此 Kalman濾波算法可W分為兩個部分:時間更新方程和測量更新方程。時間更新方程通過對 前一時刻的后驗估計狀態量得到當前時刻的先驗估計狀態量,而測量更新方程則利用計算 得出的Kalman濾波增益來更新當前時刻系統的后驗估計狀態量和后驗估計誤差協方差。
[0069] 如圖2所示,為了令Kalman濾波算法持續輸出最優中屯、黃線,需要獲取新觀測值并 輸入到濾波器中進行迭代,主要分為W下兩種情況處理:
[0070] (a)道路方向主線識別失敗:此時不存在可用的新觀測值,因此將預測值 predictLine作為觀測值輸入到Kalman濾波算法中,完成下一次的預測。若連續m次主線識 別失敗,則認為圖像中不再存在主線,結束道路方向主線跟蹤。
[0071] (b)道路方向主線識別成功:將觀測值measureLine與Kalman濾波算法輸出的預測 值predictLine進行比較,如果斜率k和截距b誤差在設定的闊值T內,則認為觀測值有效,否 則否定觀測值,W預測值predictLine作為觀測值輸入到Kalman濾波算法中,完成下一次的 預測。若連續n次否定觀測值measureLine,則認為已經開始了新的道路方向主線識別,進入 新的道路方向主線跟蹤迭代。
[0072] 步驟6:計算最優中屯、黃線的斜率,確定當前車輛行駛方向,輸出當前車輛是否正 在道路上逆行。
[0073] 根據Kalman濾波算法輸出的最優估計值predictLine判斷當前車輛是否逆行。當 連續多次道路方向主線識別失敗,此時跟蹤結束,認為圖像中不再存在主線,因此無法判斷 車輛是否逆行;當跟蹤算法仍在迭代時,若predic化ine的傾角0G (0°~90°),此時判定車 輛順行;若predictLine的傾角目G (90°~180° ),此時判定車輛逆行。
[0074] 上述的對實施例的描述是為便于本技術領域的普通技術人員能理解和應用本發 明。熟悉本領域技術的人員顯然可W容易地對上述實施例做出各種修改,并把在此說明的 一般原理應用到其他實施例中而不必經過創造性的勞動。因此,本發明不限于上述實施例, 本領域技術人員根據本發明的掲示,對于本發明做出的改進和修改都應該在本發明的保護 范圍之內。
【主權項】
1. 一種基于圖像處理的機動車道車輛逆行識別方法,包括如下步驟: (1) 利用安裝于車身上的攝像頭采集實景圖像,截取實景圖像中的道路區域作為目標 區域并對目標區域進行預處理; (2) 基于色調信息對預處理后的目標區域進行圖像分割,從中提取出若干近似黃色的 連通區塊; (3) 對所述的連通區塊進行中值濾波,以去除目標區域中孤立的噪聲點; (4) 對中值濾波后保留下來的連通區塊進行邊緣檢測以提取輪廓并對輪廓進行線段檢 測,進而將檢測得到的所有線段分類為左側線段集合和右側線段集合; (5) 對上述兩組集合中的線段進行篩選以及合并,進而判定中心黃線; (6) 基于Kalman濾波算法生成當前幀中心黃線的預測結果,結合步驟(5)中得到的當前 幀中心黃線的判定結果,確定當前幀中心黃線的最終結果;進而根據中心黃線的最終結果 判斷當前車輛是否在道路上逆向行駛。2. 根據權利要求1所述的機動車道車輛逆行識別方法,其特征在于:所述的步驟(1)中 對目標區域進行預處理包括直方圖均衡化處理、飽和度調節以及亮度調節,以突出目標區 域的顏色特征便于后續識別。3. 根據權利要求1所述的機動車道車輛逆行識別方法,其特征在于:所述的步驟(2)中 對預處理后的目標區域進行圖像分割,即對預處理后的目標區域基于HSV顏色空間進行近 黃色調區間的二值化分割。4. 根據權利要求1所述的機動車道車輛逆行識別方法,其特征在于:所述的步驟(3)中 對連通區塊進行中值濾波,即去除零星面積較小的連通區塊,然后對剩余連通區塊進行內 部填充及邊緣平滑。5. 根據權利要求1所述的機動車道車輛逆行識別方法,其特征在于:所述的步驟(4)中 利用Canny算子對中值濾波后保留下來的連通區塊進行邊緣檢測以提取輪廓,并利用概率 霍夫變換對輪廓進行線段檢測,進而將檢測得到的所有線段分類為左側線段集合和右側線 段集合:處于左三分之二目標區域內且斜率αε[〇,π/2]的線段歸屬于左側線段集合,處于 右三分之二目標區域內且斜率a e (π/2,π]的線段歸屬于右側線段集合。6. 根據權利要求1所述的機動車道車輛逆行識別方法,其特征在于:所述的步驟(5)中 首先通過幾何濾波剔除掉兩組集合中長度小于一定閾值的線段,然后通過空間聚類方法將 任一組集合中斜率相近且間距小于一定閾值的多條線段合并為一條線段。7. 根據權利要求1所述的機動車道車輛逆行識別方法,其特征在于:所述的步驟(5)中 判定中心黃線的方法如下: 若兩組集合均為空,則中心黃線判定失敗; 若兩組集合其中一組為空,另一組不為空,則以線段長度越長以及越靠近目標區域中 央作為兩項指標通過加權求和得到綜合評定值,選取非空集合中綜合評定值最高的線段作 為中心黃線的判定結果; 若兩組集合均不為空,則選取兩組集合中長度最長且所屬連通區塊平均色調值最大的 線段作為中心黃線的判定結果,若無法找到同時滿足長度最長且所屬連通區塊平均色調值 最大的線段,則中心黃線判定失敗。8. 根據權利要求1所述的機動車道車輛逆行識別方法,其特征在于:所述的步驟(6)中 根據上一幀中心黃線的最終結果,以該最終結果所對應線段的斜率和截距作為輸入通過 Kalman濾波算法求解,輸出求得的斜率和截距所對應的線段即為當前幀中心黃線的預測結 果。9. 根據權利要求1所述的機動車道車輛逆行識別方法,其特征在于:所述的步驟(6)中 確定當前幀中心黃線的最終結果,具體標準如下: 若步驟(5)中的中心黃線判定失敗,則當前幀中心黃線的最終結果即采用預測結果;若 連續多次中心黃線判定失敗,貝認定實景圖像中不存在中心黃線,無法識別當前車輛是否 逆向行駛; 若當前幀中心黃線的判定結果與預測結果的斜率誤差以及截距誤差在閾值范圍內,則 當前幀中心黃線的最終結果即采用判定結果; 若當前幀中心黃線的判定結果與預測結果的斜率誤差或截距誤差超出了閾值范圍且 非連續多次出現該情況,則當前幀中心黃線的最終結果即采用預測結果;若當前幀中心黃 線的判定結果與預測結果的斜率誤差或截距誤差超出了閾值范圍且連續多次出現該情況, 則當前幀中心黃線的最終結果即采用判定結果。10. 根據權利要求1所述的機動車道車輛逆行識別方法,其特征在于:所述的步驟(6)中 判斷當前車輛是否在道路上逆向行駛:若當前幀中心黃線的最終結果所對應線段的斜率α e [0,π/2],則判定車輛順行;若當前幀中心黃線的最終結果所對應線段的斜率ae (π/2, 則判定車輛逆行。
【文檔編號】G06K9/00GK106022243SQ201610319456
【公開日】2016年10月12日
【申請日】2016年5月13日
【發明人】楊維杰, 吳晨, 王文琴, 楊國青, 潘之杰, 吳朝暉
【申請人】浙江大學