一種基于車道線邊緣的道路平面檢測方法
【專利摘要】本發明公開了一種基于車道線邊緣的道路平面檢測方法，包括以下步驟：通過雙目立體視覺系統采集圖像并進行預處理；對預處理后的圖像進行Canny邊緣檢測，并利用Hough變換的方法提取車道線邊緣；基于車道線邊緣，通過最小二乘法求解道路平面系數，得到道路平面方程。本發明基于車道線邊緣進行道路平面檢測，能夠在雙目立體視覺系統的基線與道路平面不平行的情況下，實現道路平面的精確檢測，減少了車輛側傾和顛簸對道路平面檢測帶來的影響；本發明通過匹配成功的車道線的點進行道路平面擬合，較少依賴匹配成功的地面點個數及其分布情況，即使地面點匹配個數較少且分布集中，也能實現較好的道路平面檢測效果，更具有實用價值。
【專利說明】
一種基于車道線邊緣的道路平面檢測方法
技術領域
[0001] 本發明涉及汽車安全輔助駕駛系統，特別是一種道路平面檢測方法。
【背景技術】
[0002] 隨著社會經濟和科學技術的發展，汽車已經成為人們生活中必不可少的一部分， 智能化也成為汽車發展的必然趨勢。作為汽車智能化的一個研究方向，汽車安全輔助駕駛 系統也日漸普及，并在一定程度上減少了交通事故的發生頻率，而道路平面檢測對于汽車 安全輔助駕駛系統來說是必不可少的一部分，特別對于車載立體視覺技術而言，道路平面 檢測是基于立體視覺的車輛檢測方法和車輛前方可通行性分析方法實現的前提。因此，準 確有效地檢測道路平面是提高汽車智能化程度的關鍵因素。
[0003] 目前，在車載立體視覺系統中，常用的道路平面檢測方法是V視差法。基于V視差方 法檢測道路平面的前提是道路平面與由兩個攝像機組成的雙目立體視覺系統的基線平行， 此時，道路平面投影到V視差圖后為一條直線，根據該直線方程可以檢測到道路平面。但是， 在車輛行駛過程中，很難保證雙目立體視覺系統的基線與道路平面平行，這時，道路平面投 影至V視差圖后則不再為一條直線，因此，通過V視差法將很難準確地檢測到道路平面。此 外，基于V視差的道路平面檢測方法嚴重依賴視差圖中成功匹配的地面點個數及分布情況， 當匹配的路面點較少或分布集中時，路面檢測將失效。

【發明內容】

[0004] 為解決現有技術存在的上述問題，本發明要提出一種能夠不受雙目立體視覺系統 的基線與道路平面之間是否平行的影響，并且較少依賴視差圖中成功匹配的路面點個數及 分布的基于車道線邊緣的道路平面檢測方法。
[0005] 為實現上述目的，本發明的技術方案如下：一種基于車道線邊緣的道路平面檢測 方法，包括以下步驟：
[0006] A、采集圖像并進行預處理
[0007] 通過車載雙目立體視覺系統即車上水平安裝的左右兩個攝像機采集到車輛前方 包含車道線的左右兩幅圖像，然后用雙目立體視覺系統的標定數據對左右兩幅圖像進行雙 目校正，選取校正后的左圖像進行預處理:先將其轉換為灰度圖像，然后采用中值濾波的方 法進行噪聲消除。
[0008] B、提取車道線邊緣
[0009] 利用步驟A得到的預處理后的左圖像進行車道線邊緣提取。首先，采用Canny算子 對左圖像進行邊緣檢測；然后，將左圖像等分為左右兩個圖像區域，通過Hough變換的方法 分別檢測兩個圖像區域中的線段;最后，對于每個區域，在Hough變換檢測到的所有線段中， 選取與水平方向夾角中的銳角小于60°的線段，并在滿足條件的所有線段中選取最長的線 段作為車道線邊緣。
[0010] C、基于車道線邊緣擬合道路平面
[0011] 以圖像的左上角為原點，向下為V軸正方向，向右為U軸正方向，以此建立圖像坐標 系(U，V)，根據步驟B檢測到的車道線邊緣，獲得車道線邊緣在左圖像中的端點坐標，由此得 到每條車道線在左圖像坐標系(u，v)下的方程為：
[0012]
⑴
[0013 ]式中，（U1，V1)和(U2，V2)為車道線邊緣線段的兩個端點在圖像坐標系下的坐標。
[0014] 通過立體視覺匹配算法，獲得雙目立體視覺系統采集到的左右圖像的視差圖，在 圖像坐標系(u，v)的基礎上，以視差值d為第三個坐標軸建立視差圖坐標系(u，v，d)，然后在 視差圖中找出所有滿足車道線方程且視差值d不為零的點（m^^cUKcU辛0，i = l，2,…， η)，其中，（m，vi)為視差圖中滿足公式（1)的點的坐標，di為該點的視差值，η為滿足條件的 點的個數，所有滿足條件的點(m， Vl，cU)構成特征點集。假設道路平面在以雙目立體視 覺系統中的左攝像機光心為原點的世界坐標系(X，Y，Z)下的表達式為：
[0015] Y = aoX+aiZ+a2 (2)
[0016] 式中，ao、ai和a2為方程的三個系數。
[0017]根據立體視覺的投影原理，得到空間中的點在世界坐標系下的坐標(X，Y，Z)與在 左圖像中成像點的坐標(u，v)之間的關系為：
[0018]
(3)
[0019] 式中，d為視差值，b為左右兩個攝像機的基線距，f為攝像機焦距，1!和?分別為空間 的點在左圖像中成像點的橫坐標和縱坐標， Cx和Cy分別為雙目校正后左圖像坐標系原點與 校正前左圖像坐標系原點的橫向和縱向偏移。
[0020] 將公式(3)代入公式(2)中，得到道路平面在視差圖坐標系(u，v，d)下的方程為：
[0021]
(4)
[0022] 由于u和d前的系數均為常數，所以道路平面上的點投影到視差圖坐標系中后仍為 平面，其方程為：
[0023] v = k〇u+kid+k2 (5)
[0024] 式中
^利用特征點集，通過最小二乘擬合 的方法求解系數ko、kjPk2，具體求解方法如下式所示：
[0025]
[0026] 式中，η為特征點集Ω d中的點的數量，（Ui，Vi，di)為特征點集中Ω d的點在視差圖坐 標系下的坐標。
[0027]求出三個系數1?、1^和1?后，代入公式(5)中，即得到道路平面在視差圖坐標系下的 方程，然后在視差圖中找到所有滿足該方程的點(m，Vl，cU)，這些點構成的點集Ω即為需要 檢測的道路平面。
[0028] 與現有技術相比，本發明具有以下有益效果：
[0029] 1、本發明基于車道線邊緣進行道路平面檢測，能夠在雙目立體視覺系統的基線與 道路平面不平行的情況下，實現道路平面的精確檢測。
[0030] 2、本發明通過匹配成功的車道線的點進行道路平面擬合，較少依賴匹配成功的地 面點個數及其分布情況，即使地面點匹配個數較少且分布集中，也能實現較好的道路平面 檢測效果，更具有實用價值。
【附圖說明】：
[0031] 本發明共有附圖5張，其中：
[0032] 圖1是基于車道線邊緣的道路平面檢測方法流程圖；
[0033]圖2是預處理后的圖像；
[0034]圖3是車道線邊緣提取結果；
[0035]圖4是圖像的視差圖；
[0036]圖5是道路平面檢測結果。
【具體實施方式】：
[0037] 以下結合技術方案和附圖詳細敘述本發明的【具體實施方式】，如圖1所示，
[0038] -種基于車道線特征的道路平面檢測方法，包括以下步驟：
[0039] A、圖像采集與預處理
[0040] 通過車載雙目立體視覺系統（車上水平安裝的左右兩個攝像機)采集到車輛前方 包含車道線的左右兩幅圖像，然后用雙目立體視覺系統的標定數據對圖像進行雙目校正， 選取校正后的左圖進行預處理:先將其轉換為灰度圖，然后采用中值濾波的方法進行噪聲 消除。預處理后的圖像如圖2所示。
[0041] B、車道線邊緣提取
[0042]利用上一步得到的預處理后的左圖進行車道線邊緣提取。首先，采用Canny算子對 左圖像進行邊緣檢測；然后，將左圖像等分為左右兩個部分，通過Hough變換的方法分別檢 測兩個圖像區域中的直線;最后，對于每個區域，在Hough變換檢測到的所有線段中，選取與 水平方向夾角中的銳角小于60°的線段，并在滿足條件的所有線段中選取最長的線段作為 車道線邊緣。在原圖中繪制檢測到的車道線邊緣，如圖3所示。
[0043] C、基于車道線邊緣的道路平面擬合
[0044]以圖像的左上角為原點，向下為v軸正方向，向右為u軸正方向，以此建立圖像坐標 系(U，v)，根據上一步檢測到的車道線邊緣，可以獲得車道線邊緣在左圖像中的端點坐標， 由此得到每條車道線在左圖像坐標系(u，v)下的方程為：
[0045]
(1)
[0046] 式中，（m，V1)和(u2，v2)為車道線邊緣的兩個端點在圖像坐標系下的坐標。
[0047]根據上一步檢測到的車道線邊緣，可以獲得車道線邊緣端點在左圖像中的坐標， 第一條車道線端點坐標分別為（210,266)和（438,210)，第二條車道線端點坐標分別為 (846,374)和(650,216)。將數據帶入公式（1)，得到兩條車道線的方程分別為:v = -4.0714u +317.5789，v = 0.8061u-307.9796。
[0048] 通過立體視覺匹配算法，獲得雙目立體視覺系統采集到的左右圖像的視差圖，如 圖4所示。在圖像坐標系(u，v)的基礎上，以視差值d為第三個坐標軸建立視差圖坐標系(u, ^(1)，然后在視差圖中找出所有滿足車道線方程且視差值(1不為零的點(1 11^1，(11)((11辛0，1 =1，2，…，η)，其中，（m，vi)為視差圖中滿足公式（1)的點的坐標，di為該點的視差值，η為滿 足條件的點的個數，所有滿足條件的點構成特征點集Q d。假設道路平面在以雙目立體視覺 系統中的左攝像機光心為原點的世界坐標系(X，Y，Z)下的表達式為：
[0049] Y = aoX+aiZ+a2 (2)
[0050] 式中，ao、ai和a2為方程的三個系數。
[0051]根據立體視覺的投影原理，得到空間中的點在世界坐標系下的坐標(X，Y，Z)與在 左圖像中成像點的坐標(u，v)之間的關系為：
[0052](3)
[0053] 瓦甲，d73視左但，b73 _
個攝1冢機的S線距，f 73攝像機焦距，u和v分別為空間的點 在左圖像中成像點的橫坐標和縱坐標，cx和cy分別為雙目校正后左圖像坐標系原點與校正 前左圖像坐標系原點的橫向和縱向偏移。
[0054] 將公式(3)代入公式(2)中，可以得到道路平面在視差圖坐標系(u，v，d)下的方程 為：
[0055]
(4)
[0056] 由于u和d前的系數均為常數，所以道路平面上的點投影到視差圖坐標系中后仍為 平面，其方程為：
[0057] v = k〇u+kid+k2 (5)
[0058] 式中
、利用特征點集〇<!，通過最小二乘擬合 的方法求解系數ko、kjPk2，具體求解方法如下式所示：
[0059]
[0060]式中，η為特征點集Ω d中的點的數量，（Ui，Vi，di)為特征點集Ω沖的點在視差圖坐 標系下的坐標。
[0061] 求出三個系數為:1^ = -0.0046，1^ = 3.0232，1? = 176.8722，代入公式(5)中，得到 道路平面在視差圖坐標系下的方程為:v = -0.0046u+3.0232d+176.8722，然后在視差圖中 找到所有滿足該方程的點(m，Vl，cU)，這些點構成的點集Ω即為需要檢測的道路平面，檢測 結果如圖5所不。
[0062] 本發明不局限于本實施例，任何在本發明披露的技術范圍內的等同構思或者改 變，均列為本發明的保護范圍。
【主權項】
1. 一種基于車道線邊緣的道路平面檢測方法，其特征在于:包括W下步驟： A、 采集圖像并進行預處理 通過車載雙目立體視覺系統即車上水平安裝的左右兩個攝像機采集到車輛前方包含 車道線的左右兩幅圖像，然后用雙目立體視覺系統的標定數據對左右兩幅圖像進行雙目校 正，選取校正后的左圖像進行預處理:先將其轉換為灰度圖像，然后采用中值濾波的方法進 行噪聲消除； B、 提取車道線邊緣 利用步驟A得到的預處理后的左圖像進行車道線邊緣提取;首先，采用化nny算子對左 圖像進行邊緣檢測；然后，將左圖像等分為左右兩個圖像區域，通過化U曲變換的方法分別 檢測兩個圖像區域中的線段;最后，對于每個區域，在化U曲變換檢測到的所有線段中，選取 與水平方向夾角中的銳角小于60°的線段，并在滿足條件的所有線段中選取最長的線段作 為車道線邊緣； C、 基于車道線邊緣擬合道路平面 W圖像的左上角為原點，向下為V軸正方向，向右為U軸正方向，W此建立圖像坐標系 (u，v)，根據步驟B檢測到的車道線邊緣，獲得車道線邊緣在左圖像中的端點坐標，由此得到 每條車道線在左圖像坐標系(U，V )下的方程為：(1) 式中，（山，VI)和(U2，V2)為車道線邊緣線段的兩個端點在圖像坐標系下的坐標； 通過立體視覺匹配算法，獲得雙目立體視覺系統采集到的左右圖像的視差圖，在圖像 坐標系(U，V)的基礎上，W視差值d為第Ξ個坐標軸建立視差圖坐標系(U，V，d)，然后在視差 圖中找出所有滿足車道線方程且視差值d不為零的點（Ui，Vi，di)(di聲0，i = l，2,…，n)，其 中，（m，vi)為視差圖中滿足公式（1)的點的坐標，di為該點的視差值，η為滿足條件的點的個 數，所有滿足條件的點(Ui，Vi，di)構成特征點集Qd;假設道路平面在W雙目立體視覺系統 中的左攝像機光屯、為原點的世界坐標系(Χ，Υ，Ζ)下的表達式為： Y = aoX+aiZ+a2 (2) 式中，ao、ai和曰2為方程的Ξ個系數； 根據立體視覺的投影原理，得到空間中的點在世界坐標系下的坐標(Χ，Υ，Ζ)與在左圖 像中成像點的坐標(u，v)之間的關系為：(3) 式中，d為視差值，b為左右兩個攝像機的基線距，f為攝像機焦距，U和V分別為空間的點 在左圖像中成像點的橫坐標和縱坐標，Cx和Cy分別為雙目校正后左圖像坐標系原點與校正 前左圖像坐標系原點的橫向和縱向偏移； 將公式(3)代入公式(2)中，得到道路平面在視差圖坐標系(u，v，d)下的方程為：(4) 由于U和d前的系數均為常數，所W道路平面上的點投影到視差圖坐標系中后仍為平 面，其方程為： v = k〇u+kid+k2 (5) 式中，k〇 = a〇乂二^'k3 = Cy-a〇Cx+aif，利用特征點集Ω d，通過最小二乘擬合的方法求解 系數ko、ki和k2，具體求解方法如下式所示：式中，η為特征點集Ω沖的點的數量，（ui，Vi，di)為特征點集中Ω d的點在視差圖坐標系 下的坐標； 求出Ξ個系數ko、ki和k2后，代入公式（5)中，即得到道路平面在視差圖坐標系下的方 程，然后在視差圖中找到所有滿足該方程的點(Ui，Vi，di)，運些點構成的點集Ω即為需要檢 測的道路平面。
【文檔編號】G06K9/40GK105975957SQ201610367918
【公開日】2016年9月28日
【申請日】2016年5月30日
【發明人】李琳輝, 錢波, 劉爽, 郭烈, 李紅挪, 倫智梅
【申請人】大連理工大學