專利名稱：一種基于圖像的鐵路接觸網桿柱標識信息的識別方法
技術領域：
本發明屬于計算機視覺領域，具體涉及一種基于圖像的接觸網支柱定位、桿號檢測及識別、公里標檢測及識別方法。
背景技術：
鐵路接觸網是為列車供電架設的特殊線路。截止2010年12月底，中國國內運營時速200公里以上的高速鐵路里程已經達到8358公里，在建和即將興建的高速鐵路客運專線和城際鐵路里程已達I. 7萬公里。根據中國中長期鐵路網規劃方案，至2012年，中國將建成42條高速鐵路客運專線，基本建成以“四縱四橫”為骨架的全國快速客運網，總里程I. 3萬公里；到2020年中國時速在200公里以上的高速鐵路里程將會達到5萬公里。為了保證高速列車的安全運營，接觸網需要經常巡檢，目前對350km/h的高速客·運專線接觸網設備進行在線巡視的設備已經初步成型。然而，要對接觸網的各種安全隱患進行有效檢測，巡檢設備需記錄大量視頻數據，面對海量的巡檢視頻數據，若僅靠人工判讀工作量大、效率低、可靠性難以保障。對于出現安全隱患問題的接觸網的具體位置我國鐵路線路長、分布廣、環境多樣，如何準確高效地對巡檢圖像進行智能分析，降低巡檢人員勞動強度、提高工作效率、保障鐵路安全成為一個亟待解決的難題。

發明內容
本發明所要解決的技術問題是巡檢視頻圖像中桿柱號及公里標的自動識別，該技術是實現鐵路接觸網桿柱視頻圖像自動檢索的基礎，可為日常巡檢采集圖像建立或更新桿柱信息管理檔案，有效幫助巡檢人員快速定位特定桿柱，減少人工需判讀工作量、提高工作效率。為了實現桿柱號及公里標自動識別的目的，本發明采用技術方案為一種基于圖像的鐵路接觸網桿柱標識信息的識別方法，對高速客運專線接觸網設備進行在線巡視的連續視頻圖像中桿柱及其上的信息標識進行識別處理，其特征在于，包括以下處理步驟(I)桿柱粗定位。對相鄰幀進行絕對差分后，用豎直結構核對差分圖像濾波，將濾波后圖像水平投影，以固定寬度統計計算出投影曲線峰值區域，此峰值區域即為桿柱物粗定位的區域Rl ；(2)桿柱精定位，提取原圖Rl區域并進行去噪，對去噪后的圖像進行二值化得到二值圖像Bt (X，y)，然后利用一種動態匹配的快速直線檢測算法定位桿柱邊緣；(3)桿號檢測及數字分割，對步驟(2)檢測到桿柱左右邊緣的平均斜率，對原圖進行旋轉得到校正后的圖像，同時將檢測到桿柱左右邊緣進行重新定位；將重新定位的左右邊緣延長至校正后原始圖像的頂部和底部，桿柱左右邊緣之間區域為桿柱精定位區域PKra，在此區域中利用一種縱向最長最近鄰鏈篩選法檢測桿號數字輪廓；數字輪廓的判定參數首先由人工進行初始化，之后根據數字檢測和識別的情況，對其中部分參數進行動態更新；(4)公里標檢測及數字分割，根據精定位桿柱兩邊平均斜率，在旋轉后的原圖中重新調整粗定位區域為R2，對R2進行高斯濾波和自適應二值化后得到二值圖Bk2，在Bk2中利用動態匹配的快速直線檢測算法進行公里標檢測，之后利用自適應二值化和直接二值化數字輪廓檢測雙向驗證方法對公里標數字精確定位和分割；(5)桿號及公里標數字的離線訓練和在線識別。對分割的O 9數字二值圖像進行歸一化，然后分塊統計前景像素個數并串聯組成特征，利用多輸出神經網絡作為分類器進行數字訓練和識別。采用本發明基于圖像的鐵路接觸網桿柱號及公里標實時識別方法，能夠實時地對鐵路接觸網巡檢圖像進行自動桿號及公里標識別，該技術是實現鐵路接觸網桿柱視頻圖像自動檢索的基礎，可有效幫助巡檢人員快速定位特定桿柱，減少人工需判讀的圖像數量、提高工作效率。


圖I鐵路接觸網巡視圖像 圖2本發明方法總體框3本發明桿柱粗定位算法流程4本發明桿柱精定位算法流程5本發明桿號定位及數字分割算法流程6本發明公里標定位及數字分割算法流程圖。
具體實施例方式為便于對本發明的細節作更為清楚的介紹，對本發明主要步驟詳述如下步驟I :桿柱粗定位。將視頻序列中兩幀圖像It(x，y)和It_A (x,y)進行絕對值差分得差分圖像Dt (X，y)，其中Λ e ζ，Λ彡I為預設的圖像運動差分幀間隔。然后利用一個豎直結構的核對差分圖像Dt (X，y)進行形態學操作，濾除垂直方向上較短的區域。將形態學操作后的圖像在水平方向上進行投影，以AW寬度統計計算投影曲線峰值區域，此峰值區域即為桿柱物粗定位的區域R1。步驟2 :桿柱精定位。提取原圖Rl區域并進行去噪，對去噪后的圖像進行二值化得到二值圖像Bt (X，y)，其中邊緣等前景部分像素值為零；為了快速、有效地檢測桿柱直線邊緣，本發明提出了一套基于動態匹配的快速直線檢測算法，具體實施步驟如下I)根據所巡檢的鐵路線路具體情況，設定Bt (X，y)中直線搜索區域ROI，選擇ROI時應盡可能避免復雜背景區域，以減少對直線檢測的干擾；2)在ROI區域的下I/η區域從左向右掃描，若P點的像素值為零則在其垂直方向再次遍歷連續的m個像素，將滿足m個點像素值都為零的所有P點保存為點集Pl ；3)在ROI區域的上I/η區域進行步驟2操作，將滿足條件的所有點保存為點集P2 ；4)對于所有的點VftAlfjPlAeP2，計算連接Pi，Pj的線段Lij作為匹配模板。線段Lij在Bt(x，y)中對應區域黑色像素點個數與其長度之比大于閾值^。時，即認為檢測到一條候選桿柱邊緣；5)對候選直線在原圖中相應位置利用一個Harr濾波器進一步判定，排除接觸網圖像中細線在檢測中的干擾，進一步確保直線為桿柱左邊緣；6)按照步驟2-2至2-5方法，從右向左掃描檢測桿柱右側邊緣。經過以上過程，若只檢測到一條滿足要求的桿柱邊緣，則根據此邊緣在ROI中水平位置及斜率，對桿柱粗定位區域在原圖中進行適當校正，然后再重復步驟2-1至2-6精定位過程。若仍然無法檢測桿柱左右兩側邊緣則停止，否則轉至步驟3。步驟3 自適應的桿號檢測及數字分割。根據步驟2檢測到桿柱左右邊緣的平均斜率，對原圖進行旋轉得到校正后的圖像，同時將步驟2檢測到桿柱左右邊緣進行重新定位。將重新定位的左右邊緣延長至校正后原始圖像的頂部和底部，桿柱左右邊緣之間區域為桿柱精定位區域PKra，在此區域中檢測桿號數字輪廓。數字輪廓的判定參數首先由人工進行初始化，之后根據數字檢測和識別的情況，對其中部分參數進行動態更新。動態更新的判定參數包括但不限于在特定水平位置上桿號數字的高度范圍。滿足所有判定條件的區域即 為疑似數字區域。通常此時檢測出的疑似數字區域中會存在部分非數字區域，為排除非數字區域的干擾，本發明提出一種縱向最長最近鄰鏈篩選法。假設檢測到的疑似數字區域為Di (i = 1,2, . . . M),每個區域的中心坐標為(Xi, Yi),且對于V/，▽_/，/'</滿足^ YjO令Di輪廓最小外接矩形的高度為故。縱向最長最近鄰鏈法對疑似數字區域進行進一步篩選的步驟如下I)從疑似數字區域中心縱坐標最小的數字區域01開始掃描縱向最鄰近鏈，令當前節點為D。,此時c = I,記錄掃描的起始位置s = l;2)新建鏈表，并將D。作為其首節點。如果存在一個疑似數字區域Dp其中c
<j SM，滿足下列條件(I) !Hj-HcI < ε i ;(2)丨.I’, I ￥ — (、— |< β mini H,, Hi);(3) I Xj-Xc I < ε 2·則認為DjS D。的縱向最近域，將Dj加入鏈的尾部，否則轉至步驟3-4。ε i是一個高度波動值，一般設為5 8，條件(2)作為對相鄰數字區域間的縱向間隔的約束，ε2表示數字區域水平位置的偏移，一般設定為5 10 ;3)若j <Μ則c = j，轉步驟3-2繼續搜索下一個縱向最鄰近域；否則，轉步驟3-4 ；4)若c < M則c = c+1，保存當前縱向最鄰近鏈，轉步驟3_2繼續搜索下一個縱向最鄰近鏈；否則，轉步驟3-5;5)在所有組成的數字最近鄰鏈中，求出元素最多的縱向最近鄰鏈作為桿號數字鏈表。最長最近鄰鏈法可很好地將接觸網桿號區域與干擾區分開，并精確保留各數字區域，無需進一步分割。步驟4 :公里標檢測及數字分割。根據精定位桿柱兩邊平均斜率，在旋轉后的原圖中重新調整粗定位區域為R2，對R2進行高斯濾波和自適應二值化后得到二值圖Bk2，在Bk2中進行公里標檢測。首先對公里標牌上下兩條邊進行精定位，具體步驟如下I)提取步驟2中PKra的左邊界至Bk2左邊線區域作為左ROI，提取PKra右邊界至Bk2右邊線區域作為右ROI，兩個ROI都為Bk2中的部分，邊緣前景像素值為零；2)在右ROI逐點進行掃描，若q點像素值為零，則以q點為起始點遍歷其右鄰域m個點，將滿足m個點像素值都為零的所有q點保存為點集Ql ；3)在左ROI區域進行步驟4-2的操作，將滿足條件的點保存為點集Q2 ；4)對于所有的點VU, I q, ^ QUj e Q2，計算連接Qi，q」的線段Lij作為匹配模板。線段Lu在Bk2中對應區域黑色像素點個數與其長度之比大于閾值a q且Lu與水平方向夾角小于Θ，則將Lu判為候選的邊界，得到直線集L ;5)遍歷L，將L中所有兩直線距離d滿足β i < d < β 2的直線對作為候選公里標上下邊界；最后，取候選上下邊界的延長線和R2左右邊界的交點作為公里標牌粗定位區域 四個頂點，在此四頂點圍成的區域Rkm進行公里標數字輪廓檢測。提取滿足公里標數字條件的區域，再按數字區域的水平坐標從左到右排列。為了同時減少公里標區域和公里標數字的誤檢，本發明對Rkm采用直接二值化和自適應二值化圖對公里標識別雙重驗證，即當兩個二值圖中公里標數字輪廓檢測出來的區域一致則認為是公里標，否則為誤檢的公里標。步驟5 :桿號及公里標數字離線訓練和在線識別。I)桿號數字特征提取。首先將步驟3所檢測的各桿號數字區域歸一化mp*np的二值圖像，再分為mps*nps像素大小的子塊，統計各子塊白色像素個數，作為桿號數字的特征向量。2)公里標數字特征提取。首先將步驟4所檢測的各公里標數字區域歸一化mk*nk的二值圖像，然后將mk*nk的二值圖像直接作為公里標數字的特征向量。3)桿號及公里標數字的離線訓練。從接觸網巡檢序列中采集桿號及公里標區域圖像樣本，按照步驟5-1和5-2的方法提取相應的特征進行訓練，可選擇的分類器算法包括但不限于人工神經網絡、SVM、KNN、貝葉斯分類器、決策樹等。保存桿號分類器和公里標分類器訓練結果。4)桿號數字和公里標數字在線識別。將待識別桿號和公里標圖像按照步驟5-1和5-2的方法提取其特征向量并輸入對應的分類器，得到該數字圖像區域屬于0-9的隸屬度，取隸屬度最大的數字作為識別結果，本發明方法將最大隸屬度減去第二大隸屬度作為識別結果的可信度，可信度越靠近I時表明該數字屬于最大隸屬度的數字風險越小，否則反之。下面結合附圖介紹本發明具體實施方式
。圖I為典型的鐵路接觸網巡檢圖像的示意圖。圖2為本發明方法總體框圖，從文件中讀取視頻序列后，首先根據近景深物體及桿柱的運動特性對桿柱粗定位，然后利用本發明提出的直線提取方法對桿柱進行精確定位，精定位后利用輪廓檢測方法分割桿號數字，再利用神經網絡作為分類器識別分割的桿號數字；同樣利用提出的直線檢測方法對公里標進行定位，利用輪廓檢測方法分割公里標數字，然后利用神經網絡作為分類器識別分割的公里標數字。圖3為桿柱粗定算法流程圖。設t時刻和t-Ι時刻的接觸網巡視圖像為It(X，y)和Ux，y)，絕對差分圖像為Dt (X，y)，利用豎直核對絕對差分圖進行形態學腐蝕，濾除垂直方向上較短的區域，在灰度圖上進行的腐蝕如公式(I)所示
權利要求
1.一種基于圖像的鐵路接觸網桿柱標識信息的識別方法，對高速客運專線接觸網設備進行在線巡視的連續視頻圖像中桿柱及其上的信息標識進行識別處理，其特征在于，包括以下處理步驟 (1)桿柱粗定位，對相鄰幀進行絕對差分后，用豎直結構核對差分圖像濾波，將濾波后圖像水平投影，以固定寬度統計計算出投影曲線峰值區域，此峰值區域即為桿柱物粗定位的區域Rl ； (2)桿柱精定位，提取原圖Rl區域并進行去噪，定位桿柱的左右邊緣； (3)桿號檢測及數字分割，對步驟(2)檢測到桿柱左右邊緣的平均斜率，對原圖進行旋轉得到校正后的圖像，同時將檢測到桿柱左右邊緣進行重新定位；將重新定位的左右邊緣延長至校正后原始圖像的頂部和底部，桿柱左右邊緣之間區域為桿柱精定位區域PKra，在此區域中利用一種縱向最長最近鄰鏈篩選法檢測桿號數字輪廓；數字輪廓的判定參數首先由人工進行初始化，之后根據數字檢測和識別的情況，對其中部分參數進行動態更新； (4)公里標檢測及數字分割，根據精定位桿柱兩邊平均斜率，在旋轉后的原圖中重新調整粗定位區域為R2，對R2進行高斯濾波和自適應二值化后得到二值圖Bk2，在Bk2中利用動態匹配的快速直線檢測算法進行公里標檢測，之后利用自適應二值化和直接二值化數字輪廓檢測雙向驗證方法對公里標數字精確定位和分割； (5)桿號及公里標數字的離線訓練和在線識別，對分割的O 9數字二值圖像進行歸一化，然后分塊統計前景像素個數并串聯組成特征，利用多輸出神經網絡作為分類器進行數字訓練和識別。
2.根據權利要求I的一種基于圖像的鐵路接觸網桿柱標識信息的識別方法，其特征在于，所述步驟(2)為一種動態匹配的快速直線檢測方法，其步驟為 (1)對粗定位區域進行兩次不同塊大小的自適應二值化，并用“與”操作合并兩個二值圖為 Bt (X，y)； (2)根據所巡檢的鐵路線路具體情況，設定Bt(X，y)中直線搜索區域ROI，選擇ROI時應盡可能避免復雜背景區域，以減少對直線檢測的干擾； (3)在ROI區域的下I/η區域從左向右掃描，若P點的像素值為零則在其垂直方向再次遍歷連續的m個像素，將滿足m個點像素值都為零的所有P點保存為點集Pl ； (4)在ROI區域的上I/η區域進行步驟2操作，將滿足條件的所有點保存為點集P2； (5)對于所有的點\p,ePl,PjeP2，計算連接Pi，Pj的線段Lij作為匹配模板；線段Lij在Bt(x，y)中對應區域黑色像素點個數與其長度之比大于閾值^^時，即認為檢測到一條候選桿柱邊緣； (6)對候選直線在原圖中相應位置xO利用一個Hart濾波器進一步判決，即滿足下式則認為是桿柱邊界
3.根據權利要求I的一種基于圖像的鐵路接觸網桿柱標識信息的識別方法，其特征在于，所述步驟(3)中對桿號檢測時，使用自適應數字輪廓判定方法。
4.根據權利要求I的一種基于圖像的鐵路接觸網桿柱標識信息的識別方法，其特征在于，所述步驟(3)中采用縱向最長最近鄰鏈篩選法精確提取桿號數字；假設檢測到的疑似數字區域為Di (i = 1,2, ...Μ)，每個區域的中心坐標為(xi； yi)，且對于Yi (輪廓最小外接矩形的高度為Hi,縱向最長最近鄰鏈法對疑似數字區域進行篩選的步驟如下 1)從疑似數字區域中心縱坐標最小的數字區域D1開始掃描縱向最鄰近鏈，令當前節點為D。,此時c = I,記錄掃描的起始位置s = l; 2)新建鏈表，并將D。作為其首節點，如果存在一個疑似數字區域Dp其中c< j <M，滿足下列條件
5.根據權利要求I的一種基于圖像的鐵路接觸網桿柱標識信息的識別方法，其特征在于所述步驟(4)中采用自適應二值化和直接二值化數字輪廓檢測雙向驗證方法。
全文摘要
本發明公開了一種基于圖像的鐵路接觸網桿柱標識信息的識別方法，采用數字圖像處理的方法自動識別鐵路接觸網巡視圖像中的桿柱號及公里標。主要步驟為1)桿柱粗定位；2)桿柱精定位；3)桿號檢測及數字分割；4)公里標檢測及數字分割；5)桿號及公里標數字的離線訓練和在線識別。本發明方法可高效、自動地對鐵路接觸網進行桿號和公里標識別，可適用于高速鐵路和普通鐵路接觸網巡檢，能有效幫助巡檢人員快速定位特定桿柱，減少人工需判讀的圖像數量、提高工作效率。
文檔編號G06K9/54GK102902974SQ20121030244
公開日2013年1月30日 申請日期2012年8月23日 優先權日2012年8月23日
發明者陳俊周, 彭小江, 彭強, 袁萍 申請人:西南交通大學