一種基于圖像紋理的焊縫表面缺陷識別方法
【專利摘要】一種基于圖像紋理的焊縫表面缺陷識別方法，根據采集圖像標準，設置微型CCD相機拍攝參數；將采集到的真彩色圖像轉化為灰度圖，創建灰度共生矩陣；分別提取0°、45°、90°和135°方向上的能量、對比度、相關性、同質性、熵和方差共24個特征參數，并將提取的特征參數進行歸一化處理；利用訓練樣本圖像訓練BP神經網絡，設置神經網絡的神經元數、隱含層傳遞函數、輸出層傳遞函數和訓練算法傳遞函數；將測試樣本特征參數輸入到訓練后的BP神經網絡中，進行分類識別；計算測試樣本與各類不同表面焊接質量訓練樣本的匹配度，完成測試樣本表面焊接質量的自動分類識別。
【專利說明】
一種基于圖像紋理的焊縫表面缺陷識別方法
技術領域
[0001] 本發明涉及一種焊縫表面缺陷分類識別的方法，特別是基于灰度共生矩陣和BP神 經網絡的自動分類識別方法。該方法適用于焊縫表面缺陷的分類識別，屬于無損檢測領域。
【背景技術】
[0002] 焊接技術廣泛應用在工業生產中，目前大型工件多采用自動焊接工藝完成。在生 產線式自動焊接過程中，難免會出現影響產品質量的孔洞、焊瘤、偏焊和斷焊等缺陷。焊縫 表面缺陷的存在會大大降低焊接產品在服役期內的安全性，輕則出現產品失效泄漏，重則 導致產品發生脆性斷裂，引起嚴重的人員傷亡。因此，針對工件焊縫表面焊接質量的檢測， 作為排除工件重大安全隱患的方法，具有重要的工程實用價值。
[0003] 常用的焊接檢測手段有目視檢測、射線檢測、超聲波檢測和滲透檢測等，其中目視 檢測是焊件外觀檢測中最為常用的檢測方式。目視檢測是焊件檢測人員通過放大鏡、游標 卡尺以及咬邊測量器等檢測工具，結合產品的檢驗標準、焊件檢測人員的專業知識及檢測 經驗，對焊件表面的質量狀況進行檢測評判，以確定該構件是否達到設計要求。目視檢測法 由于其檢測方法靈活性強、操作簡單等優點得到了廣泛應用。然而，由于檢測人員長期注視 焊縫，眼部疲勞，容易出現漏檢、誤判等情況。此外，由于檢驗人員素質、技能和經驗的不同， 對質量檢驗標準的把握多有偏差，導致檢測等級受檢測人員的主觀影響因素較大，很難對 缺陷做出規范化、客觀化和標準化的判斷。為了提高焊縫的焊接質量，改善檢測人員的檢測 條件，迫切需要實現焊縫焊接質量自動化檢測。
[0004] 灰度共生矩陣分析法廣泛應用在地質學、農林業學和醫學的檢測和分類中，但目 前并沒有應用到焊縫的缺陷識別檢測中，Soh等[Texture analysis ofSAR sea ice imagery using gray level co-occurrence matrices[J].Geoscience&Remote Sensing IEEE Transactions on, 1999,37(2) :780-795]研究海水冰塊的紋理特征，確定海冰形狀的 灰度共生矩陣描述參數、方向特性和位移參數，研究結果表明基于灰度共生矩陣可以定量 分析海冰表面形狀。Narvankar等[Assessment ofsoftX-ray imaging for detection of fungal infection inwheat[J] .Biosystems Engineering,2009,103(1) :49-56]對利用X 射線采集到的小麥圖像分析研究，確定小麥紋理的灰度共生矩陣描述參數，結合神經網絡 有效的對健康的小麥和受真菌感染的小麥識別分類。
[0005] 針對目前焊縫表面缺陷檢測，研究不同焊接質量焊縫表面的紋理特征，借助圖像 識別與人工智能網絡技術，提出一種焊縫表面缺陷圖像自動分類識別的方法，用于實現自 動焊接工藝下多種焊縫表面缺陷的自動識別與分類。本方法采用CCD相機采集焊縫焊接表 面圖像，直觀、可靠且易操作。在缺陷識別分類方面，利用灰度共生矩陣識別圖片中焊縫缺 陷的多種特征參數，同時，通過訓練BP神經網絡實現不同類型缺陷的自動分類。

【發明內容】

[0006] 本發明的設計在于提供一種焊縫表面缺陷分類識別的方法，特別是基于圖像智能 技術的自動分類識別方法。本方法基于灰度共生矩陣獲取分類識別的特征參數，分類器采 用BP神經網絡對焊件工件焊縫表面缺陷分類與識別。本發明提出的一種基于圖像紋理的焊 縫表面缺陷圖像自動分類識別的方法是通過以下步驟實現的：
[0007] 步驟一：圖像采集。
[0008] 對表面焊接質量不同的焊縫進行圖像采集，為了保證圖像的清晰度，修正外部光 線所造成的誤差。對相機的內參進行修改，使其達到最好的成像效果
[0009] 步驟二：圖像前期處理。
[0010] 將真彩色RGB圖像轉化為灰度圖像，并將灰度圖像創建為灰度共生矩陣。步驟三： 訓練樣本焊縫表面特征參數提取。
[0011] (1)為減小由拍攝角度引起的操作誤差，并根據焊縫缺陷紋理的差異性及計算效 率，設置灰度共生矩陣計算中的像素距離，設置步進方向為〇°、45°、90°和135°方向，生成灰 度共生矩陣。
[0012] (2)提取灰度共生矩陣中的能量、對比度、相關性、同質性、熵和方差等特征參數， 并將提取的特征參數進行歸一化處理。
[0013] 步驟四：BP神經網絡的創建。
[0014] (1)將訓練樣本輸入到神經網絡中，對神經網絡的神經元數、隱含層傳遞函數、輸 出層傳遞函數和訓練算法傳遞函數進行設置。
[0015] (2)對神經網絡進行多次訓練，確定最終的權值與閾值矩陣。優化出最佳的神經網 絡結構參數。
[0016] 步驟五:測試樣本缺陷分類識別。
[0017] 將測試樣本圖像重復步驟二和步驟三。并將得到的測試樣本特征參數輸入到步驟 四創建的BP神經網絡中，進行分類識別。
[0018]步驟六:焊接質量評定。
[0019] 測試樣本經過神經網絡識別，計算出測試樣本與各類不同表面焊接質量訓練樣本 的匹配度，選取與5類不同表面焊接質量測試樣本匹配度最高的一類，識別出測試樣本的表 面焊接質量。
[0020] 本發明提出的一種基于圖像紋理的焊縫表面缺陷識別方法，其基本原理如下：
[0021] 對表面焊接質量不同的焊縫進行圖像采集，圖像中的紋理通常體現了焊縫表面的 紋理特性信息，即物體表面的凹凸不平特性。焊接質量良好的焊縫呈魚鱗紋狀，其紋理較為 均勻。而焊接質量較差的焊縫其表面紋理較為雜亂，變化不規則，而不同的缺陷的紋理特征 也各不相同。而灰度共生矩陣能夠很好的描述不規則的紋理，區分微小的形態差異，能較好 的提取焊縫表面的有效特征參數。從焊縫圖像中提取出其灰度共生矩陣，獲取焊縫表面的 特征參數，實現焊縫表面紋理特征的數學表征。
[0022] G(i，j)表示灰度共生矩陣，為了簡化運算，矩陣元素常用概率值表示，即將元素 G (i，j)除以各元素之和S，得到各元素都小于1的歸一化值
[0023]
[0024] ( 1 )
[0025] 能量反映了焊縫圖像灰度分布的均勻程度和紋理粗細度。若共生矩陣中的全部數 值均相等，則能量值較小，反之，若矩陣數值不等，則能量值較大。即能量值可表明焊縫紋理 變化的均勻度和規則程度。
[0026] (2)對比度（Contrast)
[0027]
(2)
[0028] 焊縫圖像的對比度可以理解為焊縫圖像的清晰度，即焊縫紋理清晰程度。在焊縫 圖像中，紋理的紋溝越深，則其對比度CON越大。
[0029] (3)相關性（Correlation)
[003
[003
[003
[003
[003
[003
[0036] 相關性反應了焊縫圖像紋理的一致性。如果焊縫圖像中有水平方向紋理，則水平 方向矩陣的COR大于其余方向矩陣的COR值。相關性可度量空間灰度共生矩陣元素在行列方 向上的相似程度，其值大小反映了焊縫圖像中局部灰度的相關性。當矩陣元素值均勻相等 時，相關值大，反之相關值較小。
[0037] (4)同質性（Homogeneity)
[0038]
(8)
[0039] 同質性可度量焊縫圖像紋理局部變化量的大小。若某區域內焊縫圖像紋理的變化 量較小，則該區域的同質性較大。
[0040] /[、'kfe，一-------、
[0041 ] (9)
[0042]熵能反映焊縫圖像所具有的信息量，表示焊縫圖像中紋理的非均勻程度或復雜程 度。
[0043] (6)方差（variance)
[0044]
(10)
[0045] 其中u為灰度共生矩陣各元素的均值。
[0046]本方法采用BP神經網絡對焊縫表面缺陷圖像進行分類識別，BP網絡能學習和存貯 大量的輸入-輸出模式映射關系。它的學習規則是使用最速下降法，通過反向傳播來不斷調 整網絡的權值和閾值，使網絡的誤差平方和最小。BP神經網絡模型拓撲結構包括輸入層、隱 含層和輸出層。
[0047] BP算法由數據流的前向計算(正向傳播)和誤差信號的反向傳播兩個過程構成。正 向傳播時，數據流的傳播方向為從輸入層到隱含層再到輸出層，每層神經元的狀態只影響 下一層神經元。若在輸出層得不到期望的輸出，則轉向誤差信號的反向傳播流程，誤差信號 的傳播方向為輸出層到隱含層再到輸入層。通過這兩個過程的交替進行，在權向量空間執 行誤差函數梯度下降策略，動態迭代搜索一組權向量，使網絡誤差函數達到最小值，從而完 成信息提取和記憶過程。
[0048]設BP神經網絡的輸入層有η個節點，隱含層有q個神經元，輸出層有m個神經元，輸 入層與隱含層之間的權值為Vk1，隱含層與輸出層之間的權值為wjk，隱含層的傳遞函數為fi (·)，輸出層的傳遞函數為f 2( ·)。
[0049] 隱含層節點的輸出為(將閾值寫入求和項中）：
[0050]
[0051]
[0052]
[0053]由式（11)和式（12)，BP神經網絡就完成了η維空間向量(輸入層）對m維空間向量 (輸出層)的近似映射。
[0054]誤差函數即目標函數設輸入P個學習樣本(X1X^-Xp)，第p個樣本輸入網絡后得到 輸出為燈（j=l二定義第p個樣本的誤差為Ep，P個樣本的均方誤差為E。為了避免迭 代次數增加，運算彳畝磨減暢·保W標個鏈太的彳呈筆M/l>.田此視Kv均方誤差作為目標函數。
[0055] 均方誤I 13 '
[0056] 根據公式（13)計算網絡全局誤差E，并與預設的期望誤差比較，判斷網絡誤差是否 滿足要求。當誤差達到期望誤差的精度或學習次數大于設定的迭代次數時，則網絡學習結 束；否則，選取下一個學習樣本及對應的期望輸出，返回到神經元的凈輸入值
進行數據的正向傳播，進入下一輪學習，直至滿足誤差精度或 學習次數時結束學習過程。最終顯示出焊縫焊接質量的識別結果。
[0057] 本發明具有以下優點：1)將灰度共生矩陣作為分類識別的特征參數，有效區分焊 縫表面不同焊接質量的紋理特征。2)基于BP神經網絡對焊縫表面焊接質量進行評定，避免 了圖像拍攝對缺陷識別的影響，實現了焊縫表面缺陷的分類識別。
【附圖說明】
[0058]圖1訓練樣本圖像示意圖
[0059]圖2焊接質量良好樣本特征參數示意表
[0060] 圖3斷焊樣本特征參數示意表
[0061] 圖4孔洞樣本特征參數示意表
[0062] 圖5焊偏樣本特征參數示意表 [0063]圖6焊瘤樣本特征參數示意表 [0064]圖7 BP神經網絡訓練特征表現曲線圖 [0065]圖8 BP神經網絡訓練擬合曲線圖 [0066]圖9 BP神經網絡輸出結果表
[0067] 圖10為本方法的實施流程圖
【具體實施方式】
[0068] 下面結合具體實驗對本發明作進一步說明：
[0069]本實驗實施過程包括以下步驟：
[0070]實驗選取5類不同表面焊接質量的圖像（良好、孔洞、焊偏、焊瘤和斷焊），共5X50 幅圖像作為訓練樣本。另外采集5X8幅圖像作為測試樣本。
[0071]步驟一:圖像采集。
[0072]對表面焊接質量不同的焊縫進行圖像采集，為了保證圖像的清晰度，修正外部光 線所造成的誤差。采集前對相機的白平衡紅設置為112、白平衡綠設置為62、白平衡藍設置 為123、色相設置為15、飽和度設置為130和對比度設置為-4。采集的圖像為真彩色RGB圖像。 (不同焊接質量的焊縫如圖1所示）
[0073]步驟二：圖像前期處理。
[0074]將真彩色RGB圖像轉化為灰度圖像，并將灰度圖像創建為灰度共生矩陣。步驟三： 樣本焊縫表面特征參數提取。
[0075] (1)為減小由拍攝角度引起的操作誤差，并根據焊縫缺陷紋理的差異性及計算效 率，設置灰度共生矩陣計算中的像素距離為3,設置步進方向為0°、45°、90°和135°方向，生 成灰度共生矩陣。
[0076] (2)提取灰度共生矩陣中的能量、對比度、相關性、同質性、熵和方差等特征參數， 并將提取的特征參數進行歸一化處理(不同焊接質量的焊縫的特征參數如圖2到圖6所示） [0077] 步驟四：BP神經網絡的創建。
[0078] (1)將訓練樣本輸入到神經網絡中，并設置神經網絡的初始值參數，其中輸入層設 置為24,輸出層設置為5,隱含層神經元設置為20。隱含層傳遞函數選擇Iogsig傳遞函數，輸 出層傳遞函數選擇Iogsig傳遞函數，訓練算法選擇梯度下降自適應學習訓練函數。設定最 大訓練次數為3000次，訓練精度為0.01，學習率為0.01，顯示訓練間隔為50。
[0079] (2)對神經網絡進行多次訓練，確定最終的權值與閾值矩陣。優化出最佳的神經網 絡結構參數。（訓練特征表現曲線如圖7所示）
[0080] 步驟五:測試樣本缺陷分類識別。
[0081] 將測試樣本的40幅圖像重復步驟二和步驟三。將得到的測試樣本特征參數輸入到 步驟四訓練完成的BP神經網絡中，進行分類識別。（訓練擬合曲線如圖8所示）
[0082]步驟六:焊接質量評定。
[0083]測試樣本經過神經網絡識別，計算出測試樣本與各類不同表面焊接質量訓練樣本 的匹配度，選取與5類不同表面焊接質量測試樣本匹配度最高的一類，識別出測試樣本的表 面焊接質量。本實驗中，共40幅測試樣本圖片，其中37幅測試圖像的焊接缺陷識別準確，1幅 出現斷焊誤判(將斷焊缺陷誤判為焊瘤缺陷），2幅出現偏焊誤判(將偏焊缺陷誤判為焊瘤缺 陷），此方法的總體分類識別正確率為92.5% JBP神經網絡輸出結果如圖9所示）。
[0084]本方法的實施流程圖如圖10所示。
[0085]以上是本發明的一個典型應用，本發明的應用不限于此。
【主權項】
1. 一種基于圖像紋理的焊縫表面缺陷識別方法，其特征在于:本方法是通過W下步驟 實現的， 步驟一：圖像采集； 對表面焊接質量不同的焊縫進行圖像采集，為了保證圖像的清晰度，修正外部光線所 造成的誤差;對相機的內參進行修改，使其達到最好的成像效果 步驟二：圖像前期處理； 將真彩色RGB圖像轉化為灰度圖像，并將灰度圖像創建為灰度共生矩陣； 步驟Ξ:訓練樣本焊縫表面特征參數提取； (1) 為減小由拍攝角度引起的操作誤差，并根據焊縫缺陷紋理的差異性及計算效率，設 置灰度共生矩陣計算中的像素距離，設置步進方向為0°、45°、90°和135°方向，生成灰度共 生矩陣； (2) 提取灰度共生矩陣中的能量、對比度、相關性、同質性、賭和方差等特征參數，并將 提取的特征參數進行歸一化處理； 步驟四：B巧申經網絡的創建； (1) 將訓練樣本輸入到神經網絡中，對神經網絡的神經元數、隱含層傳遞函數、輸出層 傳遞函數和訓練算法傳遞函數進行設置； (2) 對神經網絡進行多次訓練，確定最終的權值與闊值矩陣;優化出最佳的神經網絡結 構參數； 步驟五:測試樣本缺陷分類識別； 將測試樣本圖像重復步驟二和步驟Ξ;并將得到的測試樣本特征參數輸入到步驟四創 建的BP神經網絡中，進行分類識別； 步驟六:焊接質量評定； 測試樣本經過神經網絡識別，計算出測試樣本與各類不同表面焊接質量訓練樣本的匹 配度，選取與5類不同表面焊接質量測試樣本匹配度最高的一類，識別出測試樣本的表面焊 接質量。2. 根據權利要求1所述的一種基于圖像紋理的焊縫表面缺陷識別方法，其特征在于:其 基本原理如下， 對表面焊接質量不同的焊縫進行圖像采集，圖像中的紋理通常體現了焊縫表面的紋理 特性信息，即物體表面的凹凸不平特性;焊接質量良好的焊縫呈魚鱗紋狀，其紋理較為均 勻;而焊接質量較差的焊縫其表面紋理較為雜亂，變化不規則，而不同的缺陷的紋理特征也 各不相同；而灰度共生矩陣能夠很好的描述不規則的紋理，區分微小的形態差異，能較好的 提取焊縫表面的有效特征參數;從焊縫圖像中提取出其灰度共生矩陣，獲取焊縫表面的特 征參數，實現焊縫表面紋理特征的數學表征； G( i，j)表示灰度共生矩陣，為了簡化運算，矩陣元素常用概率值表示，即將元素 G( i，j) 除W各元素之和S，得到各元素都小于1的歸一化{J (1)能量(1； 能量反映了焊縫圖像灰度分布的均勻程度和紋理粗細度;若共生矩陣中的全部數值均 相等，則能量值較小，反之，若矩陣數值不等，則能量值較大；即能量值可表明焊縫紋理變化 的均勻度和規則程度； (2) 對比度(2) 焊縫圖像的對比度可W理解為焊縫圖像的清晰度，即焊縫紋理清晰程度;在焊縫圖像 中，紋理的紋溝越深，則其對比度CON越大； (3) 相關性(Correlation)相關性反應了焊縫圖像紋理的一致性;如果焊縫圖像中有水平方向紋理，則水平方向 矩陣的C0R大于其余方向矩陣的C0R值;相關性可度量空間灰度共生矩陣元素在行列方向上 的相似程度，其值大小反映了焊縫圖像中局部灰度的相關性；當矩陣元素值均勻相等時，相 關值大，反之相關值較小； (4) 同質性(8) 同質性可度量焊縫圖像紋理局部變化量的大小;若某區域內焊縫圖像紋理的變化量較 小，則該區域的同質性較大； 巧)賭(9) 賭能反映焊縫圖像所具有的信息量，表示焊縫圖像中紋理的非均勻程度或復雜程度； (6)方差(10) 其中U為灰度共生矩陣各元素的均值； 本方法采用BP神經網絡對焊縫表面缺陷圖像進行分類識別，BP網絡能學習和存膽大量 的輸入-輸出模式映射關系;它的學習規則是使用最速下降法，通過反向傳播來不斷調整網 絡的權值和闊值，使網絡的誤差平方和最小;B巧巾經網絡模型拓撲結構包括輸入層、隱含層 和輸出層。3. 根據權利要求2所述的一種基于圖像紋理的焊縫表面缺陷識別方法，其特征在于:BP 算法由數據流的前向計算即正向傳播和誤差信號的反向傳播兩個過程構成;正向傳播時， 數據流的傳播方向為從輸入層到隱含層再到輸出層，每層神經元的狀態只影響下一層神經 元;若在輸出層得不到期望的輸出，則轉向誤差信號的反向傳播流程，誤差信號的傳播方向 為輸出層到隱含層再到輸入層;通過運兩個過程的交替進行，在權向量空間執行誤差函數 梯度下降策略，動態迭代捜索一組權向量，使網絡誤差函數達到最小值，從而完成信息提取 和記憶過程； 設BP神經網絡的輸入層有η個節點，隱含層有q個神經元，輸出層有m個神經元，輸入層 與隱含層之間的權值為Vki，隱含層與輸出層之間的權值為WA，隱含層的傳遞函數為fi( ·)， 輸出層的傳遞函數為f2( ·); 隱含層節點的輸出為(將闊值寫入求和項中）：由式（11)和式（12)，BP神經網絡就完成了η維空間向量即輸入層對m維空間向量即輸出 層的近似映射； 誤差函數即目標函數設輸入P個學習樣本(χ?χ2···χΡ)，第P個樣本輸入網絡后得到輸出 為.V:' (j=l，2,…，m};定義第Ρ個樣本的誤差為Ερ，Ρ個樣本的均方誤差為Ε;為了避免迭代次 數增加，運算速度減慢，保證每個樣本的誤差減少，因此選取均方誤差作為目標函數； 均方誤差：（13) 根據公式（13)計算網絡全局誤差Ε，并與預設的期望誤差比較，判斷網絡誤差是否滿足 要求;當誤差達到期望誤差的精度或學習次數大于設定的迭代次數時，則網絡學習結束;否 貝1J，選取下一個學習樣本及對應的期望輸出，返回到神經元的凈輸入值'進行數據的正向傳播，進入下一輪學習，直至滿足誤差精度或 學習次數時結束學習過程;最終顯示出焊縫焊接質量的識別結果。4. 根據權利要求1所述的一種基于圖像紋理的焊縫表面缺陷識別方法，其特征在于： 本實驗實施過程包括W下步驟： 實驗選取5類不同表面焊接質量的圖像，圖像分別為良好、孔桐、焊偏、焊瘤和斷焊，共5 X 50幅圖像作為訓練樣本;另外采集5 X 8幅圖像作為測試樣本； 步驟一：圖像采集； 對表面焊接質量不同的焊縫進行圖像采集，為了保證圖像的清晰度，修正外部光線所 造成的誤差；采集前對相機的白平衡紅設置為112、白平衡綠設置為62、白平衡藍設置為 123、色相設置為15、飽和度設置為130和對比度設置為-4;采集的圖像為真彩色RGB圖像； 步驟二：圖像前期處理； 將真彩色RGB圖像轉化為灰度圖像，并將灰度圖像創建為灰度共生矩陣；步驟Ξ:樣本 焊縫表面特征參數提取； (1) 為減小由拍攝角度引起的操作誤差，并根據焊縫缺陷紋理的差異性及計算效率，設 置灰度共生矩陣計算中的像素距離為3,設置步進方向為0°、45°、90°和135°方向，生成灰度 共生矩陣； (2) 提取灰度共生矩陣中的能量、對比度、相關性、同質性、賭和方差等特征參數，并將 提取的特征參數進行歸一化處理（ 步驟四：B巧申經網絡的創建； (1) 將訓練樣本輸入到神經網絡中，并設置神經網絡的初始值參數，其中輸入層設置為 24,輸出層設置為5,隱含層神經元設置為20;隱含層傳遞函數選擇logsig傳遞函數，輸出層 傳遞函數選擇logsig傳遞函數，訓練算法選擇梯度下降自適應學習訓練函數;設定最大訓 練次數為3000次，訓練精度為0.01，學習率為0.01，顯示訓練間隔為50; (2) 對神經網絡進行多次訓練，確定最終的權值與闊值矩陣;優化出最佳的神經網絡結 構參數； 步驟五:測試樣本缺陷分類識別； 將測試樣本的40幅圖像重復步驟二和步驟Ξ;將得到的測試樣本特征參數輸入到步驟 四訓練完成的BP神經網絡中，進行分類識別； 步驟六:焊接質量評定； 測試樣本經過神經網絡識別，計算出測試樣本與各類不同表面焊接質量訓練樣本的匹 配度，選取與5類不同表面焊接質量測試樣本匹配度最高的一類，識別出測試樣本的表面焊 接質量。
【文檔編號】G06N3/08GK105938563SQ201610231852
【公開日】2016年9月14日
【申請日】2016年4月14日
【發明人】焦敬品, 李思源, 常予, 何存富, 吳斌
【申請人】北京工業大學