本發明涉(she)及工業(ye)互聯網(wang)，尤其(qi)涉(she)及基于(yu)iec61499標準的電(dian)路板缺陷識別transformer網(wang)絡分布式推理方法。

背景技術：

1、iec61499標準為分布式工業(ye)過程(cheng)測量和控制系(xi)統提(ti)供(gong)了一種模型及設(she)計方法。該標準支持(chi)模塊(kuai)化軟件(jian)組(zu)件(jian)的復用和分布，使得系(xi)統更加靈活和可(ke)擴(kuo)展。該標準支持(chi)模塊(kuai)化軟件(jian)組(zu)件(jian)的復用和分布，使得系(xi)統更加靈活和可(ke)擴(kuo)展。

2、近(jin)年來(lai)，深度學習技術尤其是transformer網絡因其強大的(de)特征(zheng)提(ti)取和處(chu)理(li)序列數(shu)據的(de)能力(li)而備受關注(zhu)。transformer網絡原始(shi)應用于(yu)自然語言(yan)處(chu)理(li)領(ling)域，現(xian)在已經被成功擴(kuo)展到圖像識(shi)別、時間序列分析等多(duo)個(ge)領(ling)域。

3、在電路板(ban)缺陷識別(bie)(bie)(bie)任務(wu)中(zhong)，transformer網(wang)(wang)絡(luo)可(ke)以有效(xiao)捕捉圖(tu)像中(zhong)的(de)(de)(de)全(quan)局依(yi)賴關系，并通(tong)過自注(zhu)意(yi)力機制(zhi)關注(zhu)到圖(tu)像不(bu)同部(bu)分(fen)之間的(de)(de)(de)關聯，這對于(yu)識別(bie)(bie)(bie)復(fu)雜的(de)(de)(de)電路板(ban)缺陷特別(bie)(bie)(bie)有用。然而(er)(er)，直接將transformer網(wang)(wang)絡(luo)應用于(yu)iec61499標準(zhun)的(de)(de)(de)分(fen)布式系統中(zhong)存(cun)在一(yi)定挑(tiao)戰。首先，transformer網(wang)(wang)絡(luo)通(tong)常(chang)需要較大(da)的(de)(de)(de)計算資源，而(er)(er)這可(ke)能與分(fen)布式邊(bian)緣設備的(de)(de)(de)資源有限性(xing)相沖突。其次，由于(yu)電路板(ban)的(de)(de)(de)設計和(he)缺陷類型多樣性(xing)，網(wang)(wang)絡(luo)需要具(ju)備一(yi)定的(de)(de)(de)自適應能力以適應不(bu)同的(de)(de)(de)應用場景。

4、因此提出一(yi)種本發明涉及(ji)基(ji)于iec61499標(biao)準的(de)電(dian)路板缺陷識(shi)別transformer網(wang)絡分布式(shi)推理方法。利(li)用分布式(shi)架(jia)構的(de)優勢，將transformer網(wang)絡的(de)計(ji)算需(xu)求分散到多個節點上(shang)，從而(er)實現資源的(de)優化利(li)用。同時，通過引(yin)入自適應機制(zhi)，動(dong)態調(diao)整分布式(shi)策略。

技術實現思路

1、為了(le)實現對(dui)電路(lu)板缺(que)陷進行(xing)有效的(de)(de)識別(bie)，提出了(le)一種(zhong)基于iec61499標準(zhun)的(de)(de)電路(lu)板缺(que)陷識別(bie)transformer網(wang)絡(luo)(luo)分(fen)布(bu)式(shi)推(tui)理(li)方法，該(gai)方法基于iec61499標準(zhun)整體(ti)設(she)計分(fen)段映射的(de)(de)思想(xiang)，設(she)計符合(he)該(gai)標準(zhun)下(xia)的(de)(de)電路(lu)板缺(que)陷識別(bie)transformer網(wang)絡(luo)(luo)自適應分(fen)布(bu)式(shi)推(tui)理(li)方法。

2、所述方法的(de)具體步驟(zou)如下：

3、step1、主機節(jie)點和各邊緣節(jie)點加載(zai)transformer網(wang)絡模(mo)型，在各注(zhu)意力頭之間設(she)置拆分(fen)錨點；

4、step2、首次運行時，通過主機對每臺邊(bian)緣(yuan)設備進行初始(shi)權重賦(fu)值(zhi)并(bing)保(bao)存，其值(zhi)為1，主機加載(zai)各邊(bian)緣(yuan)設備的權重值(zhi)，并(bing)根據權重值(zhi)計(ji)算transformer多頭注意力(li)的切(qie)(qie)割點，并(bing)根據坐(zuo)標(biao)計(ji)算公(gong)式計(ji)算切(qie)(qie)割坐(zuo)標(biao)，確定(ding)好(hao)各邊(bian)緣(yuan)節(jie)點的模型(xing)的切(qie)(qie)割坐(zuo)標(biao)后(hou)，將切(qie)(qie)割點坐(zuo)標(biao)發送到各邊(bian)緣(yuan)節(jie)點，邊(bian)緣(yuan)節(jie)點對傳(chuan)坐(zuo)標(biao)進行校(xiao)驗并(bing)根據坐(zuo)標(biao)對模型(xing)切(qie)(qie)割；

5、step3、在step2邊(bian)緣節(jie)點(dian)完成模(mo)型的分割操作后(hou)，將(jiang)計(ji)算機數(shu)據分發給各邊(bian)緣節(jie)點(dian)，在數(shu)據傳輸前，對邊(bian)緣節(jie)點(dian)的輸入數(shu)據執(zhi)行預處理；

6、step4、邊緣節(jie)點(dian)(dian)依據(ju)接(jie)收到的輸(shu)入數(shu)據(ju)，執行注(zhu)意力頭的輸(shu)出及其梯度(du)值的計算，并將這些計算成(cheng)果回傳至主機，隨后，主機節(jie)點(dian)(dian)負(fu)責對(dui)所有邊緣節(jie)點(dian)(dian)的計算結(jie)果進行匯總，并據(ju)此(ci)對(dui)各邊緣節(jie)點(dian)(dian)的權重參數(shu)進行更(geng)新與整合。

7、優選的，所述(shu)step2中的坐(zuo)標計算公式為(wei)：

8、

9、其中為(wei)(wei)(wei)第i個邊緣(yuan)設備模(mo)型切(qie)割區間(jian)的(de)(de)終點(dian)位置、為(wei)(wei)(wei)切(qie)割區間(jian)的(de)(de)起點(dian)位置、為(wei)(wei)(wei)多頭注意力中多頭的(de)(de)數(shu)量、為(wei)(wei)(wei)第i個邊緣(yuan)設備的(de)(de)權重(zhong)、0.2為(wei)(wei)(wei)權重(zhong)的(de)(de)容忍系(xi)數(shu)、m為(wei)(wei)(wei)邊緣(yuan)設備的(de)(de)總數(shu)。

10、該公式中引(yin)入(ru)的容忍系(xi)數旨在緩和iec61499標準框架內不同(tong)設(she)備間的計算(suan)差異對整體計算(suan)效率的影響，以(yi)優化計算(suan)性能。

11、優選的(de)(de)(de)，所述step3中(zhong)的(de)(de)(de)數據的(de)(de)(de)預處理(li)公式(shi)為：

12、

13、其中(zhong)為(wei)輸入矩(ju)陣(zhen)中(zhong)特(te)征(zheng)值(zhi)的均值(zhi)、0.01為(wei)特(te)征(zheng)偏差值(zhi)。

14、該公(gong)式計(ji)算特(te)征與(yu)特(te)征均(jun)值之間的(de)(de)距離(li)(li)以替代原有的(de)(de)特(te)征值，特(te)征間的(de)(de)相對距離(li)(li)在(zai)表征數(shu)據時比原始數(shu)值特(te)征更(geng)為魯棒，尤(you)其是在(zai)面對環境變化和擾(rao)動(dong)時。

15、優選的，所(suo)述step4的權重(zhong)更新(xin)參數的計算公式為：

16、

17、其中，表示第(di)i個邊(bian)緣設(she)備的(de)(de)權重、為邊(bian)緣設(she)備i傳回的(de)(de)梯(ti)度(du)信(xin)息值、0.1為梯(ti)度(du)配平系數、為數據發(fa)送的(de)(de)時間(jian)和接收完(wan)計算結(jie)果之間(jian)的(de)(de)時間(jian)差。

18、優選的，所述step3中還(huan)包括數據分發方(fang)法(fa)，所述數據分發方(fang)法(fa)具(ju)體為：

19、主(zhu)機在執行(xing)對(dui)邊緣節(jie)點的(de)數(shu)(shu)據(ju)(ju)分發時采用廣播機制，以(yi)確保同步地接(jie)收(shou)輸入數(shu)(shu)據(ju)(ju)，各邊緣節(jie)點在接(jie)收(shou)數(shu)(shu)據(ju)(ju)后，首(shou)先會進行(xing)數(shu)(shu)據(ju)(ju)完整性校驗，如果發現(xian)存在數(shu)(shu)據(ju)(ju)缺(que)失(shi)，將使用數(shu)(shu)值(zhi)0.1填補缺(que)失(shi)部分，隨后再繼續進行(xing)計算處(chu)理；

20、優選的(de)，所述step4中還包括數(shu)(shu)據(ju)接收方法(fa)，所述數(shu)(shu)據(ju)接收方法(fa)具體為(wei)：

21、針對(dui)邊緣(yuan)設備的(de)(de)計(ji)算結果，主(zhu)機(ji)設置了一(yi)個(ge)數據(ju)(ju)(ju)中(zhong)(zhong)轉(zhuan)(zhuan)池(chi)，其大小為m，其中(zhong)(zhong)m代表(biao)邊緣(yuan)節點的(de)(de)個(ge)數，當(dang)每臺邊緣(yuan)設備將計(ji)算結果傳送回主(zhu)機(ji)時(shi)，這些結果首先(xian)會被存儲在數據(ju)(ju)(ju)中(zhong)(zhong)轉(zhuan)(zhuan)池(chi)中(zhong)(zhong)，一(yi)旦數據(ju)(ju)(ju)中(zhong)(zhong)轉(zhuan)(zhuan)池(chi)滿了，主(zhu)機(ji)便(bian)會讀取并(bing)清(qing)空其中(zhong)(zhong)的(de)(de)數據(ju)(ju)(ju)，然后進行(xing)數據(ju)(ju)(ju)完整性校(xiao)驗(yan)，并(bing)將空缺的(de)(de)特征值填(tian)補(bu)為0，最后對(dui)數據(ju)(ju)(ju)進行(xing)整合(he)。

22、有益效果；

23、本(ben)發明將transformer網(wang)絡中(zhong)的(de)(de)多頭注意力(li)機制作為拆分(fen)(fen)的(de)(de)關鍵要素，并在不(bu)(bu)同(tong)的(de)(de)注意力(li)頭之間設定了拆分(fen)(fen)錨點(dian)。通過對邊緣節點(dian)權重的(de)(de)分(fen)(fen)析計(ji)(ji)算出模型(xing)的(de)(de)拆分(fen)(fen)點(dian)，從而在分(fen)(fen)布(bu)式(shi)環(huan)境(jing)中(zhong)實現協同(tong)計(ji)(ji)算。與(yu)傳統(tong)的(de)(de)單(dan)一機器執行多頭注意力(li)計(ji)(ji)算的(de)(de)方法(fa)(fa)相(xiang)比，本(ben)方法(fa)(fa)通過自適應模型(xing)拆分(fen)(fen)和分(fen)(fen)布(bu)式(shi)協作，顯(xian)著減少了在工(gong)業(ye)環(huan)境(jing)中(zhong)應用transformer網(wang)絡模型(xing)所需的(de)(de)推(tui)理(li)時間，在不(bu)(bu)降低識別精度的(de)(de)前提下提升了電路板(ban)缺陷(xian)識別速度，對提高工(gong)業(ye)生產的(de)(de)效率產生了顯(xian)著的(de)(de)正(zheng)面影響。

技術特征：

1.基于iec61499標準的電(dian)路(lu)板缺陷識別(bie)transformer網絡(luo)分(fen)布式(shi)推(tui)理方(fang)法(fa)，其特征在于，所述方(fang)法(fa)的具體步驟(zou)如下：

2.根據(ju)權利要求(qiu)1所述的(de)基于iec61499標準的(de)電路板缺陷識別transformer網絡(luo)分布式(shi)推理方(fang)法(fa)，其特(te)征(zheng)在于：

3.根(gen)據(ju)權利要求1所述的基(ji)于iec61499標準的電路板缺陷識(shi)別(bie)transformer網(wang)絡分布式推理方法(fa)，其特征(zheng)在于：

4.根(gen)據(ju)權利(li)要求(qiu)1所述(shu)的基于(yu)iec61499標準(zhun)的電路板缺陷識別(bie)transformer網絡分布式(shi)推理方(fang)法(fa)，其特征在于(yu)：所述(shu)step4的權重(zhong)更新參數(shu)的計算(suan)公式(shi)為(wei)：

5.根據權利要(yao)求1所(suo)(suo)述的基于(yu)iec61499標準的電路板缺陷識別transformer網絡分(fen)布式推理方(fang)法(fa)，其特征在于(yu)：所(suo)(suo)述step3中還包括(kuo)數據分(fen)發(fa)(fa)方(fang)法(fa)，所(suo)(suo)述數據分(fen)發(fa)(fa)方(fang)法(fa)具體為：

6.根據權(quan)利要求5所(suo)述的(de)基于iec61499標準的(de)電路板(ban)缺陷識別transformer網絡分布式推(tui)理方法，其特征在于：所(suo)述step4中還包括數據接收方法，所(suo)述數據接收方法具體(ti)為：

技術總結
本發明涉及工業互聯網領域，提出了一種基于IEC61499標準的電路板缺陷識別Transformer網絡分布式推理方法。本發明將Transformer網絡中的多頭注意力機制作為拆分的關鍵要素，并在不同的注意力頭之間設定了拆分錨點。通過對邊緣節點權重的分析計算出模型的拆分點，從而在分布式環境中實現協同計算。與傳統的單一機器執行多頭注意力計算的方法相比，本發明通過自適應模型拆分和分布式協作，顯著減少了在工業環境中應Transformer網絡模型所需的推理時間，在不降低識別精度的前提下提升了電路板缺陷識別速度，對提高工業生產的效率產生了顯著的正面影響。

技術研發人員：曾凱,唐浩洋,沈韜,董博陽,陳俊
受保護的技術使用者：昆明理工大學
技術研發日：
技術公布日：2024/9/19