本發明涉(she)及待(dai)成像物(wu)表面高反光去除，特別涉(she)及一種可(ke)去除局部高反光的成像系統(tong)及方(fang)法。

背景技術：

1、待成像物(wu)(wu)表(biao)(biao)面(mian)缺陷(xian)對其使用性能會(hui)帶來不(bu)良影響(xiang)，為了有效控制(zhi)產品質量，需進行(xing)(xing)待成像物(wu)(wu)表(biao)(biao)面(mian)缺陷(xian)檢測。尤其對于電子產品、汽車、造(zao)紙(zhi)、道路和(he)工廠(chang)自動(dong)化等諸多行(xing)(xing)業，待成像物(wu)(wu)表(biao)(biao)面(mian)缺陷(xian)檢測是(shi)至關(guan)重要的(de)(de)(de)一(yi)個(ge)質量控制(zhi)環(huan)節。在嚴(yan)格(ge)的(de)(de)(de)自動(dong)化生產中(zhong)，最小的(de)(de)(de)表(biao)(biao)面(mian)缺陷(xian)也會(hui)影響(xiang)成品的(de)(de)(de)美(mei)觀度和(he)性能，高準(zhun)確(que)和(he)可(ke)靠的(de)(de)(de)表(biao)(biao)面(mian)檢測過程確(que)保產品合格(ge)，并為出(chu)廠(chang)交付做(zuo)好準(zhun)備(bei)。

2、傳統的檢(jian)測(ce)(ce)方法仍然(ran)依靠(kao)大(da)量(liang)人(ren)工憑借肉(rou)眼檢(jian)測(ce)(ce)，不(bu)僅影響(xiang)工作效率(lv)(lv)(lv)，而(er)且(qie)由于工人(ren)視覺疲勞、個人(ren)評判標(biao)準等因(yin)素存在，直接影響(xiang)零件的使(shi)用(yong)壽命和(he)性能(neng)(neng)。因(yin)此，為(wei)了(le)提(ti)高(gao)了(le)檢(jian)測(ce)(ce)的效率(lv)(lv)(lv)和(he)精(jing)度，近年(nian)來眾多企業引入了(le)機(ji)器(qi)視覺，該技術通(tong)過(guo)從圖(tu)像中提(ti)取信(xin)息(xi)并處理后實現最終的智(zhi)能(neng)(neng)檢(jian)測(ce)(ce)與控制。待成(cheng)(cheng)(cheng)像物(wu)缺陷檢(jian)測(ce)(ce)環境依賴(lai)于被動光(guang)(guang)(guang)(guang)源(yuan)，即需(xu)要(yao)一定的照明才可(ke)捕捉到(dao)待成(cheng)(cheng)(cheng)像物(wu)表(biao)(biao)(biao)面(mian)(mian)信(xin)息(xi)。然(ran)而(er)待成(cheng)(cheng)(cheng)像物(wu)表(biao)(biao)(biao)面(mian)(mian)材(cai)質(zhi)各異，不(bu)同材(cai)質(zhi)對光(guang)(guang)(guang)(guang)反(fan)(fan)(fan)射(she)(she)(she)(she)率(lv)(lv)(lv)具(ju)有(you)較(jiao)大(da)差(cha)異，例如合金表(biao)(biao)(biao)面(mian)(mian)反(fan)(fan)(fan)射(she)(she)(she)(she)率(lv)(lv)(lv)較(jiao)高(gao)，類似鏡(jing)面(mian)(mian)反(fan)(fan)(fan)射(she)(she)(she)(she)，其他膠體、硅基底等反(fan)(fan)(fan)射(she)(she)(she)(she)率(lv)(lv)(lv)都小于甚至遠小于合金，因(yin)此相同照明環境，合金表(biao)(biao)(biao)面(mian)(mian)容易過(guo)曝(pu)(pu)，捕捉的圖(tu)像因(yin)此出現局(ju)部(bu)高(gao)反(fan)(fan)(fan)光(guang)(guang)(guang)(guang)，該高(gao)反(fan)(fan)(fan)光(guang)(guang)(guang)(guang)區(qu)(qu)域會(hui)導(dao)致瑕(xia)(xia)疵(ci)區(qu)(qu)域信(xin)息(xi)丟失，最終引起待成(cheng)(cheng)(cheng)像物(wu)表(biao)(biao)(biao)面(mian)(mian)瑕(xia)(xia)疵(ci)檢(jian)測(ce)(ce)精(jing)度降(jiang)低。為(wei)了(le)解決(jue)高(gao)反(fan)(fan)(fan)光(guang)(guang)(guang)(guang)問(wen)題，研究者提(ti)出使(shi)用(yong)偏(pian)(pian)(pian)振片(pian)、dmd(digital?micromirror?device，數(shu)(shu)字(zi)微鏡(jing)器(qi)件)方法進行曝(pu)(pu)光(guang)(guang)(guang)(guang)調制。然(ran)而(er)金屬反(fan)(fan)(fan)射(she)(she)(she)(she)和(he)介質(zhi)反(fan)(fan)(fan)射(she)(she)(she)(she)對光(guang)(guang)(guang)(guang)偏(pian)(pian)(pian)振態的改變(bian)不(bu)同。介質(zhi)(玻璃、水面(mian)(mian)等)的電導(dao)率(lv)(lv)(lv)為(wei)0，故反(fan)(fan)(fan)射(she)(she)(she)(she)過(guo)程中不(bu)會(hui)造(zao)成(cheng)(cheng)(cheng)相位變(bian)化(hua)，只對入射(she)(she)(she)(she)光(guang)(guang)(guang)(guang)中不(bu)同偏(pian)(pian)(pian)振分量(liang)的反(fan)(fan)(fan)射(she)(she)(she)(she)系數(shu)(shu)不(bu)同，反(fan)(fan)(fan)射(she)(she)(she)(she)光(guang)(guang)(guang)(guang)可(ke)能(neng)(neng)變(bian)為(wei)線(xian)偏(pian)(pian)(pian)振光(guang)(guang)(guang)(guang)。而(er)金屬的導(dao)電率(lv)(lv)(lv)大(da)于0，使(shi)得折(zhe)射(she)(she)(she)(she)率(lv)(lv)(lv)為(wei)復數(shu)(shu)，所以偏(pian)(pian)(pian)振鏡(jing)對于金屬表(biao)(biao)(biao)面(mian)(mian)高(gao)反(fan)(fan)(fan)光(guang)(guang)(guang)(guang)沒有(you)多大(da)作用(yong)，很大(da)程度上限制了(le)其應用(yong)。dmd方法可(ke)實現調節局(ju)部(bu)過(guo)曝(pu)(pu)區(qu)(qu)域，然(ran)而(er)傳統系統設(she)計不(bu)夠靈活(huo)，高(gao)反(fan)(fan)(fan)光(guang)(guang)(guang)(guang)去除時間較(jiao)長，難以適用(yong)自動化(hua)瑕(xia)(xia)疵(ci)檢(jian)測(ce)(ce)過(guo)程。

3、因此，開發一種高效(xiao)待成像物芯片表面(mian)局部高反光(guang)(guang)去除(chu)系統(tong)及方(fang)法(fa)對(dui)提(ti)(ti)高待成像物芯片表面(mian)瑕疵檢測精度具有重要意義。目前主(zhu)(zhu)流的提(ti)(ti)高待成像物缺陷檢測方(fang)法(fa)主(zhu)(zhu)要集中在算法(fa)改(gai)進(jin)方(fang)面(mian)，而針(zhen)對(dui)局部高反光(guang)(guang)去除(chu)方(fang)面(mian)研究較少。

技術實現思路

1、本發明的(de)目的(de)在于(yu)提供一種可去(qu)除(chu)局部高反光的(de)成(cheng)像系統(tong)及方法，以解決(jue)傳統(tong)待成(cheng)像物表(biao)面瑕疵(ci)檢(jian)測系統(tong)高反光去(qu)除(chu)時間較長(chang)而難(nan)以適用自動化瑕疵(ci)檢(jian)測過程及檢(jian)測精度較低的(de)問題。具(ju)體技(ji)術(shu)方案如下：

2、一(yi)種可去除局(ju)部高(gao)反光(guang)的成(cheng)像系統(tong)，所(suo)(suo)(suo)述(shu)(shu)系統(tong)包括分束(shu)鏡(jing)及依次設置于所(suo)(suo)(suo)述(shu)(shu)分束(shu)鏡(jing)之后(hou)的多個透(tou)鏡(jing)組(zu)(zu)、dmd空間光(guang)調制器、多個探(tan)(tan)(tan)測(ce)器、多個數據線和服務(wu)器，所(suo)(suo)(suo)述(shu)(shu)多個透(tou)鏡(jing)組(zu)(zu)中(zhong)的第(di)(di)(di)一(yi)透(tou)鏡(jing)組(zu)(zu)和第(di)(di)(di)二透(tou)鏡(jing)組(zu)(zu)設置在所(suo)(suo)(suo)述(shu)(shu)分束(shu)鏡(jing)之后(hou)相互垂直的方向上，所(suo)(suo)(suo)述(shu)(shu)第(di)(di)(di)一(yi)透(tou)鏡(jing)組(zu)(zu)之后(hou)設置第(di)(di)(di)一(yi)探(tan)(tan)(tan)測(ce)器，所(suo)(suo)(suo)述(shu)(shu)第(di)(di)(di)一(yi)探(tan)(tan)(tan)測(ce)器通(tong)過第(di)(di)(di)一(yi)數據線連(lian)接至所(suo)(suo)(suo)述(shu)(shu)服務(wu)器；

3、所(suo)(suo)述(shu)第(di)二(er)透(tou)鏡組(zu)(zu)之后(hou)設(she)置(zhi)所(suo)(suo)述(shu)dmd空(kong)間光(guang)調(diao)制器(qi)，所(suo)(suo)述(shu)dmd空(kong)間光(guang)調(diao)制器(qi)之后(hou)設(she)置(zhi)有第(di)三透(tou)鏡組(zu)(zu)，所(suo)(suo)述(shu)第(di)三透(tou)鏡組(zu)(zu)之后(hou)設(she)置(zhi)有第(di)二(er)探(tan)測器(qi)，所(suo)(suo)述(shu)第(di)二(er)探(tan)測器(qi)通過第(di)二(er)數據線連接(jie)至(zhi)所(suo)(suo)述(shu)服務(wu)器(qi)，同時所(suo)(suo)述(shu)dmd空(kong)間光(guang)調(diao)制器(qi)通過第(di)三數據線連接(jie)至(zhi)所(suo)(suo)述(shu)服務(wu)器(qi)；

4、所述服務器用于構建(jian)殘差神經(jing)網絡模型，并優化探測器與dmd空間光調制(zhi)器之間的(de)逐像素映射關系，同時(shi)判斷(duan)圖(tu)像是(shi)否存在高反光區域(yu)并將高反光區域(yu)信息轉換為調制(zhi)區域(yu)信息；

5、所(suo)述dmd空(kong)間光(guang)(guang)調制(zhi)(zhi)器用于根據欲調制(zhi)(zhi)區域(yu)信(xin)息進行調制(zhi)(zhi)以降(jiang)低欲預調制(zhi)(zhi)區域(yu)的光(guang)(guang)通量。

6、本發明(ming)還提供(gong)了(le)一種可(ke)去除局部高反光(guang)的成(cheng)像方(fang)法，使用(yong)如權(quan)利要(yao)求1所(suo)(suo)述(shu)的可(ke)去除局部高反光(guang)的成(cheng)像系統，所(suo)(suo)述(shu)方(fang)法具(ju)體包括以(yi)下步驟：

7、s1、使(shi)待成像物在照明條件下的表(biao)面反(fan)射(she)光束(shu)經所(suo)述分束(shu)鏡分成反(fan)射(she)光束(shu)和透(tou)射(she)光束(shu)；

8、s2、使(shi)反射光束(shu)經(jing)第一(yi)探(tan)測器成像后得到第一(yi)圖像，并使(shi)透射光束(shu)經(jing)dmd空調(diao)光調(diao)制(zhi)器反射、第二(er)探(tan)測器成像后得到第二(er)圖像；

9、s3、建立第一(yi)(yi)(yi)探測器與dmd空(kong)調光調制器的(de)第一(yi)(yi)(yi)逐(zhu)像素映(ying)(ying)射(she)(she)(she)關系(xi)，并對(dui)其映(ying)(ying)射(she)(she)(she)關系(xi)進行優化(hua)得(de)到優化(hua)后的(de)第一(yi)(yi)(yi)逐(zhu)像素映(ying)(ying)射(she)(she)(she)關系(xi)；

10、s4、判斷(duan)第一(yi)圖像中是(shi)否存在高(gao)(gao)反光(guang)區(qu)域，若是(shi)，則確定第一(yi)圖像中的高(gao)(gao)反光(guang)區(qu)域，并將高(gao)(gao)反光(guang)區(qu)域信息根據優化(hua)后的第一(yi)逐像素(su)映射關系轉換為第一(yi)探測器上對應的欲(yu)調制(zhi)區(qu)域信息，dmd空間光(guang)調制(zhi)器根據欲(yu)調制(zhi)區(qu)域信息進行調制(zhi)以降低欲(yu)調制(zhi)區(qu)域的光(guang)通量。

11、進一步的，步驟(zou)s3中(zhong)第(di)一探測器(qi)(qi)與(yu)dmd空調光調制器(qi)(qi)的所(suo)述第(di)一逐像(xiang)素映(ying)射關系(xi)通過第(di)二(er)探測器(qi)(qi)為(wei)中(zhong)介進行間接(jie)建(jian)立和優化。

12、進(jin)一步的，所(suo)述(shu)步驟s3包括：

13、構(gou)建(jian)反映第(di)一(yi)探測器(qi)與第(di)二(er)探測器(qi)的第(di)二(er)逐像(xiang)素映射關系的第(di)一(yi)殘差神經(jing)網(wang)絡(luo)模型(xing)(xing)，并將經(jing)過圖(tu)像(xiang)操作的第(di)一(yi)圖(tu)像(xiang)作為網(wang)絡(luo)輸入對(dui)第(di)一(yi)殘差神經(jing)網(wang)絡(luo)模型(xing)(xing)進行優(you)化，得(de)到優(you)化后的第(di)二(er)逐像(xiang)素映射關系；

14、構(gou)建反映第(di)(di)二(er)探測器與dmd空間光調制(zhi)器的(de)第(di)(di)三逐(zhu)像(xiang)素映射關(guan)系的(de)第(di)(di)二(er)殘差神經網絡(luo)模型，并將(jiang)圖(tu)像(xiang)操(cao)作的(de)第(di)(di)二(er)圖(tu)像(xiang)作為(wei)網絡(luo)輸入對第(di)(di)二(er)殘差神經網絡(luo)模型進(jin)行優(you)化，得到優(you)化后的(de)第(di)(di)三逐(zhu)像(xiang)素映射關(guan)系；

15、將優(you)化后(hou)(hou)第二逐(zhu)像素(su)映(ying)射關(guan)系與優(you)化后(hou)(hou)的第三逐(zhu)像素(su)映(ying)射關(guan)系進行(xing)依次(ci)復合，得到(dao)優(you)化后(hou)(hou)的第一逐(zhu)像素(su)映(ying)射關(guan)系。

16、進(jin)一步的，所述圖(tu)像操作(zuo)包括對圖(tu)像進(jin)行旋(xuan)轉、平移及法線角度偏移。

17、進(jin)一步的(de)，所述dmd空(kong)間(jian)光(guang)調(diao)制器包(bao)括多個(ge)dmd微鏡(jing)組成的(de)二維(wei)陣(zhen)列，所述dmd空(kong)間(jian)光(guang)調(diao)制器根據欲(yu)調(diao)制區(qu)域(yu)信息進(jin)行在欲(yu)調(diao)制區(qu)域(yu)至少部分地關閉dmd微鏡(jing)以降低欲(yu)調(diao)制區(qu)域(yu)的(de)光(guang)通(tong)量。

18、進一步的，所述(shu)dmd空(kong)間(jian)光調(diao)(diao)制(zhi)(zhi)器包括多個dmd微鏡(jing)組成的平面二維(wei)陣列，所述(shu)dmd空(kong)間(jian)光調(diao)(diao)制(zhi)(zhi)器根據(ju)欲(yu)調(diao)(diao)制(zhi)(zhi)區(qu)域(yu)信(xin)息進行(xing)在欲(yu)調(diao)(diao)制(zhi)(zhi)區(qu)域(yu)內(nei)交錯(cuo)地(di)關閉dmd微鏡(jing)以均勻地(di)降低欲(yu)調(diao)(diao)制(zhi)(zhi)區(qu)域(yu)的光通量。

19、進一(yi)步(bu)的，所(suo)述第一(yi)殘差(cha)神經網(wang)絡模型的訓練優化方(fang)法是：將棋盤格標定板放置在分束鏡的前(qian)面，且dmd空間光(guang)調制(zhi)器處于全開狀態(tai)，對棋盤格標定板進行旋轉、前(qian)后(hou)位移、傾(qing)斜操(cao)作(zuo)得到(dao)兩(liang)組圖像數(shu)據(ju)(ju)集(ji)(ji)d1’、d2’，將數(shu)據(ju)(ju)集(ji)(ji)d1’作(zuo)為(wei)網(wang)絡輸入，數(shu)據(ju)(ju)集(ji)(ji)d2’作(zuo)為(wei)學習標簽(qian)，不(bu)斷迭代學習獲(huo)得最(zui)終的第一(yi)殘差(cha)神經網(wang)絡模型。

20、進一步的(de)，所述第(di)二(er)(er)殘(can)差(cha)神(shen)經(jing)網絡(luo)(luo)模(mo)(mo)型(xing)的(de)訓練(lian)優化方法是(shi)：將隨機生成(cheng)的(de)多(duo)幅二(er)(er)進制掩(yan)(yan)模(mo)(mo)l輸入至dmd空(kong)間(jian)光(guang)調制器，并通過(guo)dmd空(kong)間(jian)光(guang)調制器顯示，將第(di)二(er)(er)探測器捕(bu)捉到的(de)對(dui)應dmd掩(yan)(yan)模(mo)(mo)圖像(xiang)i作(zuo)為數據集，用于神(shen)經(jing)網絡(luo)(luo)輸入，多(duo)幅二(er)(er)進制掩(yan)(yan)模(mo)(mo)l用于學習標簽，將圖像(xiang)i輸入神(shen)經(jing)網絡(luo)(luo)得(de)到預測圖像(xiang)i’，將i’與學習標簽l的(de)差(cha)異進行(xing)反向傳播(bo)，并進行(xing)迭(die)代(dai)計(ji)算，獲得(de)最終的(de)第(di)二(er)(er)殘(can)差(cha)神(shen)經(jing)網絡(luo)(luo)模(mo)(mo)型(xing)。

21、本發(fa)明提供的一種可去除局(ju)部高(gao)反光的成(cheng)像系統及(ji)方(fang)法，與現有(you)技術相比，具有(you)以下有(you)益效果：

22、1.本發明提供的一種可去除(chu)局(ju)部高(gao)反光(guang)(guang)(guang)的成(cheng)像(xiang)系(xi)統及方法(fa)，采用兩路(lu)芯片(pian)光(guang)(guang)(guang)波捕捉(zhuo)光(guang)(guang)(guang)路(lu)，一路(lu)用于(yu)判斷(duan)提取高(gao)反光(guang)(guang)(guang)區(qu)域(yu)，判斷(duan)為存在高(gao)光(guang)(guang)(guang)區(qu)域(yu)后生成(cheng)掩模矩陣后傳輸至dmd空間光(guang)(guang)(guang)調制器，以實(shi)現(xian)自(zi)適應逐像(xiang)素去除(chu)待成(cheng)像(xiang)物(wu)表面(mian)高(gao)反光(guang)(guang)(guang)，可用于(yu)自(zi)動化產線高(gao)反光(guang)(guang)(guang)表面(mian)的瑕疵檢(jian)測(ce)，提高(gao)瑕疵檢(jian)測(ce)準(zhun)確度(du)。

23、2.本發明提供的(de)一種可(ke)去(qu)除局部高(gao)反光的(de)成(cheng)像(xiang)系(xi)統及方法，為了(le)(le)克(ke)服傳統圖(tu)像(xiang)中包(bao)含過暗過亮區(qu)域(yu)而難以調(diao)制(zhi)(zhi)問題，建立了(le)(le)探測器與dmd空間光調(diao)制(zhi)(zhi)器像(xiang)素(su)映射關系(xi)，在保證其他區(qu)域(yu)亮度不變情況下，僅針對高(gao)反光區(qu)域(yu)進行調(diao)制(zhi)(zhi)，解決了(le)(le)待成(cheng)像(xiang)物局部過亮導致瑕疵檢(jian)測準確率降低(di)難點。

24、3.本(ben)發(fa)明(ming)提供的(de)一(yi)種可去除局部高反光(guang)(guang)的(de)成(cheng)像系(xi)統及方(fang)法，為了(le)提高系(xi)統高反光(guang)(guang)去除速度(du)，采(cai)用(yong)殘差神經網(wang)絡，同時(shi)通過間接學習方(fang)式，利用(yong)同一(yi)個(ge)網(wang)絡模(mo)(mo)型，建立探測器(qi)1與(yu)探測器(qi)2、探測器(qi)2與(yu)dmd空間光(guang)(guang)調(diao)制(zhi)器(qi)的(de)像素(su)映(ying)射模(mo)(mo)型，最終(zhong)得到探測器(qi)1與(yu)dmd空間光(guang)(guang)調(diao)制(zhi)器(qi)的(de)像素(su)映(ying)射模(mo)(mo)型。