本發明涉及光學成像和(he)溫度(du)測量，具體為一種紅外熱(re)像儀和(he)結構光相機的異(yi)構數據融合(he)方法。

背景技術：

1、在(zai)(zai)生產(chan)實踐(jian)與應用(yong)中(zhong)(zhong)，超(chao)(chao)高(gao)溫(wen)環境下(xia)的(de)測(ce)(ce)溫(wen)是一項重(zhong)要(yao)任(ren)務(wu)，因為超(chao)(chao)高(gao)溫(wen)會對機械結構和材料產(chan)生影(ying)響。為了(le)確(que)保生產(chan)實踐(jian)的(de)安(an)全(quan)，工程師們采用(yong)了(le)多種測(ce)(ce)溫(wen)方式(shi)，尤其對超(chao)(chao)高(gao)溫(wen)零(ling)件進行實時監測(ce)(ce)。在(zai)(zai)非接(jie)觸式(shi)測(ce)(ce)溫(wen)方法中(zhong)(zhong)，利用(yong)紅外熱像儀的(de)視覺測(ce)(ce)量可以(yi)監測(ce)(ce)目標溫(wen)度，從而(er)起到事故預警、位置確(que)認和大規(gui)模(mo)人體表面溫(wen)度篩查等作用(yong)。

2、紅外(wai)熱(re)成像儀作為工程(cheng)檢測(ce)(ce)的(de)(de)工具之一(yi)，利用紅外(wai)熱(re)現象檢測(ce)(ce)出人眼難以察覺的(de)(de)熱(re)工缺(que)陷(xian)區域，并以可視化(hua)圖像的(de)(de)方式(shi)反映工程(cheng)缺(que)陷(xian)問(wen)題。隨著逆向建(jian)模的(de)(de)發(fa)展(zhan)，結構光相機越來越多地應用于工程(cheng)零件的(de)(de)三(san)維建(jian)模，憑借其高效(xiao)率、高精度和自(zi)動(dong)化(hua)特點，能(neng)夠(gou)用于各種檢測(ce)(ce)工作。然(ran)而，現有技術存在以下缺(que)陷(xian)：

3、紅外(wai)(wai)熱(re)像儀的(de)(de)信息(xi)展示不夠直觀：紅外(wai)(wai)熱(re)像儀采(cai)集的(de)(de)溫(wen)(wen)度(du)信息(xi)通(tong)常以(yi)二維(wei)圖像呈現(xian)，這(zhe)(zhe)種(zhong)方式在(zai)展示高溫(wen)(wen)區域(yu)的(de)(de)三維(wei)形(xing)態(tai)時存(cun)在(zai)局限，難以(yi)全(quan)面反映目標(biao)物體(ti)的(de)(de)溫(wen)(wen)度(du)分布情況。這(zhe)(zhe)導致(zhi)在(zai)實際應用中，工(gong)程師難以(yi)通(tong)過二維(wei)圖像快速(su)、準確地判斷高溫(wen)(wen)區域(yu)的(de)(de)具(ju)體(ti)位置和(he)形(xing)態(tai)。

4、結構光相(xiang)機的(de)(de)點云數據缺(que)乏(fa)紋理信(xin)息(xi)：結構光相(xiang)機雖然能夠高效、高精度地采集三維點云數據，但這些數據沒有包含(han)物體(ti)本身的(de)(de)紋理信(xin)息(xi)，可視(shi)化(hua)效果欠佳。缺(que)乏(fa)紋理信(xin)息(xi)使得(de)在三維模型上難以識別物體(ti)的(de)(de)細(xi)節特征(zheng)，限(xian)制了其在復雜環境中的(de)(de)應用(yong)效果。

5、難(nan)以(yi)實現不同設備(bei)數據(ju)的(de)(de)有(you)效融(rong)合：現有(you)技(ji)術在(zai)融(rong)合紅(hong)外熱像儀(yi)和結構光相機數據(ju)時，常常缺乏高效、精確(que)的(de)(de)算法和方法，導致(zhi)兩(liang)種數據(ju)在(zai)空間和信息上(shang)的(de)(de)融(rong)合效果不理想。這限制了在(zai)特殊環境條件下，如(ru)光線較(jiao)弱(ruo)、煙霧和高溫(wen)環境中(zhong)的(de)(de)應用。

技術實現思路

1、針對(dui)現(xian)有(you)技術的(de)(de)不足，本發明提供了(le)一種紅外(wai)熱像儀和結構光(guang)相機的(de)(de)異構數據融合(he)方法，解決(jue)了(le)紅外(wai)熱像儀對(dui)于傳(chuan)統標(biao)志物難以(yi)進行標(biao)定的(de)(de)問題。

2、為實(shi)現以上(shang)目的，本發明通過(guo)以下技術方案予以實(shi)現：一種(zhong)紅外(wai)熱像(xiang)儀和結構光相(xiang)機的異構數據融合(he)方法，包(bao)括以下步驟(zou)：

3、設計并使用金(jin)屬(shu)自加熱立體標定靶，其具有(you)多個圓孔，且背面均勻布(bu)置有(you)電加熱片；

4、對通過紅外(wai)熱(re)像儀捕(bu)獲的金屬標定靶(ba)的圖像進行預處理；

5、對銳化(hua)后的(de)圖像使用霍(huo)夫梯度圓檢測算法進行圓心檢測，以確定圓孔(kong)的(de)位置；

6、根據圓(yuan)孔的位置進(jin)行內參(can)標定，求解相機的內參(can)矩(ju)陣；

7、使用得到的(de)內參矩陣(zhen)以及結構(gou)光相機采集(ji)的(de)點云(yun)數據，建立紅外熱像儀和結構(gou)光相機之間的(de)位姿關系，求解旋轉矩陣(zhen)和平(ping)移向量；

8、將點云數(shu)據(ju)(ju)映射到二維(wei)圖像上，并將溫(wen)度信息賦(fu)予相(xiang)應的(de)點云數(shu)據(ju)(ju)，以生成(cheng)帶有(you)溫(wen)度信息的(de)三(san)維(wei)模型，實現(xian)異構數(shu)據(ju)(ju)融合(he)。

9、優選的(de)，所述對通過紅外熱像儀捕獲的(de)金屬標定靶(ba)的(de)圖像進行預處(chu)理的(de)步(bu)驟(zou)包(bao)括使用高(gao)斯-拉普拉斯算子進行圖像銳化(hua)，包(bao)括：

10、以(x,y)為像素坐標，在圖像上應用以下高斯(si)-拉普(pu)拉斯(si)公(gong)式以進行(xing)邊緣增(zeng)強：

11、

12、其(qi)中，σ為高斯平滑(hua)核的標準差，控制濾波器(qi)的寬(kuan)度(du)(du)，用于(yu)調整圖像平滑(hua)程度(du)(du)和(he)邊緣檢測的靈敏度(du)(du)；

13、高斯函數定義為：

14、

15、用于對圖(tu)(tu)像進行平滑處理，減少(shao)圖(tu)(tu)像噪(zao)聲，使圖(tu)(tu)像中(zhong)的真實邊緣更加突出(chu)；

16、利用(yong)拉(la)普拉(la)斯(si)算子(zi)：

17、

18、執行圖像的(de)二階導數計算(suan)，用于檢測圖像中的(de)邊緣區域(yu)。

19、優選(xuan)的，所述對銳(rui)化(hua)后的圖(tu)像使(shi)用霍夫梯(ti)度(du)圓(yuan)檢測(ce)算法進行圓(yuan)心檢測(ce)，以確定圓(yuan)孔的位置的步驟包括(kuo)：

20、在(zai)圖像(xiang)中每個像(xiang)素點的(de)梯度(du)方向(xiang)上累(lei)積(ji)梯度(du)幅度(du)，形(xing)成霍夫(fu)空間(jian)，在(zai)霍夫(fu)空間(jian)中累(lei)積(ji)可(ke)能的(de)圓心(xin)位置和半徑信息(xi)；

21、使用參數化(hua)的(de)圓(yuan)(yuan)方(fang)程，在霍(huo)夫空(kong)間中(zhong)對每(mei)個可能的(de)圓(yuan)(yuan)心和半(ban)徑組合進行投票，累積(ji)投票數以確定最可能的(de)圓(yuan)(yuan)心位置(zhi)和半(ban)徑；

22、通(tong)過設置閾值(zhi)(zhi)(zhi)，篩選(xuan)出霍夫空(kong)間中的峰(feng)值(zhi)(zhi)(zhi)，這些(xie)峰(feng)值(zhi)(zhi)(zhi)對應于圖(tu)像中的圓心位置；

23、從篩選出的峰值中提取圓心的坐(zuo)標(biao)和半徑，完成圓心檢測。

24、優選的(de)，所述根據圓孔的(de)位置進行內(nei)參標定，求解相機的(de)內(nei)參矩陣(zhen)的(de)步驟(zou)包括：

25、收(shou)集(ji)多(duo)組圓孔(kong)的圖像坐標(biao)(biao)(u,v)和對應(ying)的已(yi)知世界坐標(biao)(biao)(x,y,z)；

26、使用針孔相機模(mo)型建立圖像(xiang)坐標與世(shi)界坐標之間的映射關(guan)系；

27、建立(li)透視投影方程：

28、

29、其中，s為(wei)(wei)(wei)縮放(fang)因子(zi)，f1為(wei)(wei)(wei)u軸方(fang)向上(shang)的歸(gui)一化焦(jiao)距，f2為(wei)(wei)(wei)v軸方(fang)向上(shang)的歸(gui)一化焦(jiao)距，m為(wei)(wei)(wei)3階矩(ju)陣(zhen)，為(wei)(wei)(wei)相(xiang)機投影(ying)矩(ju)陣(zhen)；k為(wei)(wei)(wei)3×4矩(ju)陣(zhen)，為(wei)(wei)(wei)相(xiang)機內參(can)矩(ju)陣(zhen)，由(you)參(can)數(shu)f1，f2，u0，v0確定，[r∣t]是世界坐(zuo)標(biao)系(xi)相(xiang)對于相(xiang)機坐(zuo)標(biao)系(xi)的位姿(zi)變換(huan)，為(wei)(wei)(wei)相(xiang)機外參(can)矩(ju)陣(zhen)；

30、通過線(xian)性(xing)化處(chu)理將非線(xian)性(xing)方程(cheng)轉化為線(xian)性(xing)方程(cheng)組；

31、應用最小二乘法求(qiu)解(jie)該(gai)線性方程組，從而獲(huo)得內參矩陣(zhen)k的參數，包括焦(jiao)距(fx,fy)和主點坐標(u0,v0)。

32、優選的(de)，所述(shu)使用(yong)得到的(de)內(nei)參(can)矩陣(zhen)以及結構光相(xiang)(xiang)機(ji)采集的(de)點云數據，建立紅(hong)外熱像(xiang)儀和結構光相(xiang)(xiang)機(ji)之間的(de)位姿關系，求解旋轉矩陣(zhen)和平(ping)移向量的(de)步驟包(bao)括(kuo)：

33、確定(ding)紅(hong)外熱像儀和結構光(guang)相機各自的坐(zuo)標(biao)系原點及坐(zuo)標(biao)軸方向(xiang)；

34、使用同名特(te)征點，在紅外圖像和(he)點云數(shu)據之間建立對應關系；

35、選擇(ze)多(duo)個已(yi)知的三(san)維點(dian)云位置作為參(can)考點(dian)，與紅外(wai)圖像中的相(xiang)應特(te)征(zheng)點(dian)匹(pi)配，形(xing)成點(dian)對；

36、使用這些點對作為輸入，進行外參的計算；

37、應用擴展的pnp算法求解外參(can)，該算法包括構建線性(xing)方程組(zu)來表示點(dian)云(yun)和圖像點(dian)之間的幾(ji)何關系，定義(yi)線性(xing)方程組(zu)如下：

38、

39、其中(zhong)，α,β,γ,δ,ε,ξ表示(shi)旋轉矩陣r中(zhong)的元素(su)，tx,ty表示(shi)平移(yi)向量(liang)中(zhong)的元素(su)；

40、使(shi)用(yong)最(zui)小二乘法(fa)求解上(shang)述線性(xing)方程組，得到外(wai)參r和(he)t的最(zui)優估(gu)計。

41、優選的，所述將點(dian)云數(shu)據映射到二維圖(tu)像上，并將溫(wen)度信息賦予(yu)相應的點(dian)云數(shu)據，以生(sheng)成帶有溫(wen)度信息的三維模型的步驟包括：

42、利(li)用求(qiu)得的(de)外參矩陣，將三維點(dian)云坐(zuo)標轉(zhuan)換為相應(ying)的(de)二維圖像坐(zuo)標；

43、使用相(xiang)機(ji)內參(can)矩陣(zhen)將三維(wei)坐(zuo)標投(tou)影(ying)到二維(wei)圖像平(ping)面上；

44、通過透視變換(huan)方程計算每個點云(yun)點的圖(tu)像坐標(u,v)，具體為(wei)：

45、

46、其中，s為縮放(fang)因子，x,y,z為點(dian)云的世界(jie)坐標，u,v為圖(tu)像坐標；

47、對(dui)于每(mei)個映射(she)到二(er)維圖(tu)像(xiang)上的(de)點云點，從對(dui)應的(de)紅外圖(tu)像(xiang)中提取(qu)溫(wen)度信息(xi)；

48、將(jiang)提取的(de)溫度信息賦值給相應的(de)三維(wei)點云(yun)(yun)點，形成帶有溫度屬性(xing)的(de)三維(wei)點云(yun)(yun)模型。

49、優選的，所述方(fang)法(fa)還包括(kuo)：對帶(dai)有(you)溫(wen)度信息(xi)的三(san)維模型進行(xing)渲染，使用色彩編碼來可視化不同(tong)溫(wen)度級別，以便更(geng)直觀地觀察溫(wen)度分布。

50、本發明(ming)還提供一種紅外(wai)熱像儀和結(jie)構(gou)光相機(ji)的(de)異構(gou)數(shu)據融合裝置(zhi)，包括：

51、紅(hong)外熱(re)像儀，配(pei)置有內(nei)參矩陣求(qiu)解模塊，用(yong)于捕捉具有溫度信息(xi)的(de)二(er)維(wei)圖像；

52、結構光(guang)相機(ji)，用于采集(ji)物體的三維點云數據(ju)；

53、金屬自加熱(re)立(li)體(ti)標(biao)定(ding)靶，設計有(you)多(duo)個(ge)圓孔，用于(yu)同時在(zai)紅外熱(re)像儀和結構光相機中提供可視化標(biao)定(ding)點(dian)；

54、圖像處理單(dan)元，包括：

55、銳化(hua)模(mo)塊，使用(yong)高(gao)斯-拉(la)普拉(la)斯算子處(chu)理紅外(wai)圖(tu)像以增強圖(tu)像邊緣；

56、霍夫梯度(du)圓檢測模塊，用于從銳化(hua)后的圖像中檢測并(bing)確定(ding)圓孔的位置；

57、數據(ju)融(rong)合單元，配置有(you)：

58、外參(can)求(qiu)解(jie)模(mo)塊，利用(yong)從圖像處理單元(yuan)獲得的圓孔位(wei)置及結構光(guang)相(xiang)機的點(dian)云(yun)數據，求(qiu)解(jie)紅外熱像儀與(yu)結構光(guang)相(xiang)機之間的位(wei)姿(zi)關系，包括旋轉矩(ju)陣和平移向(xiang)量；

59、點云映(ying)射模塊，將點云數據映(ying)射到二維圖像坐標，并將圖像中的(de)溫度信(xin)息賦(fu)予對應的(de)點云數據；

60、顯示單(dan)元，用于渲染并展(zhan)示帶有(you)溫度信息的(de)三維模型。

61、本(ben)發明提供了一種紅(hong)外熱像儀和結構光相機的異構數據融合(he)方法。具備以下(xia)有益效果：

62、1、本發明設計了(le)基于(yu)(yu)金(jin)屬(shu)自加熱立體(ti)標(biao)定(ding)靶的紅(hong)外熱像儀內參標(biao)定(ding)方法，解決了(le)紅(hong)外熱像儀對(dui)于(yu)(yu)傳統標(biao)志物(wu)難以進(jin)行標(biao)定(ding)的問題(ti)。基于(yu)(yu)高斯(si)—拉(la)(la)普(pu)拉(la)(la)斯(si)算子完(wan)成(cheng)圖(tu)像預處理，穩定(ding)了(le)成(cheng)像質量，降低了(le)標(biao)定(ding)誤(wu)差；結合霍夫梯度法，對(dui)圓(yuan)心(xin)進(jin)行檢測。

63、2、本發明設計了基(ji)于epnp算法(fa)的(de)相機(ji)外參(can)求解算法(fa)，實現了異構(gou)數(shu)據融合。兩種(zhong)數(shu)據相互補充，所(suo)建立的(de)三(san)(san)維(wei)溫度場模(mo)型(xing)既有溫度信息(xi)又有三(san)(san)維(wei)形貌(mao)信息(xi)，提高了信息(xi)的(de)可視化(hua)水平(ping)。

64、3、本發明結合了基于(yu)log算子的(de)圖像銳化(hua)、基于(yu)epnp算法的(de)紅(hong)外(wai)熱像儀與結構光(guang)(guang)相機的(de)外(wai)參求解，在保證紅(hong)外(wai)熱像儀成像質量的(de)同時，保證了金屬標(biao)定靶(ba)圓孔(kong)的(de)識別準確率，可(ke)以實(shi)現(xian)紅(hong)外(wai)熱像儀的(de)內參標(biao)定以及(ji)紅(hong)外(wai)熱像儀和結構光(guang)(guang)相機的(de)外(wai)參標(biao)定。