本公開涉及(ji)特征(zheng)融(rong)合(he)領域，尤其涉及(ji)一種(zhong)模型訓(xun)練方(fang)(fang)法、特征(zheng)融(rong)合(he)方(fang)(fang)法、裝置(zhi)、設備和介質。

背景技術：

1、隨著科技的不斷發展，大(da)多數(shu)車輛中將激(ji)光(guang)雷達傳感器和圖像傳感器進行融合使用，優勢互補，共同為車輛駕駛提供技術支撐。

2、現有技(ji)術中，特(te)(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)融合(he)方法(fa)為對圖(tu)像(xiang)傳(chuan)感器(qi)采集的數據進行特(te)(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)提取(qu)，得(de)到稠密(mi)(mi)圖(tu)像(xiang)特(te)(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)，對激(ji)光雷(lei)達(da)傳(chuan)感器(qi)采集的數據進行特(te)(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)提取(qu)，得(de)到激(ji)光雷(lei)達(da)特(te)(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)，將稠密(mi)(mi)圖(tu)像(xiang)特(te)(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)轉換到俯(fu)視圖(tu)(bird’s?eye?view，bev)空(kong)間下，得(de)到圖(tu)像(xiang)bev特(te)(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)，將圖(tu)像(xiang)bev特(te)(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)與激(ji)光雷(lei)達(da)特(te)(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)進行融合(he)，得(de)到融合(he)后的特(te)(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)，供車(che)輛中自動(dong)駕駛模塊(kuai)以(yi)及其(qi)它模塊(kuai)使用。上(shang)述方法(fa)中，由于特(te)(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)量較(jiao)多，導致計算(suan)量較(jiao)大(da)，計算(suan)時(shi)間較(jiao)長。

技術實現思路

1、為了(le)解決上述技術問題(ti)，本(ben)公開(kai)提供了(le)一種模型訓練方(fang)法、特征融合方(fang)法、裝置、設備(bei)和介(jie)質。

2、第一方面，本公(gong)開提供了(le)一種特(te)征(zheng)融合模型訓(xun)練方法，所(suo)述特(te)征(zheng)融合模型包括(kuo)(kuo)：圖像特(te)征(zheng)提取(qu)部(bu)分、激光(guang)特(te)征(zheng)提取(qu)部(bu)分、嵌(qian)入層以及融合部(bu)分，該方法包括(kuo)(kuo)：

3、將圖(tu)像樣(yang)本(ben)輸(shu)入至所述圖(tu)像特征提取(qu)部(bu)分，得到圖(tu)像特征；

4、將(jiang)雷(lei)達點(dian)云樣(yang)本輸(shu)入至(zhi)所述激光特征(zheng)(zheng)提取部分，得到激光特征(zheng)(zheng)；

5、通過所述(shu)嵌入層生(sheng)成俯視(shi)圖(tu)空間下預(yu)設(she)個數的初(chu)始(shi)向量(liang)和每個初(chu)始(shi)向量(liang)對應的初(chu)始(shi)點；

6、將所(suo)述圖(tu)像特(te)征、所(suo)述激光特(te)征、所(suo)述預設(she)個數的(de)初始向(xiang)量以及所(suo)有初始點(dian)輸入至所(suo)述融合(he)(he)部分，得到所(suo)述預設(she)個數的(de)目標融合(he)(he)向(xiang)量和所(suo)述預設(she)個數的(de)目標點(dian)；

7、基于預(yu)設損(sun)失函數，根據(ju)所述(shu)預(yu)設個數的(de)目標點(dian)和與(yu)所述(shu)目標點(dian)對應的(de)參考點(dian)，對所述(shu)特征(zheng)融合模型進行(xing)訓練，直到所述(shu)特征(zheng)融合模型收斂，得到目標特征(zheng)融合模型。

8、可選的(de)，所述融(rong)合部分包(bao)括一個融(rong)合模塊，所述融(rong)合模塊包(bao)括確(que)定單元(yuan)(yuan)、融(rong)合單元(yuan)(yuan)以及疊加單元(yuan)(yuan)；

9、所(suo)(suo)述(shu)(shu)將(jiang)所(suo)(suo)述(shu)(shu)圖像(xiang)特征、所(suo)(suo)述(shu)(shu)激光特征、所(suo)(suo)述(shu)(shu)預設個數(shu)(shu)的初(chu)始向(xiang)量以及所(suo)(suo)有(you)初(chu)始點輸入至所(suo)(suo)述(shu)(shu)融(rong)合部分，得(de)到(dao)所(suo)(suo)述(shu)(shu)預設個數(shu)(shu)的目標融(rong)合向(xiang)量和所(suo)(suo)述(shu)(shu)預設個數(shu)(shu)的目標點，包括：

10、針對每(mei)個初(chu)始點，通過所(suo)述(shu)(shu)確定單(dan)元從所(suo)述(shu)(shu)圖像特征(zheng)中確定與所(suo)述(shu)(shu)初(chu)始點對應的目標圖像特征(zheng)，以及(ji)從所(suo)述(shu)(shu)激光特征(zheng)中確定與所(suo)述(shu)(shu)初(chu)始點對應的目標激光特征(zheng)；

11、通過所(suo)述(shu)融(rong)合單(dan)元，對所(suo)述(shu)預設個數(shu)的(de)初始向量、所(suo)有(you)目(mu)標圖像特(te)征以及所(suo)有(you)目(mu)標激光特(te)征進行特(te)征融(rong)合，確(que)定所(suo)述(shu)預設個數(shu)的(de)目(mu)標融(rong)合向量和所(suo)述(shu)每個初始點(dian)對應的(de)偏移量；

12、針對每(mei)個(ge)初(chu)始點，通(tong)過(guo)所(suo)述(shu)(shu)疊加(jia)單元將所(suo)述(shu)(shu)初(chu)始點與所(suo)述(shu)(shu)初(chu)始點對應(ying)的偏移量相加(jia)，得(de)到所(suo)述(shu)(shu)初(chu)始點對應(ying)的目標點。

13、可選的，所述(shu)融(rong)合單(dan)元(yuan)包括(kuo)第(di)一編(bian)解碼網(wang)絡結構(gou)、第(di)二編(bian)解碼網(wang)絡結構(gou)以及預(yu)測結構(gou)；

14、所(suo)(suo)述(shu)(shu)(shu)通過所(suo)(suo)述(shu)(shu)(shu)融合單元，對所(suo)(suo)述(shu)(shu)(shu)預(yu)設(she)個數的(de)初始(shi)向量(liang)、所(suo)(suo)有(you)目(mu)標圖像特(te)(te)征以及所(suo)(suo)有(you)目(mu)標激(ji)光特(te)(te)征進行特(te)(te)征融合，確定(ding)所(suo)(suo)述(shu)(shu)(shu)預(yu)設(she)個數的(de)目(mu)標融合向量(liang)和所(suo)(suo)述(shu)(shu)(shu)每(mei)個初始(shi)點(dian)對應的(de)偏移量(liang)，包括：

15、通過所述(shu)第一編解碼網絡結構，對所述(shu)預設(she)(she)個(ge)數的(de)初始(shi)向(xiang)量和所有目標圖像特征進行特征融合，得到所述(shu)預設(she)(she)個(ge)數的(de)初始(shi)融合向(xiang)量；

16、通(tong)過所述第(di)二編解碼網絡(luo)結構，對所述預設個數的初始融合(he)向量和所有(you)目標(biao)激光特征進行特征融合(he)，得到(dao)所述預設個數的目標(biao)融合(he)向量；

17、通過所(suo)述(shu)預(yu)測(ce)結構(gou)，對所(suo)述(shu)目(mu)標融合向量進行預(yu)測(ce)，得到所(suo)述(shu)每(mei)個(ge)初始點對應的偏移量。

18、可選的(de)，所述(shu)融合部(bu)分包括至少兩個(ge)融合模(mo)塊(kuai)，每個(ge)融合模(mo)塊(kuai)結構相同(tong)，且相鄰融合模(mo)塊(kuai)之間通過串聯方式相連；

19、所(suo)(suo)(suo)述(shu)(shu)將所(suo)(suo)(suo)述(shu)(shu)圖(tu)像特征(zheng)、所(suo)(suo)(suo)述(shu)(shu)激光特征(zheng)、所(suo)(suo)(suo)述(shu)(shu)預(yu)設個數(shu)的(de)初(chu)始(shi)向量以及所(suo)(suo)(suo)有(you)初(chu)始(shi)點輸入至所(suo)(suo)(suo)述(shu)(shu)融合部分，得(de)到(dao)所(suo)(suo)(suo)述(shu)(shu)預(yu)設個數(shu)的(de)目標融合向量和所(suo)(suo)(suo)述(shu)(shu)預(yu)設個數(shu)的(de)目標點，包括：

20、將上(shang)一個(ge)融(rong)(rong)合模塊(kuai)輸出的(de)所述(shu)(shu)預(yu)設(she)(she)個(ge)數的(de)目標融(rong)(rong)合向量確定為所述(shu)(shu)預(yu)設(she)(she)個(ge)數的(de)初始(shi)向量，以(yi)及將上(shang)一個(ge)融(rong)(rong)合模塊(kuai)輸出的(de)所述(shu)(shu)預(yu)設(she)(she)個(ge)數的(de)目標點(dian)確定為所述(shu)(shu)預(yu)設(she)(she)個(ge)數的(de)初始(shi)點(dian)；

21、將所(suo)述(shu)(shu)圖像(xiang)特征、所(suo)述(shu)(shu)激光特征、所(suo)述(shu)(shu)預設(she)(she)個(ge)數(shu)的(de)初始向量以(yi)及所(suo)述(shu)(shu)預設(she)(she)個(ge)數(shu)的(de)初始點(dian)輸入至下(xia)一個(ge)融合(he)(he)模(mo)塊，直至最后一個(ge)融合(he)(he)模(mo)塊得到輸出結果后，將所(suo)述(shu)(shu)最后一個(ge)融合(he)(he)模(mo)塊的(de)輸出結果確定為所(suo)述(shu)(shu)融合(he)(he)部(bu)分(fen)輸出的(de)所(suo)述(shu)(shu)預設(she)(she)個(ge)數(shu)的(de)目標融合(he)(he)向量和所(suo)述(shu)(shu)預設(she)(she)個(ge)數(shu)的(de)目標點(dian)。

22、可(ke)選的，所(suo)述(shu)針對每個初(chu)(chu)始點(dian)，通過(guo)所(suo)述(shu)確定(ding)(ding)單元從所(suo)述(shu)圖像(xiang)特征(zheng)中(zhong)確定(ding)(ding)與所(suo)述(shu)初(chu)(chu)始點(dian)對應的目標圖像(xiang)特征(zheng)，以及從所(suo)述(shu)激光特征(zheng)中(zhong)確定(ding)(ding)與所(suo)述(shu)初(chu)(chu)始點(dian)對應的目標激光特征(zheng)，包(bao)括：

23、針(zhen)對每(mei)個初始(shi)點，通過所(suo)述(shu)(shu)確定單(dan)元，根(gen)據圖(tu)像傳感器的(de)(de)參數(shu)，將所(suo)述(shu)(shu)初始(shi)點投影至所(suo)述(shu)(shu)圖(tu)像特征所(suo)處的(de)(de)空間(jian)，得到與所(suo)述(shu)(shu)初始(shi)點對應(ying)的(de)(de)目標(biao)圖(tu)像特征；

24、針對(dui)每個初(chu)始(shi)(shi)點，通過所(suo)述確(que)定(ding)單元，根據激(ji)(ji)光(guang)(guang)雷達傳感器的(de)參數，將所(suo)述初(chu)始(shi)(shi)點投影至所(suo)述激(ji)(ji)光(guang)(guang)特(te)征所(suo)處(chu)的(de)空間，得(de)到與所(suo)述初(chu)始(shi)(shi)點對(dui)應的(de)目標激(ji)(ji)光(guang)(guang)特(te)征。

25、第(di)二方面，本公開提供(gong)了(le)一種特征融合方法，該方法包括：

26、獲取圖像數(shu)據和雷達(da)點云數(shu)據，其中，所(suo)述(shu)圖像數(shu)據和所(suo)述(shu)雷達(da)點云數(shu)據是用于進(jin)行特征融(rong)合的數(shu)據；

27、將所(suo)述圖(tu)像(xiang)數據和所(suo)述雷達(da)點云數據輸入目(mu)標特征融(rong)合模(mo)型中(zhong)，得(de)到預測的(de)(de)融(rong)合向量，其中(zhong)，所(suo)述目(mu)標特征融(rong)合模(mo)型基于如第一(yi)方面所(suo)述的(de)(de)方法訓練得(de)到。

28、第三方面，本公開提(ti)供(gong)了一種特(te)征(zheng)融(rong)合(he)模(mo)型訓練裝(zhuang)置，所(suo)述特(te)征(zheng)融(rong)合(he)模(mo)型包括：圖(tu)像特(te)征(zheng)提(ti)取部(bu)分(fen)(fen)、激光特(te)征(zheng)提(ti)取部(bu)分(fen)(fen)、嵌入層以及融(rong)合(he)部(bu)分(fen)(fen)，該裝(zhuang)置包括：

29、第一確定模(mo)塊，用(yong)于將圖像(xiang)樣本(ben)輸入至(zhi)所述圖像(xiang)特征(zheng)提(ti)取部分(fen)，得(de)到圖像(xiang)特征(zheng)；

30、第二確(que)定模塊，用(yong)于將雷(lei)達點云樣本輸入至所(suo)述激光特(te)征提取部分(fen)，得(de)到(dao)激光特(te)征；

31、生成(cheng)模塊(kuai)，用于通過所述嵌入(ru)層生成(cheng)俯視圖空間下(xia)預設個數的初始向(xiang)(xiang)量和(he)每個初始向(xiang)(xiang)量對應的初始點；

32、第三確(que)定(ding)模塊，用于(yu)將所(suo)(suo)(suo)(suo)述(shu)圖(tu)像(xiang)特(te)(te)征(zheng)、所(suo)(suo)(suo)(suo)述(shu)激光特(te)(te)征(zheng)、所(suo)(suo)(suo)(suo)述(shu)預(yu)設(she)(she)個(ge)數的(de)初始向量以及所(suo)(suo)(suo)(suo)有初始點輸(shu)入至所(suo)(suo)(suo)(suo)述(shu)融(rong)合(he)部(bu)分，得到所(suo)(suo)(suo)(suo)述(shu)預(yu)設(she)(she)個(ge)數的(de)目(mu)標融(rong)合(he)向量和所(suo)(suo)(suo)(suo)述(shu)預(yu)設(she)(she)個(ge)數的(de)目(mu)標點；

33、訓練模塊(kuai)，用于(yu)基于(yu)預(yu)設損失(shi)函數，根據所述預(yu)設個數的目(mu)標(biao)點(dian)和與所述目(mu)標(biao)點(dian)對應的參考點(dian)，對所述特征(zheng)融(rong)合模型進行訓練，直到所述特征(zheng)融(rong)合模型收斂(lian)，得到目(mu)標(biao)特征(zheng)融(rong)合模型。

34、可選(xuan)的，所述融(rong)合(he)部(bu)分包括一個融(rong)合(he)模塊，所述融(rong)合(he)模塊包括確定(ding)單元(yuan)、融(rong)合(he)單元(yuan)以及疊(die)加單元(yuan)；

35、所述(shu)(shu)確(que)(que)定(ding)單(dan)元，用于針對(dui)(dui)每個初始(shi)(shi)點，從(cong)所述(shu)(shu)圖(tu)像(xiang)特(te)征(zheng)中(zhong)(zhong)確(que)(que)定(ding)與(yu)所述(shu)(shu)初始(shi)(shi)點對(dui)(dui)應(ying)的(de)目標圖(tu)像(xiang)特(te)征(zheng)，以及從(cong)所述(shu)(shu)激光特(te)征(zheng)中(zhong)(zhong)確(que)(que)定(ding)與(yu)所述(shu)(shu)初始(shi)(shi)點對(dui)(dui)應(ying)的(de)目標激光特(te)征(zheng)；

36、所述(shu)融合單元，用于對(dui)所述(shu)預設(she)個數的初始向量(liang)、所有目(mu)標圖像特征(zheng)(zheng)以及所有目(mu)標激光特征(zheng)(zheng)進行特征(zheng)(zheng)融合，確(que)定所述(shu)預設(she)個數的目(mu)標融合向量(liang)和所述(shu)每個初始點對(dui)應的偏移量(liang)；

37、所述(shu)疊(die)加單元，用于針對(dui)每個初(chu)(chu)始(shi)點(dian)，將所述(shu)初(chu)(chu)始(shi)點(dian)與(yu)所述(shu)初(chu)(chu)始(shi)點(dian)對(dui)應的偏(pian)移量(liang)相(xiang)加，得到(dao)所述(shu)初(chu)(chu)始(shi)點(dian)對(dui)應的目標(biao)點(dian)。

38、可選的，所述融合單元包(bao)括第一編解碼(ma)網(wang)絡結(jie)構(gou)、第二編解碼(ma)網(wang)絡結(jie)構(gou)以及預測(ce)結(jie)構(gou)；

39、所(suo)述第一編解碼網絡(luo)結構，用于對(dui)所(suo)述預(yu)設個數的初(chu)始(shi)向(xiang)量和所(suo)有目標圖像特征進行(xing)特征融合，得到所(suo)述預(yu)設個數的初(chu)始(shi)融合向(xiang)量；

40、所述第二(er)編解(jie)碼網絡結構，用于(yu)對所述預設(she)個數(shu)的初始融(rong)(rong)合向量(liang)和所有目標激光(guang)特(te)(te)征進行特(te)(te)征融(rong)(rong)合，得到(dao)所述預設(she)個數(shu)的目標融(rong)(rong)合向量(liang)；

41、所述預測(ce)結構，用于(yu)對(dui)(dui)所述目標融合向量進行預測(ce)，得到所述每個(ge)初始(shi)點(dian)對(dui)(dui)應的偏(pian)移量。

42、可(ke)選的，所述融(rong)合部(bu)分包括至少(shao)兩(liang)個(ge)融(rong)合模塊(kuai)，每(mei)個(ge)融(rong)合模塊(kuai)結構相同，且相鄰融(rong)合模塊(kuai)之(zhi)間通(tong)過串(chuan)聯(lian)方(fang)式(shi)相連；

43、第三(san)確定模塊，具(ju)體(ti)用于：

44、將(jiang)上一個(ge)(ge)融(rong)合(he)模(mo)塊輸出的(de)所(suo)述(shu)預(yu)設(she)個(ge)(ge)數(shu)(shu)的(de)目(mu)標融(rong)合(he)向量確(que)定為所(suo)述(shu)預(yu)設(she)個(ge)(ge)數(shu)(shu)的(de)初(chu)始向量，以(yi)及將(jiang)上一個(ge)(ge)融(rong)合(he)模(mo)塊輸出的(de)所(suo)述(shu)預(yu)設(she)個(ge)(ge)數(shu)(shu)的(de)目(mu)標點確(que)定為所(suo)述(shu)預(yu)設(she)個(ge)(ge)數(shu)(shu)的(de)初(chu)始點；

45、將(jiang)所(suo)(suo)(suo)述(shu)圖像特征、所(suo)(suo)(suo)述(shu)激光特征、所(suo)(suo)(suo)述(shu)預(yu)設(she)(she)個(ge)(ge)數的(de)(de)(de)初(chu)始向量以及所(suo)(suo)(suo)述(shu)預(yu)設(she)(she)個(ge)(ge)數的(de)(de)(de)初(chu)始點(dian)輸(shu)(shu)入至(zhi)下一個(ge)(ge)融(rong)合(he)(he)模塊，直至(zhi)最后(hou)(hou)一個(ge)(ge)融(rong)合(he)(he)模塊得(de)到輸(shu)(shu)出結果(guo)后(hou)(hou)，將(jiang)所(suo)(suo)(suo)述(shu)最后(hou)(hou)一個(ge)(ge)融(rong)合(he)(he)模塊的(de)(de)(de)輸(shu)(shu)出結果(guo)確定(ding)為所(suo)(suo)(suo)述(shu)融(rong)合(he)(he)部(bu)分輸(shu)(shu)出的(de)(de)(de)所(suo)(suo)(suo)述(shu)預(yu)設(she)(she)個(ge)(ge)數的(de)(de)(de)目標融(rong)合(he)(he)向量和所(suo)(suo)(suo)述(shu)預(yu)設(she)(she)個(ge)(ge)數的(de)(de)(de)目標點(dian)。

46、可選的，確定單(dan)元，具(ju)體(ti)用于：

47、針(zhen)對每個初(chu)始(shi)(shi)(shi)點(dian)(dian)，通過所述(shu)(shu)確定單(dan)元，根據圖(tu)像傳(chuan)感器的(de)參數，將所述(shu)(shu)初(chu)始(shi)(shi)(shi)點(dian)(dian)投影至所述(shu)(shu)圖(tu)像特征所處的(de)空(kong)間，得(de)到與所述(shu)(shu)初(chu)始(shi)(shi)(shi)點(dian)(dian)對應的(de)目標圖(tu)像特征；

48、針對每個初(chu)始點，通過(guo)所(suo)述(shu)(shu)確定單(dan)元，根據激(ji)光(guang)(guang)雷達傳感器的(de)參數，將所(suo)述(shu)(shu)初(chu)始點投(tou)影至所(suo)述(shu)(shu)激(ji)光(guang)(guang)特(te)征(zheng)所(suo)處的(de)空(kong)間，得(de)到與所(suo)述(shu)(shu)初(chu)始點對應的(de)目標激(ji)光(guang)(guang)特(te)征(zheng)。

49、第四方面，本(ben)公開(kai)提供了(le)一種特征融合裝(zhuang)置，該裝(zhuang)置包括：

50、獲(huo)取模塊，用于獲(huo)取圖像數(shu)據(ju)和雷達點云(yun)數(shu)據(ju)，其中，所述(shu)圖像數(shu)據(ju)和所述(shu)雷達點云(yun)數(shu)據(ju)是用于進行特征融合的數(shu)據(ju)；

51、第(di)(di)四確定模(mo)塊，用于將所述(shu)圖像數(shu)據和所述(shu)雷達點(dian)云數(shu)據輸入目標特征(zheng)(zheng)融合模(mo)型(xing)中，得到預測的(de)融合向(xiang)量，其中，所述(shu)目標特征(zheng)(zheng)融合模(mo)型(xing)基于如第(di)(di)一方(fang)面所述(shu)的(de)方(fang)法訓練得到。

52、第五方面，本公開還提供(gong)了一(yi)種(zhong)電子(zi)設備(bei)，包括：

53、一(yi)個或多個處理器；

54、存儲裝置，用(yong)于(yu)存儲一個或多個程(cheng)序(xu)，

55、當(dang)所述(shu)一(yi)個(ge)或(huo)多個(ge)程序被所述(shu)一(yi)個(ge)或(huo)多個(ge)處理(li)器(qi)執行，使得(de)所述(shu)一(yi)個(ge)或(huo)多個(ge)處理(li)器(qi)實(shi)現(xian)如(ru)第一(yi)方面所述(shu)的(de)特征(zheng)融合模型(xing)訓練方法(fa)，或(huo)者第二方面所述(shu)的(de)特征(zheng)融合方法(fa)。

56、第六方(fang)面(mian)，本公(gong)開還(huan)提供了一(yi)種計算機可讀存(cun)儲(chu)介質，其上存(cun)儲(chu)有計算機程序，該程序被處理器(qi)執行時(shi)實現如第一(yi)方(fang)面(mian)所述的特(te)征(zheng)融(rong)合模型訓(xun)練方(fang)法，或(huo)者第二(er)方(fang)面(mian)所述的特(te)征(zheng)融(rong)合方(fang)法。

57、本公開實施例提供的(de)(de)技術方案(an)與現有(you)技術相比具有(you)如下(xia)優點(dian)(dian)(dian)(dian)(dian)(dian)：將圖像(xiang)(xiang)樣(yang)(yang)本輸(shu)(shu)入(ru)至圖像(xiang)(xiang)特(te)(te)(te)征提取部分，得(de)(de)到(dao)(dao)圖像(xiang)(xiang)特(te)(te)(te)征；將雷(lei)達點(dian)(dian)(dian)(dian)(dian)(dian)云樣(yang)(yang)本輸(shu)(shu)入(ru)至激光特(te)(te)(te)征提取部分，得(de)(de)到(dao)(dao)激光特(te)(te)(te)征；通過嵌入(ru)層生成俯視圖空間下(xia)預(yu)(yu)(yu)設(she)(she)個(ge)數的(de)(de)初(chu)(chu)始(shi)(shi)向量(liang)和(he)每(mei)個(ge)初(chu)(chu)始(shi)(shi)向量(liang)對(dui)應(ying)(ying)的(de)(de)初(chu)(chu)始(shi)(shi)點(dian)(dian)(dian)(dian)(dian)(dian)；將圖像(xiang)(xiang)特(te)(te)(te)征、激光特(te)(te)(te)征、預(yu)(yu)(yu)設(she)(she)個(ge)數的(de)(de)初(chu)(chu)始(shi)(shi)向量(liang)以(yi)及(ji)所(suo)有(you)初(chu)(chu)始(shi)(shi)點(dian)(dian)(dian)(dian)(dian)(dian)輸(shu)(shu)入(ru)至融(rong)(rong)(rong)(rong)(rong)合(he)(he)部分，得(de)(de)到(dao)(dao)預(yu)(yu)(yu)設(she)(she)個(ge)數的(de)(de)目標融(rong)(rong)(rong)(rong)(rong)合(he)(he)向量(liang)和(he)預(yu)(yu)(yu)設(she)(she)個(ge)數的(de)(de)目標點(dian)(dian)(dian)(dian)(dian)(dian)；基(ji)于預(yu)(yu)(yu)設(she)(she)損(sun)失函(han)數，根據預(yu)(yu)(yu)設(she)(she)個(ge)數的(de)(de)目標點(dian)(dian)(dian)(dian)(dian)(dian)和(he)與目標點(dian)(dian)(dian)(dian)(dian)(dian)對(dui)應(ying)(ying)的(de)(de)參考點(dian)(dian)(dian)(dian)(dian)(dian)，對(dui)特(te)(te)(te)征融(rong)(rong)(rong)(rong)(rong)合(he)(he)模型(xing)(xing)進行(xing)(xing)訓(xun)練，直(zhi)到(dao)(dao)特(te)(te)(te)征融(rong)(rong)(rong)(rong)(rong)合(he)(he)模型(xing)(xing)收斂，得(de)(de)到(dao)(dao)目標特(te)(te)(te)征融(rong)(rong)(rong)(rong)(rong)合(he)(he)模型(xing)(xing)，上述技術方案(an)中，通過在特(te)(te)(te)征融(rong)(rong)(rong)(rong)(rong)合(he)(he)模型(xing)(xing)訓(xun)練過程中增加初(chu)(chu)始(shi)(shi)向量(liang)和(he)初(chu)(chu)始(shi)(shi)點(dian)(dian)(dian)(dian)(dian)(dian)，通過初(chu)(chu)始(shi)(shi)向量(liang)、初(chu)(chu)始(shi)(shi)點(dian)(dian)(dian)(dian)(dian)(dian)、圖像(xiang)(xiang)樣(yang)(yang)本以(yi)及(ji)雷(lei)達點(dian)(dian)(dian)(dian)(dian)(dian)云樣(yang)(yang)本對(dui)特(te)(te)(te)征融(rong)(rong)(rong)(rong)(rong)合(he)(he)模型(xing)(xing)進行(xing)(xing)訓(xun)練，能夠減少待(dai)融(rong)(rong)(rong)(rong)(rong)合(he)(he)特(te)(te)(te)征的(de)(de)計(ji)算量(liang)，提高(gao)訓(xun)練效率，節省(sheng)時間，有(you)利于得(de)(de)到(dao)(dao)準確(que)的(de)(de)融(rong)(rong)(rong)(rong)(rong)合(he)(he)特(te)(te)(te)征。