本發(fa)明涉及相機(ji)外(wai)參(can)標定技術(shu)，尤(you)其涉及一種(zhong)基于場景(jing)紋理信息(xi)標定相機(ji)外(wai)參(can)的方法(fa)及系統、存儲介質(zhi)。

背景技術：

1、

2、在(zai)無人叉車領域(yu)，相機的應用范圍廣泛，可用于棧板識(shi)別、運動避(bi)障等關鍵(jian)功能(neng)。在(zai)這些功能(neng)中(zhong)，相機的安裝位置標(biao)定尤為重要。

3、通常情況下，為了確定(ding)(ding)相(xiang)機在(zai)叉車(che)中的(de)三維空間位置和姿態，需要使用(yong)標(biao)(biao)(biao)定(ding)(ding)板或(huo)其他標(biao)(biao)(biao)記進行外參標(biao)(biao)(biao)定(ding)(ding)。然而，在(zai)實際(ji)應用(yong)中，使用(yong)標(biao)(biao)(biao)定(ding)(ding)板存在(zai)一定(ding)(ding)的(de)限制(zhi)，比如需要預先(xian)安(an)裝標(biao)(biao)(biao)定(ding)(ding)板，并且在(zai)操作過程中可(ke)能會受到(dao)遮擋或(huo)損壞的(de)影響。

4、因此(ci)如(ru)何(he)在不依賴于標(biao)定板或標(biao)記的(de)條(tiao)件下，準(zhun)確的(de)標(biao)定出載具上該相機的(de)外參，這對于本領域技術人(ren)員來說是一項難題(ti)。

技術實現思路

1、

2、為此(ci)，本發明的主要目(mu)的在(zai)于提(ti)供一種基于場景紋(wen)理(li)信息標定相機外參的方法及系統(tong)、存(cun)儲介質(zhi)，以(yi)解決背景技(ji)術(shu)中(zhong)提(ti)到的難題。

3、為了(le)實現上述目的，根據(ju)本發(fa)明的一個方面(mian)，提供了(le)一種基于(yu)場景(jing)紋理信(xin)息標(biao)定相機外參的方法，步驟(zou)包括：

4、步驟s100移動相機載具沿標定軌(gui)跡移動，采集標定軌(gui)跡上各預(yu)設采樣點處(chu)的圖(tu)像及里程數(shu)據；

5、步驟s200對(dui)初(chu)始(shi)前后幀圖像做(zuo)特征(zheng)匹配(pei)處理，推導初(chu)始(shi)相(xiang)機位(wei)姿，并對(dui)匹配(pei)出的相(xiang)似(si)特征(zheng)點(dian)對(dui)進行三(san)角(jiao)化處理，獲取視覺(jue)地圖點(dian)；

6、步驟s300按時序將后(hou)續幀圖(tu)像與視覺地圖(tu)點進(jin)行特征(zheng)匹配(pei)處(chu)理(li)，確(que)定后(hou)續幀的相(xiang)對(dui)位(wei)置(zhi)關系，并通過pnp算法獲取對(dui)應的相(xiang)機位(wei)姿；

7、步驟(zou)s400根據各采樣點對應的(de)(de)相機(ji)位姿及(ji)里程數據變化，計算出相機(ji)在里程坐標系中的(de)(de)外參。

8、在可能(neng)的(de)優選(xuan)實(shi)施方式中，所述的(de)基于場景紋理信息標(biao)定相機外(wai)參的(de)方法，其中步驟還包括：

9、步驟(zou)s210依(yi)據初始前后幀圖像特征點構建(jian)視覺殘(can)差，基于視覺殘(can)差經捆綁(bang)調(diao)整(zheng)算法調(diao)整(zheng)初始相機位姿，并優化視覺地圖點。

10、在可能的優選實施方式中(zhong)，所(suo)述的基于場(chang)景(jing)紋(wen)理(li)信息標定(ding)相機外參的方法，其中(zhong)步驟還(huan)包括：

11、步(bu)驟s310按時(shi)序對(dui)后續幀(zhen)與其前幀(zhen)圖像進行(xing)特征匹配(pei)處理，對(dui)匹配(pei)出的相似特征點(dian)對(dui)進行(xing)三(san)角化(hua)處理，獲取后續幀(zhen)視覺地(di)圖點(dian)，與已知視覺地(di)圖點(dian)整合，作為之后圖像的特征匹配(pei)對(dui)象；

12、步驟s320循(xun)環(huan)步驟s300至(zhi)s310直至(zhi)獲得所(suo)有采(cai)樣(yang)點對應的相機位姿。

13、在(zai)可能(neng)的優選實(shi)施方(fang)式中，所述的基(ji)于(yu)場(chang)景紋理(li)信息標(biao)定相(xiang)機外參的方(fang)法(fa)，其中步驟還包(bao)括：

14、步驟s310按時序對后續幀(zhen)與(yu)其前(qian)幀(zhen)圖像進(jin)行特征匹配(pei)處理，對匹配(pei)出的(de)相似特征點對進(jin)行三(san)角化(hua)處理，獲取后續幀(zhen)視覺地圖點；

15、步驟s320依據相似特(te)(te)征點(dian)對構(gou)建視覺(jue)(jue)殘差，基于視覺(jue)(jue)殘差經(jing)捆綁調整算法調整后(hou)續(xu)幀(zhen)的相機位(wei)姿，并優化后(hou)續(xu)幀(zhen)視覺(jue)(jue)地(di)圖點(dian)后(hou)，與(yu)已知視覺(jue)(jue)地(di)圖點(dian)整合，作(zuo)為之后(hou)圖像(xiang)的特(te)(te)征匹配對象；

16、步(bu)驟s330循環步(bu)驟s300至s320直(zhi)至獲得所有采樣點對(dui)應的相(xiang)機位姿。

17、在可能的優選實(shi)施方式中(zhong)，其中(zhong)步驟(zou)s200中(zhong)推(tui)導初始(shi)相機位姿的步驟(zou)包(bao)括：

18、提取初始前后幀圖像(xiang)的特征點和描述(shu)子進行暴力匹配；

19、根據匹(pi)配(pei)得分，篩(shai)除(chu)得分小(xiao)于預設閾值的匹(pi)配(pei)對(dui)(dui)(dui)，以獲取相似(si)特(te)征點對(dui)(dui)(dui)進(jin)行對(dui)(dui)(dui)極約束推導，獲取初始幀(zhen)圖像與其相鄰幀(zhen)圖像之間的相對(dui)(dui)(dui)位(wei)置關(guan)系，作為初始相機位(wei)姿。

20、在可(ke)能的優選(xuan)實施(shi)方式中，其(qi)中所述標定軌跡(ji)為(wei)弓形軌跡(ji)。

21、在可能(neng)的優選實(shi)施方式中(zhong)，其(qi)中(zhong)步驟(zou)s400中(zhong)外參計算步驟(zou)包括：

22、步(bu)驟s410設、分別為(wei)(wei)相(xiang)機在里程坐(zuo)標系下的(de)旋轉姿(zi)(zi)態及(ji)平移，為(wei)(wei)第個采樣點相(xiang)機位姿(zi)(zi)，為(wei)(wei)在第個采樣點里程數據，和(he)分別為(wei)(wei)兩(liang)個相(xiang)鄰圖像幀之間的(de)變化量(liang)，和(he)分別為(wei)(wei)兩(liang)個相(xiang)鄰里程之間的(de)變化量(liang)，根(gen)據經典手(shou)眼標定建立公(gong)式：

23、

24、其(qi)中為旋(xuan)轉矩陣的四元(yuan)數(shu)形式：

25、

26、其(qi)中分別為里程坐標系下沿(yan)、y、x軸(zhou)旋轉的角度(du)；

27、步驟s420分別解算(suan)公式中的(de)、，獲取里(li)程坐標(biao)系(xi)下(xia)的(de)相機橫滾(gun)角度(du)和(he)俯仰角度(du)偏(pian)航(hang)角和(he)安裝位置(，)作(zuo)為相機外參(can)。

28、在可能的優選(xuan)實施方式中(zhong)(zhong)，其中(zhong)(zhong)步(bu)驟(zou)s400中(zhong)(zhong)外參計算(suan)步(bu)驟(zou)還包括(kuo)：

29、步驟(zou)s430?對步驟(zou)s420獲得的(de)相(xiang)機外參進行非(fei)線性最(zui)小二乘計算，以優(you)化相(xiang)機外參：

30、計算；

31、其中。

32、為了(le)實現上(shang)(shang)述目的(de)(de)(de)(de)，對應上(shang)(shang)述方(fang)法，根據本(ben)發明的(de)(de)(de)(de)另一(yi)方(fang)面，還提供了(le)一(yi)種基于場(chang)景(jing)紋(wen)理信息標(biao)定相機(ji)(ji)外參的(de)(de)(de)(de)系(xi)統，其包(bao)括：包(bao)括存儲(chu)(chu)器、處(chu)理器以及(ji)存儲(chu)(chu)在(zai)所(suo)述存儲(chu)(chu)器中并可(ke)在(zai)所(suo)述處(chu)理器上(shang)(shang)運行的(de)(de)(de)(de)計(ji)(ji)算機(ji)(ji)程(cheng)序，其中所(suo)述處(chu)理器執行所(suo)述計(ji)(ji)算機(ji)(ji)程(cheng)序時，所(suo)述系(xi)統實現如上(shang)(shang)任一(yi)所(suo)述基于場(chang)景(jing)紋(wen)理信息標(biao)定相機(ji)(ji)外參的(de)(de)(de)(de)步(bu)驟(zou)。

33、為了實現上述(shu)目的，對應上述(shu)方(fang)(fang)法，根據本發明(ming)的另(ling)一(yi)方(fang)(fang)面，還提供了一(yi)種計算機可(ke)讀(du)(du)存(cun)儲(chu)介(jie)質(zhi)，所述(shu)計算機可(ke)讀(du)(du)存(cun)儲(chu)介(jie)質(zhi)存(cun)儲(chu)有計算機程序，其中所述(shu)計算機程序被執行時，實現如上任一(yi)所述(shu)基于場景紋理信息(xi)標(biao)定相機外(wai)參(can)的方(fang)(fang)法的步驟。

34、通過本發明提(ti)供的(de)該(gai)基(ji)于場景(jing)(jing)紋理(li)信息(xi)標定相機(ji)外參(can)的(de)方(fang)法(fa)及系統、存儲介質，巧妙的(de)提(ti)出了(le)一種三維重建方(fang)案，以(yi)通過對(dui)沿途采集(ji)的(de)圖像序列中(zhong)的(de)特征(zheng)點(dian)進行三角化、局(ju)部視(shi)覺地圖點(dian)的(de)創建和捆綁調整(zheng)，實(shi)現(xian)了(le)對(dui)相機(ji)位姿信息(xi)的(de)準確估計，從而在與(yu)相機(ji)移動過程中(zhong)的(de)載具(ju)里程數據結合后，可以(yi)準確的(de)計算出相機(ji)外參(can)，以(yi)實(shi)現(xian)利用(yong)自然場景(jing)(jing)的(de)紋理(li)信息(xi)來對(dui)相機(ji)的(de)外參(can)進行標定，籍(ji)此(ci)實(shi)現(xian)無需使用(yong)標定板(ban)或(huo)其他標記(ji)物(wu)來對(dui)相機(ji)外參(can)標定，減少了(le)標定過程的(de)復(fu)雜性和成本，提(ti)高(gao)了(le)操(cao)作的(de)便利性和靈活性，并(bing)因此(ci)具(ju)有更(geng)廣(guang)泛的(de)適(shi)用(yong)性。

技術特征：

1.一種基于場景(jing)紋理信(xin)息標(biao)定相機外參的方(fang)法，步(bu)驟包括：

2.根據權(quan)利要求1所(suo)述(shu)的基于場景紋理信(xin)息標定相機外(wai)參(can)的方法，其(qi)中步驟(zou)還(huan)包括(kuo)：

3.根據(ju)權利要求1或(huo)2任(ren)一所述的基于場景紋(wen)理信息(xi)標(biao)定(ding)相機外參的方(fang)法，其中步驟(zou)還包括(kuo)：

4.根據權利要求(qiu)1或(huo)2任(ren)一所述的(de)(de)基于場景紋理信息標定相機外參的(de)(de)方法，其中步(bu)驟還包(bao)括(kuo)：

5.根據權利(li)要求1所述(shu)的基(ji)于場景紋(wen)理信息標(biao)定(ding)相機外參(can)的方法，其(qi)中步(bu)驟s200中推導初始相機位姿的步(bu)驟包括：

6.根據權利要求1所述(shu)的基于場景(jing)紋理信息標定相機(ji)外參(can)的方(fang)法，其中所述(shu)標定軌跡(ji)為弓形軌跡(ji)。

7.根據權利要求1所(suo)述的基(ji)于場(chang)景紋理信息標定相(xiang)機外(wai)參(can)的方法，其中步驟s400中外(wai)參(can)計算步驟包括：

8.根據權利要求7所(suo)述的(de)基于場景(jing)紋理信息標定(ding)相機外(wai)(wai)參(can)的(de)方法，其中(zhong)步驟s400中(zhong)外(wai)(wai)參(can)計算(suan)步驟還包(bao)括：

9.一種(zhong)基于場景(jing)(jing)紋理(li)信息標定(ding)相機(ji)外參(can)的(de)系統(tong)，其包括：包括存(cun)(cun)儲器、處理(li)器以及存(cun)(cun)儲在(zai)所(suo)(suo)述(shu)存(cun)(cun)儲器中(zhong)并可在(zai)所(suo)(suo)述(shu)處理(li)器上運行的(de)計算機(ji)程(cheng)序，其中(zhong)所(suo)(suo)述(shu)處理(li)器執(zhi)行所(suo)(suo)述(shu)計算機(ji)程(cheng)序時，所(suo)(suo)述(shu)系統(tong)實現如權利要求1至8中(zhong)任一所(suo)(suo)述(shu)基于場景(jing)(jing)紋理(li)信息標定(ding)相機(ji)外參(can)的(de)步驟。

10.一種(zhong)計(ji)算(suan)機(ji)(ji)可(ke)讀(du)存(cun)(cun)儲(chu)介質(zhi)，所(suo)述(shu)計(ji)算(suan)機(ji)(ji)可(ke)讀(du)存(cun)(cun)儲(chu)介質(zhi)存(cun)(cun)儲(chu)有計(ji)算(suan)機(ji)(ji)程(cheng)序，其(qi)中所(suo)述(shu)計(ji)算(suan)機(ji)(ji)程(cheng)序被執行時，實現如權利要求1至(zhi)8任一所(suo)述(shu)基于場(chang)景(jing)紋(wen)理信息標(biao)定相機(ji)(ji)外(wai)參的(de)方法的(de)步(bu)驟。

技術總結
本發明提供了一種基于場景紋理信息標定相機外參的方法及系統、存儲介質，其中方法步驟包括：移動相機載具沿標定軌跡移動，采集標定軌跡上各預設采樣點處的圖像及里程數據；對初始前后幀圖像做特征匹配處理，推導初始相機位姿，并對匹配出的相似特征點對進行三角化處理，獲取視覺地圖點；按時序將后續幀圖像與視覺地圖點進行特征匹配處理，確定后續幀的相對位置關系，并通過PnP算法獲取對應的相機位姿；根據各采樣點對應的相機位姿及里程數據變化，計算出相機在里程坐標系中的外參。籍此實現利用自然場景的紋理信息來對相機的外參進行標定，而無需依賴標定板或其他標記物。

技術研發人員：劉洋洋,趙越
受保護的技術使用者：上海仙工智能科技有限公司
技術研發日：
技術公布日：2024/9/19