【】本發(fa)明涉及(ji)自動駕(jia)駛，具體涉及(ji)一種(zhong)基于(yu)擴散模型的自動駕(jia)駛軌(gui)跡預(yu)測方(fang)法與裝置(zhi)。

背景技術

0、
背景技術：

1、近年來(lai)(lai)，自動駕(jia)駛(shi)領(ling)域對運動預測技術進(jin)行(xing)(xing)了(le)(le)廣(guang)泛(fan)研究，因(yin)為自動駕(jia)駛(shi)車輛的(de)需求不斷增長(chang)。這些預測方(fang)(fang)法通常依賴于包(bao)括道(dao)路地圖(tu)(tu)和交(jiao)通參(can)與者歷史(shi)狀態(tai)在內的(de)輸(shu)入(ru)數(shu)(shu)據(ju)(ju)。早期方(fang)(fang)法使(shi)用(yong)卷積神經網(wang)絡(cnn)將(jiang)場景上(shang)(shang)下文柵格化成(cheng)圖(tu)(tu)像來(lai)(lai)處理數(shu)(shu)據(ju)(ju)。lanegcn(一種運動預測模型，利用(yong)新的(de)結構化地圖(tu)(tu)表示(shi)地圖(tu)(tu)矢量數(shu)(shu)據(ju)(ju)，而非柵格化圖(tu)(tu)片)引入(ru)了(le)(le)車道(dao)圖(tu)(tu)，以有效捕捉地圖(tu)(tu)拓(tuo)撲，而vectornet(一種機(ji)器學習(xi)算(suan)法，它(ta)可以將(jiang)原始數(shu)(shu)據(ju)(ju)轉(zhuan)換為向(xiang)量，以便于在計算(suan)機(ji)上(shang)(shang)進(jin)行(xing)(xing)分(fen)析和處理，通過向(xiang)量化表示(shi)編碼高(gao)精(jing)度地圖(tu)(tu)與動態(tai)交(jiao)通參(can)與者)則將(jiang)道(dao)路地圖(tu)(tu)和交(jiao)通參(can)與者軌跡表示(shi)為折線(xian)，因(yin)其高(gao)效性和可擴展性而被廣(guang)泛(fan)采用(yong)。一旦對場景上(shang)(shang)下文特(te)征進(jin)行(xing)(xing)編碼，現(xian)有方(fang)(fang)法采用(yong)不同策略來(lai)(lai)建模多模態(tai)的(de)未來(lai)(lai)運動。

2、早期(qi)技(ji)術生(sheng)成(cheng)一組軌跡樣本來近似(si)輸出(chu)(chu)分(fen)布，而其(qi)他(ta)方(fang)法(fa)使用(yong)高(gao)斯(si)混合模(mo)型(gmm)來參數(shu)(shu)化多模(mo)態預(yu)測(ce)。一些方(fang)法(fa)通(tong)過從預(yu)測(ce)的(de)(de)熱圖(tu)中采樣來生(sheng)成(cheng)軌跡。intentnet(一種可(ke)學習(xi)的(de)(de)端(duan)到端(duan)模(mo)型，用(yong)原始傳感(gan)器數(shu)(shu)據直接預(yu)測(ce)意圖(tu)，能夠(gou)解(jie)決(jue)自動駕(jia)駛汽車背(bei)景下(xia)的(de)(de)車輛檢測(ce)和意圖(tu)預(yu)測(ce))將意圖(tu)預(yu)測(ce)視(shi)為分(fen)類問題，而某些方(fang)法(fa)提出(chu)(chu)了基(ji)于(yu)區域的(de)(de)訓(xun)練(lian)策略。基(ji)于(yu)目標(biao)的(de)(de)方(fang)法(fa)估計(ji)了交通(tong)參與(yu)者(zhe)的(de)(de)多個目標(biao)點(dian)，然(ran)后為每(mei)個目標(biao)生(sheng)成(cheng)完整軌跡。

3、近期引入的(de)(de)waymo?open?motion?dataset(womd，自動駕駛訓練數據集)解決(jue)了長期運動預測的(de)(de)數據挑戰。densetnt(end-to-end?trajectory?prediction?from?densegoal?sets，基于密集目(mu)(mu)標集的(de)(de)端到端軌(gui)跡預測)采用了基于目(mu)(mu)標的(de)(de)策略(lve)，根據密集目(mu)(mu)標點(dian)對軌(gui)跡的(de)(de)終點(dian)進(jin)行分類。其(qi)他方法根據編碼的(de)(de)交(jiao)通(tong)參(can)與(yu)者(zhe)特征或潛在(zai)錨(mao)點(dian)嵌入直接(jie)(jie)預測未來軌(gui)跡。然而(er)(er)，基于目(mu)(mu)標的(de)(de)策略(lve)因目(mu)(mu)標候選數目(mu)(mu)眾多(duo)而(er)(er)存在(zai)效率問題，而(er)(er)直接(jie)(jie)回(hui)歸策略(lve)由于從相同(tong)交(jiao)通(tong)參(can)與(yu)者(zhe)特征預測不同(tong)運動模(mo)式(shi)而(er)(er)收斂(lian)較慢。

4、圖1是自動駕駛汽車未(wei)來(lai)軌跡模(mo)(mo)(mo)態(tai)隨機性(xing)示例(li)圖。如圖1所示，在(zai)實(shi)際自動駕駛場景的(de)(de)(de)(de)(de)應(ying)用中，交通參(can)與者(zhe)的(de)(de)(de)(de)(de)未(wei)來(lai)軌跡具(ju)有(you)概率(lv)學上(shang)的(de)(de)(de)(de)(de)不(bu)確定性(xing)，即模(mo)(mo)(mo)態(tai)分(fen)布(bu)的(de)(de)(de)(de)(de)差異性(xing)。當前現(xian)有(you)技術無法(fa)將該模(mo)(mo)(mo)態(tai)隨機性(xing)進行良好且精確的(de)(de)(de)(de)(de)建(jian)(jian)模(mo)(mo)(mo)，通常(chang)(chang)采用高斯混合模(mo)(mo)(mo)型配合非極大值(zhi)抑制的(de)(de)(de)(de)(de)后(hou)處理手(shou)段，然而在(zai)建(jian)(jian)模(mo)(mo)(mo)場景時并為真正引入模(mo)(mo)(mo)態(tai)分(fen)布(bu)的(de)(de)(de)(de)(de)隨機性(xing)。因此，現(xian)有(you)技術常(chang)(chang)常(chang)(chang)會導致模(mo)(mo)(mo)態(tai)崩塌或退化(hua)等(deng)問題，在(zai)實(shi)際應(ying)用中無法(fa)穩(wen)定魯棒(bang)地(di)持續有(you)輸出多種(zhong)可能(neng)性(xing)的(de)(de)(de)(de)(de)合理未(wei)來(lai)預(yu)測(ce)及規劃。

5、利用專(zhuan)利數據(ju)庫(ku)進行檢(jian)索，檢(jian)索到以下相關(guan)專(zhuan)利。

6、相關檢索結果1：中國專利文獻號(hao)、cn111091708b，名稱：車(che)輛(liang)(liang)軌(gui)跡預(yu)(yu)(yu)(yu)測(ce)(ce)方法及(ji)裝(zhuang)置，包括(kuo)：獲取預(yu)(yu)(yu)(yu)設(she)時段內(nei)的(de)(de)多(duo)個(ge)車(che)輛(liang)(liang)的(de)(de)歷史軌(gui)跡數(shu)(shu)據(ju)，對(dui)(dui)歷史軌(gui)跡數(shu)(shu)據(ju)進行預(yu)(yu)(yu)(yu)處(chu)(chu)(chu)理(li)，得(de)到(dao)歷史軌(gui)跡數(shu)(shu)據(ju)對(dui)(dui)應(ying)的(de)(de)時空(kong)(kong)(kong)圖(tu)序(xu)列(lie)(lie)，時空(kong)(kong)(kong)圖(tu)序(xu)列(lie)(lie)包括(kuo)預(yu)(yu)(yu)(yu)設(she)時段內(nei)按時間先后(hou)順(shun)序(xu)排列(lie)(lie)的(de)(de)每個(ge)時刻對(dui)(dui)應(ying)的(de)(de)時空(kong)(kong)(kong)圖(tu)，其中，時空(kong)(kong)(kong)圖(tu)包括(kuo)至少三(san)個(ge)車(che)輛(liang)(liang)對(dui)(dui)應(ying)的(de)(de)節點，將時空(kong)(kong)(kong)圖(tu)序(xu)列(lie)(lie)輸入已訓練的(de)(de)預(yu)(yu)(yu)(yu)測(ce)(ce)模(mo)(mo)型進行處(chu)(chu)(chu)理(li)，得(de)到(dao)車(che)輛(liang)(liang)各自對(dui)(dui)應(ying)的(de)(de)預(yu)(yu)(yu)(yu)測(ce)(ce)行駛(shi)軌(gui)跡，預(yu)(yu)(yu)(yu)測(ce)(ce)模(mo)(mo)型基于同一時段內(nei)多(duo)個(ge)樣(yang)本(ben)車(che)輛(liang)(liang)的(de)(de)樣(yang)本(ben)軌(gui)跡數(shu)(shu)據(ju)對(dui)(dui)應(ying)的(de)(de)樣(yang)本(ben)時空(kong)(kong)(kong)圖(tu)及(ji)樣(yang)本(ben)車(che)輛(liang)(liang)各自對(dui)(dui)應(ying)的(de)(de)樣(yang)本(ben)行駛(shi)軌(gui)跡對(dui)(dui)長短(duan)期(qi)記憶網(wang)絡(luo)lstm訓練得(de)到(dao)；提高對(dui)(dui)車(che)輛(liang)(liang)軌(gui)跡預(yu)(yu)(yu)(yu)測(ce)(ce)的(de)(de)精確度和預(yu)(yu)(yu)(yu)測(ce)(ce)模(mo)(mo)型的(de)(de)靈活(huo)性，增強了魯棒性。技術特點：1、數(shu)(shu)據(ju)預(yu)(yu)(yu)(yu)處(chu)(chu)(chu)理(li)：對(dui)(dui)歷史軌(gui)跡數(shu)(shu)據(ju)進行預(yu)(yu)(yu)(yu)處(chu)(chu)(chu)理(li)，得(de)到(dao)歷史軌(gui)跡數(shu)(shu)據(ju)對(dui)(dui)應(ying)的(de)(de)時空(kong)(kong)(kong)圖(tu)序(xu)列(lie)(lie)，沒(mei)(mei)有采用(yong)向量化表示(shi)并使(shi)用(yong)神經網(wang)絡(luo)進行編碼；2、網(wang)絡(luo)模(mo)(mo)型：使(shi)用(yong)lstm模(mo)(mo)型，沒(mei)(mei)有使(shi)用(yong)擴(kuo)散模(mo)(mo)型架構并采用(yong)transformer網(wang)絡(luo)。

7、相關(guan)檢索結果2：美國專利文獻號、us11169531b2，名稱(cheng)、trajectory?predictionon?top-down?scenes，摘(zhai)要、techniques?are?discussed?for?determining?predictedtrajectories?based?on?a?top-down?representation?of?an?environment.sensors?ofa?first?vehicle?can?capture?sensor?data?of?an?environment,which?may?includeagent(s)separate?from?the?first?vehicle,such?as?a?second?vehicle?or?apedestrian.a?multi-channel?image?representing?a?top-down?view?of?the?agent(s)and?the?environment?and?comprising?semantic?information?can?be?generatedbased?on?the?sensor?data.semantic?information?may?include?a?bounding?box?andvelocity?information?associated?with?the?agent,map?data,and?other?semanticinformation.multiple?images?can?be?generated?representing?the?environmentover?time.the?image(s)can?be?input?into?a?prediction?systemconfigured?tooutput?a?heat?map?comprising?prediction?probabilities?associated?withpossible?locations?of?the?agent?in?the?future.apredicted?trajectory?can?begenerated?based?on?the?prediction?probabilities?and?output?to?control?anoperation?of?the?first?vehicle.技術(shu)特點：1、數據預處理：對數據進(jin)行(xing)(xing)預處理，生成(cheng)代表(biao)代理和環境的(de)自(zi)上而下視圖的(de)多通道(dao)圖像，包(bao)括語(yu)義信息(xi)，沒(mei)有(you)采(cai)用向(xiang)量化表(biao)示并使用神(shen)經(jing)網絡進(jin)行(xing)(xing)編碼；2、預測(ce)(ce)模(mo)型(xing)：使用與智(zhi)能體未來可能位置相關(guan)的(de)預測(ce)(ce)概(gai)率的(de)熱圖的(de)預測(ce)(ce)系統，可以輸出(chu)基于預測(ce)(ce)概(gai)率生成(cheng)預測(ce)(ce)軌跡(ji)，沒(mei)有(you)使用擴散模(mo)型(xing)架構并采(cai)用transformer網絡，完成(cheng)模(mo)型(xing)構建。

8、本發明針對(dui)現有技術(shu)(shu)無法(fa)對(dui)自動駕駛模(mo)態隨機(ji)性進行良好且精(jing)確的建(jian)模(mo)，無法(fa)穩定魯棒地持續輸出多(duo)種可能性的合理未來(lai)預測及(ji)規劃(hua)的技術(shu)(shu)問題，對(dui)自動駕駛軌跡預測方法(fa)與裝置(zhi)進行了(le)技術(shu)(shu)改進。

技術實現思路

0、
技術實現要素：

1、本發(fa)明(ming)的(de)目的(de)是，提(ti)供一種準(zhun)確性高、多模態性強的(de)自動駕駛軌跡(ji)預測方法。

2、為實(shi)現上述目的(de)，本發(fa)明采取的(de)技術方案是一種(zhong)基(ji)于(yu)擴散模型的(de)自(zi)動(dong)駕駛(shi)軌跡預測方法，包括以下(xia)步驟：

3、s1、將輸入的自(zi)車和(he)其(qi)他交通參(can)與者歷史軌跡信(xin)息和(he)道路高(gao)清地圖(tu)信(xin)息組織為折線矢量(liang)，進行有(you)效且(qie)高(gao)效矢量(liang)編碼(ma)；

4、s2、采用(yong)擴散模型控制軌(gui)(gui)跡生成，通過(guo)擴散模型模擬交通參與者未來(lai)軌(gui)(gui)跡多(duo)模態隨(sui)機性噪聲生成過(guo)程；

5、s3、使用(yong)降噪神經網絡(luo)模型進行擴散模型交通(tong)參與(yu)者(zhe)未來軌(gui)跡(ji)多模態隨機性噪聲降噪，生成多模態自車預(yu)測軌(gui)跡(ji)。

6、優選地，步驟s1具體包括以下(xia)子步驟：

7、s11、將(jiang)(jiang)輸入(ru)的自(zi)(zi)車和其他交通參與者歷史(shi)軌跡信息使用密集且統一的折線(xian)矢(shi)量編碼方式(shi)，在(zai)編碼中采用自(zi)(zi)車中心(xin)策略，將(jiang)(jiang)所有輸入(ru)歸一化到以自(zi)(zi)車為中心(xin)的坐標系統；

8、s12、將道路高清(qing)地圖信息處理為(wei)包含多個折線(xian)矢量的形式；

9、s13、通(tong)過(guo)pointnet-like的折線編碼(ma)器對交通(tong)參與者(zhe)歷史軌跡信息和道路高清地圖信息進(jin)行編碼(ma)，轉化為(wei)隱藏狀態。

10、優(you)選地，所(suo)述(shu)擴散模型(xing)是去噪擴散概率(lv)模型(xing)。

11、優選(xuan)地，所述去噪擴散(san)概率模型在(zai)訓練過(guo)程中使用概率性(xing)的(de)擴散(san)過(guo)程，同(tong)時確(que)保預測的(de)準確(que)性(xing)，核心(xin)思想是將(jiang)噪聲的(de)方差(cha)固定通過(guo)迭代(dai)的(de)擴散(san)過(guo)程進行訓練。

12、優(you)選地，所述(shu)去噪擴散概率模型訓練過程包括以下步驟：

13、a、從真實(shi)軌跡數據(ju)中初始化擴散前(qian)狀態；

14、b、隨機選擇一個(ge)擴散步(bu)驟；

15、c、隨機采樣一(yi)個服從正態分(fen)布的(de)噪(zao)聲(sheng)；

16、d、計算(suan)通過(guo)去(qu)噪擴散概率模型生成的(de)中間噪聲(sheng)樣(yang)本；

17、e、通過(guo)降噪神經(jing)網絡模型輸入數據編碼隱藏狀態、當(dang)前(qian)擴散狀態以及擴散步(bu)驟(zou)進行學習，生成噪聲(sheng)估(gu)計；

18、f、根據估(gu)計噪聲和真(zhen)實噪聲之間的差(cha)異(yi)，進行(xing)降噪神經網絡(luo)模(mo)型反向傳播計算損失(shi)；

19、g、重復步驟a至(zhi)步驟f進(jin)行迭代訓練，不斷優化降噪(zao)神(shen)經(jing)網絡模型(xing)。

20、優選(xuan)地，所(suo)述降噪神經(jing)網絡(luo)模(mo)型(xing)是降噪transformer神經(jing)網絡(luo)模(mo)型(xing)。

21、優(you)選(xuan)地(di)，所述降噪transformer神經(jing)網(wang)(wang)絡(luo)模(mo)型(xing)采用了自(zi)(zi)注(zhu)意力(li)機(ji)制和(he)(he)交叉注(zhu)意力(li)機(ji)制進行網(wang)(wang)絡(luo)構建(jian)和(he)(he)優(you)化；所述注(zhu)意力(li)機(ji)制用于學習(xi)擴散(san)樣(yang)本(ben)輸入的內部(bu)模(mo)式和(he)(he)特征(zheng)，以(yi)及發現自(zi)(zi)車和(he)(he)其(qi)他交通參(can)與者(zhe)、道(dao)路高清(qing)地(di)圖信息之間的交互作用。

22、本發明的(de)又一目的(de)是，提供一種準確(que)性(xing)高、多模(mo)態性(xing)強的(de)自(zi)動駕駛軌跡預(yu)測(ce)裝置。

23、為(wei)實現上述又一目的，本發(fa)明采取的技(ji)術方案是一種基(ji)于擴散(san)模(mo)型的自(zi)動駕駛(shi)軌(gui)跡(ji)預測(ce)裝置，用于執(zhi)行上述的一種基(ji)于擴散(san)模(mo)型的自(zi)動駕駛(shi)軌(gui)跡(ji)預測(ce)方法(fa)。

24、本發明一種基于擴散模型的自動駕駛軌跡預測方法與裝置(zhi)有益效(xiao)果(guo)如下(xia)：

25、1、多模(mo)(mo)態預(yu)測處理(li)：采(cai)用(yong)了(le)(le)(le)擴(kuo)散模(mo)(mo)型，成功(gong)解(jie)決了(le)(le)(le)多模(mo)(mo)態車輛軌(gui)(gui)跡(ji)預(yu)測的(de)(de)挑戰；通過應用(yong)differentiable?diffusion?probabilistic?models(ddpm，去噪擴(kuo)散概率模(mo)(mo)型)，能夠明確(que)(que)建模(mo)(mo)多模(mo)(mo)態行為，以生成一系列可能的(de)(de)未來軌(gui)(gui)跡(ji)，更(geng)好(hao)地應對(dui)了(le)(le)(le)人類駕駛員決策(ce)的(de)(de)多樣性(xing)；2、模(mo)(mo)型充分(fen)利(li)用(yong)歷史軌(gui)(gui)跡(ji)數據和(he)道路地圖信(xin)息，以提高(gao)車輛軌(gui)(gui)跡(ji)預(yu)測的(de)(de)準確(que)(que)性(xing)，采(cai)用(yong)了(le)(le)(le)強(qiang)大(da)(da)的(de)(de)vectornet骨干和(he)編(bian)碼器，這些組(zu)件在捕(bu)捉空間依賴性(xing)和(he)編(bian)碼上下文信(xin)息方面表(biao)現出色(se)；3、通過在大(da)(da)規(gui)模(mo)(mo)公(gong)共數據集waymo?open?motion?dataset(womd)上進行廣泛(fan)的(de)(de)實驗(yan)，驗(yan)證本發(fa)明性(xing)能，對(dui)本發(fa)明有效性(xing)和(he)泛(fan)化性(xing)進行了(le)(le)(le)評估(gu)。