本公開涉(she)及(ji)(ji)人工(gong)智能，尤(you)其涉(she)及(ji)(ji)一種對象(xiang)重建方法(fa)、裝置、設備及(ji)(ji)介質。

背景技術：

1、在(zai)諸如mr領(ling)域(yu)、vr領(ling)域(yu)等(deng)(deng)多種領(ling)域(yu)都會(hui)涉(she)及到對象(xiang)重(zhong)(zhong)建技(ji)術，諸如，通過預訓練模型進(jin)行手(shou)部重(zhong)(zhong)建，生成手(shou)部對應(ying)的三維(wei)重(zhong)(zhong)建網(wang)(wang)格，以(yi)此呈現(xian)給用(yong)戶。然而，相關技(ji)術所采用(yong)的對象(xiang)重(zhong)(zhong)建技(ji)術可達到的效果不(bu)佳，諸如可能(neng)會(hui)存在(zai)網(wang)(wang)格精度不(bu)佳或者重(zhong)(zhong)建穩定性較差等(deng)(deng)問題(ti)。

技術實現思路

1、為了解決上述(shu)技術(shu)問題或者(zhe)至少部(bu)分地解決上述(shu)技術(shu)問題，本公(gong)開提供了一種(zhong)對象重建方(fang)法、裝(zhuang)置(zhi)、設備及介質。

2、第一方面，本(ben)公開實施例提供了(le)一種對(dui)象(xiang)重(zhong)(zhong)(zhong)(zhong)建(jian)(jian)方法(fa)，所述(shu)(shu)方法(fa)包(bao)(bao)括(kuo)：獲取(qu)待(dai)處(chu)(chu)(chu)理圖(tu)(tu)像；其中，所述(shu)(shu)待(dai)處(chu)(chu)(chu)理圖(tu)(tu)像包(bao)(bao)含待(dai)重(zhong)(zhong)(zhong)(zhong)建(jian)(jian)的目(mu)標對(dui)象(xiang)；通過預先訓練所得的信(xin)(xin)息(xi)(xi)(xi)預測模型(xing)獲取(qu)所述(shu)(shu)待(dai)處(chu)(chu)(chu)理圖(tu)(tu)像對(dui)應的目(mu)標對(dui)象(xiang)的三(san)(san)維(wei)重(zhong)(zhong)(zhong)(zhong)建(jian)(jian)網格信(xin)(xin)息(xi)(xi)(xi)；其中，所述(shu)(shu)三(san)(san)維(wei)重(zhong)(zhong)(zhong)(zhong)建(jian)(jian)網格信(xin)(xin)息(xi)(xi)(xi)包(bao)(bao)括(kuo)三(san)(san)維(wei)重(zhong)(zhong)(zhong)(zhong)建(jian)(jian)網格的頂(ding)點信(xin)(xin)息(xi)(xi)(xi)，以及用于(yu)構(gou)建(jian)(jian)所述(shu)(shu)三(san)(san)維(wei)重(zhong)(zhong)(zhong)(zhong)建(jian)(jian)網格的指定參(can)數，所述(shu)(shu)指定參(can)數用于(yu)對(dui)所述(shu)(shu)頂(ding)點信(xin)(xin)息(xi)(xi)(xi)進行約束；根據所述(shu)(shu)三(san)(san)維(wei)重(zhong)(zhong)(zhong)(zhong)建(jian)(jian)網格的頂(ding)點信(xin)(xin)息(xi)(xi)(xi)，構(gou)建(jian)(jian)所述(shu)(shu)目(mu)標對(dui)象(xiang)的三(san)(san)維(wei)重(zhong)(zhong)(zhong)(zhong)建(jian)(jian)網格。

3、第(di)二方面，本(ben)公開實施(shi)例(li)還提供了一(yi)種對(dui)(dui)象(xiang)重(zhong)建(jian)裝置，包括(kuo)：圖(tu)像(xiang)獲取模塊，用于(yu)(yu)(yu)獲取待處理(li)(li)圖(tu)像(xiang)；其(qi)中(zhong)，所(suo)(suo)述(shu)(shu)待處理(li)(li)圖(tu)像(xiang)包含待重(zhong)建(jian)的(de)目標對(dui)(dui)象(xiang)；信(xin)息獲取模塊，用于(yu)(yu)(yu)通過(guo)預(yu)先訓練所(suo)(suo)得的(de)信(xin)息預(yu)測(ce)模型(xing)獲取所(suo)(suo)述(shu)(shu)待處理(li)(li)圖(tu)像(xiang)對(dui)(dui)應的(de)目標對(dui)(dui)象(xiang)的(de)三(san)(san)維(wei)重(zhong)建(jian)網(wang)格(ge)信(xin)息；其(qi)中(zhong)，所(suo)(suo)述(shu)(shu)三(san)(san)維(wei)重(zhong)建(jian)網(wang)格(ge)信(xin)息包括(kuo)三(san)(san)維(wei)重(zhong)建(jian)網(wang)格(ge)的(de)頂(ding)點(dian)信(xin)息，以及用于(yu)(yu)(yu)構建(jian)所(suo)(suo)述(shu)(shu)三(san)(san)維(wei)重(zhong)建(jian)網(wang)格(ge)的(de)指定(ding)參(can)數，所(suo)(suo)述(shu)(shu)指定(ding)參(can)數用于(yu)(yu)(yu)對(dui)(dui)所(suo)(suo)述(shu)(shu)頂(ding)點(dian)信(xin)息進(jin)行約束；網(wang)格(ge)構建(jian)模塊，用于(yu)(yu)(yu)根據所(suo)(suo)述(shu)(shu)三(san)(san)維(wei)重(zhong)建(jian)網(wang)格(ge)的(de)頂(ding)點(dian)信(xin)息，構建(jian)所(suo)(suo)述(shu)(shu)目標對(dui)(dui)象(xiang)的(de)三(san)(san)維(wei)重(zhong)建(jian)網(wang)格(ge)。

4、第(di)三(san)方面，本公開實(shi)施例還(huan)提供了一種(zhong)電子設(she)備，所(suo)述電子設(she)備包括：處(chu)理器；用(yong)于存(cun)儲所(suo)述處(chu)理器可執行(xing)指令(ling)的(de)存(cun)儲器；所(suo)述處(chu)理器，用(yong)于從(cong)所(suo)述存(cun)儲器中讀取所(suo)述可執行(xing)指令(ling)，并執行(xing)所(suo)述指令(ling)以實(shi)現如本公開實(shi)施例提供的(de)對象重建(jian)方法。

5、第四方面(mian)，本公(gong)開(kai)實施(shi)例(li)還提(ti)供(gong)(gong)了一種計(ji)(ji)算(suan)機(ji)可讀存儲介質，所述存儲介質存儲有計(ji)(ji)算(suan)機(ji)程(cheng)序，所述計(ji)(ji)算(suan)機(ji)程(cheng)序用(yong)于執行如本公(gong)開(kai)實施(shi)例(li)提(ti)供(gong)(gong)的對象(xiang)重建(jian)方法。

6、本公開實施例提(ti)供(gong)的上(shang)述技術方(fang)案所采(cai)用的信息(xi)預測(ce)(ce)模型不僅預測(ce)(ce)待處理(li)圖(tu)像中目標(biao)對象的三維重(zhong)建網格(ge)(ge)的頂(ding)(ding)點(dian)信息(xi)，還可以預測(ce)(ce)用于(yu)構建三維重(zhong)建網格(ge)(ge)的指定參(can)數，該指定參(can)數用于(yu)對頂(ding)(ding)點(dian)信息(xi)進行(xing)約(yue)束(shu)(shu)，通過(guo)預測(ce)(ce)頂(ding)(ding)點(dian)信息(xi)保障(zhang)網格(ge)(ge)精度(du)，而(er)通過(guo)指定參(can)數對頂(ding)(ding)點(dian)信息(xi)進行(xing)約(yue)束(shu)(shu)的方(fang)式來保障(zhang)重(zhong)建穩定性，有效(xiao)(xiao)提(ti)升對象重(zhong)建效(xiao)(xiao)果。

7、應當理解，本部分所描述的(de)(de)內容并非旨在標識本公開的(de)(de)實施例(li)的(de)(de)關(guan)鍵(jian)或(huo)重要特征，也(ye)不用于限制本公開的(de)(de)范圍。本公開的(de)(de)其它特征將通過(guo)以下(xia)的(de)(de)說明書(shu)而變(bian)得(de)容易理解。

技術特征：

1.一(yi)種對象重建方法，其特征在于，包括：

2.根據權利要求(qiu)1所述的(de)(de)方法，其特征在(zai)于(yu)，所述通過預先訓練所得的(de)(de)信息(xi)預測模型獲取所述待處理(li)圖(tu)像對(dui)(dui)應的(de)(de)目標對(dui)(dui)象的(de)(de)三維重建網格信息(xi)，包括：

3.根據權利要(yao)求2所(suo)述的方法，其特征在于，所(suo)述基于注意力(li)機制，通過(guo)預先(xian)訓(xun)練所(suo)得的信息預測(ce)模型獲取所(suo)述待處理(li)圖像(xiang)對應的目(mu)標對象(xiang)的三維重(zhong)建(jian)網(wang)格信息，包括：

4.根據權利要求3所(suo)述(shu)(shu)(shu)(shu)的(de)(de)(de)方(fang)法，其特(te)征在于，所(suo)述(shu)(shu)(shu)(shu)目標(biao)對(dui)(dui)象(xiang)(xiang)包(bao)括相互關聯的(de)(de)(de)第(di)(di)一(yi)對(dui)(dui)象(xiang)(xiang)和第(di)(di)二(er)對(dui)(dui)象(xiang)(xiang)；所(suo)述(shu)(shu)(shu)(shu)第(di)(di)一(yi)注意(yi)力矩陣還用于保留所(suo)述(shu)(shu)(shu)(shu)第(di)(di)一(yi)對(dui)(dui)象(xiang)(xiang)的(de)(de)(de)頂(ding)點信息對(dui)(dui)所(suo)述(shu)(shu)(shu)(shu)第(di)(di)一(yi)對(dui)(dui)象(xiang)(xiang)的(de)(de)(de)指定參(can)數的(de)(de)(de)單(dan)向影響，以及保留所(suo)述(shu)(shu)(shu)(shu)第(di)(di)二(er)對(dui)(dui)象(xiang)(xiang)的(de)(de)(de)頂(ding)點信息對(dui)(dui)所(suo)述(shu)(shu)(shu)(shu)第(di)(di)二(er)對(dui)(dui)象(xiang)(xiang)的(de)(de)(de)指定參(can)數的(de)(de)(de)單(dan)向影響。

5.根(gen)據權利要求2所述(shu)的(de)(de)方法，其特征在(zai)于，所述(shu)目標對象包括相(xiang)互關聯的(de)(de)第一對象和第二對象；

6.根(gen)據權利要(yao)求5所(suo)(suo)(suo)述(shu)(shu)(shu)的(de)(de)方法(fa)，其特征在于(yu)(yu)，所(suo)(suo)(suo)述(shu)(shu)(shu)第(di)(di)二注(zhu)意力(li)矩陣還用于(yu)(yu)保留(liu)(liu)所(suo)(suo)(suo)述(shu)(shu)(shu)第(di)(di)一對(dui)(dui)象的(de)(de)頂點信息對(dui)(dui)所(suo)(suo)(suo)述(shu)(shu)(shu)第(di)(di)二對(dui)(dui)象的(de)(de)指定參數的(de)(de)單向影(ying)(ying)響，以及，用于(yu)(yu)保留(liu)(liu)所(suo)(suo)(suo)述(shu)(shu)(shu)第(di)(di)二對(dui)(dui)象的(de)(de)頂點信息對(dui)(dui)所(suo)(suo)(suo)述(shu)(shu)(shu)第(di)(di)一對(dui)(dui)象的(de)(de)指定參數的(de)(de)單向影(ying)(ying)響。

7.根據權利(li)要求2所述的方法，其特征在于，所述信息預測模型包括圖(tu)像編解碼(ma)網(wang)絡和信息交互網(wang)絡；

8.根據權利要求(qiu)7所述(shu)(shu)的方法，其特征在于，所述(shu)(shu)信(xin)息交互網(wang)絡包(bao)括信(xin)息初預測(ce)單元以及第一信(xin)息交互單元；

9.根據權利要求8所(suo)述的(de)方法，其特(te)征在于，所(suo)述第(di)一(yi)信(xin)息(xi)交互單元的(de)數量為(wei)多(duo)個(ge)，且多(duo)個(ge)所(suo)述第(di)一(yi)信(xin)息(xi)交互單元串行連接(jie)；

10.根(gen)據權利要求9所(suo)(suo)述(shu)的(de)方法，其(qi)特征(zheng)在(zai)于，所(suo)(suo)述(shu)特征(zheng)圖(tu)(tu)的(de)數量為多個，且不同所(suo)(suo)述(shu)特征(zheng)圖(tu)(tu)的(de)尺寸不同；多個所(suo)(suo)述(shu)特征(zheng)圖(tu)(tu)對(dui)應多個目(mu)(mu)(mu)標圖(tu)(tu)；其(qi)中，所(suo)(suo)述(shu)目(mu)(mu)(mu)標圖(tu)(tu)是通(tong)過對(dui)所(suo)(suo)述(shu)特征(zheng)圖(tu)(tu)按(an)照(zhao)預設倍(bei)數進行采(cai)樣(yang)得到的(de)，且所(suo)(suo)述(shu)目(mu)(mu)(mu)標圖(tu)(tu)用于輸入至(zhi)所(suo)(suo)述(shu)第一信(xin)(xin)息交互單(dan)元，不同所(suo)(suo)述(shu)第一信(xin)(xin)息交互單(dan)元輸入的(de)目(mu)(mu)(mu)標圖(tu)(tu)不同。

11.根據權(quan)利要求(qiu)8所述(shu)的方法，其特征在于，所述(shu)目標對象包(bao)括(kuo)相互(hu)關聯的第一對象和(he)第二對象；所述(shu)第一信(xin)息(xi)交互(hu)單元(yuan)包(bao)括(kuo)圖(tu)卷(juan)積子(zi)單元(yuan)以及兩個串行連接的注(zhu)意力子(zi)單元(yuan)；

12.根(gen)據權利要求7所(suo)述的方(fang)法，其特征在于，所(suo)述信息(xi)預測(ce)模型還包(bao)括信息(xi)修正網(wang)絡(luo)；

13.根(gen)(gen)據(ju)權(quan)利要求12所(suo)述(shu)的方法，其特(te)征在于，所(suo)述(shu)根(gen)(gen)據(ju)所(suo)述(shu)待處理(li)圖(tu)像的特(te)征圖(tu)對所(suo)述(shu)信息交(jiao)互(hu)網絡輸出的三維重(zhong)建(jian)網格信息進行修正，包括：

14.根據權利要求8所(suo)(suo)述(shu)的(de)方法，其特征(zheng)在(zai)于(yu)，所(suo)(suo)述(shu)信(xin)息(xi)修正(zheng)網絡包括第二信(xin)息(xi)交(jiao)互(hu)單元；

15.根據權利要求1至14任一項所述的(de)方法(fa)，其特(te)征在于，所述信(xin)息預測模(mo)型是通過如下步驟訓練得(de)到的(de)：

16.根據權(quan)利要求15所述(shu)(shu)的方法，其特征在于，所述(shu)(shu)基于所述(shu)(shu)樣(yang)本對象的三維重建網格信息與所述(shu)(shu)標(biao)簽信息，對所述(shu)(shu)初(chu)始模型進(jin)行訓練，包括：

17.根據權利要求16所(suo)述的方法(fa)，其特征在(zai)于(yu)，所(suo)述標簽(qian)信息還包括所(suo)述樣本(ben)對(dui)象的三維(wei)重(zhong)建網格的法(fa)向量標簽(qian)；

18.一種(zhong)對象重建裝(zhuang)置(zhi)，其特征(zheng)在于，包(bao)括(kuo)：

19.一(yi)種電子(zi)設備，其特征(zheng)在于(yu)，所述電子(zi)設備包括(kuo)：

20.一種(zhong)計算機可(ke)讀存儲(chu)介(jie)質(zhi)，其特征在于(yu)，所述(shu)存儲(chu)介(jie)質(zhi)存儲(chu)有計算機程序(xu)，所述(shu)計算機程序(xu)用(yong)于(yu)執行上(shang)述(shu)權利要(yao)求1-16中(zhong)任一所述(shu)的對象重建方法。

技術總結
本公開實施例涉及一種對象重建方法、裝置、設備及介質，其中該方法包括：獲取待處理圖像；其中，所述待處理圖像包含待重建的目標對象；通過預先訓練所得的信息預測模型獲取所述待處理圖像對應的目標對象的三維重建網格信息；其中，所述三維重建網格信息包括三維重建網格的頂點信息，以及用于構建所述三維重建網格的指定參數，所述指定參數用于對所述頂點信息進行約束；根據所述三維重建網格的頂點信息，構建所述目標對象的三維重建網格。本公開實施例可以有效提升對象重建效果。

技術研發人員：朱飛達,王從藝,文石磊
受保護的技術使用者：北京字跳網絡技術有限公司
技術研發日：
技術公布日：2024/10/10