本技術涉及圖文處(chu)理，更(geng)具(ju)體(ti)的說，本技術涉及一種漢(han)藏語多模態的圖文處(chu)理方法及處(chu)理系(xi)統。

背景技術：

1、圖(tu)(tu)(tu)文處(chu)(chu)理(li)(li)技(ji)(ji)(ji)術(shu)(shu)在(zai)(zai)信(xin)息時代(dai)至關(guan)重要(yao)，包含了(le)圖(tu)(tu)(tu)像(xiang)處(chu)(chu)理(li)(li)技(ji)(ji)(ji)術(shu)(shu)、文本(ben)處(chu)(chu)理(li)(li)技(ji)(ji)(ji)術(shu)(shu)等(deng)，廣泛(fan)應用(yong)于數字出版、廣告設計(ji)、教育、醫療和(he)(he)(he)娛(yu)樂等(deng)領域，其核心在(zai)(zai)于高效采集、處(chu)(chu)理(li)(li)、分(fen)析(xi)和(he)(he)(he)展示(shi)圖(tu)(tu)(tu)像(xiang)與(yu)文本(ben)數據，以滿足各類應用(yong)需(xu)求，隨著計(ji)算機技(ji)(ji)(ji)術(shu)(shu)、人工智能和(he)(he)(he)大數據技(ji)(ji)(ji)術(shu)(shu)的(de)(de)快速(su)發(fa)展，圖(tu)(tu)(tu)文處(chu)(chu)理(li)(li)技(ji)(ji)(ji)術(shu)(shu)也(ye)在(zai)(zai)不斷革新，其中，圖(tu)(tu)(tu)像(xiang)處(chu)(chu)理(li)(li)技(ji)(ji)(ji)術(shu)(shu)涵蓋(gai)圖(tu)(tu)(tu)像(xiang)的(de)(de)獲取(qu)、壓縮、存儲、增強、分(fen)析(xi)和(he)(he)(he)識(shi)(shi)別(bie)，深度學習也(ye)廣泛(fan)應用(yong)于圖(tu)(tu)(tu)像(xiang)處(chu)(chu)理(li)(li)中，如卷積(ji)神經網絡（cnn），顯著提(ti)升了(le)圖(tu)(tu)(tu)文識(shi)(shi)別(bie)的(de)(de)準確(que)性和(he)(he)(he)速(su)度，此外，文本(ben)處(chu)(chu)理(li)(li)技(ji)(ji)(ji)術(shu)(shu)涉及(ji)文本(ben)的(de)(de)采集、分(fen)析(xi)、生(sheng)成和(he)(he)(he)檢索，包括字符(fu)識(shi)(shi)別(bie)（ocr）、自然語言處(chu)(chu)理(li)(li)（nlp）和(he)(he)(he)文本(ben)挖掘，nlp通過機器學習和(he)(he)(he)深度學習，可以實現語法分(fen)析(xi)、情(qing)感分(fen)析(xi)和(he)(he)(he)主題識(shi)(shi)別(bie)等(deng)任務，另外，多(duo)模(mo)態融合技(ji)(ji)(ji)術(shu)(shu)則將圖(tu)(tu)(tu)像(xiang)、文本(ben)和(he)(he)(he)音頻等(deng)多(duo)種模(mo)態的(de)(de)信(xin)息綜合處(chu)(chu)理(li)(li)，提(ti)供了(le)全面的(de)(de)信(xin)息理(li)(li)解與(yu)分(fen)析(xi)。

2、在(zai)(zai)現有(you)技(ji)術(shu)中(zhong)，圖(tu)(tu)文(wen)(wen)(wen)處(chu)理(li)(li)(li)技(ji)術(shu)的(de)實(shi)現原理(li)(li)(li)包括(kuo)：圖(tu)(tu)像(xiang)采(cai)集、預(yu)處(chu)理(li)(li)(li)、特(te)征提(ti)取、文(wen)(wen)(wen)本(ben)采(cai)集、光學(xue)字符(fu)識別、自然(ran)語(yu)(yu)言處(chu)理(li)(li)(li)以及多(duo)模(mo)(mo)態數據(ju)融合等步驟，其中(zhong)，通過圖(tu)(tu)像(xiang)處(chu)理(li)(li)(li)，系(xi)統能夠識別圖(tu)(tu)像(xiang)中(zhong)的(de)關(guan)鍵信息，而(er)文(wen)(wen)(wen)本(ben)處(chu)理(li)(li)(li)則利(li)用(yong)光學(xue)字符(fu)識別和(he)自然(ran)語(yu)(yu)言處(chu)理(li)(li)(li)技(ji)術(shu)，將文(wen)(wen)(wen)本(ben)數據(ju)轉換為可編輯的(de)文(wen)(wen)(wen)字，以進行語(yu)(yu)義分(fen)析(xi)和(he)情(qing)感識別，此(ci)外，多(duo)模(mo)(mo)態融合技(ji)術(shu)則將圖(tu)(tu)像(xiang)、文(wen)(wen)(wen)本(ben)等多(duo)種模(mo)(mo)態的(de)數據(ju)進行綜(zong)合利(li)用(yong)，提(ti)供了(le)更全(quan)面的(de)信息分(fen)析(xi)和(he)決策支持；然(ran)而(er)，在(zai)(zai)漢(han)藏(zang)(zang)語(yu)(yu)的(de)圖(tu)(tu)文(wen)(wen)(wen)交(jiao)(jiao)互處(chu)理(li)(li)(li)中(zhong)，不同模(mo)(mo)態數據(ju)之間(jian)的(de)語(yu)(yu)義表(biao)示方式(shi)存在(zai)(zai)差(cha)異，導致(zhi)語(yu)(yu)義鴻溝問題，例如，圖(tu)(tu)像(xiang)數據(ju)是以像(xiang)素(su)點或特(te)征向(xiang)量的(de)形式(shi)表(biao)示，而(er)文(wen)(wen)(wen)本(ben)數據(ju)則是以詞匯(hui)或句子(zi)的(de)形式(shi)表(biao)示，這(zhe)種差(cha)異會使得跨模(mo)(mo)態之間(jian)的(de)語(yu)(yu)義關(guan)聯(lian)難(nan)以建立和(he)理(li)(li)(li)解，從(cong)而(er)導致(zhi)漢(han)藏(zang)(zang)語(yu)(yu)多(duo)模(mo)(mo)態交(jiao)(jiao)互處(chu)理(li)(li)(li)的(de)處(chu)理(li)(li)(li)結果偏離真實(shi)的(de)語(yu)(yu)義信息，因此(ci)，如何實(shi)現漢(han)藏(zang)(zang)語(yu)(yu)圖(tu)(tu)文(wen)(wen)(wen)跨模(mo)(mo)態交(jiao)(jiao)互的(de)語(yu)(yu)義關(guan)聯(lian)，從(cong)而(er)提(ti)高漢(han)藏(zang)(zang)語(yu)(yu)圖(tu)(tu)文(wen)(wen)(wen)跨模(mo)(mo)態交(jiao)(jiao)互處(chu)理(li)(li)(li)結果的(de)真實(shi)性成為了(le)業界面臨的(de)難(nan)題。

技術實現思路

1、本技術提供一種漢(han)藏語(yu)(yu)多模態的(de)圖文(wen)處理方法(fa)及處理系統，可實(shi)現漢(han)藏語(yu)(yu)圖文(wen)跨(kua)模態交互的(de)語(yu)(yu)義關聯。

2、第(di)一方(fang)面(mian)，本技術提供(gong)一種(zhong)漢藏語多模態的(de)圖文(wen)處理(li)方(fang)法，包(bao)括如下(xia)步驟：

3、獲取待處(chu)理的漢藏語圖文信息(xi)；

4、根據(ju)不同(tong)模(mo)態(tai)提取器對應(ying)提取所述漢藏(zang)(zang)語圖文(wen)信息中漢藏(zang)(zang)語圖像(xiang)模(mo)態(tai)的圖像(xiang)特(te)征和漢藏(zang)(zang)語文(wen)本模(mo)態(tai)的文(wen)本特(te)征；

5、對(dui)所述圖像特征(zheng)和所述文(wen)本特征(zheng)進行特征(zheng)交互，得到(dao)第一漢(han)藏(zang)(zang)語圖文(wen)交互特征(zheng)信(xin)(xin)息(xi)，根據(ju)所述第一漢(han)藏(zang)(zang)語圖文(wen)交互特征(zheng)信(xin)(xin)息(xi)構建漢(han)藏(zang)(zang)語圖文(wen)的第一交互軌(gui)跡，進而得到(dao)第一交互特征(zheng)量；

6、根(gen)據預(yu)設的(de)多(duo)梯度(du)切(qie)(qie)分(fen)尺度(du)對(dui)所(suo)述(shu)漢(han)(han)(han)藏語(yu)圖(tu)像(xiang)(xiang)(xiang)(xiang)模(mo)態的(de)圖(tu)像(xiang)(xiang)(xiang)(xiang)進行(xing)切(qie)(qie)分(fen)處理，得(de)到(dao)多(duo)個切(qie)(qie)分(fen)圖(tu)塊，通過所(suo)述(shu)漢(han)(han)(han)藏語(yu)圖(tu)像(xiang)(xiang)(xiang)(xiang)模(mo)態的(de)圖(tu)像(xiang)(xiang)(xiang)(xiang)的(de)畫幅比例重組所(suo)有(you)的(de)切(qie)(qie)分(fen)圖(tu)塊，得(de)到(dao)漢(han)(han)(han)藏語(yu)圖(tu)像(xiang)(xiang)(xiang)(xiang)副本(ben)，根(gen)據對(dui)應(ying)提取(qu)器提取(qu)所(suo)述(shu)漢(han)(han)(han)藏語(yu)圖(tu)像(xiang)(xiang)(xiang)(xiang)副本(ben)的(de)圖(tu)像(xiang)(xiang)(xiang)(xiang)副本(ben)特(te)征(zheng)；

7、對所述圖像副本特(te)征(zheng)(zheng)和所述文(wen)本特(te)征(zheng)(zheng)進(jin)行特(te)征(zheng)(zheng)交(jiao)(jiao)互，得(de)到第(di)二漢藏(zang)語(yu)圖文(wen)交(jiao)(jiao)互特(te)征(zheng)(zheng)信息，根據(ju)所述第(di)二漢藏(zang)語(yu)圖文(wen)交(jiao)(jiao)互特(te)征(zheng)(zheng)信息構(gou)建(jian)漢藏(zang)語(yu)圖文(wen)的第(di)二交(jiao)(jiao)互軌跡(ji)，進(jin)而得(de)到第(di)二交(jiao)(jiao)互特(te)征(zheng)(zheng)量(liang)；

8、根據所(suo)述(shu)第一交互(hu)特征量和所(suo)述(shu)第二交互(hu)特征量確(que)定漢(han)藏語(yu)圖(tu)文交互(hu)處理過程中的交互(hu)處理置信度，基于(yu)所(suo)述(shu)交互(hu)處理置信度輸出漢(han)藏語(yu)圖(tu)文交互(hu)的交互(hu)結果。

9、在一些實(shi)施例(li)中，對所(suo)述圖像特(te)征(zheng)和(he)所(suo)述文(wen)本特(te)征(zheng)進行特(te)征(zheng)交(jiao)(jiao)互，得到第一漢藏語(yu)圖文(wen)交(jiao)(jiao)互特(te)征(zheng)信(xin)息具體包括：

10、確定所(suo)述圖像特征的(de)交互影響(xiang)參量；

11、確定所述文本特征的第一交互影響參量；

12、將(jiang)所述圖像特(te)征與所述文本特(te)征進行維度(du)對齊；

13、根(gen)據所(suo)述圖(tu)像特(te)征的(de)交互(hu)影響參量、所(suo)述文本(ben)特(te)征的(de)第(di)一交互(hu)影響參量以及(ji)維度對(dui)齊后的(de)圖(tu)像特(te)征和文本(ben)特(te)征確定第(di)一漢藏語(yu)圖(tu)文交互(hu)特(te)征信息。

14、在一些實施例中，確(que)定(ding)所述圖像(xiang)特征的交互影響參量具體包括：

15、獲(huo)取所述(shu)圖像特(te)征與所述(shu)文本特(te)征進行維度對齊后的維度大小；

16、獲取(qu)所述(shu)圖像特征(zheng)與(yu)轉置后的文本特征(zheng)；

17、根據所(suo)(suo)述圖像特征(zheng)(zheng)、所(suo)(suo)述轉置后(hou)的(de)(de)文本特征(zheng)(zheng)以及所(suo)(suo)述維(wei)度大小確定所(suo)(suo)述圖像特征(zheng)(zheng)的(de)(de)交互影(ying)響參量。

18、在一(yi)些實施例中，根據所述第一(yi)漢(han)藏(zang)語圖(tu)文(wen)(wen)交(jiao)(jiao)互(hu)(hu)特征信息構建漢(han)藏(zang)語圖(tu)文(wen)(wen)的(de)第一(yi)交(jiao)(jiao)互(hu)(hu)軌跡，進而得到第一(yi)交(jiao)(jiao)互(hu)(hu)特征量具體包括(kuo)：

19、獲取所(suo)述第一漢(han)藏語圖(tu)文交互特征信息中的所(suo)有漢(han)藏語圖(tu)文第一交互特征值；

20、對所有(you)的(de)漢藏語圖文第(di)一(yi)交(jiao)互(hu)特征值進行相(xiang)連(lian)，得到漢藏語圖文的(de)第(di)一(yi)交(jiao)互(hu)軌跡；

21、從所(suo)述第一(yi)交互軌跡中獲(huo)取所(suo)有(you)的尖峰點(dian)和低(di)谷點(dian)；

22、根據(ju)所述第一交(jiao)互(hu)軌跡獲(huo)取(qu)的(de)所有尖峰點和低谷點確定第一交(jiao)互(hu)特征量(liang)。

23、在(zai)一些實施例中，根據預設(she)的多梯度(du)切分尺度(du)對所(suo)述漢藏(zang)語圖像(xiang)模態(tai)的圖像(xiang)進行(xing)切分處理，得到多個切分圖塊(kuai)具(ju)體包括：

24、獲取(qu)預設的多(duo)梯度(du)切(qie)分尺(chi)(chi)(chi)度(du)，所(suo)述多(duo)梯度(du)切(qie)分尺(chi)(chi)(chi)度(du)包括(kuo)水(shui)平切(qie)分尺(chi)(chi)(chi)度(du)和垂直切(qie)分尺(chi)(chi)(chi)度(du)；

25、根據所述(shu)水(shui)平切(qie)分尺度和垂直切(qie)分尺度對所述(shu)漢藏語圖(tu)像(xiang)模(mo)態的圖(tu)像(xiang)進(jin)行(xing)逐一切(qie)割(ge)，得到多個(ge)切(qie)分圖(tu)塊。

26、在一(yi)些實(shi)施例(li)中，通過所(suo)述漢藏語圖(tu)像模態的圖(tu)像的畫幅比例(li)重組所(suo)有的切(qie)分圖(tu)塊，得到漢藏語圖(tu)像副本具(ju)體包括：

27、確定所述漢藏語圖像模態的(de)圖像的(de)畫幅比例；

28、確定所述切(qie)分圖塊的最大(da)擾動距離；

29、基于(yu)所述畫幅比例和(he)所述最(zui)大擾(rao)動距離(li)對所有的(de)(de)切分圖(tu)塊(kuai)(kuai)進行隨(sui)機(ji)擾(rao)動，進而將(jiang)擾(rao)動后的(de)(de)切分圖(tu)塊(kuai)(kuai)進行重(zhong)組，得到漢藏語(yu)圖(tu)像(xiang)副本。

30、在一些實施例(li)中，通(tong)過漢(han)藏語圖(tu)文(wen)數(shu)據(ju)庫獲取(qu)待處理的漢(han)藏語圖(tu)文(wen)信息。

31、第(di)二(er)方面，本技(ji)術提供一種(zhong)漢藏(zang)語多(duo)模(mo)態的圖文處理系統(tong)，包(bao)括(kuo)：

32、獲(huo)取模塊，用(yong)于獲(huo)取待處理(li)的漢(han)藏語圖文信(xin)息(xi)；

33、處理模(mo)塊(kuai)，用于(yu)根據不同模(mo)態提(ti)取(qu)器對應提(ti)取(qu)所述漢藏(zang)語(yu)(yu)圖文(wen)信息中漢藏(zang)語(yu)(yu)圖像模(mo)態的圖像特征和漢藏(zang)語(yu)(yu)文(wen)本模(mo)態的文(wen)本特征；

34、所(suo)述處(chu)理(li)模塊，還用(yong)于對(dui)所(suo)述圖(tu)像特(te)征和(he)所(suo)述文(wen)本特(te)征進(jin)(jin)行(xing)特(te)征交互，得(de)(de)到第(di)一(yi)漢藏(zang)語圖(tu)文(wen)交互特(te)征信(xin)息(xi)，根據所(suo)述第(di)一(yi)漢藏(zang)語圖(tu)文(wen)交互特(te)征信(xin)息(xi)構建漢藏(zang)語圖(tu)文(wen)的第(di)一(yi)交互軌跡(ji)，進(jin)(jin)而(er)得(de)(de)到第(di)一(yi)交互特(te)征量；

35、所(suo)述(shu)(shu)處理模塊，還用于根據(ju)預設的多梯度(du)切(qie)分(fen)尺(chi)度(du)對(dui)所(suo)述(shu)(shu)漢(han)藏(zang)語(yu)(yu)圖(tu)像(xiang)模態的圖(tu)像(xiang)進行切(qie)分(fen)處理，得到多個切(qie)分(fen)圖(tu)塊，通過所(suo)述(shu)(shu)漢(han)藏(zang)語(yu)(yu)圖(tu)像(xiang)模態的圖(tu)像(xiang)的畫幅比例重(zhong)組所(suo)有的切(qie)分(fen)圖(tu)塊，得到漢(han)藏(zang)語(yu)(yu)圖(tu)像(xiang)副本(ben)，根據(ju)對(dui)應提(ti)取器提(ti)取所(suo)述(shu)(shu)漢(han)藏(zang)語(yu)(yu)圖(tu)像(xiang)副本(ben)的圖(tu)像(xiang)副本(ben)特征；

36、所(suo)(suo)(suo)述(shu)處理模(mo)塊，還用于對(dui)所(suo)(suo)(suo)述(shu)圖像副本(ben)特(te)(te)征和所(suo)(suo)(suo)述(shu)文(wen)本(ben)特(te)(te)征進行特(te)(te)征交互(hu)，得(de)到第(di)二(er)(er)漢(han)(han)(han)藏(zang)語圖文(wen)交互(hu)特(te)(te)征信(xin)息，根據所(suo)(suo)(suo)述(shu)第(di)二(er)(er)漢(han)(han)(han)藏(zang)語圖文(wen)交互(hu)特(te)(te)征信(xin)息構(gou)建漢(han)(han)(han)藏(zang)語圖文(wen)的(de)第(di)二(er)(er)交互(hu)軌(gui)跡，進而得(de)到第(di)二(er)(er)交互(hu)特(te)(te)征量；

37、執行模塊，用于根據所述第(di)一交(jiao)互(hu)(hu)(hu)特征量(liang)和所述第(di)二交(jiao)互(hu)(hu)(hu)特征量(liang)確(que)定漢藏語(yu)圖文交(jiao)互(hu)(hu)(hu)處理(li)過程中的(de)交(jiao)互(hu)(hu)(hu)處理(li)置信(xin)度，基于所述交(jiao)互(hu)(hu)(hu)處理(li)置信(xin)度輸出漢藏語(yu)圖文交(jiao)互(hu)(hu)(hu)的(de)交(jiao)互(hu)(hu)(hu)結果。

38、第三(san)方(fang)面，本技術提供一種(zhong)計算機(ji)設備，所(suo)述(shu)計算機(ji)設備包(bao)括(kuo)存儲器(qi)(qi)和(he)處(chu)理器(qi)(qi)，所(suo)述(shu)存儲器(qi)(qi)存儲有代(dai)碼，所(suo)述(shu)處(chu)理器(qi)(qi)被配置為獲取(qu)所(suo)述(shu)代(dai)碼，并(bing)執行上述(shu)的漢(han)藏語(yu)多模態的圖文處(chu)理方(fang)法。

39、第四方面，本技術提供一種計(ji)算(suan)(suan)機(ji)可(ke)讀存儲介質(zhi)，所述計(ji)算(suan)(suan)機(ji)可(ke)讀存儲介質(zhi)存儲有計(ji)算(suan)(suan)機(ji)程序，所述計(ji)算(suan)(suan)機(ji)程序被處(chu)理(li)器執行(xing)時實現上述的(de)漢藏語多模(mo)態(tai)的(de)圖文處(chu)理(li)方法。

40、本技(ji)(ji)術公開的(de)實施例提(ti)供的(de)技(ji)(ji)術方案具(ju)有(you)以下有(you)益效果：

41、本(ben)(ben)(ben)技術提(ti)供的(de)(de)(de)漢(han)(han)(han)(han)(han)(han)藏(zang)語(yu)(yu)多模(mo)(mo)態(tai)(tai)的(de)(de)(de)圖(tu)(tu)(tu)(tu)(tu)文(wen)(wen)(wen)處(chu)(chu)理(li)方法及處(chu)(chu)理(li)系統中，首(shou)先(xian)，獲取(qu)(qu)待處(chu)(chu)理(li)的(de)(de)(de)漢(han)(han)(han)(han)(han)(han)藏(zang)語(yu)(yu)圖(tu)(tu)(tu)(tu)(tu)文(wen)(wen)(wen)信(xin)(xin)息(xi)；其次根據(ju)(ju)(ju)不同模(mo)(mo)態(tai)(tai)提(ti)取(qu)(qu)器對(dui)(dui)應(ying)提(ti)取(qu)(qu)所述(shu)(shu)(shu)(shu)漢(han)(han)(han)(han)(han)(han)藏(zang)語(yu)(yu)圖(tu)(tu)(tu)(tu)(tu)文(wen)(wen)(wen)信(xin)(xin)息(xi)中漢(han)(han)(han)(han)(han)(han)藏(zang)語(yu)(yu)圖(tu)(tu)(tu)(tu)(tu)像(xiang)模(mo)(mo)態(tai)(tai)的(de)(de)(de)圖(tu)(tu)(tu)(tu)(tu)像(xiang)特(te)(te)(te)(te)(te)征(zheng)(zheng)和(he)(he)漢(han)(han)(han)(han)(han)(han)藏(zang)語(yu)(yu)文(wen)(wen)(wen)本(ben)(ben)(ben)模(mo)(mo)態(tai)(tai)的(de)(de)(de)文(wen)(wen)(wen)本(ben)(ben)(ben)特(te)(te)(te)(te)(te)征(zheng)(zheng)；進(jin)(jin)一(yi)(yi)步(bu)，對(dui)(dui)所述(shu)(shu)(shu)(shu)圖(tu)(tu)(tu)(tu)(tu)像(xiang)特(te)(te)(te)(te)(te)征(zheng)(zheng)和(he)(he)所述(shu)(shu)(shu)(shu)文(wen)(wen)(wen)本(ben)(ben)(ben)特(te)(te)(te)(te)(te)征(zheng)(zheng)進(jin)(jin)行(xing)特(te)(te)(te)(te)(te)征(zheng)(zheng)交(jiao)(jiao)(jiao)互，得(de)到(dao)第(di)一(yi)(yi)漢(han)(han)(han)(han)(han)(han)藏(zang)語(yu)(yu)圖(tu)(tu)(tu)(tu)(tu)文(wen)(wen)(wen)交(jiao)(jiao)(jiao)互特(te)(te)(te)(te)(te)征(zheng)(zheng)信(xin)(xin)息(xi)，根據(ju)(ju)(ju)所述(shu)(shu)(shu)(shu)第(di)一(yi)(yi)漢(han)(han)(han)(han)(han)(han)藏(zang)語(yu)(yu)圖(tu)(tu)(tu)(tu)(tu)文(wen)(wen)(wen)交(jiao)(jiao)(jiao)互特(te)(te)(te)(te)(te)征(zheng)(zheng)信(xin)(xin)息(xi)構(gou)建漢(han)(han)(han)(han)(han)(han)藏(zang)語(yu)(yu)圖(tu)(tu)(tu)(tu)(tu)文(wen)(wen)(wen)的(de)(de)(de)第(di)一(yi)(yi)交(jiao)(jiao)(jiao)互軌跡，進(jin)(jin)而得(de)到(dao)第(di)一(yi)(yi)交(jiao)(jiao)(jiao)互特(te)(te)(te)(te)(te)征(zheng)(zheng)量；再進(jin)(jin)一(yi)(yi)步(bu)，根據(ju)(ju)(ju)預設的(de)(de)(de)多梯度切(qie)(qie)(qie)分(fen)(fen)尺度對(dui)(dui)所述(shu)(shu)(shu)(shu)漢(han)(han)(han)(han)(han)(han)藏(zang)語(yu)(yu)圖(tu)(tu)(tu)(tu)(tu)像(xiang)模(mo)(mo)態(tai)(tai)的(de)(de)(de)圖(tu)(tu)(tu)(tu)(tu)像(xiang)進(jin)(jin)行(xing)切(qie)(qie)(qie)分(fen)(fen)處(chu)(chu)理(li)，得(de)到(dao)多個(ge)切(qie)(qie)(qie)分(fen)(fen)圖(tu)(tu)(tu)(tu)(tu)塊，通過(guo)所述(shu)(shu)(shu)(shu)漢(han)(han)(han)(han)(han)(han)藏(zang)語(yu)(yu)圖(tu)(tu)(tu)(tu)(tu)像(xiang)模(mo)(mo)態(tai)(tai)的(de)(de)(de)圖(tu)(tu)(tu)(tu)(tu)像(xiang)的(de)(de)(de)畫幅比例重組所有的(de)(de)(de)切(qie)(qie)(qie)分(fen)(fen)圖(tu)(tu)(tu)(tu)(tu)塊，得(de)到(dao)漢(han)(han)(han)(han)(han)(han)藏(zang)語(yu)(yu)圖(tu)(tu)(tu)(tu)(tu)像(xiang)副(fu)本(ben)(ben)(ben)，根據(ju)(ju)(ju)對(dui)(dui)應(ying)提(ti)取(qu)(qu)器提(ti)取(qu)(qu)所述(shu)(shu)(shu)(shu)漢(han)(han)(han)(han)(han)(han)藏(zang)語(yu)(yu)圖(tu)(tu)(tu)(tu)(tu)像(xiang)副(fu)本(ben)(ben)(ben)的(de)(de)(de)圖(tu)(tu)(tu)(tu)(tu)像(xiang)副(fu)本(ben)(ben)(ben)特(te)(te)(te)(te)(te)征(zheng)(zheng)；然后，對(dui)(dui)所述(shu)(shu)(shu)(shu)圖(tu)(tu)(tu)(tu)(tu)像(xiang)副(fu)本(ben)(ben)(ben)特(te)(te)(te)(te)(te)征(zheng)(zheng)和(he)(he)所述(shu)(shu)(shu)(shu)文(wen)(wen)(wen)本(ben)(ben)(ben)特(te)(te)(te)(te)(te)征(zheng)(zheng)進(jin)(jin)行(xing)特(te)(te)(te)(te)(te)征(zheng)(zheng)交(jiao)(jiao)(jiao)互，得(de)到(dao)第(di)二漢(han)(han)(han)(han)(han)(han)藏(zang)語(yu)(yu)圖(tu)(tu)(tu)(tu)(tu)文(wen)(wen)(wen)交(jiao)(jiao)(jiao)互特(te)(te)(te)(te)(te)征(zheng)(zheng)信(xin)(xin)息(xi)，根據(ju)(ju)(ju)所述(shu)(shu)(shu)(shu)第(di)二漢(han)(han)(han)(han)(han)(han)藏(zang)語(yu)(yu)圖(tu)(tu)(tu)(tu)(tu)文(wen)(wen)(wen)交(jiao)(jiao)(jiao)互特(te)(te)(te)(te)(te)征(zheng)(zheng)信(xin)(xin)息(xi)構(gou)建漢(han)(han)(han)(han)(han)(han)藏(zang)語(yu)(yu)圖(tu)(tu)(tu)(tu)(tu)文(wen)(wen)(wen)的(de)(de)(de)第(di)二交(jiao)(jiao)(jiao)互軌跡，進(jin)(jin)而得(de)到(dao)第(di)二交(jiao)(jiao)(jiao)互特(te)(te)(te)(te)(te)征(zheng)(zheng)量；最(zui)后，根據(ju)(ju)(ju)所述(shu)(shu)(shu)(shu)第(di)一(yi)(yi)交(jiao)(jiao)(jiao)互特(te)(te)(te)(te)(te)征(zheng)(zheng)量和(he)(he)所述(shu)(shu)(shu)(shu)第(di)二交(jiao)(jiao)(jiao)互特(te)(te)(te)(te)(te)征(zheng)(zheng)量確定漢(han)(han)(han)(han)(han)(han)藏(zang)語(yu)(yu)圖(tu)(tu)(tu)(tu)(tu)文(wen)(wen)(wen)交(jiao)(jiao)(jiao)互處(chu)(chu)理(li)過(guo)程中的(de)(de)(de)交(jiao)(jiao)(jiao)互處(chu)(chu)理(li)置信(xin)(xin)度，基于所述(shu)(shu)(shu)(shu)交(jiao)(jiao)(jiao)互處(chu)(chu)理(li)置信(xin)(xin)度輸出(chu)漢(han)(han)(han)(han)(han)(han)藏(zang)語(yu)(yu)圖(tu)(tu)(tu)(tu)(tu)文(wen)(wen)(wen)交(jiao)(jiao)(jiao)互的(de)(de)(de)交(jiao)(jiao)(jiao)互結果。

42、由此可見，本(ben)(ben)技術首(shou)先通過預(yu)先訓(xun)練(lian)好的(de)(de)(de)(de)圖像特(te)(te)(te)征(zheng)提取器(qi)和(he)文(wen)(wen)(wen)(wen)本(ben)(ben)特(te)(te)(te)征(zheng)提取器(qi)提取得到所述(shu)漢(han)(han)(han)藏(zang)語(yu)(yu)圖文(wen)(wen)(wen)(wen)信(xin)(xin)息(xi)中(zhong)漢(han)(han)(han)藏(zang)語(yu)(yu)圖像模(mo)(mo)態(tai)(tai)的(de)(de)(de)(de)圖像特(te)(te)(te)征(zheng)和(he)漢(han)(han)(han)藏(zang)語(yu)(yu)文(wen)(wen)(wen)(wen)本(ben)(ben)模(mo)(mo)態(tai)(tai)的(de)(de)(de)(de)文(wen)(wen)(wen)(wen)本(ben)(ben)特(te)(te)(te)征(zheng)，以更加(jia)有效的(de)(de)(de)(de)理(li)(li)解(jie)(jie)漢(han)(han)(han)藏(zang)語(yu)(yu)圖像內(nei)容和(he)漢(han)(han)(han)藏(zang)語(yu)(yu)文(wen)(wen)(wen)(wen)本(ben)(ben)表達，從而(er)實(shi)現對(dui)(dui)漢(han)(han)(han)藏(zang)語(yu)(yu)圖像和(he)文(wen)(wen)(wen)(wen)本(ben)(ben)之間的(de)(de)(de)(de)語(yu)(yu)義(yi)理(li)(li)解(jie)(jie)和(he)分析；其次(ci)，對(dui)(dui)漢(han)(han)(han)藏(zang)語(yu)(yu)圖像內(nei)容和(he)漢(han)(han)(han)藏(zang)語(yu)(yu)文(wen)(wen)(wen)(wen)本(ben)(ben)表達進(jin)行特(te)(te)(te)征(zheng)交(jiao)(jiao)互(hu)并確定第(di)一交(jiao)(jiao)互(hu)特(te)(te)(te)征(zheng)量(liang)，以分析模(mo)(mo)型對(dui)(dui)復(fu)雜數據的(de)(de)(de)(de)理(li)(li)解(jie)(jie)和(he)處(chu)(chu)(chu)理(li)(li)能(neng)力(li)(li)，進(jin)而(er)識別跨(kua)模(mo)(mo)態(tai)(tai)之間的(de)(de)(de)(de)語(yu)(yu)義(yi)關(guan)(guan)聯建(jian)立(li)能(neng)力(li)(li)和(he)理(li)(li)解(jie)(jie)能(neng)力(li)(li)；然后，依據無序重組的(de)(de)(de)(de)漢(han)(han)(han)藏(zang)語(yu)(yu)圖像副本(ben)(ben)的(de)(de)(de)(de)圖像副本(ben)(ben)特(te)(te)(te)征(zheng)與文(wen)(wen)(wen)(wen)本(ben)(ben)特(te)(te)(te)征(zheng)確定第(di)二交(jiao)(jiao)互(hu)特(te)(te)(te)征(zheng)量(liang)，以更進(jin)一步識別跨(kua)模(mo)(mo)態(tai)(tai)之間的(de)(de)(de)(de)語(yu)(yu)義(yi)關(guan)(guan)聯建(jian)立(li)能(neng)力(li)(li)和(he)理(li)(li)解(jie)(jie)能(neng)力(li)(li)，從而(er)避(bi)免(mian)了漢(han)(han)(han)藏(zang)語(yu)(yu)多(duo)模(mo)(mo)態(tai)(tai)交(jiao)(jiao)互(hu)處(chu)(chu)(chu)理(li)(li)的(de)(de)(de)(de)處(chu)(chu)(chu)理(li)(li)結果偏(pian)離真實(shi)語(yu)(yu)義(yi)信(xin)(xin)息(xi)；最后，根據所述(shu)第(di)一交(jiao)(jiao)互(hu)特(te)(te)(te)征(zheng)量(liang)和(he)所述(shu)第(di)二交(jiao)(jiao)互(hu)特(te)(te)(te)征(zheng)量(liang)確定漢(han)(han)(han)藏(zang)語(yu)(yu)圖文(wen)(wen)(wen)(wen)交(jiao)(jiao)互(hu)處(chu)(chu)(chu)理(li)(li)過程中(zhong)的(de)(de)(de)(de)交(jiao)(jiao)互(hu)處(chu)(chu)(chu)理(li)(li)置信(xin)(xin)度，基于所述(shu)交(jiao)(jiao)互(hu)處(chu)(chu)(chu)理(li)(li)置信(xin)(xin)度輸出漢(han)(han)(han)藏(zang)語(yu)(yu)圖文(wen)(wen)(wen)(wen)交(jiao)(jiao)互(hu)的(de)(de)(de)(de)交(jiao)(jiao)互(hu)結果；綜上所述(shu)，可實(shi)現漢(han)(han)(han)藏(zang)語(yu)(yu)圖文(wen)(wen)(wen)(wen)跨(kua)模(mo)(mo)態(tai)(tai)交(jiao)(jiao)互(hu)的(de)(de)(de)(de)語(yu)(yu)義(yi)關(guan)(guan)聯，從而(er)提高(gao)漢(han)(han)(han)藏(zang)語(yu)(yu)圖文(wen)(wen)(wen)(wen)跨(kua)模(mo)(mo)態(tai)(tai)交(jiao)(jiao)互(hu)處(chu)(chu)(chu)理(li)(li)結果的(de)(de)(de)(de)真實(shi)性。