本申請涉及圖(tu)像(xiang)(xiang)識別，尤其涉及一種表(biao)格圖(tu)像(xiang)(xiang)的處理(li)方(fang)法及設備(bei)。

背景技術：

1、表(biao)(biao)格(ge)是文檔中最常見(jian)也最直(zhi)觀的一種(zhong)信(xin)息(xi)(xi)組織形式，包含了用戶的很多結(jie)構化的信(xin)息(xi)(xi)，獲取這些結(jie)構化信(xin)息(xi)(xi)有(you)助于構建(jian)龐(pang)大的數據(ju)庫來進行(xing)數據(ju)的存(cun)儲和管(guan)理(li)。通過光(guang)學(xue)字符識別技(ji)術(optical?character?recognition，ocr)對(dui)表(biao)(biao)格(ge)圖(tu)像進行(xing)ocr識別，基于ocr識別結(jie)果可以實現表(biao)(biao)格(ge)內容的識別。

技術實現思路

1、本申(shen)請實施(shi)例提(ti)供(gong)一種表格(ge)(ge)圖像的處理方法、裝置、電(dian)子設備、計算機(ji)可讀(du)存儲介(jie)質及計算機(ji)程(cheng)序(xu)產品，能夠提(ti)高(gao)表格(ge)(ge)圖像的表格(ge)(ge)識別準確性。

2、本申請實(shi)施例的技術方案是這樣實(shi)現的：

3、本申請實施例提(ti)供一種表(biao)格圖像(xiang)的處理方法，包括(kuo)：

4、對表(biao)(biao)格圖像進行切(qie)分(fen)，得(de)到m個具有目(mu)標尺(chi)寸的子表(biao)(biao)格圖像，所述m為大(da)于1的整數，所述目(mu)標尺(chi)寸為表(biao)(biao)格識(shi)別模型(xing)對應的圖像輸入尺(chi)寸；

5、對所(suo)述表格圖像進行(xing)尺寸調整，得到具有所(suo)述目標(biao)(biao)尺寸的目標(biao)(biao)表格圖像；

6、對所(suo)述(shu)(shu)m個子表格(ge)圖(tu)像(xiang)(xiang)進行編碼，得(de)到m個子表格(ge)圖(tu)像(xiang)(xiang)特(te)征(zheng)，以及對所(suo)述(shu)(shu)目標(biao)表格(ge)圖(tu)像(xiang)(xiang)進行編碼，得(de)到目標(biao)表格(ge)圖(tu)像(xiang)(xiang)特(te)征(zheng)；

7、通過所述(shu)表(biao)格(ge)(ge)識別(bie)模型(xing)，對所述(shu)目標表(biao)格(ge)(ge)圖像(xiang)特(te)征和所述(shu)m個(ge)子表(biao)格(ge)(ge)圖像(xiang)特(te)征進行表(biao)格(ge)(ge)識別(bie)，得到所述(shu)表(biao)格(ge)(ge)圖像(xiang)的(de)表(biao)格(ge)(ge)識別(bie)結果。

8、本申(shen)請實施例還提供一種表格圖像的(de)處理裝(zhuang)置，包(bao)括(kuo)：

9、切(qie)(qie)分模(mo)塊(kuai)，用于(yu)對表(biao)格(ge)圖(tu)像(xiang)進行切(qie)(qie)分，得到m個具有目標(biao)尺(chi)寸的子表(biao)格(ge)圖(tu)像(xiang)，所(suo)述m為(wei)大于(yu)1的整數，所(suo)述目標(biao)尺(chi)寸為(wei)表(biao)格(ge)識別模(mo)型對應的圖(tu)像(xiang)輸入(ru)尺(chi)寸；

10、調整模塊，用于對所(suo)述(shu)表(biao)格圖像進行尺(chi)寸調整，得到具(ju)有所(suo)述(shu)目標尺(chi)寸的目標表(biao)格圖像；

11、編(bian)碼模(mo)塊，用于對(dui)所述m個子表格(ge)圖像進(jin)(jin)行編(bian)碼，得到m個子表格(ge)圖像特征，以及(ji)對(dui)所述目(mu)標(biao)表格(ge)圖像進(jin)(jin)行編(bian)碼，得到目(mu)標(biao)表格(ge)圖像特征；

12、表(biao)(biao)(biao)格(ge)(ge)識別(bie)(bie)模(mo)(mo)塊，用于通過所(suo)述(shu)表(biao)(biao)(biao)格(ge)(ge)識別(bie)(bie)模(mo)(mo)型，對所(suo)述(shu)目標表(biao)(biao)(biao)格(ge)(ge)圖像(xiang)(xiang)特征(zheng)和(he)所(suo)述(shu)m個子表(biao)(biao)(biao)格(ge)(ge)圖像(xiang)(xiang)特征(zheng)進(jin)行表(biao)(biao)(biao)格(ge)(ge)識別(bie)(bie)，得到所(suo)述(shu)表(biao)(biao)(biao)格(ge)(ge)圖像(xiang)(xiang)的表(biao)(biao)(biao)格(ge)(ge)識別(bie)(bie)結果。

13、本申請實施例還提供一種電(dian)子設(she)備，包括：

14、存儲(chu)器(qi)，用于存儲(chu)計算機(ji)可(ke)執行指令；

15、處理(li)器，用于執(zhi)行所述存(cun)儲器中存(cun)儲的(de)計算(suan)機(ji)可執(zhi)行指令時，實(shi)現本申請實(shi)施(shi)例提供的(de)表格圖像的(de)處理(li)方法(fa)。

16、本申請實施例還提供一(yi)種計算(suan)機(ji)(ji)可讀存(cun)儲(chu)(chu)介質，存(cun)儲(chu)(chu)有計算(suan)機(ji)(ji)可執行指令或(huo)計算(suan)機(ji)(ji)程序，所述計算(suan)機(ji)(ji)可執行指令或(huo)計算(suan)機(ji)(ji)程序被處理(li)器執行時，實現本申請實施例提供的表格圖像的處理(li)方法。

17、本申請實施例還提(ti)供(gong)一種計(ji)算(suan)機(ji)程(cheng)序(xu)產(chan)品，包括計(ji)算(suan)機(ji)可執行指(zhi)令(ling)(ling)或計(ji)算(suan)機(ji)程(cheng)序(xu)，所(suo)述計(ji)算(suan)機(ji)可執行指(zhi)令(ling)(ling)或計(ji)算(suan)機(ji)程(cheng)序(xu)被處理(li)器(qi)執行時，實現本申請實施例提(ti)供(gong)的表格圖像的處理(li)方法。

18、本申請(qing)實施(shi)例具有以(yi)下有益效果：

19、應(ying)用本申請(qing)實施例(li)，首先對表(biao)(biao)格(ge)(ge)(ge)(ge)圖(tu)(tu)像進(jin)行切分，得(de)(de)到(dao)m個(ge)具(ju)有目(mu)(mu)標尺(chi)寸的(de)子表(biao)(biao)格(ge)(ge)(ge)(ge)圖(tu)(tu)像，并(bing)對表(biao)(biao)格(ge)(ge)(ge)(ge)圖(tu)(tu)像進(jin)行尺(chi)寸調整，得(de)(de)到(dao)具(ju)有目(mu)(mu)標尺(chi)寸的(de)目(mu)(mu)標表(biao)(biao)格(ge)(ge)(ge)(ge)圖(tu)(tu)像，該目(mu)(mu)標尺(chi)寸為(wei)表(biao)(biao)格(ge)(ge)(ge)(ge)識(shi)別模型(xing)對應(ying)的(de)模型(xing)輸入尺(chi)寸；然后對m個(ge)子表(biao)(biao)格(ge)(ge)(ge)(ge)圖(tu)(tu)像進(jin)行編碼(ma)，得(de)(de)到(dao)m個(ge)子表(biao)(biao)格(ge)(ge)(ge)(ge)圖(tu)(tu)像特(te)征(zheng)，并(bing)對目(mu)(mu)標表(biao)(biao)格(ge)(ge)(ge)(ge)圖(tu)(tu)像進(jin)行編碼(ma)，得(de)(de)到(dao)目(mu)(mu)標表(biao)(biao)格(ge)(ge)(ge)(ge)圖(tu)(tu)像特(te)征(zheng)；最后通過(guo)表(biao)(biao)格(ge)(ge)(ge)(ge)識(shi)別模型(xing)，對目(mu)(mu)標表(biao)(biao)格(ge)(ge)(ge)(ge)圖(tu)(tu)像特(te)征(zheng)和m個(ge)子表(biao)(biao)格(ge)(ge)(ge)(ge)圖(tu)(tu)像特(te)征(zheng)進(jin)行表(biao)(biao)格(ge)(ge)(ge)(ge)識(shi)別，得(de)(de)到(dao)表(biao)(biao)格(ge)(ge)(ge)(ge)圖(tu)(tu)像的(de)表(biao)(biao)格(ge)(ge)(ge)(ge)識(shi)別結果。

20、這里(li)，(1)利(li)用(yong)一個表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)識(shi)(shi)別(bie)(bie)模(mo)(mo)型(xing)實現了(le)表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)圖(tu)(tu)像(xiang)(xiang)(xiang)的(de)(de)(de)(de)(de)表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)識(shi)(shi)別(bie)(bie)，無(wu)需依賴(lai)ocr識(shi)(shi)別(bie)(bie)技術，避免(mian)了(le)ocr識(shi)(shi)別(bie)(bie)誤(wu)差對于表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)識(shi)(shi)別(bie)(bie)的(de)(de)(de)(de)(de)影響(xiang)；(2)采用(yong)表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)識(shi)(shi)別(bie)(bie)模(mo)(mo)型(xing)的(de)(de)(de)(de)(de)圖(tu)(tu)像(xiang)(xiang)(xiang)輸入(ru)尺寸對表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)圖(tu)(tu)像(xiang)(xiang)(xiang)進行(xing)切分以(yi)使(shi)(shi)得(de)子(zi)表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)圖(tu)(tu)像(xiang)(xiang)(xiang)具(ju)有目標尺寸，能(neng)(neng)夠適應表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)識(shi)(shi)別(bie)(bie)模(mo)(mo)型(xing)的(de)(de)(de)(de)(de)輸入(ru)尺寸，避免(mian)了(le)為使(shi)(shi)表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)識(shi)(shi)別(bie)(bie)模(mo)(mo)型(xing)處理表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)圖(tu)(tu)像(xiang)(xiang)(xiang)的(de)(de)(de)(de)(de)圖(tu)(tu)像(xiang)(xiang)(xiang)特(te)(te)(te)征(zheng)，而將表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)圖(tu)(tu)像(xiang)(xiang)(xiang)壓縮(suo)(suo)到目標尺寸所帶來的(de)(de)(de)(de)(de)壓縮(suo)(suo)形(xing)變，從(cong)而保證表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)圖(tu)(tu)像(xiang)(xiang)(xiang)的(de)(de)(de)(de)(de)圖(tu)(tu)像(xiang)(xiang)(xiang)特(te)(te)(te)征(zheng)能(neng)(neng)夠更好地保留；(3)通過(guo)表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)識(shi)(shi)別(bie)(bie)模(mo)(mo)型(xing)對目標表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)圖(tu)(tu)像(xiang)(xiang)(xiang)特(te)(te)(te)征(zheng)和m個子(zi)表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)圖(tu)(tu)像(xiang)(xiang)(xiang)特(te)(te)(te)征(zheng)進行(xing)表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)識(shi)(shi)別(bie)(bie)，使(shi)(shi)得(de)表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)識(shi)(shi)別(bie)(bie)模(mo)(mo)型(xing)能(neng)(neng)夠關注到表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)圖(tu)(tu)像(xiang)(xiang)(xiang)的(de)(de)(de)(de)(de)局部特(te)(te)(te)征(zheng)(即每個子(zi)表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)圖(tu)(tu)像(xiang)(xiang)(xiang)特(te)(te)(te)征(zheng))和表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)圖(tu)(tu)像(xiang)(xiang)(xiang)的(de)(de)(de)(de)(de)整(zheng)體特(te)(te)(te)征(zheng)(即目標表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)圖(tu)(tu)像(xiang)(xiang)(xiang)特(te)(te)(te)征(zheng))間(jian)的(de)(de)(de)(de)(de)關系。如此，通過(guo)本申請實施例能(neng)(neng)夠提(ti)高表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)圖(tu)(tu)像(xiang)(xiang)(xiang)的(de)(de)(de)(de)(de)表(biao)(biao)格(ge)(ge)(ge)(ge)(ge)識(shi)(shi)別(bie)(bie)準確(que)性。

技術特征：

1.一(yi)種(zhong)表(biao)格圖像的處理方(fang)法，其特(te)征(zheng)在于，所述方(fang)法包括：

2.如權(quan)利要求1所述(shu)(shu)的(de)方法，其特征在于，所述(shu)(shu)對表(biao)格圖像(xiang)進行切(qie)分，得到m個具有目標尺寸的(de)子表(biao)格圖像(xiang)，包括(kuo)：

3.如(ru)權利要求(qiu)1所述(shu)的方法(fa)，其(qi)特征(zheng)在于(yu)，所述(shu)對所述(shu)m個(ge)子表格圖(tu)像(xiang)(xiang)進(jin)行編碼，得到m個(ge)子表格圖(tu)像(xiang)(xiang)特征(zheng)，包括：

4.如權利要求1所述的方法(fa)，其特征在于，所述對所述m個子(zi)表(biao)格圖像(xiang)進(jin)行(xing)編碼(ma)，得到m個子(zi)表(biao)格圖像(xiang)特征，包(bao)括：

5.如權利要求4所述(shu)的(de)方(fang)法(fa)，其特(te)征(zheng)在于，所述(shu)對所述(shu)m個(ge)子表格(ge)圖(tu)像進行視覺特(te)征(zheng)提取，得到(dao)m個(ge)第三視覺特(te)征(zheng)，包括：

6.如權利要求4所(suo)述(shu)的方法(fa)，其特(te)征在于，所(suo)述(shu)對所(suo)述(shu)m個子表(biao)格圖像進行(xing)語(yu)義特(te)征提取，得到m個第一語(yu)義特(te)征，包括：

7.如權(quan)利要求1所述的(de)方法，其特征在于，所述表(biao)格識別模型(xing)的(de)訓練過程包括：

8.如(ru)權利(li)要(yao)求7所(suo)述的(de)方法，其(qi)特征在于(yu)，所(suo)述初始表(biao)格識(shi)(shi)別(bie)模(mo)(mo)(mo)型(xing)(xing)(xing)包括(kuo)第一(yi)表(biao)格識(shi)(shi)別(bie)子(zi)(zi)(zi)模(mo)(mo)(mo)型(xing)(xing)(xing)和第二表(biao)格識(shi)(shi)別(bie)子(zi)(zi)(zi)模(mo)(mo)(mo)型(xing)(xing)(xing)，所(suo)述第一(yi)表(biao)格識(shi)(shi)別(bie)子(zi)(zi)(zi)模(mo)(mo)(mo)型(xing)(xing)(xing)的(de)模(mo)(mo)(mo)型(xing)(xing)(xing)參數的(de)參數量(liang)多于(yu)所(suo)述第二表(biao)格識(shi)(shi)別(bie)子(zi)(zi)(zi)模(mo)(mo)(mo)型(xing)(xing)(xing)的(de)模(mo)(mo)(mo)型(xing)(xing)(xing)參數的(de)參數量(liang)；

9.如權利(li)要求(qiu)1所(suo)述的(de)方法，其特(te)征在于，所(suo)述通(tong)過所(suo)述表(biao)(biao)格(ge)(ge)識(shi)(shi)別(bie)模型(xing)，對(dui)所(suo)述目標(biao)表(biao)(biao)格(ge)(ge)圖像特(te)征和(he)所(suo)述m個子表(biao)(biao)格(ge)(ge)圖像特(te)征進行表(biao)(biao)格(ge)(ge)識(shi)(shi)別(bie)，得到所(suo)述表(biao)(biao)格(ge)(ge)圖像的(de)表(biao)(biao)格(ge)(ge)識(shi)(shi)別(bie)結果，包括：

10.一種表格圖像(xiang)的處(chu)理裝(zhuang)(zhuang)置(zhi)(zhi)，其特(te)征在(zai)于，所述裝(zhuang)(zhuang)置(zhi)(zhi)包(bao)括：

11.一種電子(zi)設備，其特征(zheng)在于，所述(shu)電子(zi)設備包括：

12.一種計(ji)(ji)算(suan)機(ji)可讀存(cun)儲介質，存(cun)儲有(you)計(ji)(ji)算(suan)機(ji)可執(zhi)行(xing)(xing)指(zhi)(zhi)令或(huo)計(ji)(ji)算(suan)機(ji)程序，其特征在于(yu)，所(suo)述計(ji)(ji)算(suan)機(ji)可執(zhi)行(xing)(xing)指(zhi)(zhi)令或(huo)計(ji)(ji)算(suan)機(ji)程序被處理器執(zhi)行(xing)(xing)時，實(shi)現權利要求1至9任一項所(suo)述的(de)表格圖(tu)像(xiang)的(de)處理方法。

13.一種計算(suan)機(ji)(ji)程序(xu)產(chan)品，包括計算(suan)機(ji)(ji)可執(zhi)行(xing)(xing)指令或(huo)計算(suan)機(ji)(ji)程序(xu)，其(qi)特征(zheng)在于，所(suo)述計算(suan)機(ji)(ji)可執(zhi)行(xing)(xing)指令或(huo)計算(suan)機(ji)(ji)程序(xu)被處(chu)(chu)理(li)器(qi)執(zhi)行(xing)(xing)時，實現權利要求(qiu)1至9任一項所(suo)述的表格圖像的處(chu)(chu)理(li)方(fang)法。

技術總結
本申請提供了一種表格圖像的處理方法及設備，表格圖像的處理方法包括：對表格圖像進行切分，得到M個具有目標尺寸的子表格圖像，所述M為大于1的整數，所述目標尺寸為表格識別模型對應的圖像輸入尺寸；對所述表格圖像進行尺寸調整，得到具有所述目標尺寸的目標表格圖像；對所述M個子表格圖像進行編碼，得到M個子表格圖像特征，以及對所述目標表格圖像進行編碼，得到目標表格圖像特征；通過所述表格識別模型，對所述目標表格圖像特征和所述M個子表格圖像特征進行表格識別，得到所述表格圖像的表格識別結果；通過本申請，能夠提高表格圖像的表格識別準確性。

技術研發人員：王雷
受保護的技術使用者：馬上消費金融股份有限公司
技術研發日：
技術公布日：2024/9/19