本(ben)說明書一(yi)個或多個實施(shi)例(li)涉及(ji)圖像處理技術，尤其(qi)涉及(ji)一(yi)種遙感(gan)影像的扭曲變形修復方法、裝置及(ji)電(dian)子設備。

背景技術：

1、遙感影像(xiang)在產生時，部分圖像(xiang)會出現(xian)扭(niu)曲(qu)和(he)變(bian)形，影響遙感影像(xiang)整(zheng)體的(de)數據質量。為了解決該問題(ti)，目前一(yi)般是由(you)作業人(ren)員在photoshop軟件中對得到的(de)遙感影像(xiang)進行(xing)修(xiu)(xiu)圖調(diao)整(zheng)，增加巨(ju)大的(de)時間成本(ben)和(he)人(ren)力(li)成本(ben)。此外，現(xian)有技術中也有通(tong)過特征點檢(jian)測與匹配后，根據仿(fang)射變(bian)換矩(ju)陣對扭(niu)曲(qu)影像(xiang)進行(xing)修(xiu)(xiu)復的(de)方式(shi)，但是由(you)于并非(fei)所有影像(xiang)都(dou)存在扭(niu)曲(qu)變(bian)形，該方式(shi)每次都(dou)需(xu)要(yao)人(ren)工(gong)手動(dong)確認扭(niu)曲(qu)變(bian)形區域(yu)后才能(neng)進行(xing)修(xiu)(xiu)復，仍(reng)然需(xu)要(yao)大量的(de)時間和(he)人(ren)力(li)資源。

技術實現思路

1、為了(le)解決上述(shu)問題，本說明書一個(ge)或多(duo)個(ge)實施例描述(shu)了(le)一種遙感影像的(de)扭曲變(bian)形修復方法、裝置及電子設備(bei)。

2、根(gen)據第一方面，提供了(le)一種遙感影像(xiang)的扭曲變形修復方法(fa)，所述(shu)方法(fa)包括：

3、以(yi)生成(cheng)對抗網絡模(mo)(mo)型(xing)(xing)(xing)為(wei)基(ji)(ji)礎(chu)模(mo)(mo)型(xing)(xing)(xing)，基(ji)(ji)于訓練數(shu)(shu)據訓練所述(shu)基(ji)(ji)礎(chu)模(mo)(mo)型(xing)(xing)(xing)，得到扭曲變形(xing)修(xiu)復(fu)模(mo)(mo)型(xing)(xing)(xing)，所述(shu)訓練數(shu)(shu)據包括真(zhen)(zhen)實(shi)修(xiu)復(fu)樣(yang)本(ben)(ben)(ben)和模(mo)(mo)擬(ni)(ni)合成(cheng)樣(yang)本(ben)(ben)(ben)，所述(shu)真(zhen)(zhen)實(shi)修(xiu)復(fu)樣(yang)本(ben)(ben)(ben)基(ji)(ji)于實(shi)際作業過程中(zhong)通過手動標注(zhu)得到，所述(shu)模(mo)(mo)擬(ni)(ni)合成(cheng)樣(yang)本(ben)(ben)(ben)基(ji)(ji)于真(zhen)(zhen)實(shi)無扭曲變形(xing)影像(xiang)進行隨機變形(xing)操作后得到，所述(shu)真(zhen)(zhen)實(shi)修(xiu)復(fu)樣(yang)本(ben)(ben)(ben)的(de)(de)約束損(sun)失(shi)(shi)函(han)數(shu)(shu)權重大(da)于所述(shu)模(mo)(mo)擬(ni)(ni)合成(cheng)樣(yang)本(ben)(ben)(ben)的(de)(de)約束損(sun)失(shi)(shi)函(han)數(shu)(shu)權重，所述(shu)基(ji)(ji)礎(chu)模(mo)(mo)型(xing)(xing)(xing)中(zhong)設置(zhi)有像(xiang)素(su)級監督(du)損(sun)失(shi)(shi)函(han)數(shu)(shu)，所述(shu)像(xiang)素(su)級監督(du)損(sun)失(shi)(shi)函(han)數(shu)(shu)用以(yi)確定(ding)模(mo)(mo)型(xing)(xing)(xing)輸出結果和實(shi)際結果之間每個像(xiang)素(su)點(dian)的(de)(de)像(xiang)素(su)誤差，并(bing)根據像(xiang)素(su)誤差大(da)小(xiao)生成(cheng)誤差懲罰，所述(shu)誤差懲罰用以(yi)引(yin)導調整(zheng)模(mo)(mo)型(xing)(xing)(xing)參(can)數(shu)(shu)以(yi)最小(xiao)化所述(shu)像(xiang)素(su)誤差；

4、獲(huo)取待修復的遙(yao)感影像(xiang)，基(ji)于第一(yi)預(yu)設(she)尺寸(cun)將所述(shu)遙(yao)感影像(xiang)劃分(fen)為(wei)至(zhi)少一(yi)個(ge)(ge)第一(yi)影像(xiang)，并基(ji)于第二預(yu)設(she)尺寸(cun)和(he)預(yu)設(she)重疊(die)率分(fen)別將各(ge)所述(shu)第一(yi)影像(xiang)劃分(fen)為(wei)多(duo)個(ge)(ge)第二影像(xiang)；

5、針對任一所述第(di)(di)(di)一影(ying)像(xiang)(xiang)，基(ji)于所述扭(niu)曲變形修(xiu)復模型分別處理各(ge)所述第(di)(di)(di)二影(ying)像(xiang)(xiang)，得(de)到各(ge)第(di)(di)(di)一修(xiu)復影(ying)像(xiang)(xiang)，并基(ji)于各(ge)所述第(di)(di)(di)一修(xiu)復影(ying)像(xiang)(xiang)生成所述第(di)(di)(di)一影(ying)像(xiang)(xiang)的第(di)(di)(di)二修(xiu)復影(ying)像(xiang)(xiang)；

6、在得到所(suo)有所(suo)述第二(er)修復影像(xiang)(xiang)后(hou)，整合各所(suo)述第二(er)修復影像(xiang)(xiang)，得到所(suo)述遙感影像(xiang)(xiang)對應的修復遙感影像(xiang)(xiang)。

7、優(you)選的(de)，所(suo)述(shu)基礎(chu)模(mo)型(xing)為pix2pixhd模(mo)型(xing)，所(suo)述(shu)像(xiang)(xiang)(xiang)素(su)(su)級(ji)監督損(sun)失函數(shu)用以(yi)確定模(mo)型(xing)輸出結果(guo)和實際(ji)結果(guo)之間每個(ge)像(xiang)(xiang)(xiang)素(su)(su)點的(de)像(xiang)(xiang)(xiang)素(su)(su)均方誤(wu)差，并根據像(xiang)(xiang)(xiang)素(su)(su)均方誤(wu)差大小(xiao)生(sheng)成誤(wu)差懲(cheng)罰，所(suo)述(shu)誤(wu)差懲(cheng)罰用以(yi)引導調整模(mo)型(xing)參數(shu)以(yi)最小(xiao)化所(suo)述(shu)像(xiang)(xiang)(xiang)素(su)(su)均方誤(wu)差，所(suo)述(shu)像(xiang)(xiang)(xiang)素(su)(su)均方誤(wu)差與誤(wu)差懲(cheng)罰的(de)大小(xiao)呈正相(xiang)關。

8、優(you)選的，所(suo)述基(ji)于訓(xun)練(lian)數據訓(xun)練(lian)所(suo)述基(ji)礎模型，包括：

9、按照(zhao)預(yu)設比(bi)例將所(suo)(suo)述(shu)(shu)(shu)訓練數(shu)據(ju)(ju)劃分為(wei)訓練樣本(ben)(ben)(ben)和測試(shi)樣本(ben)(ben)(ben)，并基于預(yu)設的數(shu)據(ju)(ju)增(zeng)強策略對訓練數(shu)據(ju)(ju)進行(xing)處理，所(suo)(suo)述(shu)(shu)(shu)訓練數(shu)據(ju)(ju)中(zhong)真實修復樣本(ben)(ben)(ben)的數(shu)量(liang)占比(bi)小于模擬合成樣本(ben)(ben)(ben)的數(shu)量(liang)占比(bi)，所(suo)(suo)述(shu)(shu)(shu)數(shu)據(ju)(ju)增(zeng)強策略包括(kuo)隨(sui)機縮放、隨(sui)機翻(fan)轉、隨(sui)機參數(shu)變換，所(suo)(suo)述(shu)(shu)(shu)參數(shu)包括(kuo)色彩、亮(liang)度、對比(bi)度和飽(bao)和度；

10、基于(yu)所(suo)述訓練樣本(ben)和(he)測試樣本(ben)訓練所(suo)述基礎模(mo)型，并(bing)在(zai)訓練過程中根據隨機(ji)梯(ti)度下降方法進行(xing)模(mo)型反向傳播更新，模(mo)型的學習率(lv)隨著訓練輪數的增加(jia)而衰減(jian)。

11、優選的，所(suo)(suo)述(shu)訓練(lian)數據還包括(kuo)無修(xiu)復樣本，每個(ge)所(suo)(suo)述(shu)真(zhen)實修(xiu)復樣本和(he)模擬(ni)合成(cheng)樣本均為(wei)扭曲影像和(he)修(xiu)復影像組成(cheng)的一個(ge)影像對(dui)，所(suo)(suo)述(shu)無修(xiu)復樣本為(wei)相同的兩個(ge)無扭曲影像組成(cheng)的一個(ge)影像對(dui)；

12、所(suo)述(shu)整合各所(suo)述(shu)第二修復影(ying)像(xiang)，得到所(suo)述(shu)遙(yao)感影(ying)像(xiang)對應的修復遙(yao)感影(ying)像(xiang)之后(hou)，還(huan)包括：

13、當所(suo)述遙感影像(xiang)與第(di)二修復(fu)影像(xiang)之間存在(zai)像(xiang)素差時，基于二值掩(yan)膜標注所(suo)述第(di)二修復(fu)影像(xiang)的第(di)一(yi)修復(fu)區域，并對(dui)所(suo)述第(di)一(yi)修復(fu)區域進行輪廓提取，生成扭(niu)曲變形(xing)檢(jian)測結(jie)(jie)果，將所(suo)述扭(niu)曲變形(xing)檢(jian)測結(jie)(jie)果發送至預設終端；

14、當檢測到(dao)所述(shu)預(yu)設終(zhong)端基于(yu)所述(shu)扭曲變形檢測結果發送的正確(que)樣(yang)本(ben)時，將(jiang)所述(shu)正確(que)樣(yang)本(ben)添加(jia)至所述(shu)真實修(xiu)復樣(yang)本(ben)中，并基于(yu)所述(shu)訓練數據優化所述(shu)扭曲變形修(xiu)復模型。

15、優(you)選的，所(suo)述(shu)真實修(xiu)復(fu)(fu)樣(yang)本中(zhong)修(xiu)復(fu)(fu)影像(xiang)標(biao)注有(you)(you)至少(shao)一個預設(she)大小的目標(biao)框，所(suo)有(you)(you)所(suo)述(shu)目標(biao)框對應的框選區域覆蓋(gai)所(suo)述(shu)修(xiu)復(fu)(fu)影像(xiang)的第二修(xiu)復(fu)(fu)區域。

16、優(you)選的，生成所(suo)述模擬合成樣本的所(suo)述隨機變(bian)形操作的種(zhong)類包括波浪扭曲和擠壓變(bian)形，每種(zhong)所(suo)述隨機變(bian)形操作的選取概(gai)率相同且獨立(li)。

17、優選的，所(suo)述(shu)基于各所(suo)述(shu)第一修復(fu)影像生成所(suo)述(shu)第一影像的第二修復(fu)影像，包括：

18、將所述(shu)第(di)一(yi)修復(fu)影(ying)像(xiang)的(de)(de)重(zhong)疊(die)區(qu)域劃(hua)分為(wei)多個(ge)子重(zhong)疊(die)區(qu)域，根據與所述(shu)第(di)一(yi)修復(fu)影(ying)像(xiang)的(de)(de)影(ying)像(xiang)中心的(de)(de)距離(li)大小為(wei)各(ge)所述(shu)子重(zhong)疊(die)區(qu)域設置(zhi)權(quan)(quan)重(zhong)，距離(li)影(ying)像(xiang)中心越(yue)遠的(de)(de)子重(zhong)疊(die)區(qu)域的(de)(de)權(quan)(quan)重(zhong)越(yue)大；

19、對各(ge)所(suo)述第(di)(di)一修(xiu)復(fu)影像的重疊區域進行加(jia)權計算，得(de)到第(di)(di)二修(xiu)復(fu)影像。

20、根據第(di)二(er)方面(mian)，提(ti)供(gong)了一種遙(yao)感影像的扭曲變形修(xiu)復裝(zhuang)置，所(suo)述裝(zhuang)置包(bao)括：

21、訓(xun)(xun)(xun)練(lian)模(mo)(mo)(mo)塊，用(yong)于(yu)以生成(cheng)對(dui)抗網絡模(mo)(mo)(mo)型(xing)(xing)為基礎模(mo)(mo)(mo)型(xing)(xing)，基于(yu)訓(xun)(xun)(xun)練(lian)數(shu)(shu)(shu)(shu)據(ju)訓(xun)(xun)(xun)練(lian)所(suo)(suo)述(shu)(shu)基礎模(mo)(mo)(mo)型(xing)(xing)，得到扭(niu)(niu)曲(qu)變(bian)形修復模(mo)(mo)(mo)型(xing)(xing)，所(suo)(suo)述(shu)(shu)訓(xun)(xun)(xun)練(lian)數(shu)(shu)(shu)(shu)據(ju)包括真實(shi)(shi)修復樣(yang)本(ben)和模(mo)(mo)(mo)擬合(he)成(cheng)樣(yang)本(ben)，所(suo)(suo)述(shu)(shu)真實(shi)(shi)修復樣(yang)本(ben)基于(yu)實(shi)(shi)際作業過(guo)(guo)程中通過(guo)(guo)手(shou)動(dong)標注得到，所(suo)(suo)述(shu)(shu)模(mo)(mo)(mo)擬合(he)成(cheng)樣(yang)本(ben)基于(yu)真實(shi)(shi)無扭(niu)(niu)曲(qu)變(bian)形影(ying)像(xiang)(xiang)進(jin)行隨(sui)機變(bian)形操作后得到，所(suo)(suo)述(shu)(shu)真實(shi)(shi)修復樣(yang)本(ben)的約束(shu)損(sun)失函(han)(han)數(shu)(shu)(shu)(shu)權(quan)重大于(yu)所(suo)(suo)述(shu)(shu)模(mo)(mo)(mo)擬合(he)成(cheng)樣(yang)本(ben)的約束(shu)損(sun)失函(han)(han)數(shu)(shu)(shu)(shu)權(quan)重，所(suo)(suo)述(shu)(shu)基礎模(mo)(mo)(mo)型(xing)(xing)中設置有像(xiang)(xiang)素級監(jian)督(du)損(sun)失函(han)(han)數(shu)(shu)(shu)(shu)，所(suo)(suo)述(shu)(shu)像(xiang)(xiang)素級監(jian)督(du)損(sun)失函(han)(han)數(shu)(shu)(shu)(shu)用(yong)以確(que)定模(mo)(mo)(mo)型(xing)(xing)輸出結果(guo)和實(shi)(shi)際結果(guo)之間每個像(xiang)(xiang)素點的像(xiang)(xiang)素誤(wu)(wu)差，并根(gen)據(ju)像(xiang)(xiang)素誤(wu)(wu)差大小(xiao)生成(cheng)誤(wu)(wu)差懲罰，所(suo)(suo)述(shu)(shu)誤(wu)(wu)差懲罰用(yong)以引導調(diao)整模(mo)(mo)(mo)型(xing)(xing)參數(shu)(shu)(shu)(shu)以最(zui)小(xiao)化所(suo)(suo)述(shu)(shu)像(xiang)(xiang)素誤(wu)(wu)差；

22、獲取模塊(kuai)，用于獲取待修(xiu)復(fu)的遙感(gan)(gan)影像(xiang)，基于第一預設尺寸將所述遙感(gan)(gan)影像(xiang)劃分(fen)為至少一個(ge)第一影像(xiang)，并(bing)基于第二預設尺寸和預設重疊率分(fen)別將各(ge)所述第一影像(xiang)劃分(fen)為多個(ge)第二影像(xiang)；

23、第(di)(di)(di)(di)一(yi)修復(fu)模塊，用于(yu)針(zhen)對任一(yi)所述(shu)第(di)(di)(di)(di)一(yi)影(ying)像(xiang)(xiang)(xiang)，基(ji)于(yu)所述(shu)扭曲變形修復(fu)模型分別處理各所述(shu)第(di)(di)(di)(di)二(er)影(ying)像(xiang)(xiang)(xiang)，得到各第(di)(di)(di)(di)一(yi)修復(fu)影(ying)像(xiang)(xiang)(xiang)，并基(ji)于(yu)各所述(shu)第(di)(di)(di)(di)一(yi)修復(fu)影(ying)像(xiang)(xiang)(xiang)生(sheng)成(cheng)所述(shu)第(di)(di)(di)(di)一(yi)影(ying)像(xiang)(xiang)(xiang)的(de)第(di)(di)(di)(di)二(er)修復(fu)影(ying)像(xiang)(xiang)(xiang)；

24、第二(er)修(xiu)復(fu)(fu)模塊(kuai)，用于在得到(dao)所有所述第二(er)修(xiu)復(fu)(fu)影(ying)像(xiang)后，整合各所述第二(er)修(xiu)復(fu)(fu)影(ying)像(xiang)，得到(dao)所述遙感(gan)影(ying)像(xiang)對應的修(xiu)復(fu)(fu)遙感(gan)影(ying)像(xiang)。

25、根據第三(san)方面，提(ti)供了一(yi)種電子(zi)設備，包括處理器以及存儲器；

26、所述(shu)(shu)處(chu)理(li)器與所述(shu)(shu)存儲(chu)器相連；

27、所述存儲器，用(yong)于存儲可執(zhi)行程序代碼(ma)；

28、所述處理器通過讀取所述存(cun)儲(chu)器中存(cun)儲(chu)的(de)可執行(xing)程(cheng)序(xu)代碼來運行(xing)與(yu)所述可執行(xing)程(cheng)序(xu)代碼對應的(de)程(cheng)序(xu)，以(yi)用于執行(xing)如(ru)第一方(fang)面或(huo)第一方(fang)面的(de)任意(yi)一種可能的(de)實現方(fang)式提供的(de)方(fang)法的(de)步驟(zou)。

29、根(gen)據第(di)四方面，提(ti)供(gong)了一(yi)(yi)種(zhong)計算(suan)機(ji)可讀(du)存儲(chu)介質，其上存儲(chu)有計算(suan)機(ji)程序(xu)，所述計算(suan)機(ji)可讀(du)存儲(chu)介質中(zhong)存儲(chu)有指(zhi)令，當所述指(zhi)令在計算(suan)機(ji)或(huo)處理器上運行時(shi)，使得所述計算(suan)機(ji)或(huo)處理器執行如第(di)一(yi)(yi)方面或(huo)第(di)一(yi)(yi)方面的(de)任意一(yi)(yi)種(zhong)可能的(de)實現方式提(ti)供(gong)的(de)方法。

30、本說(shuo)明書實(shi)施例提供的(de)(de)(de)方(fang)法及裝(zhuang)置(zhi)，根據(ju)生成(cheng)對抗網絡(luo)(luo)模型訓(xun)(xun)練(lian)扭(niu)曲(qu)變形修(xiu)復(fu)(fu)模型，且訓(xun)(xun)練(lian)數(shu)(shu)據(ju)中根據(ju)真實(shi)無(wu)扭(niu)曲(qu)變形影像(xiang)的(de)(de)(de)隨即(ji)變形操作生成(cheng)大量模擬(ni)合成(cheng)樣(yang)本，以滿(man)足(zu)生成(cheng)對抗網絡(luo)(luo)模型對訓(xun)(xun)練(lian)樣(yang)本的(de)(de)(de)需(xu)求(qiu)，同時除了常規的(de)(de)(de)約束損(sun)失(shi)函數(shu)(shu)外，額外設置(zhi)了像(xiang)素級監督損(sun)失(shi)函數(shu)(shu)確定訓(xun)(xun)練(lian)結果的(de)(de)(de)像(xiang)素誤差，并(bing)通(tong)過(guo)最小化像(xiang)素誤差來優(you)化模型參數(shu)(shu)，最終(zhong)通(tong)過(guo)訓(xun)(xun)練(lian)好的(de)(de)(de)扭(niu)曲(qu)變形修(xiu)復(fu)(fu)模型對遙感影像(xiang)進(jin)行修(xiu)復(fu)(fu)，無(wu)需(xu)人工預處(chu)理即(ji)可快(kuai)速準(zhun)確的(de)(de)(de)對遙感影像(xiang)進(jin)行扭(niu)曲(qu)變形修(xiu)復(fu)(fu)。