本發明屬于(yu)圖(tu)像處理(li)，尤(you)其涉(she)及一種基(ji)于(yu)聯邦(bang)學習和注(zhu)意力(li)生成對抗網絡的圖(tu)像高光(guang)去除方法。

背景技術：

1、在數據空前(qian)增長的(de)(de)(de)(de)時代，各個領域對(dui)圖像數據的(de)(de)(de)(de)需求(qiu)激(ji)增，尤其是數字取證(zheng)、醫(yi)療診(zhen)斷(duan)和(he)監控等敏感(gan)領域。然而，高(gao)(gao)質量圖像的(de)(de)(de)(de)獲取一直受到現實世界復雜性(xing)的(de)(de)(de)(de)挑戰，例(li)如(ru)高(gao)(gao)光照明(ming)，這可能(neng)(neng)會(hui)顯著降(jiang)低(di)高(gao)(gao)光區(qu)域的(de)(de)(de)(de)質量。這種(zhong)退化(hua)對(dui)需要高(gao)(gao)質量輸入的(de)(de)(de)(de)計算機(ji)視覺任務的(de)(de)(de)(de)性(xing)能(neng)(neng)產生(sheng)不利影(ying)響(xiang)，例(li)如(ru)立體匹(pi)配、文本識別和(he)圖像分割。因(yin)此(ci)(ci)，開發能(neng)(neng)夠有(you)效去除高(gao)(gao)光的(de)(de)(de)(de)模型(xing)至關重要。此(ci)(ci)外，由(you)于(yu)圖像數據往往包含個人信息(如(ru)身份證(zheng))，因(yin)此(ci)(ci)數據隱私保護尤為重要。受法律(lv)法規、商業秘密、個人隱私等因(yin)素的(de)(de)(de)(de)限(xian)制(zhi)，客戶只能(neng)(neng)使(shi)用(yong)本地數據訓練(lian)(lian)高(gao)(gao)光去除模型(xing)，導(dao)致“數據孤島”現象。以這種(zhong)方式訓練(lian)(lian)的(de)(de)(de)(de)模型(xing)不僅(jin)缺乏泛化(hua)能(neng)(neng)力(li)，而且(qie)由(you)于(yu)訓練(lian)(lian)數據量的(de)(de)(de)(de)限(xian)制(zhi)，準(zhun)確性(xing)也(ye)較低(di)。

2、聯(lian)邦學習作為一(yi)種(zhong)分布式機(ji)器學習框架，可以有效地(di)幫(bang)助(zhu)多個客(ke)戶端訓練模型，同時滿足隱私保(bao)護(hu)、數(shu)(shu)據安全(quan)和政府監管要求，廣泛(fan)(fan)應(ying)用于醫療保(bao)健、物聯(lian)網(wang)、智能交通等(deng)領域。具體(ti)來說，聯(lian)邦學習在中(zhong)央(yang)(yang)服務器上構(gou)建一(yi)個全(quan)局(ju)模型，并在客(ke)戶端啟動本地(di)培訓過程(cheng)(cheng)。客(ke)戶機(ji)在訓練后(hou)將(jiang)更(geng)新的(de)本地(di)參(can)數(shu)(shu)發送到中(zhong)央(yang)(yang)服務器進行聚合。最后(hou)，得(de)到一(yi)個具有泛(fan)(fan)化能力的(de)全(quan)局(ju)模型。在此(ci)過程(cheng)(cheng)中(zhong)，不需要將(jiang)本地(di)數(shu)(shu)據上傳到服務器，從(cong)而保(bao)證了(le)隱私安全(quan)，避免了(le)敏感數(shu)(shu)據被攻擊的(de)風險。此(ci)外，通過客(ke)戶端的(de)合作，數(shu)(shu)據的(de)利用效率也(ye)大大提(ti)高。

3、除了隱(yin)私問題(ti)，每(mei)個客戶端上的高光去除模型(xing)的準確性也需要提升。近年來，深度學習方(fang)法在(zai)去除高光方(fang)面得到了很好的發展，但它們遇到了以(yi)下挑戰：(1)現有(you)方(fang)法表征能(neng)力不足(zu)。以(yi)生成對抗網絡為例，它不能(neng)完全消除高光，導致(zhi)原始(shi)圖像的關鍵(jian)信息(xi)(xi)丟(diu)失；(2)在(zai)收集過程中會暴露諸如專有(you)或(huo)個人圖像等敏(min)感信息(xi)(xi)。

4、因此，針對以上現狀，迫切需要開發一(yi)種基(ji)于聯邦學習和注意力生成對抗網(wang)絡(luo)的圖(tu)像(xiang)高光去除方(fang)法，以克服當(dang)前實際應(ying)用中的不足。

技術實現思路

1、本發明提出(chu)一種(zhong)基(ji)于聯邦學(xue)習和(he)注(zhu)意力生(sheng)成對(dui)抗網絡的圖像高光去除方(fang)法，其具體通過以下(xia)技術手段實(shi)現：

2、基于聯邦學習和注意(yi)力生(sheng)成對(dui)抗網絡的(de)圖像高光去(qu)除(chu)方法，其包括以下(xia)步驟：

3、步驟一、中央(yang)服務端定義(yi)全局(ju)注意力(li)生成對抗(kang)網(wang)絡(luo)模型，所述對抗(kang)網(wang)絡(luo)模型包括高(gao)光檢測網(wang)絡(luo)h、高(gao)光去除(chu)網(wang)絡(luo)r和鑒別器g，并向客戶端廣播初(chu)始全局(ju)網(wang)絡(luo)參數w0,h,w0,r和w0,g；

4、步驟(zou)二、中央服務端開(kai)啟客(ke)戶端調度進程，并發送全局(ju)模型參數和通信輪次t到(dao)客(ke)戶端；

5、步驟三(san)、客戶端構建注意力生成對(dui)抗網絡環境，并利用對(dui)抗網絡模型去(qu)除圖像中的高(gao)光；

6、步驟四、通過隨機梯度下降更(geng)新(xin)模(mo)型參數(shu)(shu)，并(bing)將更(geng)新(xin)后的參數(shu)(shu)傳遞(di)到中央服務端；

7、步驟五、中(zhong)央服務端(duan)開啟參數(shu)(shu)聚合進(jin)程(cheng)，進(jin)行全局參數(shu)(shu)更新。

8、進一步的(de)(de)，在步驟(zou)一中，中央服務端定(ding)義全局(ju)注意(yi)力生成(cheng)對抗網絡模(mo)型(xing)并初始化模(mo)型(xing)參(can)數的(de)(de)操作包括：

9、由中央服務(wu)端定義注意力對抗生成(cheng)網絡的高光檢測網絡h、高光去除網絡r和鑒別器(qi)g，并初始化閉環學習的網絡參(can)數為w0,h,w0,r和w0,g、建立(li)客戶端調度進程，用于后續的模型(xing)訓練；

10、所(suo)述高光(guang)檢測網絡h采(cai)用全(quan)卷積結構，其(qi)包(bao)括三個(ge)下采(cai)樣層(ceng)和三個(ge)層(ceng)上(shang)采(cai)樣層(ceng)，在每個(ge)上(shang)采(cai)樣層(ceng)之(zhi)后分別設有三個(ge)卷積層(ceng)，在每個(ge)下采(cai)樣層(ceng)之(zhi)后分別設有兩(liang)個(ge)卷積層(ceng)；

11、所述高光去除網(wang)絡r采用編碼(ma)器－解碼(ma)器結(jie)構作(zuo)為(wei)骨(gu)干(gan)網(wang)絡，且所述編碼(ma)器和(he)解碼(ma)器之間存在跳躍(yue)連接；

12、所述(shu)編碼器負(fu)責(ze)捕獲圖(tu)像的信息(xi)，通過(guo)一(yi)系列卷積層和池(chi)化層逐漸降低(di)空間(jian)維(wei)(wei)數以(yi)(yi)增加特征(zheng)深度，且(qie)在編碼器的特征(zheng)提取(qu)階(jie)段增加了注(zhu)意力(li)機制以(yi)(yi)關注(zhu)高(gao)光(guang)區域；所述(shu)解碼器增加輸入圖(tu)像特征(zheng)的維(wei)(wei)數，逐步構建無高(gao)光(guang)圖(tu)像；

13、所述鑒別器g用于(yu)識別圖(tu)像(xiang)的(de)局部區域，區分生成的(de)無高光圖(tu)像(xiang)和(he)(he)真實的(de)無高光圖(tu)像(xiang)之(zhi)間的(de)差異，鑒別器g的(de)每個下采樣層(ceng)分別包括卷積模塊、批量歸一化模塊和(he)(he)激(ji)活函數。

14、進一(yi)步的(de)(de)，，在步驟二中，客戶端調度進程的(de)(de)操(cao)作包括：

15、在(zai)每輪(lun)通信(xin)(xin)中(zhong)，中(zhong)央服務端(duan)將當前(qian)的(de)全(quan)局(ju)模(mo)型(xing)參(can)(can)數(shu)和通信(xin)(xin)輪(lun)次(ci)(ci)信(xin)(xin)息發送客(ke)戶端(duan)，客(ke)戶端(duan)c∈{1,2,...,c}接收服務端(duan)全(quan)局(ju)模(mo)型(xing)參(can)(can)數(shu)和通信(xin)(xin)輪(lun)次(ci)(ci)(wt,h＝w0,h,wt,r＝w0,r,wt,g＝w0,g,t＝1)，更(geng)新本地(di)模(mo)型(xing)參(can)(can)數(shu)wτ,hc,wτ,rc,wτ,gc和參(can)(can)與通信(xin)(xin)輪(lun)次(ci)(ci)τ：

16、wτ,hc←wt,h

17、wτ,rc←wt,r

18、wτ,gc←wt,g

19、τ←t

20、客(ke)戶端利用該模型參數對本地閉環跨模態生成(cheng)模型進行訓(xun)練。

21、進一(yi)步(bu)的，在步(bu)驟三中，客(ke)戶(hu)端去除圖像高光的操作包(bao)括：

22、客戶c的(de)局部數據(ju)集用(yong)dc表示；

23、包含所(suo)有表面(mian)材料數據的(de)完整數據集由每個(ge)客戶c的(de)數據組成，用表示；

24、客戶端收集到(dao)n對圖(tu)像，包括(kuo)鏡面高(gao)(gao)光圖(tu)像s＝{s1,...,sn}，相應的(de)無(wu)高(gao)(gao)光圖(tu)像i＝{i1,...,in}，以及指示高(gao)(gao)光位(wei)置的(de)二值掩模圖(tu)像m＝{m1,...,mn}；

25、第一(yi)，客戶(hu)端利用高光(guang)檢測(ce)網(wang)絡h對圖像sn進行鏡面高光(guang)處理，生成一(yi)個標識高光(guang)區域的(de)掩碼其中(zhong)收(shou)集了客戶(hu)端c上高亮(liang)檢測(ce)網(wang)絡的(de)參數(shu)；

26、第(di)二(er)，客戶(hu)端(duan)將生(sheng)成的掩碼作(zuo)為輸入，利用高(gao)光去(qu)除網絡r消除鏡面高(gao)光，恢復文(wen)本內容，生(sheng)成相應的無高(gao)光圖像其中(zhong)收(shou)集(ji)客戶(hu)端(duan)c上(shang)的高(gao)光去(qu)除網絡的參(can)數；

27、其(qi)中，在編碼器第l層輸出的(de)特征映射被輸入(ru)到注意機制中，以挖掘視覺特征之間的(de)相關性；注意機制利用三個參數(shu)矩陣：wq,wk和wv；

28、首先，這些參(can)數(shu)矩陣(zhen)將輸入線性(xing)轉換為相應的注意力特征矩陣(zhen)，分別命(ming)名為qx,kx和vx；

29、

30、

31、

32、其次，通過softmax函數計(ji)算注意(yi)力權重矩陣a，得到特征映射的(de)注意(yi)力分布；

33、其中d是(shi)減(jian)小方差的比(bi)例因(yin)子(zi)；

34、將注意力權重(zhong)矩(ju)陣a應用(yong)于注意力特征矩(ju)陣vx，代入激活函數，得到：

35、aout＝act(a×vx)，其中act是激活函數；

36、將(jiang)輸出aout將(jiang)作為(wei)下(xia)一層卷積層特(te)征(zheng)提(ti)(ti)取(qu)的輸入，以增強特(te)征(zheng)提(ti)(ti)取(qu)效果；

37、最后，客戶端利用鑒別器g評估生成(cheng)的(de)無高光圖像(xiang)和真實的(de)無高光圖像(xiang)in之(zhi)間(jian)的(de)差異。

38、進一步的(de)，在步驟四中，客戶端通過隨機梯(ti)度下(xia)降更新參數(shu)的(de)操作包括：為了優化高光(guang)(guang)檢測網絡(luo)、高光(guang)(guang)去除網絡(luo)和鑒別器的(de)性能，建立(li)了以(yi)下(xia)損(sun)失函數(shu)作為約束；

39、1)檢測損失函數，用(yong)于(yu)評估生成(cheng)的(de)掩碼與(yu)真(zhen)實掩碼mn之間的(de)誤差：

40、

41、2)重構(gou)損失函數，包括：

42、像(xiang)素感(gan)知損失函數

43、

44、特征感知損失函數

45、

46、其中，i和(he)j表示圖(tu)像的大小，φ為(wei)(wei)預訓練(lian)vgg的特征映射，并且為(wei)(wei)格拉姆矩陣；

47、3)用鉸(jiao)鏈損失來(lai)定義gan損耗(hao)：

48、高光去(qu)除(chu)網絡r的對抗損失為

49、訓練鑒(jian)別器g的損(sun)失為

50、4)應用預訓練的(de)文本檢測和識別模型(xing)ctpn來監督文本恢(hui)復(fu)；

51、

52、其(qi)中(zhong)，μf和(he)μk分(fen)別為(wei)ctpn的(de)第f層特征圖和(he)densenet的(de)第k層特征圖；

53、基于(yu)上(shang)述損失函數，利用隨機梯度下降法sgd更新三個網(wang)絡的參(can)數w0,h,w0,r和(he)w0,g；

54、

55、

56、

57、其(qi)中，α,β,γ分別為高光檢測(ce)網絡(luo)(luo)(luo)h、高光去除網絡(luo)(luo)(luo)r和鑒別器(qi)g的學習(xi)率；至(zhi)此完成生成對抗網絡(luo)(luo)(luo)的一(yi)次(ci)隨(sui)機梯度下降更新。

58、進一步的，在步驟(zou)五中，中央服務(wu)端(duan)進行(xing)全局參(can)數更新的操(cao)作包括：

59、中(zhong)央服(fu)務(wu)器使用聯邦平均算法(fa)對(dui)t∈{1,2,...,t}輪(lun)局部參數進行聚合(he)：

60、

61、

62、

63、經過t輪(lun)通信，得到了(le)一個(ge)能夠生成無高(gao)亮圖像的(de)全局注意(yi)力對抗生成網絡模型。

64、本(ben)(ben)發(fa)明的(de)(de)(de)有益效果(guo)是：本(ben)(ben)發(fa)明采用(yong)聯邦學習框架在一個中心服務器上定義了全局去(qu)除(chu)網絡(luo)，以及在每個客(ke)戶機(ji)訓練本(ben)(ben)地模型(xing)，并(bing)將更新后的(de)(de)(de)模型(xing)參數(shu)傳輸(shu)到中央服務器進(jin)行聚合，而(er)不(bu)是傳輸(shu)原始數(shu)據(ju)本(ben)(ben)身(shen)。聯邦學習的(de)(de)(de)使用(yong)大大降低了數(shu)據(ju)泄露的(de)(de)(de)風險，并(bing)確保敏感信息保留(liu)在客(ke)戶端的(de)(de)(de)設備上。對于(yu)(yu)每個客(ke)戶端，我們將注意力(li)機(ji)制集(ji)成到基于(yu)(yu)生成對抗網絡(luo)的(de)(de)(de)框架中，使模型(xing)能夠專注于(yu)(yu)突出(chu)顯示的(de)(de)(de)區域及其周(zhou)圍的(de)(de)(de)詳細(xi)特(te)征(zheng)，從(cong)而(er)增強(qiang)模型(xing)的(de)(de)(de)表示能力(li)。這有效地去(qu)除(chu)高光，同時保留(liu)圖像細(xi)節。