中文字幕无码日韩视频无码三区

判別模型的訓練方法及裝置與流程

文檔(dang)序號:39427158發布日(ri)期(qi):2024-09-20 22:25閱(yue)讀:11來源(yuan):國知(zhi)局(ju)
判別模型的訓練方法及裝置與流程

本說明書一(yi)個(ge)或(huo)多個(ge)實施例涉及(ji)數據隱私安(an)全領域(yu),尤其涉及(ji)一(yi)種判別模(mo)型的訓練(lian)方法及(ji)裝置(zhi)。


背景技術:

1、大(da)模(mo)型(xing)的安(an)全(quan)(quan)問(wen)題是目前大(da)模(mo)型(xing)發展的核心,也是具(ju)有挑戰的方向之一(yi)。大(da)模(mo)型(xing)在具(ju)備極強能(neng)力(li)和應用潛力(li)的同時(shi)(shi)(shi),也隱(yin)含著安(an)全(quan)(quan)性的擔憂(you),其中(zhong)隱(yin)私(si)安(an)全(quan)(quan)最明顯。有研究指出,大(da)模(mo)型(xing)會(hui)出現(xian)(xian)非必要(yao)記(ji)憶(yi)(un?intended?memor?izat?ion)現(xian)(xian)象,使得訓練數(shu)據得以在推理時(shi)(shi)(shi)通過某種方式重述出來。而訓練數(shu)據有時(shi)(shi)(shi)不免包(bao)含了一(yi)些敏感(gan)信息,大(da)模(mo)型(xing)巨大(da)的參(can)數(shu)量使得模(mo)型(xing)隱(yin)私(si)泄漏的風險(xian)成為模(mo)型(xing)安(an)全(quan)(quan)的重要(yao)議題。因此,迫切(qie)需要(yao)提(ti)供能(neng)對大(da)模(mo)型(xing)的隱(yin)私(si)安(an)全(quan)(quan)進行驗證的方案(an)。


技術實現思路

1、本(ben)說明書(shu)一個或多個實施例描述了(le)一種判別模(mo)(mo)型(xing)的(de)訓(xun)(xun)練(lian)方法及裝(zhuang)置,可(ke)以(yi)較(jiao)小的(de)訓(xun)(xun)練(lian)成本(ben),訓(xun)(xun)練(lian)用于驗(yan)證大模(mo)(mo)型(xing)的(de)隱私安全的(de)判別模(mo)(mo)型(xing),也即本(ben)方案可(ke)以(yi)較(jiao)低的(de)成本(ben),實現對大模(mo)(mo)型(xing)的(de)隱私安全驗(yan)證。

2、第一(yi)方(fang)面,提供了一(yi)種判別模型的(de)訓(xun)(xun)練方(fang)法,該判別模型用于判斷輸入文本(ben)是(shi)否為大(da)(da)模型的(de)訓(xun)(xun)練集中(zhong)的(de)成員(yuan)文本(ben),以(yi)對所述(shu)大(da)(da)模型進行隱私安全驗證;所述(shu)方(fang)法包括:

3、構(gou)(gou)造目標(biao)樣本(ben)(ben)(ben)(ben)(ben)(ben),其中包括(kuo),獲(huo)取n個文(wen)(wen)(wen)(wen)本(ben)(ben)(ben)(ben)(ben)(ben)打(da)(da)(da)分(fen)對(dui),其中任一文(wen)(wen)(wen)(wen)本(ben)(ben)(ben)(ben)(ben)(ben)打(da)(da)(da)分(fen)對(dui)中的打(da)(da)(da)分(fen)利用所(suo)(suo)(suo)(suo)(suo)述大模型預測得到;基(ji)于查(cha)(cha)詢文(wen)(wen)(wen)(wen)本(ben)(ben)(ben)(ben)(ben)(ben)和(he)(he)所(suo)(suo)(suo)(suo)(suo)述n個文(wen)(wen)(wen)(wen)本(ben)(ben)(ben)(ben)(ben)(ben)打(da)(da)(da)分(fen)對(dui)構(gou)(gou)建(jian)提(ti)示(shi)(shi)文(wen)(wen)(wen)(wen)本(ben)(ben)(ben)(ben)(ben)(ben),該(gai)提(ti)示(shi)(shi)文(wen)(wen)(wen)(wen)本(ben)(ben)(ben)(ben)(ben)(ben)指示(shi)(shi)將所(suo)(suo)(suo)(suo)(suo)述n個文(wen)(wen)(wen)(wen)本(ben)(ben)(ben)(ben)(ben)(ben)打(da)(da)(da)分(fen)對(dui)作為上(shang)下(xia)文(wen)(wen)(wen)(wen),并(bing)基(ji)于該(gai)上(shang)下(xia)文(wen)(wen)(wen)(wen)對(dui)所(suo)(suo)(suo)(suo)(suo)述查(cha)(cha)詢文(wen)(wen)(wen)(wen)本(ben)(ben)(ben)(ben)(ben)(ben)進行打(da)(da)(da)分(fen);將該(gai)提(ti)示(shi)(shi)文(wen)(wen)(wen)(wen)本(ben)(ben)(ben)(ben)(ben)(ben)輸(shu)入所(suo)(suo)(suo)(suo)(suo)述大模型,得到所(suo)(suo)(suo)(suo)(suo)述查(cha)(cha)詢文(wen)(wen)(wen)(wen)本(ben)(ben)(ben)(ben)(ben)(ben)對(dui)應的目標(biao)打(da)(da)(da)分(fen),該(gai)目標(biao)打(da)(da)(da)分(fen)指示(shi)(shi)所(suo)(suo)(suo)(suo)(suo)述查(cha)(cha)詢文(wen)(wen)(wen)(wen)本(ben)(ben)(ben)(ben)(ben)(ben)與所(suo)(suo)(suo)(suo)(suo)述上(shang)下(xia)文(wen)(wen)(wen)(wen)的相關(guan)性(xing);基(ji)于所(suo)(suo)(suo)(suo)(suo)述查(cha)(cha)詢文(wen)(wen)(wen)(wen)本(ben)(ben)(ben)(ben)(ben)(ben)和(he)(he)目標(biao)打(da)(da)(da)分(fen),形成所(suo)(suo)(suo)(suo)(suo)述目標(biao)樣本(ben)(ben)(ben)(ben)(ben)(ben);

4、基于所述目(mu)標樣本(ben),訓(xun)練所述判別(bie)模型(xing)。

5、第二方(fang)面,提供了一種針對大模型的隱(yin)私安全驗(yan)證方(fang)法,包括(kuo):

6、獲取所述大模型的若干訓練文本;

7、將(jiang)各個訓(xun)練(lian)文(wen)(wen)本分別輸入所述大模(mo)型,得到(dao)所述各個訓(xun)練(lian)文(wen)(wen)本的打(da)分;

8、將任意的(de)第一(yi)訓(xun)練(lian)文本(ben)(ben)及其(qi)打分輸(shu)入根據(ju)第一(yi)方(fang)面的(de)方(fang)法訓(xun)練(lian)的(de)判別模(mo)型,得到所述第一(yi)訓(xun)練(lian)文本(ben)(ben)是否為所述大模(mo)型的(de)訓(xun)練(lian)成員文本(ben)(ben)的(de)預測結果(guo);

9、根(gen)據所(suo)述各個(ge)訓練文本的(de)預測結果,統計(ji)所(suo)述判(pan)別模型(xing)(xing)的(de)預測成功率,以用于(yu)驗證所(suo)述大模型(xing)(xing)的(de)隱私(si)安全。

10、第三方面,提供了一種(zhong)判(pan)別(bie)模型的(de)(de)訓練裝(zhuang)置,該判(pan)別(bie)模型用于判(pan)斷輸入文(wen)本是(shi)否為(wei)大模型的(de)(de)訓練集中的(de)(de)成員文(wen)本,以對所述大模型進行隱私安全(quan)驗證;所述裝(zhuang)置包括:

11、構造單元,用于構造目標(biao)樣本;

12、所(suo)述構(gou)造單元包(bao)括(kuo):

13、獲(huo)取(qu)子模(mo)(mo)塊,用(yong)于獲(huo)取(qu)n個文本打(da)分對,其(qi)中(zhong)任一文本打(da)分對中(zhong)的打(da)分利用(yong)所述大模(mo)(mo)型預測得到;

14、構(gou)建子模塊,用(yong)于(yu)基于(yu)查詢文本(ben)(ben)(ben)和(he)所述n個(ge)文本(ben)(ben)(ben)打(da)分(fen)(fen)對(dui)構(gou)建提(ti)示(shi)文本(ben)(ben)(ben),該提(ti)示(shi)文本(ben)(ben)(ben)指示(shi)將所述n個(ge)文本(ben)(ben)(ben)打(da)分(fen)(fen)對(dui)作為上下(xia)文,并基于(yu)該上下(xia)文對(dui)所述查詢文本(ben)(ben)(ben)進(jin)行打(da)分(fen)(fen);

15、輸入子模(mo)塊,用于將該提示(shi)文(wen)本輸入所述(shu)(shu)大模(mo)型,得到(dao)所述(shu)(shu)查詢文(wen)本對應的目標(biao)打分(fen),該目標(biao)打分(fen)指示(shi)所述(shu)(shu)查詢文(wen)本與所述(shu)(shu)上下文(wen)的相關性(xing);

16、形(xing)成子模塊,用于(yu)基于(yu)所述查詢文(wen)本和目(mu)標打分,形(xing)成所述目(mu)標樣本;

17、訓(xun)練單(dan)元,用于(yu)基于(yu)所述目標樣本,訓(xun)練所述判(pan)別模型。

18、第四方面,提供了一種針對大模型的隱私安全驗證裝置,包括:

19、獲取(qu)單元(yuan),用于(yu)獲取(qu)所述大模(mo)型的若(ruo)干訓練文本(ben);

20、輸入(ru)(ru)單元,用于將各個訓練文(wen)本分(fen)別輸入(ru)(ru)所(suo)(suo)述(shu)大(da)模(mo)型,得到所(suo)(suo)述(shu)各個訓練文(wen)本的打分(fen);

21、所述輸入單元,還用于將任意的(de)第(di)一(yi)訓練文本(ben)及其(qi)打分輸入根(gen)據第(di)一(yi)方面的(de)方法訓練的(de)判別(bie)模(mo)型,得到所述第(di)一(yi)訓練文本(ben)是否為(wei)所述大模(mo)型的(de)訓練成員文本(ben)的(de)預測結果;

22、統計(ji)單元,用于根據所(suo)述(shu)各個訓練文本的(de)預測(ce)(ce)結果,統計(ji)所(suo)述(shu)判別模型的(de)預測(ce)(ce)成功率,以(yi)用于驗證所(suo)述(shu)大模型的(de)隱私安全。

23、第五方面(mian)(mian),提供了一(yi)(yi)種計(ji)算(suan)機可讀(du)存儲介(jie)質,其上存儲有計(ji)算(suan)機程序(xu),當所述計(ji)算(suan)機程序(xu)在(zai)計(ji)算(suan)機中執(zhi)行時,令計(ji)算(suan)機執(zhi)行第一(yi)(yi)或第二方面(mian)(mian)的(de)方法。

24、第(di)(di)六方(fang)面,提供了一種計算設備,包括存(cun)儲器和處(chu)(chu)理(li)器,所述存(cun)儲器中存(cun)儲有可(ke)執行代碼,該處(chu)(chu)理(li)器執行所述可(ke)執行代碼時,實現第(di)(di)一或第(di)(di)二方(fang)面的(de)方(fang)法。

25、本(ben)(ben)(ben)(ben)(ben)說明書一(yi)個或多個實(shi)施例提(ti)供的(de)(de)(de)(de)(de)判別(bie)(bie)模型(xing)(xing)的(de)(de)(de)(de)(de)訓(xun)(xun)(xun)練方(fang)(fang)法及裝置,提(ti)出先獲(huo)取基(ji)(ji)于大(da)模型(xing)(xing)確定的(de)(de)(de)(de)(de)n個文(wen)(wen)本(ben)(ben)(ben)(ben)(ben)打(da)分對(dui)(dui)作(zuo)為查(cha)(cha)詢文(wen)(wen)本(ben)(ben)(ben)(ben)(ben)的(de)(de)(de)(de)(de)上下(xia)(xia)文(wen)(wen),然后(hou)利用大(da)模型(xing)(xing)基(ji)(ji)于該上下(xia)(xia)文(wen)(wen)預測查(cha)(cha)詢文(wen)(wen)本(ben)(ben)(ben)(ben)(ben)的(de)(de)(de)(de)(de)目標打(da)分,最后(hou)基(ji)(ji)于查(cha)(cha)詢文(wen)(wen)本(ben)(ben)(ben)(ben)(ben)和目標打(da)分,構造用于訓(xun)(xun)(xun)練判別(bie)(bie)模型(xing)(xing)的(de)(de)(de)(de)(de)樣本(ben)(ben)(ben)(ben)(ben)。也(ye)就是說,本(ben)(ben)(ben)(ben)(ben)方(fang)(fang)案通過上下(xia)(xia)文(wen)(wen)學習的(de)(de)(de)(de)(de)方(fang)(fang)式,來構造用于訓(xun)(xun)(xun)練判別(bie)(bie)模型(xing)(xing)的(de)(de)(de)(de)(de)樣本(ben)(ben)(ben)(ben)(ben),由此(ci)可以(yi)解決傳(chuan)統(tong)技術(shu)中需要訓(xun)(xun)(xun)練與大(da)模型(xing)(xing)同(tong)結(jie)構的(de)(de)(de)(de)(de)影子(zi)模型(xing)(xing),進而造成(cheng)的(de)(de)(de)(de)(de)訓(xun)(xun)(xun)練成(cheng)本(ben)(ben)(ben)(ben)(ben)高的(de)(de)(de)(de)(de)問題。總而言(yan)之(zhi),本(ben)(ben)(ben)(ben)(ben)方(fang)(fang)案可以(yi)較低的(de)(de)(de)(de)(de)成(cheng)本(ben)(ben)(ben)(ben)(ben)實(shi)現對(dui)(dui)大(da)模型(xing)(xing)的(de)(de)(de)(de)(de)隱私(si)安全驗證。



技術特征:

1.一種(zhong)判別(bie)模型(xing)的訓練(lian)方(fang)法(fa),該(gai)判別(bie)模型(xing)用(yong)于判斷輸入文本(ben)是否(fou)為大模型(xing)的訓練(lian)集中(zhong)的成員文本(ben),以對(dui)所述大模型(xing)進行隱私安全驗(yan)證;所述方(fang)法(fa)包(bao)括:

2.根(gen)據權利(li)要(yao)求1所(suo)述(shu)的方法,其中,所(suo)述(shu)形成所(suo)述(shu)目標(biao)樣(yang)本(ben),包括:

3.根據權(quan)利要求(qiu)1所述(shu)的(de)方法,其中(zhong),所述(shu)目(mu)標(biao)樣本(ben)具有(you)樣本(ben)標(biao)簽,該樣本(ben)標(biao)簽指(zhi)示對應目(mu)標(biao)樣本(ben)中(zhong)的(de)查詢文本(ben)是否為所述(shu)大模型的(de)訓練成(cheng)員文本(ben);

4.根據權利要求3所(suo)述(shu)的方法,其中,所(suo)述(shu)判別模型包括,特征(zheng)提取(qu)器、目標網(wang)絡以及分類器;

5.根據(ju)權利要求(qiu)1所述的方法,其(qi)中,所述構建(jian)提(ti)示文(wen)本,包括:

6.一種針對(dui)大模型的隱私安全驗證方法,包括:

7.根據權利要求(qiu)6所(suo)述的方(fang)法,其中(zhong),所(suo)述大模型的隱私安全級(ji)別(bie)與所(suo)述預測成功率負相(xiang)關。

8.一種判(pan)別模型(xing)的(de)訓練(lian)裝(zhuang)置,該判(pan)別模型(xing)用于判(pan)斷輸入文本是否為大模型(xing)的(de)訓練(lian)集(ji)中的(de)成員文本,以對所述(shu)大模型(xing)進行隱(yin)私安全驗證;所述(shu)裝(zhuang)置包括:

9.根據權利要求8所述的裝(zhuang)置,其中,所述形成(cheng)子模塊具體用于(yu):

10.根據權利要求8所述的裝置,其中,所述目標(biao)樣本(ben)具有樣本(ben)標(biao)簽(qian),該樣本(ben)標(biao)簽(qian)指示對應(ying)目標(biao)樣本(ben)中的查(cha)詢文本(ben)是否(fou)為所述大模(mo)型的訓(xun)練成員文本(ben);

11.根(gen)據權利要(yao)求10所述(shu)的裝置(zhi),其中(zhong),所述(shu)判別模型包括,特征(zheng)提取器、目(mu)標網(wang)絡以及分(fen)類器;

12.根據權利要(yao)求8所(suo)述的裝置,其中,所(suo)述構建子模塊(kuai)具體用于:

13.一種針對大模(mo)型(xing)的隱私安(an)全驗證裝置,包括:

14.根據權(quan)利要求13所述的裝置,其中,所述大模(mo)型的隱私(si)安全(quan)級別與(yu)所述預測成功率(lv)負相關。

15.一種計(ji)(ji)算(suan)機(ji)可讀存儲介質(zhi),其上存儲有計(ji)(ji)算(suan)機(ji)程序,其中,當所述計(ji)(ji)算(suan)機(ji)程序在計(ji)(ji)算(suan)機(ji)中執行(xing)時(shi),令計(ji)(ji)算(suan)機(ji)執行(xing)權利要求1-7中任(ren)一項所述的方法。

16.一種計算設(she)備,包(bao)括存儲(chu)器和處理器,其中,所(suo)述存儲(chu)器中存儲(chu)有可執(zhi)行代碼,所(suo)述處理器執(zhi)行所(suo)述可執(zhi)行代碼時,實現權(quan)利要(yao)求1-7中任一項所(suo)述的方法。


技術總結
本說明書實施例提供一種判別模型的訓練方法及裝置,該判別模型用于判斷輸入文本是否為大模型的訓練集中的成員文本,以對大模型進行隱私安全驗證。該訓練方法包括:構造目標樣本,其中包括,獲取N個文本打分對,其中任一文本打分對中的打分利用大模型預測得到。基于查詢文本和N個文本打分對構建提示文本,該提示文本指示將N個文本打分對作為上下文,并基于該上下文對查詢文本進行打分。將該提示文本輸入大模型,得到查詢文本對應的目標打分,該目標打分指示該查詢文本與上下文的相關性。基于查詢文本和目標打分,形成目標樣本。基于目標樣本,訓練判別模型。

技術研發人員:吳若凡,劉騰飛,王維強
受保護的技術使用者:支付寶(杭州)信息技術有限公司
技術研發日:
技術公布日:2024/9/19
網友(you)詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1