本(ben)發明涉及(ji)(ji)可(ke)控文(wen)本(ben)生成，具體涉及(ji)(ji)一種基于(yu)細粒度規(gui)劃機制(zhi)與指令(ling)微調(diao)的可(ke)控文(wen)本(ben)生成方法。

背景技術：

1、文(wen)(wen)(wen)本(ben)生(sheng)(sheng)(sheng)(sheng)(sheng)成(cheng)是自(zi)然語(yu)(yu)言處理領(ling)域(yu)的(de)(de)重點研究問(wen)題之一，在(zai)人機交互、智能寫作等方(fang)面有著(zhu)重要(yao)應用(yong)。隨(sui)著(zhu)人工(gong)智能技術(shu)(shu)的(de)(de)發展(zhan)，人們對文(wen)(wen)(wen)本(ben)生(sheng)(sheng)(sheng)(sheng)(sheng)成(cheng)的(de)(de)技術(shu)(shu)的(de)(de)要(yao)求(qiu)越來越高(gao)，例(li)如輔助(zhu)創作高(gao)質(zhi)(zhi)(zhi)量(liang)的(de)(de)新(xin)聞報道、廣告文(wen)(wen)(wen)案(an)(an)等，都需(xu)(xu)要(yao)高(gao)質(zhi)(zhi)(zhi)量(liang)并且可(ke)(ke)控(kong)(kong)(kong)制(zhi)(zhi)(zhi)的(de)(de)文(wen)(wen)(wen)本(ben)生(sheng)(sheng)(sheng)(sheng)(sheng)成(cheng)技術(shu)(shu)。可(ke)(ke)控(kong)(kong)(kong)文(wen)(wen)(wen)本(ben)生(sheng)(sheng)(sheng)(sheng)(sheng)成(cheng)，就是能夠在(zai)傳統的(de)(de)文(wen)(wen)(wen)本(ben)生(sheng)(sheng)(sheng)(sheng)(sheng)成(cheng)的(de)(de)基礎上，增加(jia)對生(sheng)(sheng)(sheng)(sheng)(sheng)成(cheng)文(wen)(wen)(wen)本(ben)一些屬(shu)性(xing)、風格、關鍵(jian)(jian)信(xin)息(xi)等的(de)(de)控(kong)(kong)(kong)制(zhi)(zhi)(zhi)，從而使(shi)得生(sheng)(sheng)(sheng)(sheng)(sheng)成(cheng)的(de)(de)文(wen)(wen)(wen)本(ben)符合(he)某種預期，提高(gao)生(sheng)(sheng)(sheng)(sheng)(sheng)成(cheng)文(wen)(wen)(wen)本(ben)的(de)(de)質(zhi)(zhi)(zhi)量(liang)和可(ke)(ke)用(yong)性(xing)，有助(zhu)于在(zai)各種應用(yong)場(chang)景中實現更加(jia)精(jing)準和有效的(de)(de)文(wen)(wen)(wen)本(ben)生(sheng)(sheng)(sheng)(sheng)(sheng)成(cheng)。例(li)如在(zai)自(zi)動化(hua)寫作領(ling)域(yu)，可(ke)(ke)控(kong)(kong)(kong)文(wen)(wen)(wen)本(ben)生(sheng)(sheng)(sheng)(sheng)(sheng)成(cheng)技術(shu)(shu)可(ke)(ke)以(yi)通過控(kong)(kong)(kong)制(zhi)(zhi)(zhi)生(sheng)(sheng)(sheng)(sheng)(sheng)成(cheng)文(wen)(wen)(wen)本(ben)的(de)(de)語(yu)(yu)氣、情感傾向、關鍵(jian)(jian)信(xin)息(xi)等屬(shu)性(xing)，使(shi)得生(sheng)(sheng)(sheng)(sheng)(sheng)成(cheng)的(de)(de)新(xin)聞報道或廣告文(wen)(wen)(wen)案(an)(an)更符合(he)目標(biao)受眾(zhong)的(de)(de)需(xu)(xu)求(qiu)，從而提高(gao)文(wen)(wen)(wen)本(ben)的(de)(de)質(zhi)(zhi)(zhi)量(liang)和效果。因此，如何(he)進行高(gao)質(zhi)(zhi)(zhi)量(liang)、精(jing)細化(hua)的(de)(de)可(ke)(ke)控(kong)(kong)(kong)文(wen)(wen)(wen)本(ben)生(sheng)(sheng)(sheng)(sheng)(sheng)成(cheng)具備較高(gao)的(de)(de)研究價值。

2、現有的(de)(de)(de)可控文(wen)(wen)(wen)(wen)本(ben)(ben)生(sheng)(sheng)成(cheng)(cheng)技術主要基(ji)于(yu)預訓練語(yu)(yu)言模(mo)(mo)型(xing)(xing)，利用其已學習到的(de)(de)(de)海(hai)量知(zhi)識，通過(guo)對(dui)模(mo)(mo)型(xing)(xing)輸(shu)入或者輸(shu)出(chu)進(jin)行(xing)處(chu)理，實現可控文(wen)(wen)(wen)(wen)本(ben)(ben)生(sheng)(sheng)成(cheng)(cheng)。目(mu)前的(de)(de)(de)可控文(wen)(wen)(wen)(wen)本(ben)(ben)生(sheng)(sheng)成(cheng)(cheng)方法一般分(fen)兩種：（1）對(dui)模(mo)(mo)型(xing)(xing)的(de)(de)(de)輸(shu)出(chu)進(jin)行(xing)處(chu)理、修正(zheng)模(mo)(mo)型(xing)(xing)的(de)(de)(de)輸(shu)出(chu)從而符合(he)某(mou)種預期(qi)，例如通過(guo)一個額外(wai)的(de)(de)(de)屬性(xing)控制模(mo)(mo)型(xing)(xing)對(dui)預訓練語(yu)(yu)言模(mo)(mo)型(xing)(xing)的(de)(de)(de)輸(shu)出(chu)結果加以修正(zheng)，達到控制生(sheng)(sheng)成(cheng)(cheng)文(wen)(wen)(wen)(wen)本(ben)(ben)屬性(xing)的(de)(de)(de)目(mu)的(de)(de)(de)；（2）將對(dui)文(wen)(wen)(wen)(wen)本(ben)(ben)內容方面的(de)(de)(de)需(xu)求作為控制生(sheng)(sheng)成(cheng)(cheng)的(de)(de)(de)指令，目(mu)標文(wen)(wen)(wen)(wen)本(ben)(ben)作為輸(shu)出(chu)，對(dui)預訓練語(yu)(yu)言模(mo)(mo)型(xing)(xing)進(jin)行(xing)微調(diao)，使模(mo)(mo)型(xing)(xing)具(ju)備在特定(ding)指令下生(sheng)(sheng)成(cheng)(cheng)所(suo)需(xu)文(wen)(wen)(wen)(wen)本(ben)(ben)的(de)(de)(de)能力(li)(li)。這兩種方法對(dui)生(sheng)(sheng)成(cheng)(cheng)文(wen)(wen)(wen)(wen)本(ben)(ben)的(de)(de)(de)內容控制力(li)(li)度不佳(jia)，生(sheng)(sheng)成(cheng)(cheng)文(wen)(wen)(wen)(wen)本(ben)(ben)可能存在不連貫(guan)、前后邏輯矛盾等問(wen)題，且無法對(dui)生(sheng)(sheng)成(cheng)(cheng)文(wen)(wen)(wen)(wen)本(ben)(ben)的(de)(de)(de)結構進(jin)行(xing)精(jing)細化的(de)(de)(de)把(ba)控。

技術實現思路

1、為解決上述(shu)技術(shu)問(wen)題，本(ben)發(fa)明(ming)提(ti)供(gong)一種(zhong)基于(yu)(yu)細(xi)粒度規劃(hua)機制(zhi)與指(zhi)令微(wei)調的(de)(de)可(ke)控(kong)文本(ben)生(sheng)成方法(fa)，相比(bi)現有的(de)(de)可(ke)控(kong)文本(ben)生(sheng)成技術(shu)，本(ben)發(fa)明(ming)使用了規劃(hua)-生(sheng)成的(de)(de)方式完(wan)(wan)成該任務(wu)，該方法(fa)具(ju)有以(yi)下方面(mian)的(de)(de)優勢：（1）從(cong)訓(xun)練(lian)數據和任務(wu)形(xing)式的(de)(de)角度出發(fa)完(wan)(wan)成文本(ben)屬性(xing)控(kong)制(zhi)，模(mo)型訓(xun)練(lian)和推理流程與普(pu)通的(de)(de)指(zhi)令微(wei)調模(mo)型無異，沒有引入額外(wai)的(de)(de)模(mo)型、訓(xun)練(lian)和推理開銷；（2）本(ben)發(fa)明(ming)通過生(sheng)成多(duo)層次(ci)細(xi)粒度提(ti)綱(gang)作為控(kong)制(zhi)信(xin)號，能(neng)夠實(shi)現對文本(ben)的(de)(de)精準控(kong)制(zhi)，并且生(sheng)成的(de)(de)文本(ben)邏輯連(lian)貫(guan)，一致(zhi)性(xing)強；（3）本(ben)發(fa)明(ming)提(ti)出的(de)(de)方法(fa)便(bian)于(yu)(yu)引入人類審核(he)和修訂，增加了生(sheng)成文本(ben)的(de)(de)可(ke)控(kong)性(xing)。

2、為解決上述技術(shu)問題，本發明采用如下(xia)技術(shu)方案：

3、一種基于細粒度規劃機制(zhi)與指令微(wei)調的可控文本生成方法，包括(kuo)以下步驟：

4、步驟(zou)一，基于主(zhu)題-正文數據生成多層次細粒(li)度提綱，具體包括以下步驟(zou)：

5、s11，從文本(ben)數(shu)據(ju)(ju)集中挑(tiao)選部分由主題和正(zheng)(zheng)文組成的(de)數(shu)據(ju)(ju)，根據(ju)(ju)設(she)計的(de)提綱模板(ban)，人工編寫(xie)提綱，作(zuo)為(wei)示例；文本(ben)數(shu)據(ju)(ju)集，其中為(wei)第i個(ge)主題，為(wei)第i個(ge)正(zheng)(zheng)文，為(wei)正(zheng)(zheng)整數(shu)；編寫(xie)生成提綱的(de)指令；

6、s12，將主題(ti)、正文、生成(cheng)提綱(gang)(gang)的指令(ling)和示例進行連接，輸(shu)入(ru)到大語(yu)言模(mo)型m，生成(cheng)對應的提綱(gang)(gang)：；

7、s13，遍(bian)歷文本數據集，并重復(fu)步驟(zou)s12，構(gou)造(zao)由主題(ti)、提綱和正文組(zu)成(cheng)的三元(yuan)數據的集合：；

8、步驟(zou)二，構(gou)造結構(gou)化指(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)(ling)(ling)微調數(shu)據(ju)(ju)：人工編寫部分種(zhong)子指(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)(ling)(ling)；基(ji)于種(zhong)子指(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)(ling)(ling)，通過(guo)大(da)(da)語(yu)言(yan)模型生成(cheng)多(duo)條(tiao)的(de)(de)指(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)(ling)(ling)，構(gou)成(cheng)指(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)(ling)(ling)集合；種(zhong)子指(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)(ling)(ling)以及大(da)(da)語(yu)言(yan)模型生成(cheng)的(de)(de)指(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)(ling)(ling)均(jun)包括主題(ti)變量槽(cao)(cao)位(wei){topic}、提(ti)綱變量槽(cao)(cao)位(wei){outline}、正(zheng)文(wen)變量槽(cao)(cao)位(wei){passage}；對于中每條(tiao)三元數(shu)據(ju)(ju)，從指(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)(ling)(ling)集合中隨機挑(tiao)選一條(tiao)指(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)(ling)(ling)，并將三元數(shu)據(ju)(ju)中的(de)(de)主題(ti)、提(ti)綱和(he)正(zheng)文(wen)分別填(tian)入指(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)(ling)(ling)中對應的(de)(de)主題(ti)變量槽(cao)(cao)位(wei){topic}、提(ti)綱變量槽(cao)(cao)位(wei){outline}、正(zheng)文(wen)變量槽(cao)(cao)位(wei){passage}，得到(dao)完(wan)整(zheng)指(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)(ling)(ling)；進而(er)得到(dao)由(you)多(duo)個完(wan)整(zheng)指(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)(ling)(ling)組成(cheng)的(de)(de)指(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)(ling)(ling)微調數(shu)據(ju)(ju)集；

9、步(bu)驟三，基于指令微調數據集，并采用(yong)因(yin)果語言建模(mo)形式對大語言模(mo)型進行訓練，得(de)到的可控文本生(sheng)成模(mo)型；

10、步驟(zou)四，向可控(kong)文(wen)本生(sheng)成(cheng)模(mo)型輸入(ru)包(bao)含主(zhu)題的(de)指(zhi)令(ling)，可控(kong)文(wen)本生(sheng)成(cheng)模(mo)型能夠根(gen)(gen)據(ju)主(zhu)題規劃提(ti)(ti)(ti)綱，并根(gen)(gen)據(ju)提(ti)(ti)(ti)綱生(sheng)成(cheng)正(zheng)(zheng)文(wen)；或者，向可控(kong)文(wen)本生(sheng)成(cheng)模(mo)型輸入(ru)包(bao)含主(zhu)題和提(ti)(ti)(ti)綱的(de)指(zhi)令(ling)，可控(kong)文(wen)本生(sheng)成(cheng)模(mo)型根(gen)(gen)據(ju)主(zhu)題和提(ti)(ti)(ti)綱生(sheng)成(cheng)符合主(zhu)題要(yao)求的(de)正(zheng)(zheng)文(wen)。

11、進一步地，步驟三中，所述采用(yong)因果語言(yan)建(jian)模(mo)形式對大(da)語言(yan)模(mo)型進行訓練，具(ju)體包括：

12、最大化大語言模型正確生(sheng)成(cheng)下一詞的(de)概(gai)率：

13、；

14、其中，為大(da)語(yu)言模型的可訓練參(can)數，為第時刻(ke)輸出的單(dan)詞，為前(qian)時刻(ke)生成的單(dan)詞所構成的文本，表(biao)示為以為因子的最大(da)化操作，表(biao)示計算(suan)概率；訓練選用交叉(cha)熵損失函數：

15、；

16、其中，為(wei)大語言模型(xing)生(sheng)成的句子中包含的單詞的數(shu)量。

17、與(yu)現(xian)有技術相(xiang)比，本(ben)發(fa)明的有益技術效果是：

18、（1）沒(mei)有引(yin)(yin)(yin)入(ru)(ru)額外(wai)開(kai)銷(xiao)(xiao)：本發明(ming)使(shi)用(yong)指令微調的(de)(de)(de)方式(shi)進行屬性(xing)控(kong)(kong)制，未引(yin)(yin)(yin)入(ru)(ru)附加的(de)(de)(de)模(mo)型用(yong)于屬性(xing)控(kong)(kong)制，沒(mei)有引(yin)(yin)(yin)入(ru)(ru)額外(wai)的(de)(de)(de)訓練、推理開(kai)銷(xiao)(xiao)，也沒(mei)有引(yin)(yin)(yin)入(ru)(ru)額外(wai)的(de)(de)(de)權重(zhong)存儲(chu)空間；（2）精準的(de)(de)(de)控(kong)(kong)制：提綱細粒度地限(xian)制了正文(wen)內(nei)容(rong)的(de)(de)(de)風(feng)格、內(nei)容(rong)、立場，能夠(gou)有效實現(xian)生成(cheng)文(wen)本的(de)(de)(de)內(nei)容(rong)可(ke)控(kong)(kong)；（3）便捷的(de)(de)(de)人機協作(zuo)：兩段(duan)式(shi)生成(cheng)方法使(shi)得生成(cheng)過程中能夠(gou)引(yin)(yin)(yin)入(ru)(ru)用(yong)戶審核和編輯(ji)，使(shi)生成(cheng)過程更為可(ke)控(kong)(kong)。

技術特征：

1.一種基于(yu)細(xi)粒度規(gui)劃機(ji)制與(yu)指令微調的可控文本(ben)生成方(fang)法，其特征在于(yu)，包括以下步驟：

2.根據權利要求1所(suo)述的基于細(xi)粒度規(gui)劃機(ji)制(zhi)與指令微(wei)調的可(ke)控文本生成方法，其特(te)征在于，步驟三(san)中，所(suo)述采用因果語(yu)言(yan)建模形式對大語(yu)言(yan)模型進行(xing)訓練(lian)，具體(ti)包括：

技術總結
本發明涉及可控文本生成技術領域，公開了一種基于細粒度規劃機制與指令微調的可控文本生成方法；基于主題?正文數據生成多層次細粒度提綱；構造結構化指令微調數據：人工編寫部分種子指令，進而得到由多個完整指令組成的指令微調數據集；基于指令微調數據集，并采用因果語言建模形式對大語言模型進行訓練，使大語言模型具有根據主題規劃提綱、并以提綱作為控制信號撰寫正文的能力；向完成訓練的大語言模型輸入包含主題的指令，大語言模型能夠根據主題規劃提綱，并根據提綱生成正文；本發明沒有引入額外開銷，提綱細粒度地限制了正文內容的風格、內容、立場，能夠有效實現生成文本的內容可控。

技術研發人員：毛震東,張勇東,張立成,朱池葦
受保護的技術使用者：中國科學技術大學
技術研發日：
技術公布日：2024/8/1