本(ben)技術涉(she)及(ji)(ji)語音合成，應(ying)用于聲音轉換(huan)場景中，尤(you)其涉(she)及(ji)(ji)一(yi)種(zhong)語音轉換(huan)方法、裝(zhuang)置、設備及(ji)(ji)其存儲(chu)介(jie)質。

背景技術：

1、隨著互聯網(wang)的快速發(fa)展(zhan)，特別是自(zi)媒體行業和金(jin)融行業的快速發(fa)展(zhan)。傳統的語(yu)音(yin)合(he)(he)成(cheng)越來越趨向(xiang)于(yu)ai智能語(yu)音(yin)合(he)(he)成(cheng)方向(xiang)發(fa)展(zhan)，常常需要使用到(dao)語(yu)音(yin)轉(zhuan)換技術，即將指定語(yu)音(yin)以另一人(ren)物對象(xiang)的發(fa)音(yin)輸出。

2、現有的(de)語音(yin)(yin)轉(zhuan)(zhuan)換任務分為(wei)幾(ji)種主流思(si)路，第一種采用實(shi)例標(biao)準化，對輸(shu)入語音(yin)(yin)信(xin)息(xi)進行(xing)內容(rong)和(he)音(yin)(yin)色(se)信(xin)息(xi)的(de)解(jie)(jie)耦和(he)提取，第二種采用將語音(yin)(yin)拆(chai)分為(wei)內容(rong)、節奏、音(yin)(yin)高、音(yin)(yin)色(se)等多個(ge)特(te)征(zheng)，再采用有監督技術和(he)隨機(ji)采樣的(de)方法來(lai)對應(ying)提取出相應(ying)特(te)征(zheng)，但是，上述第一種實(shi)例標(biao)準化的(de)方案無法完(wan)成(cheng)(cheng)真實(shi)的(de)特(te)征(zheng)解(jie)(jie)耦，在語音(yin)(yin)轉(zhuan)(zhuan)換任務上合成(cheng)(cheng)效果不佳；上述第二種方案增加了(le)模(mo)型訓練的(de)復(fu)雜程度(du)，并且特(te)征(zheng)選取上容(rong)易造(zao)成(cheng)(cheng)大量(liang)的(de)部分重復(fu)性，也導(dao)致了(le)后續在語音(yin)(yin)轉(zhuan)(zhuan)換任務上處理過程較為(wei)復(fu)雜，因此，現有技術在進行(xing)語音(yin)(yin)轉(zhuan)(zhuan)換上還(huan)存在無法快速(su)實(shi)現語音(yin)(yin)轉(zhuan)(zhuan)換，或(huo)者語音(yin)(yin)轉(zhuan)(zhuan)換較為(wei)復(fu)雜的(de)問題。

技術實現思路

1、本技術實施例的(de)目的(de)在(zai)于提出一種語音轉(zhuan)換方(fang)法(fa)、裝置、設備及其存儲介質(zhi)，以解決現有技術在(zai)進行語音轉(zhuan)換上還(huan)存在(zai)無法(fa)快速(su)實現語音轉(zhuan)換，或者語音轉(zhuan)換較(jiao)為復雜的(de)問題。

2、為了(le)解決上述(shu)(shu)技術(shu)問題，本技術(shu)實施例提供語音轉(zhuan)換方(fang)法，采用了(le)如下(xia)所述(shu)(shu)的技術(shu)方(fang)案：

3、一種語(yu)音(yin)轉換方法，包括下述步驟：

4、獲取第(di)一語(yu)(yu)(yu)(yu)音(yin)(yin)數據(ju)和(he)第(di)二語(yu)(yu)(yu)(yu)音(yin)(yin)數據(ju)，其中(zhong)，所述第(di)一語(yu)(yu)(yu)(yu)音(yin)(yin)數據(ju)包括待(dai)進(jin)行(xing)發(fa)音(yin)(yin)轉換(huan)的語(yu)(yu)(yu)(yu)音(yin)(yin)，所述第(di)二語(yu)(yu)(yu)(yu)音(yin)(yin)數據(ju)包括目標發(fa)音(yin)(yin)用戶的參考語(yu)(yu)(yu)(yu)音(yin)(yin)；

5、將(jiang)所(suo)(suo)述(shu)第(di)一語音(yin)(yin)數據和所(suo)(suo)述(shu)第(di)二(er)語音(yin)(yin)數據輸入預訓(xun)練完成(cheng)的特(te)征解(jie)耦模型，分別獲得所(suo)(suo)述(shu)第(di)一語音(yin)(yin)數據和所(suo)(suo)述(shu)第(di)二(er)語音(yin)(yin)數據的解(jie)耦特(te)征，其中，所(suo)(suo)述(shu)解(jie)耦特(te)征中包(bao)括文本(ben)特(te)征和聲(sheng)學特(te)征；

6、將(jiang)所述第(di)一語(yu)音數據對應的(de)文本(ben)特征(zheng)和所述第(di)二語(yu)音數據對應的(de)聲學特征(zheng)，一并輸入到(dao)預訓練(lian)完成的(de)特征(zheng)融(rong)合模型，進行特征(zheng)融(rong)合，獲得特征(zheng)融(rong)合結果(guo)；

7、輸入(ru)所述特征融合結果至預設的語音(yin)解碼(ma)器，解碼(ma)獲得發(fa)音(yin)轉換完(wan)成的語音(yin)。

8、進一步的，在執行所述將所述第(di)(di)一語音數(shu)(shu)據和所述第(di)(di)二語音數(shu)(shu)據輸(shu)入預訓練完成的特征(zheng)解耦模型(xing)的步驟之前，所述方法還包括：

9、獲取語(yu)音(yin)訓練集，其中，所(suo)述語(yu)音(yin)訓練集中包含批量已標注(zhu)特(te)征分類的(de)待進行(xing)特(te)征解耦的(de)語(yu)音(yin)數據；

10、將所述(shu)語音訓練(lian)(lian)集輸入預購建的特(te)(te)征(zheng)解(jie)耦(ou)模(mo)型，進(jin)行特(te)(te)征(zheng)解(jie)耦(ou)模(mo)型訓練(lian)(lian)，獲得訓練(lian)(lian)完(wan)成(cheng)的特(te)(te)征(zheng)解(jie)耦(ou)模(mo)型；以及

11、獲得所述訓練完(wan)成的(de)特(te)征(zheng)(zheng)解(jie)耦模(mo)型解(jie)耦輸出的(de)文本(ben)特(te)征(zheng)(zheng)和聲學特(te)征(zheng)(zheng)。

12、進(jin)一步的(de)，所(suo)述預購建(jian)的(de)特(te)征(zheng)(zheng)(zheng)解(jie)耦模型(xing)(xing)(xing)包括(kuo)特(te)征(zheng)(zheng)(zheng)提取(qu)層、池(chi)化層、全連(lian)接層，所(suo)述將所(suo)述語音(yin)訓(xun)練集輸入預購建(jian)的(de)特(te)征(zheng)(zheng)(zheng)解(jie)耦模型(xing)(xing)(xing)，進(jin)行特(te)征(zheng)(zheng)(zheng)解(jie)耦模型(xing)(xing)(xing)訓(xun)練，獲(huo)得訓(xun)練完成的(de)特(te)征(zheng)(zheng)(zheng)解(jie)耦模型(xing)(xing)(xing)的(de)步驟，具(ju)體包括(kuo)：

13、步驟(zou)301，通(tong)過(guo)所(suo)述特(te)征提取層對所(suo)述語音(yin)訓練(lian)集中批量(liang)待(dai)進行特(te)征解耦的語音(yin)數據(ju)分別進行特(te)征提取，獲得(de)相應(ying)的特(te)征提取序列(lie)；

14、步驟302，采用(yong)所(suo)述池(chi)化(hua)層(ceng)對所(suo)述特(te)征(zheng)提(ti)取序(xu)列進(jin)行池(chi)化(hua)操作，并經所(suo)述全連接(jie)層(ceng)對池(chi)化(hua)操作結(jie)果進(jin)行特(te)征(zheng)分類預測(ce)(ce)，獲得特(te)征(zheng)分類預測(ce)(ce)結(jie)果；

15、步驟303，對(dui)比所述特征(zheng)分類預(yu)測結(jie)(jie)果和預(yu)先已(yi)標注(zhu)的特征(zheng)分類結(jie)(jie)果，并根據對(dui)比結(jie)(jie)果計算所述特征(zheng)分類預(yu)測結(jie)(jie)果相較于預(yu)先已(yi)標注(zhu)的特征(zheng)分類結(jie)(jie)果的分類準確率和召回率；

16、步(bu)驟304，若所(suo)述(shu)分(fen)類(lei)準(zhun)確率(lv)和召回率(lv)任(ren)一項不滿足(zu)預設的(de)要求(qiu)閾(yu)值，通(tong)過反(fan)向(xiang)傳播算法不斷調整所(suo)述(shu)特征(zheng)解耦(ou)模(mo)型的(de)參(can)數，并重(zhong)復執行步(bu)驟301至(zhi)步(bu)驟303，直(zhi)到所(suo)述(shu)分(fen)類(lei)準(zhun)確率(lv)和召回率(lv)都滿足(zu)預設的(de)要求(qiu)閾(yu)值；

17、步驟305，若所述(shu)分類準確率(lv)和召回(hui)率(lv)都滿足(zu)預設的(de)要求(qiu)閾值(zhi)，則(ze)獲得訓練完成的(de)特(te)征(zheng)解耦模型。

18、進(jin)一步的，在執(zhi)行所(suo)(suo)述獲(huo)得所(suo)(suo)述訓練(lian)完成的特征解(jie)耦(ou)模型解(jie)耦(ou)輸出的文本特征和聲學特征的步驟之后，所(suo)(suo)述方法還包括：

19、根據(ju)語音(yin)數(shu)據(ju)條(tiao)(tiao)目的不同(tong)，分別(bie)對(dui)(dui)(dui)所(suo)(suo)(suo)述文(wen)本(ben)特征(zheng)和(he)(he)聲學(xue)特征(zheng)進行標(biao)(biao)(biao)(biao)記(ji)操作(zuo)，具體的，所(suo)(suo)(suo)述標(biao)(biao)(biao)(biao)記(ji)操作(zuo)包(bao)括：對(dui)(dui)(dui)同(tong)一(yi)條(tiao)(tiao)目的語音(yin)數(shu)據(ju)所(suo)(suo)(suo)對(dui)(dui)(dui)應的文(wen)本(ben)特征(zheng)和(he)(he)聲學(xue)特征(zheng)采用相(xiang)同(tong)標(biao)(biao)(biao)(biao)識進行標(biao)(biao)(biao)(biao)記(ji)，以及(ji)對(dui)(dui)(dui)不同(tong)條(tiao)(tiao)目的語音(yin)數(shu)據(ju)所(suo)(suo)(suo)對(dui)(dui)(dui)應的文(wen)本(ben)特征(zheng)和(he)(he)聲學(xue)特征(zheng)采用區別(bie)標(biao)(biao)(biao)(biao)識進行標(biao)(biao)(biao)(biao)記(ji)。

20、進一(yi)步的(de)，在執(zhi)行(xing)所述將(jiang)所述第(di)一(yi)語(yu)音數據(ju)對(dui)應的(de)文本特征和所述第(di)二語(yu)音數據(ju)對(dui)應的(de)聲學特征，一(yi)并輸入到預(yu)訓練完成的(de)特征融合模型的(de)步驟之前，所述方法還包括：

21、獲得(de)待(dai)進(jin)行(xing)特征(zheng)融合的(de)(de)文(wen)本特征(zheng)和聲學(xue)特征(zheng)，其中，所(suo)述待(dai)進(jin)行(xing)特征(zheng)融合的(de)(de)文(wen)本特征(zheng)和聲學(xue)特征(zheng)包(bao)括所(suo)述訓(xun)練完(wan)成的(de)(de)特征(zheng)解(jie)耦(ou)模型解(jie)耦(ou)輸出的(de)(de)文(wen)本特征(zheng)和聲學(xue)特征(zheng)；

22、將所述待進(jin)行(xing)特(te)(te)征(zheng)融合的(de)文本特(te)(te)征(zheng)和聲學特(te)(te)征(zheng)輸入預構(gou)建的(de)特(te)(te)征(zheng)融合模型，進(jin)行(xing)特(te)(te)征(zheng)融合模型訓(xun)練，獲得訓(xun)練完成的(de)特(te)(te)征(zheng)融合模型。

23、進一步的(de)，所(suo)述(shu)特(te)(te)(te)征(zheng)(zheng)(zheng)融(rong)(rong)合(he)(he)模(mo)型(xing)(xing)包括(kuo)(kuo)基(ji)于流式的(de)文本特(te)(te)(te)征(zheng)(zheng)(zheng)隱狀(zhuang)態向量提取組件和基(ji)于后驗編碼的(de)聲學特(te)(te)(te)征(zheng)(zheng)(zheng)隱狀(zhuang)態向量提取組件，所(suo)述(shu)將所(suo)述(shu)待進行(xing)特(te)(te)(te)征(zheng)(zheng)(zheng)融(rong)(rong)合(he)(he)的(de)文本特(te)(te)(te)征(zheng)(zheng)(zheng)和聲學特(te)(te)(te)征(zheng)(zheng)(zheng)輸入預構建的(de)特(te)(te)(te)征(zheng)(zheng)(zheng)融(rong)(rong)合(he)(he)模(mo)型(xing)(xing)，進行(xing)特(te)(te)(te)征(zheng)(zheng)(zheng)融(rong)(rong)合(he)(he)模(mo)型(xing)(xing)訓(xun)練，獲得訓(xun)練完成的(de)特(te)(te)(te)征(zheng)(zheng)(zheng)融(rong)(rong)合(he)(he)模(mo)型(xing)(xing)的(de)步驟，具體包括(kuo)(kuo)：

24、步驟401，通過所述基(ji)于流式的(de)文本特(te)征隱狀態向量(liang)提(ti)取組件，提(ti)取所述文本特(te)征的(de)隱狀態向量(liang)表示(shi)結果；

25、步驟402，通過所述基于后驗編碼(ma)的聲學特(te)征隱(yin)狀態(tai)向量提取組件，提取所述聲學特(te)征的隱(yin)狀態(tai)向量表示結果；

26、步驟403，融合相同標識的文本特(te)(te)征(zheng)和聲(sheng)學特(te)(te)征(zheng)分(fen)別(bie)所對應的隱狀態向(xiang)量(liang)表示結果，獲得(de)特(te)(te)征(zheng)融合結果；

27、步驟404，采用預設的語音解(jie)(jie)碼器對所述特征融(rong)合結果進行解(jie)(jie)碼，獲得(de)輸出語音；

28、步驟405，根據預(yu)設(she)的(de)損(sun)失函數，計算所(suo)述輸出語(yu)音(yin)相較于所(suo)述語(yu)音(yin)訓(xun)練集中批(pi)量語(yu)音(yin)數據的(de)損(sun)失值(zhi)；

29、步驟(zou)406，若(ruo)所(suo)述損失值(zhi)(zhi)不滿足(zu)(zu)預(yu)設的(de)(de)損失閾(yu)值(zhi)(zhi)，則通過調(diao)(diao)整所(suo)述特征(zheng)融合(he)模(mo)型的(de)(de)參數進行(xing)模(mo)型調(diao)(diao)優(you)，并重復執行(xing)步驟(zou)401至步驟(zou)405，直到所(suo)述損失值(zhi)(zhi)滿足(zu)(zu)預(yu)設的(de)(de)損失閾(yu)值(zhi)(zhi)；

30、步(bu)驟(zou)407，若(ruo)所(suo)述損(sun)失值滿足預設的損(sun)失閾值，則(ze)獲得訓練(lian)完成(cheng)的特征融合(he)模(mo)型(xing)。

31、進一步的(de)，所(suo)(suo)述(shu)將所(suo)(suo)述(shu)第(di)一語音數據(ju)對(dui)應的(de)文本特(te)征(zheng)和所(suo)(suo)述(shu)第(di)二(er)語音數據(ju)對(dui)應的(de)聲學特(te)征(zheng)，一并輸入(ru)到預訓練完(wan)成的(de)特(te)征(zheng)融(rong)合模型，進行特(te)征(zheng)融(rong)合，獲得特(te)征(zheng)融(rong)合結果(guo)的(de)步驟，具體(ti)包括：

32、通(tong)過訓練完(wan)成的(de)特(te)征融合(he)模型的(de)基于(yu)流式的(de)文本特(te)征隱(yin)狀態向量提取(qu)組件，提取(qu)所述第一語音數據對應(ying)的(de)文本特(te)征的(de)隱(yin)狀態向量表示結果；

33、通過(guo)訓(xun)練完成的(de)(de)特征(zheng)(zheng)融合模型的(de)(de)基于(yu)后驗編碼的(de)(de)聲學(xue)特征(zheng)(zheng)隱狀態(tai)向量(liang)提(ti)取(qu)組件，提(ti)取(qu)所(suo)述第二語音數據對應的(de)(de)聲學(xue)特征(zheng)(zheng)的(de)(de)隱狀態(tai)向量(liang)表示(shi)結(jie)果；

34、融合所述第一語(yu)音(yin)數(shu)據(ju)對應的(de)文本(ben)特(te)征的(de)隱狀態(tai)(tai)向(xiang)量表示(shi)結(jie)果(guo)和所述第二(er)語(yu)音(yin)數(shu)據(ju)對應的(de)聲學特(te)征的(de)隱狀態(tai)(tai)向(xiang)量表示(shi)結(jie)果(guo)，獲得所述特(te)征融合結(jie)果(guo)。

35、為了解決上述技(ji)術(shu)問(wen)題，本技(ji)術(shu)實施(shi)例還提供語(yu)音轉換裝置，采(cai)用了如下所述的(de)技(ji)術(shu)方案：

36、一(yi)種語音轉換裝(zhuang)置，包括：

37、語(yu)(yu)音(yin)數(shu)據(ju)(ju)獲(huo)取模塊(kuai)，用于獲(huo)取第一語(yu)(yu)音(yin)數(shu)據(ju)(ju)和第二語(yu)(yu)音(yin)數(shu)據(ju)(ju)，其中，所述第一語(yu)(yu)音(yin)數(shu)據(ju)(ju)包(bao)括待(dai)進(jin)行發音(yin)轉換的(de)(de)語(yu)(yu)音(yin)，所述第二語(yu)(yu)音(yin)數(shu)據(ju)(ju)包(bao)括目標發音(yin)用戶的(de)(de)參考語(yu)(yu)音(yin)；

38、語音(yin)特(te)(te)征(zheng)解(jie)耦模塊，用于(yu)將所(suo)述(shu)(shu)第(di)一(yi)語音(yin)數(shu)(shu)(shu)據(ju)和所(suo)述(shu)(shu)第(di)二(er)(er)語音(yin)數(shu)(shu)(shu)據(ju)輸入預訓練完成的特(te)(te)征(zheng)解(jie)耦模型，分(fen)別獲得所(suo)述(shu)(shu)第(di)一(yi)語音(yin)數(shu)(shu)(shu)據(ju)和所(suo)述(shu)(shu)第(di)二(er)(er)語音(yin)數(shu)(shu)(shu)據(ju)的解(jie)耦特(te)(te)征(zheng)，其中(zhong)，所(suo)述(shu)(shu)解(jie)耦特(te)(te)征(zheng)中(zhong)包括文本特(te)(te)征(zheng)和聲學特(te)(te)征(zheng)；

39、語音(yin)(yin)特(te)征融合(he)模塊，用(yong)于(yu)將(jiang)所述(shu)第(di)一語音(yin)(yin)數據對應(ying)的(de)文本(ben)特(te)征和所述(shu)第(di)二語音(yin)(yin)數據對應(ying)的(de)聲學特(te)征，一并輸入到預訓練完成(cheng)的(de)特(te)征融合(he)模型(xing)，進行特(te)征融合(he)，獲得特(te)征融合(he)結果(guo)；

40、語音特(te)征解碼(ma)模塊，用(yong)于輸入所(suo)述特(te)征融合結(jie)果至(zhi)預設(she)的語音解碼(ma)器(qi)，解碼(ma)獲得發(fa)音轉換完成的語音。

41、為(wei)了(le)解決上述(shu)技術問(wen)題(ti)，本技術實施例還提供(gong)一種計(ji)算機設(she)備，采用了(le)如(ru)下所述(shu)的技術方案：

42、一種計(ji)算機設備(bei)，包括(kuo)存(cun)儲器和處(chu)理(li)器，所(suo)述(shu)(shu)(shu)(shu)存(cun)儲器中存(cun)儲有(you)計(ji)算機可讀指(zhi)令，所(suo)述(shu)(shu)(shu)(shu)處(chu)理(li)器執行所(suo)述(shu)(shu)(shu)(shu)計(ji)算機可讀指(zhi)令時實現上述(shu)(shu)(shu)(shu)所(suo)述(shu)(shu)(shu)(shu)的語(yu)音(yin)轉(zhuan)換方法(fa)的步(bu)驟。

43、為了解決(jue)上述(shu)技(ji)術(shu)問題，本(ben)技(ji)術(shu)實(shi)施(shi)例還提供一種計算機(ji)可讀(du)存儲介質，采用了如(ru)下所述(shu)的技(ji)術(shu)方案：

44、一種計(ji)(ji)算機可(ke)(ke)(ke)讀存儲(chu)介質，所述計(ji)(ji)算機可(ke)(ke)(ke)讀存儲(chu)介質上存儲(chu)有計(ji)(ji)算機可(ke)(ke)(ke)讀指令，所述計(ji)(ji)算機可(ke)(ke)(ke)讀指令被處(chu)理器執行時(shi)實現如上述所述的(de)語音(yin)轉(zhuan)換(huan)方法的(de)步驟。

45、與(yu)現有技(ji)術(shu)相(xiang)比，本(ben)技(ji)術(shu)實施例主要有以下有益效(xiao)果：

46、本技術實施例(li)所述語音(yin)(yin)轉(zhuan)(zhuan)(zhuan)換(huan)方法，通(tong)過獲(huo)取(qu)待進(jin)(jin)行發音(yin)(yin)轉(zhuan)(zhuan)(zhuan)換(huan)的(de)(de)語音(yin)(yin)和(he)目(mu)標發音(yin)(yin)用戶(hu)(hu)(hu)的(de)(de)參(can)考語音(yin)(yin)，輸入預(yu)訓練完(wan)成的(de)(de)特(te)(te)(te)征(zheng)解(jie)(jie)耦(ou)(ou)模(mo)(mo)型(xing)(xing)，分別(bie)獲(huo)得(de)待進(jin)(jin)行發音(yin)(yin)轉(zhuan)(zhuan)(zhuan)換(huan)的(de)(de)語音(yin)(yin)和(he)目(mu)標發音(yin)(yin)用戶(hu)(hu)(hu)的(de)(de)參(can)考語音(yin)(yin)的(de)(de)解(jie)(jie)耦(ou)(ou)特(te)(te)(te)征(zheng)；將待進(jin)(jin)行發音(yin)(yin)轉(zhuan)(zhuan)(zhuan)換(huan)的(de)(de)語音(yin)(yin)的(de)(de)文本特(te)(te)(te)征(zheng)和(he)目(mu)標發音(yin)(yin)用戶(hu)(hu)(hu)的(de)(de)參(can)考語音(yin)(yin)的(de)(de)聲學特(te)(te)(te)征(zheng)，一并輸入到(dao)預(yu)訓練完(wan)成的(de)(de)特(te)(te)(te)征(zheng)融合模(mo)(mo)型(xing)(xing)，進(jin)(jin)行特(te)(te)(te)征(zheng)融合，獲(huo)得(de)特(te)(te)(te)征(zheng)融合結(jie)果，并解(jie)(jie)碼獲(huo)得(de)發音(yin)(yin)轉(zhuan)(zhuan)(zhuan)換(huan)完(wan)成的(de)(de)語音(yin)(yin)。通(tong)過所述特(te)(te)(te)征(zheng)解(jie)(jie)耦(ou)(ou)模(mo)(mo)型(xing)(xing)和(he)所述特(te)(te)(te)征(zheng)融合模(mo)(mo)型(xing)(xing)，快(kuai)速實現語音(yin)(yin)轉(zhuan)(zhuan)(zhuan)換(huan)，將該語音(yin)(yin)轉(zhuan)(zhuan)(zhuan)換(huan)方法，應用到(dao)金融客(ke)服(fu)(fu)服(fu)(fu)務行業，能夠為(wei)客(ke)戶(hu)(hu)(hu)提供(gong)更加(jia)優質和(he)悅耳(er)的(de)(de)音(yin)(yin)質服(fu)(fu)務功能。