本技(ji)術涉(she)及音頻(pin)處理(li),特(te)別是涉(she)及一(yi)種歌(ge)聲合(he)成模型的(de)處理(li)方(fang)法(fa)、歌(ge)聲合(he)成方(fang)法(fa)、計算機設備、計算機可讀存儲介質和(he)計算機程序(xu)產品。
背景技術:
1、隨著(zhu)音(yin)頻(pin)處理(li)技(ji)術的發展,出現(xian)了一種(zhong)歌(ge)(ge)聲合成(cheng)的技(ji)術,該技(ji)術可以利(li)用語音(yin)合成(cheng)相關技(ji)術,讓計算機能夠像人一樣發出優美動(dong)聽(ting)的歌(ge)(ge)聲,可應用于虛擬歌(ge)(ge)手、唱(chang)片制作、數字音(yin)樂創(chuang)作等(deng)領域(yu)。
2、傳統技(ji)術中,可(ke)通過預先訓練用于(yu)合成歌聲(sheng)(sheng)的神經網絡模(mo)(mo)型(xing),即歌聲(sheng)(sheng)合成模(mo)(mo)型(xing)來(lai)實(shi)(shi)現(xian)歌聲(sheng)(sheng)合成,該模(mo)(mo)型(xing)可(ke)以通過對與音(yin)頻信息對齊的語音(yin)文本以及曲(qu)譜標注(zhu),來(lai)實(shi)(shi)現(xian)歌聲(sheng)(sheng)的合成。然(ran)而,目前的歌聲(sheng)(sheng)合成模(mo)(mo)型(xing)在訓練過程中,需要依賴于(yu)曲(qu)譜信息的標注(zhu),因此模(mo)(mo)型(xing)標注(zhu)成本較高。
技術實現思路
1、基于此,有(you)必要針對上述技術問題,提供一種能(neng)夠減少模(mo)型標(biao)注成(cheng)本的歌聲(sheng)合(he)成(cheng)模(mo)型的處理方法、歌聲(sheng)合(he)成(cheng)方法、裝置(zhi)、計(ji)(ji)算機(ji)設備(bei)、計(ji)(ji)算機(ji)可讀存儲介(jie)質和計(ji)(ji)算機(ji)程序產品。
2、第一方面,本技術提供了一種(zhong)歌聲合成模型的(de)處理方法,包(bao)括:
3、將樣本(ben)歌(ge)(ge)聲(sheng)信(xin)號的(de)樣本(ben)歌(ge)(ge)聲(sheng)特(te)(te)(te)征(zheng),以(yi)及樣本(ben)歌(ge)(ge)詞(ci)(ci)文本(ben)的(de)歌(ge)(ge)詞(ci)(ci)文本(ben)特(te)(te)(te)征(zheng)輸入待訓(xun)練(lian)的(de)歌(ge)(ge)聲(sheng)合(he)成模型中的(de)歌(ge)(ge)聲(sheng)特(te)(te)(te)征(zheng)預測(ce)器,得到(dao)預測(ce)歌(ge)(ge)聲(sheng)特(te)(te)(te)征(zheng),并(bing)通過所(suo)述預測(ce)歌(ge)(ge)聲(sheng)特(te)(te)(te)征(zheng)訓(xun)練(lian)所(suo)述歌(ge)(ge)聲(sheng)特(te)(te)(te)征(zheng)預測(ce)器,得到(dao)訓(xun)練(lian)完成的(de)歌(ge)(ge)聲(sheng)特(te)(te)(te)征(zheng)預測(ce)器;所(suo)述樣本(ben)歌(ge)(ge)詞(ci)(ci)文本(ben)為所(suo)述樣本(ben)歌(ge)(ge)聲(sheng)信(xin)號對應的(de)歌(ge)(ge)詞(ci)(ci)文本(ben);
4、將所(suo)述(shu)樣(yang)本歌(ge)聲(sheng)信號(hao)對應的樣(yang)本頻(pin)譜信息(xi)(xi)輸入所(suo)述(shu)歌(ge)聲(sheng)合成(cheng)模(mo)型中的頻(pin)譜生(sheng)成(cheng)模(mo)塊,得到預測(ce)頻(pin)譜信息(xi)(xi),通(tong)過所(suo)述(shu)預測(ce)頻(pin)譜信息(xi)(xi)訓練所(suo)述(shu)頻(pin)譜生(sheng)成(cheng)模(mo)塊,得到訓練完成(cheng)的頻(pin)譜生(sheng)成(cheng)模(mo)塊;
5、將所(suo)(suo)述(shu)樣本歌(ge)詞文本對應的(de)語(yu)義信息輸入所(suo)(suo)述(shu)歌(ge)聲合成模型的(de)擴散(san)模塊,得到(dao)所(suo)(suo)述(shu)樣本歌(ge)聲信號對應的(de)先驗(yan)特征,并利用(yong)所(suo)(suo)述(shu)先驗(yan)特征訓練(lian)所(suo)(suo)述(shu)擴散(san)模塊,得到(dao)訓練(lian)完成的(de)擴散(san)模塊;
6、根(gen)據所(suo)述訓練完(wan)(wan)成(cheng)(cheng)的(de)歌聲特征預測(ce)器、訓練完(wan)(wan)成(cheng)(cheng)的(de)頻譜生成(cheng)(cheng)模(mo)塊以及訓練完(wan)(wan)成(cheng)(cheng)的(de)擴散模(mo)塊,得(de)到訓練完(wan)(wan)成(cheng)(cheng)的(de)歌聲合成(cheng)(cheng)模(mo)型。
7、在其中(zhong)一個實施例中(zhong),所(suo)述將樣(yang)本(ben)歌(ge)(ge)(ge)聲(sheng)(sheng)(sheng)信號的(de)樣(yang)本(ben)歌(ge)(ge)(ge)聲(sheng)(sheng)(sheng)特征,以及樣(yang)本(ben)歌(ge)(ge)(ge)詞文(wen)本(ben)的(de)歌(ge)(ge)(ge)詞文(wen)本(ben)特征輸入待訓(xun)練(lian)的(de)歌(ge)(ge)(ge)聲(sheng)(sheng)(sheng)合(he)成模型中(zhong)的(de)歌(ge)(ge)(ge)聲(sheng)(sheng)(sheng)特征預(yu)測器,得到預(yu)測歌(ge)(ge)(ge)聲(sheng)(sheng)(sheng)特征,并通過(guo)所(suo)述預(yu)測歌(ge)(ge)(ge)聲(sheng)(sheng)(sheng)特征訓(xun)練(lian)所(suo)述歌(ge)(ge)(ge)聲(sheng)(sheng)(sheng)特征預(yu)測器,包括(kuo):
8、將所(suo)(suo)(suo)述(shu)樣本(ben)歌(ge)(ge)聲特(te)征(zheng)以及(ji)所(suo)(suo)(suo)述(shu)歌(ge)(ge)詞(ci)文(wen)本(ben)特(te)征(zheng)輸入(ru)所(suo)(suo)(suo)述(shu)歌(ge)(ge)聲特(te)征(zheng)預(yu)測(ce)器(qi),通過(guo)所(suo)(suo)(suo)述(shu)歌(ge)(ge)聲特(te)征(zheng)預(yu)測(ce)器(qi)從所(suo)(suo)(suo)述(shu)樣本(ben)歌(ge)(ge)聲特(te)征(zheng)中獲取第(di)(di)(di)一(yi)(yi)目(mu)(mu)標(biao)(biao)幀(zhen)(zhen)對(dui)應(ying)(ying)的(de)子歌(ge)(ge)聲特(te)征(zheng),以及(ji)與(yu)所(suo)(suo)(suo)述(shu)第(di)(di)(di)一(yi)(yi)目(mu)(mu)標(biao)(biao)幀(zhen)(zhen)匹配(pei)的(de)第(di)(di)(di)二目(mu)(mu)標(biao)(biao)幀(zhen)(zhen)對(dui)應(ying)(ying)的(de)子歌(ge)(ge)聲特(te)征(zheng);所(suo)(suo)(suo)述(shu)第(di)(di)(di)二目(mu)(mu)標(biao)(biao)幀(zhen)(zhen)的(de)幀(zhen)(zhen)序(xu)列位(wei)于所(suo)(suo)(suo)述(shu)第(di)(di)(di)一(yi)(yi)目(mu)(mu)標(biao)(biao)幀(zhen)(zhen)之后;根據所(suo)(suo)(suo)述(shu)第(di)(di)(di)一(yi)(yi)目(mu)(mu)標(biao)(biao)幀(zhen)(zhen)對(dui)應(ying)(ying)的(de)子歌(ge)(ge)聲特(te)征(zheng)以及(ji)所(suo)(suo)(suo)述(shu)歌(ge)(ge)詞(ci)文(wen)本(ben)特(te)征(zheng),得到所(suo)(suo)(suo)述(shu)第(di)(di)(di)二目(mu)(mu)標(biao)(biao)幀(zhen)(zhen)對(dui)應(ying)(ying)的(de)預(yu)測(ce)歌(ge)(ge)聲特(te)征(zheng),并(bing)根據所(suo)(suo)(suo)述(shu)第(di)(di)(di)二目(mu)(mu)標(biao)(biao)幀(zhen)(zhen)對(dui)應(ying)(ying)的(de)預(yu)測(ce)歌(ge)(ge)聲特(te)征(zheng),與(yu)所(suo)(suo)(suo)述(shu)第(di)(di)(di)二目(mu)(mu)標(biao)(biao)幀(zhen)(zhen)對(dui)應(ying)(ying)的(de)子歌(ge)(ge)聲特(te)征(zheng)之間(jian)的(de)損(sun)失,訓(xun)練所(suo)(suo)(suo)述(shu)歌(ge)(ge)聲特(te)征(zheng)預(yu)測(ce)器(qi)。
9、在其(qi)中一個實施例中,所(suo)(suo)述(shu)(shu)將(jiang)(jiang)所(suo)(suo)述(shu)(shu)樣(yang)(yang)(yang)本(ben)(ben)歌(ge)(ge)聲(sheng)特(te)征(zheng)以及所(suo)(suo)述(shu)(shu)歌(ge)(ge)詞(ci)(ci)文本(ben)(ben)特(te)征(zheng)輸(shu)入(ru)所(suo)(suo)述(shu)(shu)歌(ge)(ge)聲(sheng)特(te)征(zheng)預測器之前,還包(bao)括:獲(huo)取(qu)(qu)樣(yang)(yang)(yang)本(ben)(ben)歌(ge)(ge)聲(sheng)信(xin)(xin)號(hao),以及所(suo)(suo)述(shu)(shu)樣(yang)(yang)(yang)本(ben)(ben)歌(ge)(ge)聲(sheng)信(xin)(xin)號(hao)對應的(de)樣(yang)(yang)(yang)本(ben)(ben)歌(ge)(ge)詞(ci)(ci)文本(ben)(ben);將(jiang)(jiang)所(suo)(suo)述(shu)(shu)樣(yang)(yang)(yang)本(ben)(ben)歌(ge)(ge)聲(sheng)信(xin)(xin)號(hao)輸(shu)入(ru)預先訓練的(de)歌(ge)(ge)聲(sheng)特(te)征(zheng)提取(qu)(qu)模型(xing),得到(dao)與(yu)所(suo)(suo)述(shu)(shu)樣(yang)(yang)(yang)本(ben)(ben)歌(ge)(ge)聲(sheng)信(xin)(xin)號(hao)匹配(pei)的(de)初始歌(ge)(ge)聲(sheng)特(te)征(zheng),并對所(suo)(suo)述(shu)(shu)初始歌(ge)(ge)聲(sheng)特(te)征(zheng)進行(xing)離散化(hua)處理(li),得到(dao)所(suo)(suo)述(shu)(shu)樣(yang)(yang)(yang)本(ben)(ben)歌(ge)(ge)聲(sheng)特(te)征(zheng);獲(huo)取(qu)(qu)與(yu)所(suo)(suo)述(shu)(shu)樣(yang)(yang)(yang)本(ben)(ben)歌(ge)(ge)詞(ci)(ci)文本(ben)(ben)相(xiang)匹配(pei)的(de)音素信(xin)(xin)息,根據所(suo)(suo)述(shu)(shu)音素信(xin)(xin)息得到(dao)所(suo)(suo)述(shu)(shu)歌(ge)(ge)詞(ci)(ci)文本(ben)(ben)特(te)征(zheng)。
10、在其中(zhong)一(yi)個實(shi)施例(li)中(zhong),所(suo)(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)頻(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)生(sheng)成(cheng)模(mo)塊(kuai)(kuai)包括編(bian)(bian)碼(ma)(ma)器與(yu)解(jie)(jie)碼(ma)(ma)器;所(suo)(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)將所(suo)(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)樣(yang)本(ben)歌聲(sheng)(sheng)信(xin)(xin)(xin)號對應的(de)樣(yang)本(ben)頻(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)信(xin)(xin)(xin)息(xi)(xi)輸(shu)入(ru)所(suo)(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)歌聲(sheng)(sheng)合成(cheng)模(mo)型(xing)中(zhong)的(de)頻(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)生(sheng)成(cheng)模(mo)塊(kuai)(kuai),得到預(yu)(yu)測(ce)頻(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)信(xin)(xin)(xin)息(xi)(xi),通過所(suo)(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)預(yu)(yu)測(ce)頻(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)信(xin)(xin)(xin)息(xi)(xi)訓練所(suo)(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)頻(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)生(sheng)成(cheng)模(mo)塊(kuai)(kuai),包括:將所(suo)(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)樣(yang)本(ben)歌聲(sheng)(sheng)信(xin)(xin)(xin)號對應的(de)樣(yang)本(ben)頻(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)信(xin)(xin)(xin)息(xi)(xi)輸(shu)入(ru)所(suo)(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)頻(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)生(sheng)成(cheng)模(mo)塊(kuai)(kuai)中(zhong)的(de)編(bian)(bian)碼(ma)(ma)器,通過所(suo)(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)編(bian)(bian)碼(ma)(ma)器得到所(suo)(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)樣(yang)本(ben)頻(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)信(xin)(xin)(xin)息(xi)(xi)的(de)第一(yi)編(bian)(bian)碼(ma)(ma)特(te)征;將所(suo)(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)樣(yang)本(ben)頻(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)信(xin)(xin)(xin)息(xi)(xi)的(de)第一(yi)編(bian)(bian)碼(ma)(ma)特(te)征輸(shu)入(ru)所(suo)(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)頻(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)生(sheng)成(cheng)模(mo)塊(kuai)(kuai)中(zhong)的(de)解(jie)(jie)碼(ma)(ma)器,得到所(suo)(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)樣(yang)本(ben)頻(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)信(xin)(xin)(xin)息(xi)(xi)對應的(de)預(yu)(yu)測(ce)頻(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)信(xin)(xin)(xin)息(xi)(xi);根據(ju)所(suo)(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)樣(yang)本(ben)頻(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)信(xin)(xin)(xin)息(xi)(xi)與(yu)所(suo)(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)樣(yang)本(ben)頻(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)信(xin)(xin)(xin)息(xi)(xi)對應的(de)預(yu)(yu)測(ce)頻(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)信(xin)(xin)(xin)息(xi)(xi)之間的(de)損失,訓練所(suo)(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)頻(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)生(sheng)成(cheng)模(mo)塊(kuai)(kuai)。
11、在其中一(yi)個實施例(li)中,所(suo)述(shu)(shu)(shu)頻(pin)(pin)(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)(pu)生(sheng)成(cheng)模(mo)塊(kuai)還包括:鑒別器;所(suo)述(shu)(shu)(shu)根(gen)據所(suo)述(shu)(shu)(shu)樣(yang)本頻(pin)(pin)(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)(pu)信(xin)息(xi)(xi)(xi)與(yu)所(suo)述(shu)(shu)(shu)樣(yang)本頻(pin)(pin)(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)(pu)信(xin)息(xi)(xi)(xi)對應(ying)的(de)(de)預測(ce)頻(pin)(pin)(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)(pu)信(xin)息(xi)(xi)(xi)之間的(de)(de)損失(shi)(shi),訓練(lian)所(suo)述(shu)(shu)(shu)頻(pin)(pin)(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)(pu)生(sheng)成(cheng)模(mo)塊(kuai),包括:將所(suo)述(shu)(shu)(shu)樣(yang)本頻(pin)(pin)(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)(pu)信(xin)息(xi)(xi)(xi)以及(ji)所(suo)述(shu)(shu)(shu)樣(yang)本頻(pin)(pin)(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)(pu)信(xin)息(xi)(xi)(xi)對應(ying)的(de)(de)預測(ce)頻(pin)(pin)(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)(pu)信(xin)息(xi)(xi)(xi)輸入所(suo)述(shu)(shu)(shu)頻(pin)(pin)(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)(pu)生(sheng)成(cheng)模(mo)塊(kuai)中的(de)(de)鑒別器,得到(dao)鑒別器損失(shi)(shi);根(gen)據所(suo)述(shu)(shu)(shu)樣(yang)本頻(pin)(pin)(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)(pu)信(xin)息(xi)(xi)(xi)與(yu)所(suo)述(shu)(shu)(shu)預測(ce)頻(pin)(pin)(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)(pu)信(xin)息(xi)(xi)(xi)之間的(de)(de)損失(shi)(shi)及(ji)所(suo)述(shu)(shu)(shu)鑒別器損失(shi)(shi),訓練(lian)所(suo)述(shu)(shu)(shu)頻(pin)(pin)(pin)(pin)(pin)(pin)(pin)譜(pu)(pu)(pu)生(sheng)成(cheng)模(mo)塊(kuai)。
12、在其中(zhong)一個(ge)實施例中(zhong),所(suo)(suo)(suo)(suo)述(shu)(shu)(shu)將所(suo)(suo)(suo)(suo)述(shu)(shu)(shu)樣(yang)(yang)(yang)本(ben)歌詞文本(ben)對應(ying)的(de)(de)語義(yi)信(xin)息(xi)輸(shu)(shu)入(ru)所(suo)(suo)(suo)(suo)述(shu)(shu)(shu)歌聲合(he)成模(mo)型的(de)(de)擴散模(mo)塊(kuai),得到所(suo)(suo)(suo)(suo)述(shu)(shu)(shu)樣(yang)(yang)(yang)本(ben)歌聲信(xin)號對應(ying)的(de)(de)先(xian)驗特征(zheng),并(bing)利用所(suo)(suo)(suo)(suo)述(shu)(shu)(shu)先(xian)驗特征(zheng)訓練所(suo)(suo)(suo)(suo)述(shu)(shu)(shu)擴散模(mo)塊(kuai),包括(kuo):將所(suo)(suo)(suo)(suo)述(shu)(shu)(shu)樣(yang)(yang)(yang)本(ben)頻(pin)(pin)譜信(xin)息(xi)輸(shu)(shu)入(ru)所(suo)(suo)(suo)(suo)述(shu)(shu)(shu)訓練完成的(de)(de)頻(pin)(pin)譜生成模(mo)塊(kuai)中(zhong)的(de)(de)編(bian)(bian)碼(ma)器,得到所(suo)(suo)(suo)(suo)述(shu)(shu)(shu)樣(yang)(yang)(yang)本(ben)頻(pin)(pin)譜信(xin)息(xi)的(de)(de)第(di)(di)二編(bian)(bian)碼(ma)特征(zheng);將所(suo)(suo)(suo)(suo)述(shu)(shu)(shu)樣(yang)(yang)(yang)本(ben)歌詞文本(ben)的(de)(de)語義(yi)信(xin)息(xi)以及所(suo)(suo)(suo)(suo)述(shu)(shu)(shu)樣(yang)(yang)(yang)本(ben)頻(pin)(pin)譜信(xin)息(xi)的(de)(de)第(di)(di)二編(bian)(bian)碼(ma)特征(zheng)輸(shu)(shu)入(ru)所(suo)(suo)(suo)(suo)述(shu)(shu)(shu)擴散模(mo)塊(kuai),得到所(suo)(suo)(suo)(suo)述(shu)(shu)(shu)先(xian)驗特征(zheng);根據所(suo)(suo)(suo)(suo)述(shu)(shu)(shu)樣(yang)(yang)(yang)本(ben)頻(pin)(pin)譜信(xin)息(xi)的(de)(de)第(di)(di)二編(bian)(bian)碼(ma)特征(zheng)以及先(xian)驗特征(zheng)之間的(de)(de)損失(shi),訓練所(suo)(suo)(suo)(suo)述(shu)(shu)(shu)擴散模(mo)塊(kuai)。
13、在(zai)其中一個實施例中,所(suo)(suo)述(shu)(shu)(shu)將(jiang)所(suo)(suo)述(shu)(shu)(shu)樣(yang)(yang)本(ben)歌詞文(wen)本(ben)的(de)(de)語義(yi)信息(xi)(xi)(xi)(xi)以(yi)及(ji)所(suo)(suo)述(shu)(shu)(shu)樣(yang)(yang)本(ben)頻譜信息(xi)(xi)(xi)(xi)的(de)(de)第(di)二(er)編碼特(te)征(zheng)(zheng)輸(shu)入所(suo)(suo)述(shu)(shu)(shu)擴(kuo)散(san)模(mo)塊,得(de)(de)到所(suo)(suo)述(shu)(shu)(shu)先驗(yan)特(te)征(zheng)(zheng),包(bao)括:將(jiang)所(suo)(suo)述(shu)(shu)(shu)樣(yang)(yang)本(ben)歌詞文(wen)本(ben)的(de)(de)語義(yi)信息(xi)(xi)(xi)(xi)以(yi)及(ji)所(suo)(suo)述(shu)(shu)(shu)樣(yang)(yang)本(ben)頻譜信息(xi)(xi)(xi)(xi)的(de)(de)第(di)二(er)編碼特(te)征(zheng)(zheng)輸(shu)入所(suo)(suo)述(shu)(shu)(shu)擴(kuo)散(san)模(mo)塊,通(tong)過所(suo)(suo)述(shu)(shu)(shu)擴(kuo)散(san)模(mo)塊對所(suo)(suo)述(shu)(shu)(shu)第(di)二(er)編碼特(te)征(zheng)(zheng)進行(xing)加噪(zao)處理,得(de)(de)到噪(zao)聲特(te)征(zheng)(zheng);利用所(suo)(suo)述(shu)(shu)(shu)樣(yang)(yang)本(ben)歌詞文(wen)本(ben)的(de)(de)語義(yi)信息(xi)(xi)(xi)(xi)對所(suo)(suo)述(shu)(shu)(shu)噪(zao)聲特(te)征(zheng)(zheng)進行(xing)去噪(zao)處理,得(de)(de)到所(suo)(suo)述(shu)(shu)(shu)先驗(yan)特(te)征(zheng)(zheng)。
14、第二方面,本(ben)技術還提供了一(yi)種歌聲合(he)成方法,包括:
15、獲取用于合(he)成歌聲的歌詞文(wen)本;
16、將所(suo)述歌(ge)(ge)詞(ci)文(wen)本(ben)輸入訓練(lian)(lian)完成(cheng)(cheng)的(de)歌(ge)(ge)聲合成(cheng)(cheng)模(mo)(mo)(mo)型(xing),通過所(suo)述歌(ge)(ge)聲合成(cheng)(cheng)模(mo)(mo)(mo)型(xing)得到(dao)與所(suo)述歌(ge)(ge)詞(ci)文(wen)本(ben)相匹配的(de)預(yu)測頻譜信息;所(suo)述歌(ge)(ge)聲合成(cheng)(cheng)模(mo)(mo)(mo)型(xing)通過如第一方面任一項實(shi)施例所(suo)述的(de)歌(ge)(ge)聲合成(cheng)(cheng)模(mo)(mo)(mo)型(xing)的(de)處理方法訓練(lian)(lian)得到(dao);
17、將(jiang)所述預測頻譜信(xin)(xin)息(xi)輸入預先(xian)構(gou)建的(de)聲碼器(qi)模塊,通過所述聲碼器(qi)模塊得到(dao)與所述歌詞文本匹配的(de)歌聲信(xin)(xin)號。
18、在其(qi)中一個實(shi)施(shi)例中,所(suo)述(shu)(shu)(shu)(shu)歌(ge)(ge)(ge)聲(sheng)合(he)(he)成模(mo)(mo)(mo)型(xing)(xing)包(bao)括:歌(ge)(ge)(ge)聲(sheng)特(te)征(zheng)(zheng)預測器(qi)、頻(pin)(pin)譜(pu)(pu)生(sheng)成模(mo)(mo)(mo)塊以及擴散模(mo)(mo)(mo)塊;所(suo)述(shu)(shu)(shu)(shu)將所(suo)述(shu)(shu)(shu)(shu)歌(ge)(ge)(ge)詞文(wen)本(ben)輸(shu)(shu)(shu)入訓練完成的(de)歌(ge)(ge)(ge)聲(sheng)合(he)(he)成模(mo)(mo)(mo)型(xing)(xing),通過所(suo)述(shu)(shu)(shu)(shu)歌(ge)(ge)(ge)聲(sheng)合(he)(he)成模(mo)(mo)(mo)型(xing)(xing)得到(dao)與(yu)所(suo)述(shu)(shu)(shu)(shu)歌(ge)(ge)(ge)詞文(wen)本(ben)相匹配的(de)預測頻(pin)(pin)譜(pu)(pu)信息(xi)(xi),包(bao)括:將所(suo)述(shu)(shu)(shu)(shu)歌(ge)(ge)(ge)詞文(wen)本(ben)輸(shu)(shu)(shu)入所(suo)述(shu)(shu)(shu)(shu)歌(ge)(ge)(ge)聲(sheng)合(he)(he)成模(mo)(mo)(mo)型(xing)(xing)中的(de)歌(ge)(ge)(ge)聲(sheng)特(te)征(zheng)(zheng)預測器(qi),得到(dao)與(yu)所(suo)述(shu)(shu)(shu)(shu)歌(ge)(ge)(ge)詞文(wen)本(ben)匹配的(de)預測歌(ge)(ge)(ge)聲(sheng)特(te)征(zheng)(zheng);將所(suo)述(shu)(shu)(shu)(shu)預測歌(ge)(ge)(ge)聲(sheng)特(te)征(zheng)(zheng)輸(shu)(shu)(shu)入所(suo)述(shu)(shu)(shu)(shu)歌(ge)(ge)(ge)聲(sheng)合(he)(he)成模(mo)(mo)(mo)型(xing)(xing)中的(de)擴散模(mo)(mo)(mo)塊,得到(dao)先驗特(te)征(zheng)(zheng);將所(suo)述(shu)(shu)(shu)(shu)先驗特(te)征(zheng)(zheng)輸(shu)(shu)(shu)入所(suo)述(shu)(shu)(shu)(shu)歌(ge)(ge)(ge)聲(sheng)合(he)(he)成模(mo)(mo)(mo)型(xing)(xing)中頻(pin)(pin)譜(pu)(pu)生(sheng)成模(mo)(mo)(mo)塊包(bao)含的(de)解(jie)碼器(qi),通過所(suo)述(shu)(shu)(shu)(shu)解(jie)碼器(qi)輸(shu)(shu)(shu)出(chu)所(suo)述(shu)(shu)(shu)(shu)預測頻(pin)(pin)譜(pu)(pu)信息(xi)(xi)。
19、第三方面,本技術還提(ti)供了一(yi)種歌聲合成模型(xing)的(de)處理(li)裝置,包括:
20、歌(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)預(yu)(yu)測(ce)器訓練模(mo)塊,用于將樣(yang)本歌(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)信號(hao)的樣(yang)本歌(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)特(te)征(zheng),以及樣(yang)本歌(ge)(ge)(ge)(ge)(ge)詞(ci)文(wen)本的歌(ge)(ge)(ge)(ge)(ge)詞(ci)文(wen)本特(te)征(zheng)輸入待訓練的歌(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)合成(cheng)模(mo)型中的歌(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)特(te)征(zheng)預(yu)(yu)測(ce)器,得到(dao)預(yu)(yu)測(ce)歌(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)特(te)征(zheng),并通過所述預(yu)(yu)測(ce)歌(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)特(te)征(zheng)訓練所述歌(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)特(te)征(zheng)預(yu)(yu)測(ce)器,得到(dao)訓練完成(cheng)的歌(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)特(te)征(zheng)預(yu)(yu)測(ce)器;所述樣(yang)本歌(ge)(ge)(ge)(ge)(ge)詞(ci)文(wen)本為所述樣(yang)本歌(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)信號(hao)對(dui)應的歌(ge)(ge)(ge)(ge)(ge)詞(ci)文(wen)本;
21、頻(pin)(pin)譜(pu)生(sheng)(sheng)成(cheng)(cheng)訓練(lian)模(mo)(mo)(mo)塊(kuai),用于將所(suo)(suo)述樣本歌聲(sheng)信(xin)(xin)(xin)號(hao)對應的(de)樣本頻(pin)(pin)譜(pu)信(xin)(xin)(xin)息(xi)輸(shu)入所(suo)(suo)述歌聲(sheng)合成(cheng)(cheng)模(mo)(mo)(mo)型(xing)中(zhong)的(de)頻(pin)(pin)譜(pu)生(sheng)(sheng)成(cheng)(cheng)模(mo)(mo)(mo)塊(kuai),得(de)到預(yu)測頻(pin)(pin)譜(pu)信(xin)(xin)(xin)息(xi),通過(guo)所(suo)(suo)述預(yu)測頻(pin)(pin)譜(pu)信(xin)(xin)(xin)息(xi)訓練(lian)所(suo)(suo)述頻(pin)(pin)譜(pu)生(sheng)(sheng)成(cheng)(cheng)模(mo)(mo)(mo)塊(kuai),得(de)到訓練(lian)完(wan)成(cheng)(cheng)的(de)頻(pin)(pin)譜(pu)生(sheng)(sheng)成(cheng)(cheng)模(mo)(mo)(mo)塊(kuai);
22、擴散模(mo)塊(kuai)訓練模(mo)塊(kuai),用于將所述(shu)(shu)樣(yang)本歌詞文(wen)本對應的(de)(de)語義信息輸入所述(shu)(shu)歌聲合(he)成(cheng)模(mo)型的(de)(de)擴散模(mo)塊(kuai),得到(dao)所述(shu)(shu)樣(yang)本歌聲信號(hao)對應的(de)(de)先驗特(te)征,并利用所述(shu)(shu)先驗特(te)征訓練所述(shu)(shu)擴散模(mo)塊(kuai),得到(dao)訓練完成(cheng)的(de)(de)擴散模(mo)塊(kuai);
23、合(he)成(cheng)(cheng)模型(xing)訓(xun)練模塊(kuai),用于根(gen)據所(suo)述(shu)訓(xun)練完(wan)成(cheng)(cheng)的(de)歌聲特征預測器、訓(xun)練完(wan)成(cheng)(cheng)的(de)頻譜生成(cheng)(cheng)模塊(kuai)以及訓(xun)練完(wan)成(cheng)(cheng)的(de)擴散模塊(kuai),得到訓(xun)練完(wan)成(cheng)(cheng)的(de)歌聲合(he)成(cheng)(cheng)模型(xing)。
24、第(di)四方面,本技術(shu)還提供(gong)了一種歌聲合(he)成裝置,包括(kuo):
25、歌詞(ci)文(wen)本(ben)獲取模塊,用(yong)于獲取用(yong)于合成歌聲的歌詞(ci)文(wen)本(ben);
26、預測頻譜生成(cheng)模(mo)(mo)(mo)塊,用于將(jiang)所(suo)述(shu)歌(ge)(ge)詞(ci)文本輸(shu)入訓練完成(cheng)的歌(ge)(ge)聲(sheng)合(he)(he)成(cheng)模(mo)(mo)(mo)型,通(tong)過所(suo)述(shu)歌(ge)(ge)聲(sheng)合(he)(he)成(cheng)模(mo)(mo)(mo)型得到與所(suo)述(shu)歌(ge)(ge)詞(ci)文本相匹配(pei)的預測頻譜信息;所(suo)述(shu)歌(ge)(ge)聲(sheng)合(he)(he)成(cheng)模(mo)(mo)(mo)型通(tong)過如第(di)一方(fang)面任一項實施例所(suo)述(shu)的歌(ge)(ge)聲(sheng)合(he)(he)成(cheng)模(mo)(mo)(mo)型的處(chu)理方(fang)法訓練得到;
27、歌(ge)聲(sheng)信(xin)(xin)號輸出模塊,用于(yu)將(jiang)所(suo)述預測頻(pin)譜信(xin)(xin)息(xi)輸入預先構建的聲(sheng)碼器模塊,通過所(suo)述聲(sheng)碼器模塊得(de)到(dao)與(yu)所(suo)述歌(ge)詞文本匹配的歌(ge)聲(sheng)信(xin)(xin)號。
28、第(di)五方(fang)面(mian),本技術還提供了一(yi)(yi)種計(ji)算機(ji)設備,包括(kuo)存儲(chu)器(qi)和處理(li)器(qi),所(suo)(suo)述(shu)存儲(chu)器(qi)存儲(chu)有計(ji)算機(ji)程序(xu)(xu),所(suo)(suo)述(shu)處理(li)器(qi)執行所(suo)(suo)述(shu)計(ji)算機(ji)程序(xu)(xu)時實(shi)現(xian)第(di)一(yi)(yi)方(fang)面(mian)或(huo)第(di)二方(fang)面(mian)任一(yi)(yi)項實(shi)施例所(suo)(suo)述(shu)方(fang)法(fa)的步驟(zou)。
29、第六方(fang)面(mian),本技術還提供了一(yi)種計算(suan)(suan)(suan)機可讀存(cun)儲(chu)介質(zhi),其上存(cun)儲(chu)有計算(suan)(suan)(suan)機程(cheng)序,所(suo)(suo)述(shu)計算(suan)(suan)(suan)機程(cheng)序被處(chu)理(li)器執(zhi)行時(shi)實現第一(yi)方(fang)面(mian)或第二(er)方(fang)面(mian)任一(yi)項實施例所(suo)(suo)述(shu)方(fang)法的(de)步驟(zou)。
30、第七(qi)方(fang)(fang)面,本技(ji)術還提供了一種計(ji)算(suan)機程(cheng)序(xu)產品,包括計(ji)算(suan)機程(cheng)序(xu),該計(ji)算(suan)機程(cheng)序(xu)被(bei)處(chu)理器執行時實現以下第一方(fang)(fang)面或第二方(fang)(fang)面任一項實施例所述方(fang)(fang)法的步驟。
31、上述歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)合(he)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)模(mo)(mo)(mo)(mo)型(xing)(xing)(xing)的(de)(de)(de)(de)(de)(de)(de)(de)(de)處(chu)理(li)(li)方法(fa)、歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)合(he)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)方法(fa)、裝置、計算機設備、計算機可讀存儲(chu)介質和計算機程序產品,通(tong)(tong)過(guo)(guo)將(jiang)樣(yang)(yang)本(ben)(ben)(ben)(ben)(ben)(ben)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)信(xin)(xin)(xin)(xin)(xin)號(hao)(hao)的(de)(de)(de)(de)(de)(de)(de)(de)(de)樣(yang)(yang)本(ben)(ben)(ben)(ben)(ben)(ben)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)特(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)(zheng),以(yi)及(ji)樣(yang)(yang)本(ben)(ben)(ben)(ben)(ben)(ben)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)詞(ci)文本(ben)(ben)(ben)(ben)(ben)(ben)的(de)(de)(de)(de)(de)(de)(de)(de)(de)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)詞(ci)文本(ben)(ben)(ben)(ben)(ben)(ben)特(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)輸(shu)(shu)入(ru)(ru)待訓(xun)練(lian)的(de)(de)(de)(de)(de)(de)(de)(de)(de)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)合(he)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)模(mo)(mo)(mo)(mo)型(xing)(xing)(xing)中(zhong)(zhong)的(de)(de)(de)(de)(de)(de)(de)(de)(de)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)特(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)預(yu)(yu)(yu)(yu)(yu)測(ce)(ce)(ce)器(qi),得(de)(de)到(dao)預(yu)(yu)(yu)(yu)(yu)測(ce)(ce)(ce)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)特(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)(zheng),并(bing)(bing)通(tong)(tong)過(guo)(guo)預(yu)(yu)(yu)(yu)(yu)測(ce)(ce)(ce)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)特(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)訓(xun)練(lian)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)特(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)預(yu)(yu)(yu)(yu)(yu)測(ce)(ce)(ce)器(qi),得(de)(de)到(dao)訓(xun)練(lian)完(wan)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)的(de)(de)(de)(de)(de)(de)(de)(de)(de)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)特(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)預(yu)(yu)(yu)(yu)(yu)測(ce)(ce)(ce)器(qi);樣(yang)(yang)本(ben)(ben)(ben)(ben)(ben)(ben)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)詞(ci)文本(ben)(ben)(ben)(ben)(ben)(ben)為樣(yang)(yang)本(ben)(ben)(ben)(ben)(ben)(ben)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)信(xin)(xin)(xin)(xin)(xin)號(hao)(hao)對(dui)應(ying)的(de)(de)(de)(de)(de)(de)(de)(de)(de)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)詞(ci)文本(ben)(ben)(ben)(ben)(ben)(ben);將(jiang)樣(yang)(yang)本(ben)(ben)(ben)(ben)(ben)(ben)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)信(xin)(xin)(xin)(xin)(xin)號(hao)(hao)對(dui)應(ying)的(de)(de)(de)(de)(de)(de)(de)(de)(de)樣(yang)(yang)本(ben)(ben)(ben)(ben)(ben)(ben)頻(pin)譜(pu)(pu)(pu)(pu)信(xin)(xin)(xin)(xin)(xin)息(xi)輸(shu)(shu)入(ru)(ru)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)合(he)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)模(mo)(mo)(mo)(mo)型(xing)(xing)(xing)中(zhong)(zhong)的(de)(de)(de)(de)(de)(de)(de)(de)(de)頻(pin)譜(pu)(pu)(pu)(pu)生(sheng)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)模(mo)(mo)(mo)(mo)塊(kuai)(kuai)(kuai)(kuai),得(de)(de)到(dao)預(yu)(yu)(yu)(yu)(yu)測(ce)(ce)(ce)頻(pin)譜(pu)(pu)(pu)(pu)信(xin)(xin)(xin)(xin)(xin)息(xi),通(tong)(tong)過(guo)(guo)預(yu)(yu)(yu)(yu)(yu)測(ce)(ce)(ce)頻(pin)譜(pu)(pu)(pu)(pu)信(xin)(xin)(xin)(xin)(xin)息(xi)處(chu)理(li)(li)頻(pin)譜(pu)(pu)(pu)(pu)生(sheng)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)模(mo)(mo)(mo)(mo)塊(kuai)(kuai)(kuai)(kuai),得(de)(de)到(dao)訓(xun)練(lian)完(wan)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)的(de)(de)(de)(de)(de)(de)(de)(de)(de)頻(pin)譜(pu)(pu)(pu)(pu)生(sheng)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)模(mo)(mo)(mo)(mo)塊(kuai)(kuai)(kuai)(kuai);將(jiang)樣(yang)(yang)本(ben)(ben)(ben)(ben)(ben)(ben)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)詞(ci)文本(ben)(ben)(ben)(ben)(ben)(ben)對(dui)應(ying)的(de)(de)(de)(de)(de)(de)(de)(de)(de)語義信(xin)(xin)(xin)(xin)(xin)息(xi)輸(shu)(shu)入(ru)(ru)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)合(he)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)模(mo)(mo)(mo)(mo)型(xing)(xing)(xing)的(de)(de)(de)(de)(de)(de)(de)(de)(de)擴(kuo)散(san)(san)(san)模(mo)(mo)(mo)(mo)塊(kuai)(kuai)(kuai)(kuai),得(de)(de)到(dao)樣(yang)(yang)本(ben)(ben)(ben)(ben)(ben)(ben)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)信(xin)(xin)(xin)(xin)(xin)號(hao)(hao)對(dui)應(ying)的(de)(de)(de)(de)(de)(de)(de)(de)(de)先驗特(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)(zheng),并(bing)(bing)利用(yong)先驗特(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)處(chu)理(li)(li)擴(kuo)散(san)(san)(san)模(mo)(mo)(mo)(mo)塊(kuai)(kuai)(kuai)(kuai),得(de)(de)到(dao)訓(xun)練(lian)完(wan)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)的(de)(de)(de)(de)(de)(de)(de)(de)(de)擴(kuo)散(san)(san)(san)模(mo)(mo)(mo)(mo)塊(kuai)(kuai)(kuai)(kuai);根據訓(xun)練(lian)完(wan)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)的(de)(de)(de)(de)(de)(de)(de)(de)(de)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)特(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)預(yu)(yu)(yu)(yu)(yu)測(ce)(ce)(ce)器(qi)、訓(xun)練(lian)完(wan)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)的(de)(de)(de)(de)(de)(de)(de)(de)(de)頻(pin)譜(pu)(pu)(pu)(pu)生(sheng)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)模(mo)(mo)(mo)(mo)塊(kuai)(kuai)(kuai)(kuai)以(yi)及(ji)訓(xun)練(lian)完(wan)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)的(de)(de)(de)(de)(de)(de)(de)(de)(de)擴(kuo)散(san)(san)(san)模(mo)(mo)(mo)(mo)塊(kuai)(kuai)(kuai)(kuai),得(de)(de)到(dao)訓(xun)練(lian)完(wan)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)的(de)(de)(de)(de)(de)(de)(de)(de)(de)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)合(he)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)模(mo)(mo)(mo)(mo)型(xing)(xing)(xing)。本(ben)(ben)(ben)(ben)(ben)(ben)技術通(tong)(tong)過(guo)(guo)將(jiang)樣(yang)(yang)本(ben)(ben)(ben)(ben)(ben)(ben)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)信(xin)(xin)(xin)(xin)(xin)號(hao)(hao)與樣(yang)(yang)本(ben)(ben)(ben)(ben)(ben)(ben)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)信(xin)(xin)(xin)(xin)(xin)號(hao)(hao)對(dui)應(ying)的(de)(de)(de)(de)(de)(de)(de)(de)(de)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)詞(ci)文本(ben)(ben)(ben)(ben)(ben)(ben)的(de)(de)(de)(de)(de)(de)(de)(de)(de)特(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)信(xin)(xin)(xin)(xin)(xin)息(xi)輸(shu)(shu)入(ru)(ru)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)合(he)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)模(mo)(mo)(mo)(mo)型(xing)(xing)(xing)中(zhong)(zhong)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)特(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)預(yu)(yu)(yu)(yu)(yu)測(ce)(ce)(ce)器(qi),從(cong)而通(tong)(tong)過(guo)(guo)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)特(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)預(yu)(yu)(yu)(yu)(yu)測(ce)(ce)(ce)器(qi)輸(shu)(shu)出的(de)(de)(de)(de)(de)(de)(de)(de)(de)預(yu)(yu)(yu)(yu)(yu)測(ce)(ce)(ce)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)特(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)來實現對(dui)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)特(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)預(yu)(yu)(yu)(yu)(yu)測(ce)(ce)(ce)器(qi)的(de)(de)(de)(de)(de)(de)(de)(de)(de)處(chu)理(li)(li),并(bing)(bing)且通(tong)(tong)過(guo)(guo)樣(yang)(yang)本(ben)(ben)(ben)(ben)(ben)(ben)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)信(xin)(xin)(xin)(xin)(xin)號(hao)(hao)對(dui)應(ying)的(de)(de)(de)(de)(de)(de)(de)(de)(de)頻(pin)譜(pu)(pu)(pu)(pu)信(xin)(xin)(xin)(xin)(xin)息(xi)輸(shu)(shu)入(ru)(ru)頻(pin)譜(pu)(pu)(pu)(pu)生(sheng)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)模(mo)(mo)(mo)(mo)塊(kuai)(kuai)(kuai)(kuai),從(cong)而通(tong)(tong)過(guo)(guo)輸(shu)(shu)出的(de)(de)(de)(de)(de)(de)(de)(de)(de)預(yu)(yu)(yu)(yu)(yu)測(ce)(ce)(ce)頻(pin)譜(pu)(pu)(pu)(pu)信(xin)(xin)(xin)(xin)(xin)息(xi)完(wan)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)頻(pin)譜(pu)(pu)(pu)(pu)生(sheng)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)模(mo)(mo)(mo)(mo)塊(kuai)(kuai)(kuai)(kuai)的(de)(de)(de)(de)(de)(de)(de)(de)(de)處(chu)理(li)(li),還可以(yi)將(jiang)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)詞(ci)文本(ben)(ben)(ben)(ben)(ben)(ben)對(dui)應(ying)的(de)(de)(de)(de)(de)(de)(de)(de)(de)語義信(xin)(xin)(xin)(xin)(xin)息(xi)輸(shu)(shu)入(ru)(ru)擴(kuo)散(san)(san)(san)模(mo)(mo)(mo)(mo)塊(kuai)(kuai)(kuai)(kuai),從(cong)而通(tong)(tong)過(guo)(guo)輸(shu)(shu)出的(de)(de)(de)(de)(de)(de)(de)(de)(de)擴(kuo)散(san)(san)(san)模(mo)(mo)(mo)(mo)塊(kuai)(kuai)(kuai)(kuai)處(chu)理(li)(li)頻(pin)譜(pu)(pu)(pu)(pu)生(sheng)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)模(mo)(mo)(mo)(mo)塊(kuai)(kuai)(kuai)(kuai),進而完(wan)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)特(te)(te)(te)征(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)(zheng)預(yu)(yu)(yu)(yu)(yu)測(ce)(ce)(ce)器(qi)、頻(pin)譜(pu)(pu)(pu)(pu)生(sheng)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)模(mo)(mo)(mo)(mo)塊(kuai)(kuai)(kuai)(kuai)以(yi)及(ji)擴(kuo)散(san)(san)(san)模(mo)(mo)(mo)(mo)塊(kuai)(kuai)(kuai)(kuai)的(de)(de)(de)(de)(de)(de)(de)(de)(de)處(chu)理(li)(li),以(yi)完(wan)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)合(he)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)模(mo)(mo)(mo)(mo)型(xing)(xing)(xing)的(de)(de)(de)(de)(de)(de)(de)(de)(de)處(chu)理(li)(li),通(tong)(tong)過(guo)(guo)該方式處(chu)理(li)(li)得(de)(de)到(dao)的(de)(de)(de)(de)(de)(de)(de)(de)(de)歌(ge)(ge)(ge)(ge)(ge)(ge)(ge)聲(sheng)(sheng)(sheng)(sheng)(sheng)(sheng)合(he)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)模(mo)(mo)(mo)(mo)型(xing)(xing)(xing)不需(xu)要依(yi)賴于曲譜(pu)(pu)(pu)(pu)信(xin)(xin)(xin)(xin)(xin)息(xi)的(de)(de)(de)(de)(de)(de)(de)(de)(de)標注,從(cong)而降低模(mo)(mo)(mo)(mo)型(xing)(xing)(xing)標注的(de)(de)(de)(de)(de)(de)(de)(de)(de)成(cheng)(cheng)(cheng)(cheng)(cheng)(cheng)本(ben)(ben)(ben)(ben)(ben)(ben)。