背景技術：

1、本說明書(shu)涉及訓練(lian)神經(jing)網(wang)絡(luo)以執行機器學習(xi)任務。

2、神經網(wang)(wang)絡是采用非線性單元的一個或(huo)(huo)多(duo)個層(ceng)(ceng)(ceng)來針對所接(jie)收的輸(shu)入預(yu)測輸(shu)出(chu)的機器學習(xi)模型。除了輸(shu)出(chu)層(ceng)(ceng)(ceng)之外，一些(xie)神經網(wang)(wang)絡還包括一個或(huo)(huo)多(duo)個隱藏(zang)(zang)層(ceng)(ceng)(ceng)。每(mei)個隱藏(zang)(zang)層(ceng)(ceng)(ceng)的輸(shu)出(chu)用作到(dao)網(wang)(wang)絡中的下(xia)一層(ceng)(ceng)(ceng)(即(ji)，下(xia)一隱藏(zang)(zang)層(ceng)(ceng)(ceng)或(huo)(huo)輸(shu)出(chu)層(ceng)(ceng)(ceng))的輸(shu)入。網(wang)(wang)絡的每(mei)個層(ceng)(ceng)(ceng)根據相應(ying)參(can)數集(ji)的當(dang)前值從所接(jie)收的輸(shu)入生成輸(shu)出(chu)。

技術實現思路

1、本(ben)說明書描述了(le)一種實現為(wei)一個(ge)或多個(ge)位置(zhi)中(zhong)的一個(ge)或多個(ge)計算機上(shang)的計算機程序(xu)的系統，該系統訓練學生神經網(wang)絡以(yi)執行(xing)機器學習任(ren)務。

2、具體地，為了(le)執行該訓練(lian)，系統利用了(le)教師神(shen)經(jing)(jing)網(wang)絡(luo)(luo)和生(sheng)成神(shen)經(jing)(jing)網(wang)絡(luo)(luo)。教師神(shen)經(jing)(jing)網(wang)絡(luo)(luo)是被配置為與學生(sheng)執行相同的(de)機器(qi)學習任務的(de)神(shen)經(jing)(jing)網(wang)絡(luo)(luo)，而生(sheng)成神(shen)經(jing)(jing)網(wang)絡(luo)(luo)是包括編碼器(qi)神(shen)經(jing)(jing)網(wang)絡(luo)(luo)和解碼器(qi)神(shen)經(jing)(jing)網(wang)絡(luo)(luo)的(de)神(shen)經(jing)(jing)網(wang)絡(luo)(luo)。

3、編(bian)碼(ma)器神經(jing)網絡被配置為(wei)接收與到機器學習(xi)任務的輸(shu)入相同類型的輸(shu)入，并處(chu)理該(gai)輸(shu)入以生成該(gai)輸(shu)入的潛在表示。“潛在表示”是(shi)預(yu)定義(yi)(yi)潛在空(kong)間中(即，具(ju)有預(yu)定義(yi)(yi)維數(shu)(shu))的數(shu)(shu)值(zhi)的有序(xu)集合，例如，浮(fu)點數(shu)(shu)或其他數(shu)(shu)值(zhi)的向量、矩陣(zhen)或更高階張量。

4、通(tong)常，潛在(zai)(zai)空(kong)間(jian)的維(wei)數小于到機器學(xue)習(xi)任(ren)務(wu)的可能(neng)輸入(ru)的空(kong)間(jian)。解碼器神經(jing)網絡被配置為(wei)接收輸入(ru)潛在(zai)(zai)表示并處理輸入(ru)潛在(zai)(zai)表示以生成與到機器學(xue)習(xi)任(ren)務(wu)的輸入(ru)相同類型的輸出。

5、根據第一(yi)方(fang)(fang)面，提供了一(yi)種由一(yi)個(ge)(ge)或多(duo)(duo)(duo)個(ge)(ge)計(ji)算機(ji)執行的(de)(de)(de)(de)(de)(de)用(yong)于訓(xun)(xun)練(lian)學生(sheng)(sheng)(sheng)(sheng)神經(jing)網(wang)絡(luo)的(de)(de)(de)(de)(de)(de)方(fang)(fang)法。學生(sheng)(sheng)(sheng)(sheng)神經(jing)網(wang)絡(luo)具有多(duo)(duo)(duo)個(ge)(ge)學生(sheng)(sheng)(sheng)(sheng)參數以執行機(ji)器(qi)學習任務。該方(fang)(fang)法包(bao)(bao)括(kuo)(kuo)：獲得包(bao)(bao)括(kuo)(kuo)一(yi)個(ge)(ge)或多(duo)(duo)(duo)個(ge)(ge)訓(xun)(xun)練(lian)輸(shu)(shu)(shu)(shu)入(ru)(ru)(ru)的(de)(de)(de)(de)(de)(de)批(pi)次(ci)；以及生(sheng)(sheng)(sheng)(sheng)成多(duo)(duo)(duo)個(ge)(ge)修(xiu)改(gai)(gai)后的(de)(de)(de)(de)(de)(de)訓(xun)(xun)練(lian)輸(shu)(shu)(shu)(shu)入(ru)(ru)(ru)，包(bao)(bao)括(kuo)(kuo)對于一(yi)個(ge)(ge)或多(duo)(duo)(duo)個(ge)(ge)訓(xun)(xun)練(lian)輸(shu)(shu)(shu)(shu)入(ru)(ru)(ru)中(zhong)的(de)(de)(de)(de)(de)(de)每一(yi)者：使用(yong)編(bian)碼器(qi)神經(jing)網(wang)絡(luo)來處理(li)訓(xun)(xun)練(lian)輸(shu)(shu)(shu)(shu)入(ru)(ru)(ru)以生(sheng)(sheng)(sheng)(sheng)成訓(xun)(xun)練(lian)輸(shu)(shu)(shu)(shu)入(ru)(ru)(ru)的(de)(de)(de)(de)(de)(de)潛(qian)(qian)在(zai)表示(shi)(shi)(shi)；以及使用(yong)潛(qian)(qian)在(zai)表示(shi)(shi)(shi)來生(sheng)(sheng)(sheng)(sheng)成一(yi)個(ge)(ge)或多(duo)(duo)(duo)個(ge)(ge)修(xiu)改(gai)(gai)后的(de)(de)(de)(de)(de)(de)訓(xun)(xun)練(lian)輸(shu)(shu)(shu)(shu)入(ru)(ru)(ru)。此外，生(sheng)(sheng)(sheng)(sheng)成修(xiu)改(gai)(gai)后的(de)(de)(de)(de)(de)(de)訓(xun)(xun)練(lian)輸(shu)(shu)(shu)(shu)入(ru)(ru)(ru)中(zhong)的(de)(de)(de)(de)(de)(de)每一(yi)者包(bao)(bao)括(kuo)(kuo)：從訓(xun)(xun)練(lian)輸(shu)(shu)(shu)(shu)入(ru)(ru)(ru)的(de)(de)(de)(de)(de)(de)潛(qian)(qian)在(zai)表示(shi)(shi)(shi)生(sheng)(sheng)(sheng)(sheng)成修(xiu)改(gai)(gai)后的(de)(de)(de)(de)(de)(de)潛(qian)(qian)在(zai)表示(shi)(shi)(shi)；以及使用(yong)解碼器(qi)神經(jing)網(wang)絡(luo)來處理(li)修(xiu)改(gai)(gai)后的(de)(de)(de)(de)(de)(de)潛(qian)(qian)在(zai)表示(shi)(shi)(shi)以生(sheng)(sheng)(sheng)(sheng)成修(xiu)改(gai)(gai)后的(de)(de)(de)(de)(de)(de)訓(xun)(xun)練(lian)輸(shu)(shu)(shu)(shu)入(ru)(ru)(ru)。

6、另外，該(gai)方(fang)法(fa)包括：使用(yong)(yong)學(xue)生(sheng)(sheng)神(shen)經(jing)(jing)網絡來處理多個修(xiu)(xiu)改(gai)后(hou)(hou)(hou)(hou)的(de)(de)訓(xun)(xun)(xun)練(lian)輸入(ru)(ru)中(zhong)的(de)(de)每一(yi)(yi)(yi)者(zhe)(zhe)(zhe)以(yi)針對(dui)修(xiu)(xiu)改(gai)后(hou)(hou)(hou)(hou)的(de)(de)訓(xun)(xun)(xun)練(lian)輸入(ru)(ru)中(zhong)的(de)(de)每一(yi)(yi)(yi)者(zhe)(zhe)(zhe)生(sheng)(sheng)成用(yong)(yong)于機器學(xue)習任(ren)務(wu)的(de)(de)相應(ying)學(xue)生(sheng)(sheng)輸出；使用(yong)(yong)教(jiao)(jiao)師神(shen)經(jing)(jing)網絡來處理多個修(xiu)(xiu)改(gai)后(hou)(hou)(hou)(hou)的(de)(de)訓(xun)(xun)(xun)練(lian)輸入(ru)(ru)中(zhong)的(de)(de)每一(yi)(yi)(yi)者(zhe)(zhe)(zhe)以(yi)針對(dui)修(xiu)(xiu)改(gai)后(hou)(hou)(hou)(hou)的(de)(de)訓(xun)(xun)(xun)練(lian)輸入(ru)(ru)中(zhong)的(de)(de)每一(yi)(yi)(yi)者(zhe)(zhe)(zhe)生(sheng)(sheng)成用(yong)(yong)于機器學(xue)習任(ren)務(wu)的(de)(de)相應(ying)教(jiao)(jiao)師輸出，其(qi)中(zhong)教(jiao)(jiao)師神(shen)經(jing)(jing)網絡已經(jing)(jing)過預訓(xun)(xun)(xun)練(lian)以(yi)執行機器學(xue)習任(ren)務(wu)；計算損失函數的(de)(de)關(guan)于學(xue)生(sheng)(sheng)參數的(de)(de)梯度，該(gai)損失函數包括第(di)一(yi)(yi)(yi)項，該(gai)第(di)一(yi)(yi)(yi)項對(dui)于修(xiu)(xiu)改(gai)后(hou)(hou)(hou)(hou)的(de)(de)訓(xun)(xun)(xun)練(lian)輸入(ru)(ru)中(zhong)的(de)(de)每一(yi)(yi)(yi)者(zhe)(zhe)(zhe)，衡量針對(dui)修(xiu)(xiu)改(gai)后(hou)(hou)(hou)(hou)的(de)(de)訓(xun)(xun)(xun)練(lian)輸入(ru)(ru)的(de)(de)學(xue)生(sheng)(sheng)輸出與針對(dui)修(xiu)(xiu)改(gai)后(hou)(hou)(hou)(hou)的(de)(de)訓(xun)(xun)(xun)練(lian)輸入(ru)(ru)的(de)(de)教(jiao)(jiao)師輸出之(zhi)間的(de)(de)損失；以(yi)及使用(yong)(yong)梯度來更新學(xue)生(sheng)(sheng)參數。

7、可實(shi)現(xian)本說明書中所描述的(de)主題的(de)特(te)定(ding)實(shi)施(shi)例，以(yi)便實(shi)現(xian)以(yi)下優點中的(de)一者或多者。

8、在大量訓(xun)練數據(ju)上(shang)(shang)訓(xun)練的(de)超大型神經(jing)網(wang)絡在許多機器學習任務上(shang)(shang)表(biao)現出了最先(xian)進的(de)性能。然而(er)，這(zhe)些(xie)(xie)神經(jing)網(wang)絡不適(shi)合(he)部署(shu)在受(shou)限的(de)存儲器空間內，即，邊緣(yuan)裝(zhuang)置上(shang)(shang)或計算(suan)資源(yuan)量有限的(de)其他計算(suan)環境(jing)中。因此，這(zhe)些(xie)(xie)神經(jing)網(wang)絡不能用于許多邊緣(yuan)應用所需的(de)裝(zhuang)置上(shang)(shang)處理。

9、此(ci)外，嘗試(shi)將(jiang)大(da)(da)型模型“提(ti)煉(distill)”為(wei)緊湊模型以實現有(you)效率(lv)部署的(de)現有(you)技術通常需要(yao)大(da)(da)量(貼標簽或未貼標簽的(de))訓(xun)(xun)練(lian)(lian)數(shu)據(ju)(ju)。然(ran)而，對于一些任(ren)務，可能(neng)沒有(you)如此(ci)大(da)(da)量的(de)訓(xun)(xun)練(lian)(lian)數(shu)據(ju)(ju)可用(yong)。即使有(you)如此(ci)大(da)(da)量的(de)訓(xun)(xun)練(lian)(lian)數(shu)據(ju)(ju)可用(yong)，在如此(ci)大(da)(da)量的(de)訓(xun)(xun)練(lian)(lian)數(shu)據(ju)(ju)上訓(xun)(xun)練(lian)(lian)緊湊的(de)學生(sheng)模型也可能(neng)是計算極為(wei)昂貴的(de)。

10、該實現方(fang)式包(bao)括用于通過利(li)用教師神(shen)(shen)(shen)經網(wang)(wang)(wang)絡(luo)(luo)(luo)和生(sheng)(sheng)成(cheng)神(shen)(shen)(shen)經網(wang)(wang)(wang)絡(luo)(luo)(luo)來訓練(lian)(lian)計算有效率的(de)(de)(de)學(xue)生(sheng)(sheng)神(shen)(shen)(shen)經網(wang)(wang)(wang)絡(luo)(luo)(luo)的(de)(de)(de)提(ti)煉技術(shu)。因此，通過使用所描述的(de)(de)(de)技術(shu)，可(ke)(ke)被(bei)部(bu)(bu)署(shu)在(zai)(zai)(zai)受限(xian)的(de)(de)(de)存儲(chu)器空(kong)間內(即(ji)，在(zai)(zai)(zai)具(ju)有有限(xian)的(de)(de)(de)計算資(zi)源的(de)(de)(de)邊緣裝置上)的(de)(de)(de)學(xue)生(sheng)(sheng)神(shen)(shen)(shen)經網(wang)(wang)(wang)絡(luo)(luo)(luo)可(ke)(ke)被(bei)訓練(lian)(lian)以具(ju)有與執(zhi)行相同任務但無法有效部(bu)(bu)署(shu)在(zai)(zai)(zai)受限(xian)的(de)(de)(de)存儲(chu)器空(kong)間中(zhong)的(de)(de)(de)教師神(shen)(shen)(shen)經網(wang)(wang)(wang)絡(luo)(luo)(luo)相當或(huo)者甚至超(chao)過它的(de)(de)(de)性(xing)能。應(ying)當理解，將學(xue)生(sheng)(sheng)神(shen)(shen)(shen)經網(wang)(wang)(wang)絡(luo)(luo)(luo)部(bu)(bu)署(shu)在(zai)(zai)(zai)存儲(chu)器空(kong)間(例如，受限(xian)的(de)(de)(de)存儲(chu)器空(kong)間)內可(ke)(ke)以包(bao)括將學(xue)生(sheng)(sheng)神(shen)(shen)(shen)經網(wang)(wang)(wang)絡(luo)(luo)(luo)存儲(chu)在(zai)(zai)(zai)存儲(chu)器空(kong)間中(zhong)(例如，受限(xian)的(de)(de)(de)存儲(chu)器空(kong)間中(zhong))。還應(ying)當理解，部(bu)(bu)署(shu)學(xue)生(sheng)(sheng)神(shen)(shen)(shen)經網(wang)(wang)(wang)絡(luo)(luo)(luo)可(ke)(ke)以包(bao)括將學(xue)生(sheng)(sheng)神(shen)(shen)(shen)經網(wang)(wang)(wang)絡(luo)(luo)(luo)存儲(chu)在(zai)(zai)(zai)除(chu)在(zai)(zai)(zai)訓練(lian)(lian)學(xue)生(sheng)(sheng)神(shen)(shen)(shen)經網(wang)(wang)(wang)絡(luo)(luo)(luo)所在(zai)(zai)(zai)的(de)(de)(de)裝置之外的(de)(de)(de)裝置的(de)(de)(de)存儲(chu)器中(zhong)。

11、另外，通過(guo)將已經過(guo)訓練(lian)(lian)(lian)的(de)(de)生成神經網絡(luo)并入學(xue)生神經網絡(luo)的(de)(de)訓練(lian)(lian)(lian)中，所描(miao)述的(de)(de)技術消除(chu)了遍歷大(da)量數(shu)(shu)據(ju)(ju)的(de)(de)需要。因此，所描(miao)述的(de)(de)技術對(dui)于(yu)其中訓練(lian)(lian)(lian)數(shu)(shu)據(ju)(ju)量有限(xian)的(de)(de)機(ji)(ji)制(zhi)、其中可供訓練(lian)(lian)(lian)學(xue)生神經網絡(luo)的(de)(de)計算資源有限(xian)的(de)(de)機(ji)(ji)制(zhi)或者在(zai)其中類別集包括各自在(zai)訓練(lian)(lian)(lian)數(shu)(shu)據(ju)(ju)中具有相對(dui)較(jiao)少(shao)的(de)(de)訓練(lian)(lian)(lian)輸入的(de)(de)多個(ge)長尾類別的(de)(de)長尾數(shu)(shu)據(ju)(ju)機(ji)(ji)制(zhi)中可尤(you)其有效。

12、在下文的(de)(de)附圖(tu)和描述中闡述本說明書的(de)(de)主(zhu)題(ti)的(de)(de)一(yi)個(ge)或多個(ge)實施例的(de)(de)細節。根據(ju)描述、附圖(tu)和權利要求書，本主(zhu)題(ti)的(de)(de)其(qi)他特征(zheng)、方面和優點將變得(de)顯(xian)而易見。

技術特征：

1.一(yi)種由(you)一(yi)個或(huo)多(duo)個計算機執(zhi)行并且用(yong)于訓練具有多(duo)個學生(sheng)參(can)數的學生(sheng)神經網絡以執(zhi)行機器學習(xi)任務的方(fang)法，所述方(fang)法包括(kuo)：

2.如權利(li)要(yao)求(qiu)1所述的方法，還包括：

3.如權(quan)利要求(qiu)1或2中(zhong)任(ren)一項所述(shu)的方法，還包(bao)括：

4.如權(quan)利(li)要求1至3中任一項所述的(de)方(fang)法(fa)，其中從所述訓練輸入的(de)所述潛在(zai)表示生成修改后的(de)潛在(zai)表示包括：

5.如(ru)權利要求1至3中任一項所(suo)述(shu)(shu)的方法，其(qi)中從所(suo)述(shu)(shu)訓練輸入的所(suo)述(shu)(shu)潛在(zai)表(biao)示(shi)生成修(xiu)改后的潛在(zai)表(biao)示(shi)包(bao)括(kuo)：

6.如權利要求(qiu)5所(suo)述的方法，其中：

7.如權利要求(qiu)5或6中任一項所述(shu)的(de)(de)方法，其中計算針對(dui)所述(shu)更新的(de)(de)修(xiu)改后(hou)(hou)的(de)(de)訓(xun)練輸入的(de)(de)所述(shu)學生輸出與(yu)針對(dui)所述(shu)更新的(de)(de)修(xiu)改后(hou)(hou)的(de)(de)訓(xun)練輸入的(de)(de)所述(shu)教師輸出之間的(de)(de)損失(shi)的(de)(de)關于(yu)所述(shu)當前修(xiu)改后(hou)(hou)的(de)(de)潛在表示的(de)(de)梯度包(bao)括(kuo)：

8.如任一項前述(shu)(shu)(shu)(shu)(shu)權利要求(qiu)所(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)(shu)(shu)的(de)(de)(de)方法，其(qi)中所(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)(shu)(shu)編碼(ma)器(qi)神經網(wang)絡(luo)(luo)和所(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)(shu)(shu)解碼(ma)器(qi)神經網(wang)絡(luo)(luo)已(yi)在(zai)目標上進行了聯合訓練，所(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)(shu)(shu)目標包括(kuo)鼓勵(li)所(suo)(suo)(suo)(suo)(suo)接收(shou)(shou)的(de)(de)(de)輸(shu)入(ru)的(de)(de)(de)重建(jian)與(yu)對應的(de)(de)(de)所(suo)(suo)(suo)(suo)(suo)接收(shou)(shou)的(de)(de)(de)輸(shu)入(ru)相似的(de)(de)(de)一個(ge)或多個(ge)項，其(qi)中每個(ge)重建(jian)都是通過使(shi)(shi)用(yong)(yong)所(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)(shu)(shu)編碼(ma)器(qi)神經網(wang)絡(luo)(luo)處(chu)理所(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)(shu)(shu)所(suo)(suo)(suo)(suo)(suo)接收(shou)(shou)的(de)(de)(de)輸(shu)入(ru)以生(sheng)成(cheng)所(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)(shu)(shu)所(suo)(suo)(suo)(suo)(suo)接收(shou)(shou)的(de)(de)(de)輸(shu)入(ru)的(de)(de)(de)潛(qian)在(zai)表(biao)示(shi)并使(shi)(shi)用(yong)(yong)所(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)(shu)(shu)解碼(ma)器(qi)神經網(wang)絡(luo)(luo)處(chu)理所(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)(shu)(shu)所(suo)(suo)(suo)(suo)(suo)接收(shou)(shou)的(de)(de)(de)輸(shu)入(ru)的(de)(de)(de)所(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)(shu)(shu)潛(qian)在(zai)表(biao)示(shi)以生(sheng)成(cheng)所(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)(shu)(shu)所(suo)(suo)(suo)(suo)(suo)接收(shou)(shou)的(de)(de)(de)輸(shu)入(ru)的(de)(de)(de)所(suo)(suo)(suo)(suo)(suo)述(shu)(shu)(shu)(shu)(shu)重建(jian)而生(sheng)成(cheng)的(de)(de)(de)。

9.如(ru)任一項(xiang)前(qian)述權利要求所述的(de)方法，還(huan)包(bao)括：

10.如權利要求9所述的方法，其中所述邊緣(yuan)裝置(zhi)是移(yi)動裝置(zhi)。

11.如權利要求9所述的(de)方法，其中(zhong)所述邊(bian)緣(yuan)裝(zhuang)置嵌(qian)入機(ji)器人(ren)或車(che)輛(liang)內(nei)。

12.如任一項前(qian)述(shu)權利要求所(suo)述(shu)的方法(fa)，其中所(suo)述(shu)學(xue)生神(shen)經網(wang)(wang)絡具有比(bi)所(suo)述(shu)教師神(shen)經網(wang)(wang)絡更少(shao)的參(can)數。

13.一種系(xi)統(tong)，包括：

14.一(yi)種(zhong)或多種(zhong)存儲指(zhi)令的計(ji)算(suan)(suan)機(ji)(ji)可(ke)讀存儲介質，所述指(zhi)令在由一(yi)個(ge)或多個(ge)計(ji)算(suan)(suan)機(ji)(ji)執行時使所述一(yi)個(ge)或多個(ge)計(ji)算(suan)(suan)機(ji)(ji)執行如權利要求1至12中任一(yi)項所述的方法(fa)的相應操(cao)作。

技術總結
用于訓練具有多個學生參數的學生神經網絡以執行機器學習任務的方法、系統和設備。在一個方面，一種系統包括一個或多個計算機，一個或多個計算機被配置為獲得包括一個或多個訓練輸入的批次以生成多個修改后的訓練輸入。一個或多個計算機使用學生神經網絡和教師神經網絡來處理多個修改后的訓練輸入中的每一者，以針對修改后的訓練輸入中的每一者生成用于機器學習任務的相應的學生輸出和相應的教師輸出。一個或多個計算機通過計算損失函數的關于學生參數的梯度來更新學生參數，該損失函數包括第一項，該第一項對于修改后的訓練輸入中的每一者，衡量針對修改后的訓練輸入的學生輸出與針對修改后的訓練輸入的教師輸出之間的損失。

技術研發人員：A·S·拉瓦特,M·扎希爾,C·尤,S·金,A·維特,H·賈因
受保護的技術使用者：谷歌有限責任公司
技術研發日：
技術公布日：2024/9/29