本(ben)申請(qing)涉及智能眼(yan)鏡(jing)，尤其涉及一種智能眼(yan)鏡(jing)控(kong)制方法、智能眼(yan)鏡(jing)、存儲介(jie)質及程序產品。

背景技術：

1、隨著科技的飛速發展，智(zhi)能(neng)穿戴設備，特別是以ar（增強(qiang)現實）眼鏡和集成(cheng)先進(jin)攝像、音(yin)頻處理技術(shu)的智(zhi)能(neng)拍(pai)照眼鏡為代表的智(zhi)能(neng)眼鏡產品，憑(ping)借其便攜(xie)性、直觀性和高(gao)效的信(xin)息處理能(neng)力，在市(shi)場上贏得了廣泛關(guan)注與應用。

2、現有智能眼(yan)鏡(jing)在商務會(hui)議(yi)中通常是(shi)用于會(hui)議(yi)內容記(ji)(ji)錄(lu)，然而當前智能眼(yan)鏡(jing)只能對一段時間內所有的語(yu)音(yin)內容進行(xing)錄(lu)制作為會(hui)議(yi)記(ji)(ji)錄(lu)，或者將(jiang)語(yu)音(yin)內容轉換為文字作為會(hui)議(yi)記(ji)(ji)錄(lu)。難(nan)以針(zhen)對單一對象的語(yu)音(yin)內容進行(xing)處理，導(dao)致了智能眼(yan)鏡(jing)在會(hui)議(yi)中的使用場景明顯(xian)受限。

3、上(shang)(shang)述(shu)(shu)內(nei)容僅用(yong)于輔助理解本申請的技術方(fang)案，并(bing)不代表承(cheng)認上(shang)(shang)述(shu)(shu)內(nei)容是現有技術。

技術實現思路

1、本申請的(de)主要目的(de)在于提供一(yi)種智能眼(yan)鏡控(kong)制方法、智能眼(yan)鏡、存儲介(jie)質及程序產品，旨在解決智能眼(yan)鏡在會(hui)議中的(de)使用場景受限的(de)技術問題。

2、為實(shi)現上述目的，本申請提(ti)出(chu)一種智能眼鏡控制(zhi)方法，所述智能眼鏡控制(zhi)方法包括(kuo)：

3、對智能眼鏡的(de)(de)佩戴者所(suo)處環境(jing)進行音(yin)頻(pin)采(cai)集和聲源(yuan)分(fen)離，得到各聲源(yuan)的(de)(de)音(yin)軌音(yin)頻(pin)信息；

4、識別(bie)出所述佩戴者的第一交(jiao)互操作指(zhi)向(xiang)的感興(xing)趣人員，并對所述感興(xing)趣人員進行唇語識別(bie)，得到唇語信息；

5、將所述(shu)唇語(yu)信息(xi)分別與各聲(sheng)源的音(yin)軌音(yin)頻信息(xi)進行匹配，得到與所述(shu)唇語(yu)信息(xi)匹配的目標聲(sheng)源；

6、響應(ying)于音(yin)頻處(chu)理指(zhi)令，對(dui)所述目標(biao)聲(sheng)源的(de)音(yin)軌音(yin)頻信息進行(xing)對(dui)應(ying)的(de)音(yin)頻處(chu)理。

7、在(zai)一(yi)實施例中，所述對(dui)智能眼鏡的佩戴者(zhe)所處(chu)環(huan)境進行(xing)音(yin)頻采集和(he)聲源分離，得到(dao)各聲源的音(yin)軌音(yin)頻信息的步(bu)驟，包括：

8、對智能眼鏡的(de)佩(pei)戴者所處(chu)環境進行音(yin)頻采集，得到環境音(yin)頻信息；

9、對所述(shu)環(huan)境音頻(pin)信息進(jin)行獨立(li)成分分析，得到估(gu)計的各獨立(li)成分；

10、將(jiang)各(ge)所述(shu)獨立成分分別合成為(wei)音頻信號，得到各(ge)聲源的音軌音頻信息。

11、在(zai)一實施例中(zhong)，所述對所述感興(xing)趣人(ren)員(yuan)進行唇語(yu)識別，得到唇語(yu)信息(xi)的步驟，包括：

12、對(dui)所(suo)述感興趣(qu)人員進行圖像采集，得到人員圖像信息；

13、提取所述人(ren)員(yuan)圖像信息中感興趣人(ren)員(yuan)的唇部運動(dong)特征；

14、將所述(shu)唇部運動特征輸入預定的唇動識(shi)別模(mo)型，得到所述(shu)感(gan)興(xing)趣人員的發(fa)音序(xu)列；

15、基于所述發音序列，生成對應的(de)唇語信息。

16、在一實施例中，所述將所述唇語信(xin)息(xi)分別與各聲源的(de)音(yin)軌音(yin)頻信(xin)息(xi)進行匹配，得(de)到與所述唇語信(xin)息(xi)匹配的(de)目標聲源的(de)步驟，包括(kuo)：

17、確定(ding)所述唇語信息對應的采(cai)集時(shi)間段；

18、從(cong)各所述聲源的音(yin)(yin)軌(gui)音(yin)(yin)頻信息中截取(qu)所述采集時間段內(nei)的對比音(yin)(yin)頻信息；

19、將(jiang)所(suo)述(shu)唇(chun)(chun)語信(xin)(xin)(xin)息(xi)分(fen)別與(yu)各所(suo)述(shu)聲源(yuan)的對比音(yin)頻(pin)信(xin)(xin)(xin)息(xi)進行匹配，并將(jiang)與(yu)所(suo)述(shu)唇(chun)(chun)語信(xin)(xin)(xin)息(xi)匹配的對比音(yin)頻(pin)信(xin)(xin)(xin)息(xi)對應的聲源(yuan)作為目(mu)標聲源(yuan)。

20、在一實施例中，所述第一交互(hu)操作為眼動(dong)交互(hu)操作，所述識(shi)別出所述佩戴者的(de)第一交互(hu)操作指向的(de)感興趣人(ren)員的(de)步驟，包括(kuo)：

21、對所述佩戴者(zhe)的眼(yan)動交互操作進(jin)行(xing)眼(yan)球追(zhui)蹤(zong)，得(de)到所述佩戴者(zhe)的視(shi)線(xian)方向(xiang)；

22、將所述(shu)視線方向上(shang)的(de)人(ren)員作為感興(xing)趣人(ren)員。

23、在(zai)一實施例(li)中，在(zai)所述將所述唇語信息(xi)分別與(yu)各聲源的音軌音頻信息(xi)進行匹配，得(de)到與(yu)所述唇語信息(xi)匹配的目標(biao)聲源的步驟之后(hou)，所述智能眼鏡(jing)控制方法還包括：

24、獲取所(suo)述感興趣人(ren)員的身(shen)份圖像特征；

25、構建(jian)所述身份圖(tu)像特(te)征與所述目(mu)標聲源之(zhi)間的映(ying)射(she)關系(xi)。

26、在(zai)一(yi)實施例中，在(zai)所(suo)述構建(jian)所(suo)述身份(fen)圖(tu)像特征(zheng)與所(suo)述目(mu)標聲源之(zhi)間的(de)映(ying)射關系(xi)的(de)步驟(zou)之(zhi)后(hou)，包括(kuo)：

27、識別出(chu)所(suo)述(shu)佩戴(dai)者的第二交(jiao)互操作(zuo)指向的新(xin)的感興趣人員；

28、在(zai)所述映射(she)關(guan)系(xi)中查詢得到新的感興趣人員對(dui)應的目(mu)標聲源(yuan)后，執行(xing)步(bu)驟：響(xiang)應于(yu)音頻(pin)處理指令，對(dui)所述目(mu)標聲源(yuan)的音軌音頻(pin)信息進行(xing)對(dui)應的音頻(pin)處理；

29、在(zai)所述映射關系中未查詢得到新的感興趣人(ren)(ren)員對(dui)應的目標聲(sheng)源(yuan)后，執行步驟：對(dui)所述感興趣人(ren)(ren)員進行唇語識(shi)別，得到唇語信(xin)息(xi)。

30、此外，為(wei)實(shi)(shi)現(xian)(xian)上(shang)述目(mu)的，本(ben)申請還提出一種(zhong)智(zhi)能(neng)眼鏡(jing)，智(zhi)能(neng)眼鏡(jing)包括(kuo)：存(cun)儲器、處理(li)器及存(cun)儲在(zai)(zai)所述存(cun)儲器上(shang)并可在(zai)(zai)所述處理(li)器上(shang)運(yun)行的計算機程(cheng)序(xu)，所述計算機程(cheng)序(xu)配置為(wei)實(shi)(shi)現(xian)(xian)如上(shang)文所述的智(zhi)能(neng)眼鏡(jing)控(kong)制(zhi)方法的步驟。

31、此(ci)外，為實現(xian)(xian)上(shang)(shang)述目的(de)，本申請還提出一種存儲(chu)(chu)介(jie)質(zhi)，所(suo)述存儲(chu)(chu)介(jie)質(zhi)為計(ji)算機可讀存儲(chu)(chu)介(jie)質(zhi)，所(suo)述存儲(chu)(chu)介(jie)質(zhi)上(shang)(shang)存儲(chu)(chu)有計(ji)算機程(cheng)序，所(suo)述計(ji)算機程(cheng)序被處理器執行時實現(xian)(xian)如上(shang)(shang)文所(suo)述的(de)智能眼鏡控制(zhi)方法的(de)步驟。

32、此外，為實(shi)現上(shang)述(shu)目的，本(ben)申請還提供一(yi)種(zhong)計(ji)算(suan)(suan)機(ji)(ji)程(cheng)(cheng)序產品，所(suo)述(shu)計(ji)算(suan)(suan)機(ji)(ji)程(cheng)(cheng)序產品包括計(ji)算(suan)(suan)機(ji)(ji)程(cheng)(cheng)序，所(suo)述(shu)計(ji)算(suan)(suan)機(ji)(ji)程(cheng)(cheng)序被處(chu)理(li)器(qi)執(zhi)行(xing)時(shi)實(shi)現如上(shang)文所(suo)述(shu)的智能眼鏡控(kong)制方法的步驟。

33、本申(shen)請提出(chu)的一(yi)個(ge)(ge)或(huo)多個(ge)(ge)技術(shu)方案(an)，至少具有以下(xia)技術(shu)效果：

34、本(ben)(ben)申(shen)(shen)請通過對(dui)智能眼(yan)鏡的(de)(de)佩戴者所(suo)處環(huan)境(jing)(jing)進(jin)(jin)(jin)(jin)行(xing)(xing)音(yin)(yin)(yin)(yin)頻(pin)(pin)采集和聲(sheng)(sheng)源分離，得(de)到(dao)各聲(sheng)(sheng)源的(de)(de)音(yin)(yin)(yin)(yin)軌音(yin)(yin)(yin)(yin)頻(pin)(pin)信(xin)(xin)息(xi)，由(you)此(ci)本(ben)(ben)申(shen)(shen)請采集到(dao)了所(suo)述(shu)(shu)佩戴者所(suo)處環(huan)境(jing)(jing)下各聲(sheng)(sheng)源（如發(fa)言人(ren)(ren)、揚聲(sheng)(sheng)器等(deng)聲(sheng)(sheng)源）發(fa)出(chu)的(de)(de)音(yin)(yin)(yin)(yin)頻(pin)(pin)信(xin)(xin)息(xi)。進(jin)(jin)(jin)(jin)而(er)可(ke)(ke)(ke)(ke)以(yi)識(shi)別(bie)出(chu)所(suo)述(shu)(shu)佩戴者的(de)(de)第(di)一(yi)交互操作指向的(de)(de)感(gan)興(xing)(xing)趣(qu)(qu)(qu)人(ren)(ren)員。然后對(dui)所(suo)述(shu)(shu)感(gan)興(xing)(xing)趣(qu)(qu)(qu)人(ren)(ren)員進(jin)(jin)(jin)(jin)行(xing)(xing)唇(chun)語(yu)(yu)識(shi)別(bie)，得(de)到(dao)唇(chun)語(yu)(yu)信(xin)(xin)息(xi)。從而(er)本(ben)(ben)申(shen)(shen)請可(ke)(ke)(ke)(ke)以(yi)借助(zhu)將(jiang)所(suo)述(shu)(shu)唇(chun)語(yu)(yu)信(xin)(xin)息(xi)分別(bie)與(yu)各聲(sheng)(sheng)源的(de)(de)音(yin)(yin)(yin)(yin)軌音(yin)(yin)(yin)(yin)頻(pin)(pin)信(xin)(xin)息(xi)進(jin)(jin)(jin)(jin)行(xing)(xing)匹(pi)(pi)配，得(de)到(dao)與(yu)所(suo)述(shu)(shu)唇(chun)語(yu)(yu)信(xin)(xin)息(xi)匹(pi)(pi)配的(de)(de)目標聲(sheng)(sheng)源，實(shi)現(xian)了所(suo)述(shu)(shu)感(gan)興(xing)(xing)趣(qu)(qu)(qu)人(ren)(ren)員與(yu)所(suo)述(shu)(shu)目標聲(sheng)(sheng)源之(zhi)間的(de)(de)匹(pi)(pi)配。進(jin)(jin)(jin)(jin)而(er)可(ke)(ke)(ke)(ke)以(yi)響應于音(yin)(yin)(yin)(yin)頻(pin)(pin)處理指令(ling)，對(dui)所(suo)述(shu)(shu)目標聲(sheng)(sheng)源的(de)(de)音(yin)(yin)(yin)(yin)軌音(yin)(yin)(yin)(yin)頻(pin)(pin)信(xin)(xin)息(xi)進(jin)(jin)(jin)(jin)行(xing)(xing)對(dui)應的(de)(de)音(yin)(yin)(yin)(yin)頻(pin)(pin)處理（如存(cun)儲該(gai)目標聲(sheng)(sheng)源的(de)(de)音(yin)(yin)(yin)(yin)軌音(yin)(yin)(yin)(yin)頻(pin)(pin)信(xin)(xin)息(xi)、轉(zhuan)換為(wei)文(wen)字(zi)進(jin)(jin)(jin)(jin)行(xing)(xing)顯示、翻譯該(gai)音(yin)(yin)(yin)(yin)軌音(yin)(yin)(yin)(yin)頻(pin)(pin)信(xin)(xin)息(xi)為(wei)指定語(yu)(yu)音(yin)(yin)(yin)(yin)等(deng)）。本(ben)(ben)申(shen)(shen)請通過對(dui)佩戴者感(gan)興(xing)(xing)趣(qu)(qu)(qu)的(de)(de)人(ren)(ren)員進(jin)(jin)(jin)(jin)行(xing)(xing)唇(chun)語(yu)(yu)識(shi)別(bie)后得(de)到(dao)的(de)(de)唇(chun)語(yu)(yu)信(xin)(xin)息(xi)與(yu)從環(huan)境(jing)(jing)中(zhong)分離出(chu)各聲(sheng)(sheng)源的(de)(de)音(yin)(yin)(yin)(yin)軌音(yin)(yin)(yin)(yin)頻(pin)(pin)信(xin)(xin)息(xi)匹(pi)(pi)配，實(shi)現(xian)了感(gan)興(xing)(xing)趣(qu)(qu)(qu)人(ren)(ren)員與(yu)音(yin)(yin)(yin)(yin)頻(pin)(pin)中(zhong)的(de)(de)聲(sheng)(sheng)源之(zhi)間的(de)(de)綁定，由(you)此(ci)可(ke)(ke)(ke)(ke)以(yi)在會議過程中(zhong)即可(ke)(ke)(ke)(ke)針對(dui)性地對(dui)所(suo)述(shu)(shu)感(gan)興(xing)(xing)趣(qu)(qu)(qu)人(ren)(ren)員對(dui)應的(de)(de)音(yin)(yin)(yin)(yin)軌音(yin)(yin)(yin)(yin)頻(pin)(pin)信(xin)(xin)息(xi)進(jin)(jin)(jin)(jin)行(xing)(xing)存(cun)儲、轉(zhuan)換為(wei)文(wen)字(zi)、翻譯等(deng)音(yin)(yin)(yin)(yin)頻(pin)(pin)處理，從而(er)本(ben)(ben)申(shen)(shen)請增加了智能眼(yan)鏡在會議中(zhong)更(geng)多可(ke)(ke)(ke)(ke)實(shi)現(xian)的(de)(de)使用(yong)場景。

技術特征：

1.一種智能眼(yan)鏡控制(zhi)方法(fa)，其特征在于，所述智能眼(yan)鏡控制(zhi)方法(fa)包括(kuo)：

2.如權利(li)要求1所述的(de)方法，其特征在(zai)于，所述對智能眼鏡的(de)佩戴(dai)者(zhe)所處環境進(jin)行音頻采集(ji)和(he)聲源分離，得(de)到(dao)各(ge)聲源的(de)音軌音頻信(xin)息的(de)步驟，包括：

3.如權利(li)要求1所述(shu)的(de)方法，其(qi)特征在于，所述(shu)對所述(shu)感興(xing)趣人(ren)員進行唇語(yu)識別(bie)，得到(dao)唇語(yu)信息的(de)步驟(zou)，包(bao)括：

4.如權利(li)要求1所(suo)(suo)述(shu)的方法，其特(te)征在(zai)于(yu)，所(suo)(suo)述(shu)將(jiang)所(suo)(suo)述(shu)唇語信息(xi)(xi)(xi)分別與各(ge)聲源的音軌音頻(pin)信息(xi)(xi)(xi)進行(xing)匹配，得到與所(suo)(suo)述(shu)唇語信息(xi)(xi)(xi)匹配的目標聲源的步驟，包(bao)括：

5.如權利要求1所(suo)述(shu)的(de)方法，其特征(zheng)在于，所(suo)述(shu)第一交(jiao)(jiao)互(hu)操(cao)作(zuo)為眼動交(jiao)(jiao)互(hu)操(cao)作(zuo)，所(suo)述(shu)識別出所(suo)述(shu)佩戴者(zhe)的(de)第一交(jiao)(jiao)互(hu)操(cao)作(zuo)指向(xiang)的(de)感興(xing)趣人員的(de)步驟，包(bao)括(kuo)：

6.如權(quan)利要求1至5中任一項(xiang)所述(shu)的(de)方法(fa)，其特(te)征(zheng)在(zai)于，在(zai)所述(shu)將所述(shu)唇(chun)語(yu)信(xin)息分別與(yu)各聲源(yuan)的(de)音軌音頻信(xin)息進行匹配(pei)，得到與(yu)所述(shu)唇(chun)語(yu)信(xin)息匹配(pei)的(de)目(mu)標聲源(yuan)的(de)步驟之后，所述(shu)智(zhi)能眼鏡控制方法(fa)還包括：

7.如(ru)權利要(yao)求(qiu)6所述(shu)的方(fang)法，其特征在于，在所述(shu)構建所述(shu)身份圖像特征與所述(shu)目(mu)標聲源之間(jian)的映射關系(xi)的步驟之后，包(bao)括：

8.一種智(zhi)能(neng)(neng)眼(yan)(yan)鏡，其特征在于，所(suo)述(shu)智(zhi)能(neng)(neng)眼(yan)(yan)鏡包括：存(cun)儲(chu)器、處理器及存(cun)儲(chu)在所(suo)述(shu)存(cun)儲(chu)器上(shang)并可(ke)在所(suo)述(shu)處理器上(shang)運(yun)行的(de)計(ji)算機(ji)程(cheng)序，所(suo)述(shu)計(ji)算機(ji)程(cheng)序配(pei)置(zhi)為實(shi)現(xian)如(ru)權利(li)要求1至7中任一項(xiang)所(suo)述(shu)的(de)智(zhi)能(neng)(neng)眼(yan)(yan)鏡控制方法的(de)步驟(zou)。

9.一種存(cun)儲(chu)(chu)介(jie)質，其特征在于，所(suo)述(shu)(shu)存(cun)儲(chu)(chu)介(jie)質為計算(suan)機(ji)可讀存(cun)儲(chu)(chu)介(jie)質，所(suo)述(shu)(shu)存(cun)儲(chu)(chu)介(jie)質上存(cun)儲(chu)(chu)有計算(suan)機(ji)程序，所(suo)述(shu)(shu)計算(suan)機(ji)程序被處理器執行時(shi)實現如權利(li)要(yao)求1至7中任一項所(suo)述(shu)(shu)的智(zhi)能眼(yan)鏡控制(zhi)方(fang)法(fa)的步驟。

10.一種計算機程(cheng)序(xu)產(chan)品(pin)，其特征在于，所(suo)述計算機程(cheng)序(xu)產(chan)品(pin)包括計算機程(cheng)序(xu)，所(suo)述計算機程(cheng)序(xu)被處理器執行(xing)時實現如權(quan)利要求1至(zhi)7中任(ren)一項所(suo)述的智能眼(yan)鏡控(kong)制方(fang)法的步驟。

技術總結
本申請公開了一種智能眼鏡控制方法、智能眼鏡、存儲介質及程序產品，涉及智能眼鏡技術領域，公開了一種智能眼鏡控制方法，所述智能眼鏡控制方法包括：對智能眼鏡的佩戴者所處環境進行音頻采集和聲源分離，得到各聲源的音軌音頻信息；識別出所述佩戴者的第一交互操作指向的感興趣人員；對所述感興趣人員進行唇語識別，得到唇語信息；將所述唇語信息分別與各聲源的音軌音頻信息進行匹配，得到與所述唇語信息匹配的目標聲源；響應于音頻處理指令，對所述目標聲源的音軌音頻信息進行對應的音頻處理。本申請解決了智能眼鏡在會議中的使用場景受限的技術問題。

技術研發人員：劉成金,張慶凱,王平平
受保護的技術使用者：青島歌爾視界科技有限公司
技術研發日：
技術公布日：2024/9/19