人臉區域的確定方法和裝置與流程
本發(fa)明涉及(ji)圖像處(chu)理領(ling)域，具體而言(yan)，涉及(ji)一種人臉區域的確(que)定方法(fa)和裝置。
背景技術：
人臉(lian)(lian)(lian)識(shi)(shi)別(bie)，是基于人的(de)(de)臉(lian)(lian)(lian)部特征信息(xi)進行身份(fen)識(shi)(shi)別(bie)的(de)(de)一(yi)種生物識(shi)(shi)別(bie)技術。用(yong)攝(she)像機或(huo)攝(she)像頭采集(ji)含(han)有人臉(lian)(lian)(lian)的(de)(de)圖像或(huo)視頻流(liu)，并自動在圖像中檢測(ce)和(he)跟蹤人臉(lian)(lian)(lian)，進而對檢測(ce)到的(de)(de)人臉(lian)(lian)(lian)進行臉(lian)(lian)(lian)部的(de)(de)一(yi)系列相關技術，通常(chang)也叫(jiao)做人像識(shi)(shi)別(bie)、面部識(shi)(shi)別(bie)。
人臉(lian)檢測作(zuo)為人臉(lian)識別、人臉(lian)關鍵點定(ding)(ding)位、人臉(lian)檢索等應用的基礎，一直以來受到(dao)廣泛研究(jiu)。人臉(lian)檢測是從給定(ding)(ding)的一幅(fu)圖像(xiang)中，采用一定(ding)(ding)的方式(shi)判(pan)斷(duan)圖像(xiang)中是否存在(zai)人臉(lian)，如果存在(zai)，則給出人臉(lian)的大小和位置，如圖1所示(shi)，對左側的圖像(xiang)進(jin)行檢測，得到(dao)右側圖像(xiang)，并標(biao)識出人臉(lian)區域(即虛(xu)線區域)。
雖(sui)然人類可以(yi)很容易的(de)(de)從(cong)一幅圖像(xiang)中(zhong)找出(chu)人臉(lian)(lian)，但要計(ji)算機自(zi)動(dong)(dong)地檢測出(chu)人臉(lian)(lian)仍然存在困難，其主要的(de)(de)難點來自(zi)于(yu)以(yi)下兩個方面：人臉(lian)(lian)本(ben)身可以(yi)存在多(duo)(duo)種(zhong)形(xing)式的(de)(de)細節變化，如不同的(de)(de)膚(fu)色、臉(lian)(lian)型、表情和人臉(lian)(lian)姿態帶來的(de)(de)變化；圖像(xiang)中(zhong)的(de)(de)人臉(lian)(lian)還會受(shou)到多(duo)(duo)種(zhong)外部(bu)因(yin)素的(de)(de)影響，如光照、相(xiang)機抖動(dong)(dong)、人臉(lian)(lian)上的(de)(de)裝(zhuang)飾物帶來的(de)(de)遮(zhe)擋等。
在相關技術中，人(ren)臉檢(jian)(jian)測(ce)(ce)方(fang)(fang)法(fa)(fa)(fa)多種多樣(yang)，可以分為(wei)基(ji)(ji)于(yu)特(te)(te)征(zheng)(zheng)(zheng)的(de)(de)(de)(de)(de)檢(jian)(jian)測(ce)(ce)方(fang)(fang)法(fa)(fa)(fa)和基(ji)(ji)于(yu)統(tong)(tong)計模(mo)型(xing)的(de)(de)(de)(de)(de)檢(jian)(jian)測(ce)(ce)方(fang)(fang)法(fa)(fa)(fa)。基(ji)(ji)于(yu)特(te)(te)征(zheng)(zheng)(zheng)的(de)(de)(de)(de)(de)人(ren)臉檢(jian)(jian)測(ce)(ce)方(fang)(fang)法(fa)(fa)(fa)主要(yao)(yao)是基(ji)(ji)于(yu)一些經驗規則和人(ren)工構(gou)造的(de)(de)(de)(de)(de)特(te)(te)征(zheng)(zheng)(zheng)進行(xing)人(ren)臉檢(jian)(jian)測(ce)(ce)，例如基(ji)(ji)于(yu)一些面部(bu)器(qi)官結(jie)構(gou)和紋理(li)特(te)(te)征(zheng)(zheng)(zheng)的(de)(de)(de)(de)(de)檢(jian)(jian)測(ce)(ce)方(fang)(fang)法(fa)(fa)(fa)；基(ji)(ji)于(yu)統(tong)(tong)計模(mo)型(xing)的(de)(de)(de)(de)(de)檢(jian)(jian)測(ce)(ce)方(fang)(fang)法(fa)(fa)(fa)雖(sui)然也需(xu)要(yao)(yao)在樣(yang)本(ben)上(shang)先提取特(te)(te)征(zheng)(zheng)(zheng)，但與基(ji)(ji)于(yu)特(te)(te)征(zheng)(zheng)(zheng)的(de)(de)(de)(de)(de)檢(jian)(jian)測(ce)(ce)方(fang)(fang)法(fa)(fa)(fa)不同(tong)的(de)(de)(de)(de)(de)是，基(ji)(ji)于(yu)統(tong)(tong)計模(mo)型(xing)的(de)(de)(de)(de)(de)人(ren)臉檢(jian)(jian)測(ce)(ce)不是純粹(cui)的(de)(de)(de)(de)(de)基(ji)(ji)于(yu)一些設定規則，而是采用(yong)大量的(de)(de)(de)(de)(de)樣(yang)本(ben)來訓練檢(jian)(jian)測(ce)(ce)器(qi)模(mo)型(xing)，常見的(de)(de)(de)(de)(de)有基(ji)(ji)于(yu)支持向量機(ji)(svm)的(de)(de)(de)(de)(de)人(ren)臉檢(jian)(jian)測(ce)(ce)算法(fa)(fa)(fa)，基(ji)(ji)于(yu)adaboost的(de)(de)(de)(de)(de)人(ren)臉檢(jian)(jian)測(ce)(ce)算法(fa)(fa)(fa)等。
評估人(ren)(ren)臉(lian)(lian)(lian)(lian)(lian)檢(jian)(jian)(jian)(jian)(jian)測(ce)(ce)(ce)方(fang)法(也稱(cheng)為(wei)檢(jian)(jian)(jian)(jian)(jian)測(ce)(ce)(ce)器)的(de)(de)(de)(de)(de)(de)(de)(de)常(chang)用(yong)指標主(zhu)要(yao)有(you)以(yi)下(xia)幾種：(1)檢(jian)(jian)(jian)(jian)(jian)測(ce)(ce)(ce)率(lv)(lv)，即在(zai)給定的(de)(de)(de)(de)(de)(de)(de)(de)圖像集合中(zhong)，被正確檢(jian)(jian)(jian)(jian)(jian)測(ce)(ce)(ce)到的(de)(de)(de)(de)(de)(de)(de)(de)人(ren)(ren)臉(lian)(lian)(lian)(lian)(lian)數(shu)與圖像中(zhong)總的(de)(de)(de)(de)(de)(de)(de)(de)人(ren)(ren)臉(lian)(lian)(lian)(lian)(lian)數(shu)之(zhi)間(jian)的(de)(de)(de)(de)(de)(de)(de)(de)比值(zhi)；(2)錯誤(wu)(wu)檢(jian)(jian)(jian)(jian)(jian)測(ce)(ce)(ce)數(shu)，即被當做人(ren)(ren)臉(lian)(lian)(lian)(lian)(lian)區域檢(jian)(jian)(jian)(jian)(jian)測(ce)(ce)(ce)出來(lai)的(de)(de)(de)(de)(de)(de)(de)(de)，實(shi)際(ji)為(wei)非(fei)人(ren)(ren)臉(lian)(lian)(lian)(lian)(lian)區域的(de)(de)(de)(de)(de)(de)(de)(de)數(shu)量，理想的(de)(de)(de)(de)(de)(de)(de)(de)人(ren)(ren)臉(lian)(lian)(lian)(lian)(lian)檢(jian)(jian)(jian)(jian)(jian)測(ce)(ce)(ce)器應(ying)該具(ju)有(you)100％的(de)(de)(de)(de)(de)(de)(de)(de)檢(jian)(jian)(jian)(jian)(jian)測(ce)(ce)(ce)率(lv)(lv)和(he)0個錯誤(wu)(wu)檢(jian)(jian)(jian)(jian)(jian)測(ce)(ce)(ce)數(shu)；(3)檢(jian)(jian)(jian)(jian)(jian)測(ce)(ce)(ce)速度，從開始(shi)檢(jian)(jian)(jian)(jian)(jian)測(ce)(ce)(ce)到正確定位出人(ren)(ren)臉(lian)(lian)(lian)(lian)(lian)區域所需(xu)(xu)要(yao)消(xiao)耗的(de)(de)(de)(de)(de)(de)(de)(de)時(shi)間(jian)，目前(qian)很多(duo)應(ying)用(yong)中(zhong)對檢(jian)(jian)(jian)(jian)(jian)測(ce)(ce)(ce)速度有(you)較(jiao)高的(de)(de)(de)(de)(de)(de)(de)(de)要(yao)求，如直播美顏、人(ren)(ren)臉(lian)(lian)(lian)(lian)(lian)跟(gen)蹤都需(xu)(xu)要(yao)實(shi)時(shi)地(di)檢(jian)(jian)(jian)(jian)(jian)測(ce)(ce)(ce)人(ren)(ren)臉(lian)(lian)(lian)(lian)(lian)，在(zai)檢(jian)(jian)(jian)(jian)(jian)測(ce)(ce)(ce)率(lv)(lv)高，誤(wu)(wu)檢(jian)(jian)(jian)(jian)(jian)數(shu)低的(de)(de)(de)(de)(de)(de)(de)(de)情(qing)況(kuang)下(xia)，檢(jian)(jian)(jian)(jian)(jian)測(ce)(ce)(ce)速度自然越快越能提高用(yong)戶的(de)(de)(de)(de)(de)(de)(de)(de)體(ti)驗；(4)魯(lu)棒性(xing)，用(yong)于表示在(zai)各種條件(jian)下(xia)，人(ren)(ren)臉(lian)(lian)(lian)(lian)(lian)檢(jian)(jian)(jian)(jian)(jian)測(ce)(ce)(ce)器對環境的(de)(de)(de)(de)(de)(de)(de)(de)適(shi)應(ying)能力(li)，檢(jian)(jian)(jian)(jian)(jian)測(ce)(ce)(ce)器魯(lu)棒性(xing)越高，在(zai)光照、人(ren)(ren)臉(lian)(lian)(lian)(lian)(lian)姿態、表情(qing)等(deng)變化(hua)以(yi)及人(ren)(ren)臉(lian)(lian)(lian)(lian)(lian)出現遮擋等(deng)情(qing)況(kuang)下(xia)能準確地(di)檢(jian)(jian)(jian)(jian)(jian)測(ce)(ce)(ce)出人(ren)(ren)臉(lian)(lian)(lian)(lian)(lian)的(de)(de)(de)(de)(de)(de)(de)(de)概率(lv)(lv)越大。
為(wei)了克服上(shang)述提及(ji)的(de)(de)(de)(de)問(wen)題，實現對人臉區域(yu)的(de)(de)(de)(de)準確檢(jian)測，利用(yong)(yong)相關技(ji)術中基(ji)(ji)于(yu)特征的(de)(de)(de)(de)檢(jian)測方(fang)法時(shi)，由于(yu)需要(yao)使用(yong)(yong)經驗規則和人工(gong)構造的(de)(de)(de)(de)特征，容易受到使用(yong)(yong)者主觀因素的(de)(de)(de)(de)影響，無法保(bao)證人臉識別的(de)(de)(de)(de)檢(jian)測率和魯(lu)棒性；若(ruo)利用(yong)(yong)相關技(ji)術中的(de)(de)(de)(de)基(ji)(ji)于(yu)統計模型(xing)(xing)的(de)(de)(de)(de)檢(jian)測方(fang)法，目(mu)前常用(yong)(yong)的(de)(de)(de)(de)模型(xing)(xing)為(wei)了保(bao)證識別的(de)(de)(de)(de)準確度(du)，往(wang)(wang)往(wang)(wang)設置的(de)(de)(de)(de)層(ceng)數(shu)較多，會導致模型(xing)(xing)比(bi)較大(da)，基(ji)(ji)本(ben)上(shang)這些(xie)模型(xing)(xing)均超過15mb，雖然層(ceng)數(shu)較多會保(bao)證識別的(de)(de)(de)(de)準確率，但是層(ceng)數(shu)的(de)(de)(de)(de)增(zeng)加會帶來人臉檢(jian)測速度(du)降低(在主流pc上(shang)大(da)于(yu)300ms)的(de)(de)(de)(de)缺陷(xian)，無法滿足實時(shi)性的(de)(de)(de)(de)要(yao)求。
針對相(xiang)關(guan)技術(shu)中進行人臉(lian)檢測的(de)實時性(xing)較差(cha)的(de)技術(shu)問題，目(mu)前尚未提出有(you)效的(de)解決方案(an)。
技術實現要素：
本發明實施例提供了(le)一(yi)種人(ren)臉區(qu)域的確定方法和裝置，以至少(shao)解決(jue)相關技術(shu)中進行人(ren)臉檢測(ce)的實時性較差(cha)的技術(shu)問題。
根據本發明實施例的(de)一(yi)個方(fang)(fang)面，提供了一(yi)種人(ren)臉(lian)區域的(de)確(que)定(ding)(ding)(ding)(ding)方(fang)(fang)法，該人(ren)臉(lian)區域的(de)確(que)定(ding)(ding)(ding)(ding)方(fang)(fang)法包(bao)括：接收定(ding)(ding)(ding)(ding)位(wei)請(qing)(qing)求，其(qi)中(zhong)，定(ding)(ding)(ding)(ding)位(wei)請(qing)(qing)求用(yong)于請(qing)(qing)求在目(mu)標(biao)圖片(pian)(pian)中(zhong)定(ding)(ding)(ding)(ding)位(wei)出人(ren)臉(lian)區域；通過卷(juan)積(ji)神經(jing)網(wang)絡對目(mu)標(biao)圖片(pian)(pian)進行(xing)(xing)人(ren)臉(lian)定(ding)(ding)(ding)(ding)位(wei)操(cao)作，得到定(ding)(ding)(ding)(ding)位(wei)結果，其(qi)中(zhong)，卷(juan)積(ji)神經(jing)網(wang)絡用(yong)于調(diao)用(yong)圖形處理器對目(mu)標(biao)圖片(pian)(pian)進行(xing)(xing)卷(juan)積(ji)操(cao)作，人(ren)臉(lian)定(ding)(ding)(ding)(ding)位(wei)操(cao)作包(bao)括卷(juan)積(ji)操(cao)作；在定(ding)(ding)(ding)(ding)位(wei)結果用(yong)于表示目(mu)標(biao)圖片(pian)(pian)中(zhong)定(ding)(ding)(ding)(ding)位(wei)出存在人(ren)臉(lian)區域的(de)情(qing)況(kuang)下，返回定(ding)(ding)(ding)(ding)位(wei)結果。
根據本發(fa)明實(shi)施例的另(ling)一方面，還提供了一種人(ren)臉(lian)(lian)(lian)區(qu)域(yu)的確(que)定(ding)裝置，該人(ren)臉(lian)(lian)(lian)區(qu)域(yu)的確(que)定(ding)裝置包(bao)括(kuo)：接收單(dan)元(yuan)，用(yong)于(yu)接收定(ding)位(wei)(wei)(wei)(wei)請求，其(qi)中(zhong)，定(ding)位(wei)(wei)(wei)(wei)請求用(yong)于(yu)請求在目(mu)(mu)標圖(tu)片(pian)中(zhong)定(ding)位(wei)(wei)(wei)(wei)出人(ren)臉(lian)(lian)(lian)區(qu)域(yu)；定(ding)位(wei)(wei)(wei)(wei)單(dan)元(yuan)，用(yong)于(yu)通過卷(juan)積神(shen)經(jing)網絡對目(mu)(mu)標圖(tu)片(pian)進行(xing)人(ren)臉(lian)(lian)(lian)定(ding)位(wei)(wei)(wei)(wei)操作(zuo)，得到(dao)定(ding)位(wei)(wei)(wei)(wei)結果(guo)，其(qi)中(zhong)，卷(juan)積神(shen)經(jing)網絡用(yong)于(yu)調用(yong)圖(tu)形(xing)處(chu)理(li)器(qi)對目(mu)(mu)標圖(tu)片(pian)進行(xing)卷(juan)積操作(zuo)，人(ren)臉(lian)(lian)(lian)定(ding)位(wei)(wei)(wei)(wei)操作(zuo)包(bao)括(kuo)卷(juan)積操作(zuo)；返(fan)回單(dan)元(yuan)，用(yong)于(yu)在定(ding)位(wei)(wei)(wei)(wei)結果(guo)用(yong)于(yu)表示目(mu)(mu)標圖(tu)片(pian)中(zhong)定(ding)位(wei)(wei)(wei)(wei)出存在人(ren)臉(lian)(lian)(lian)區(qu)域(yu)的情(qing)況下，返(fan)回定(ding)位(wei)(wei)(wei)(wei)結果(guo)。
在(zai)本發明實(shi)施例中(zhong)(zhong)(zhong)，在(zai)接收定(ding)(ding)位(wei)(wei)(wei)請求(qiu)時(shi)，通(tong)過(guo)卷(juan)(juan)積(ji)神(shen)經網(wang)絡(luo)對(dui)目標圖(tu)片(pian)進(jin)行(xing)(xing)人(ren)臉(lian)定(ding)(ding)位(wei)(wei)(wei)操作(zuo)，得到定(ding)(ding)位(wei)(wei)(wei)結(jie)果(guo)，在(zai)定(ding)(ding)位(wei)(wei)(wei)結(jie)果(guo)用于表示目標圖(tu)片(pian)中(zhong)(zhong)(zhong)定(ding)(ding)位(wei)(wei)(wei)出存在(zai)人(ren)臉(lian)區(qu)域(yu)的(de)(de)情況下，返回定(ding)(ding)位(wei)(wei)(wei)結(jie)果(guo)，由于進(jin)行(xing)(xing)人(ren)臉(lian)識(shi)別(bie)的(de)(de)過(guo)程中(zhong)(zhong)(zhong)，在(zai)初步(bu)識(shi)別(bie)中(zhong)(zhong)(zhong)是(shi)通(tong)過(guo)卷(juan)(juan)積(ji)神(shen)經網(wang)絡(luo)中(zhong)(zhong)(zhong)的(de)(de)全卷(juan)(juan)積(ji)網(wang)絡(luo)直(zhi)接調(diao)用圖(tu)形處理(li)器對(dui)目標圖(tu)片(pian)進(jin)行(xing)(xing)卷(juan)(juan)積(ji)操作(zuo)，采用這種硬件加速的(de)(de)方式(shi)，而(er)(er)不是(shi)通(tong)過(guo)cpu進(jin)行(xing)(xing)逐個區(qu)域(yu)的(de)(de)掃(sao)描這一軟件處理(li)方式(shi)，可以解決了相關(guan)技(ji)術中(zhong)(zhong)(zhong)進(jin)行(xing)(xing)人(ren)臉(lian)檢(jian)測的(de)(de)實(shi)時(shi)性(xing)(xing)較差的(de)(de)技(ji)術問題，進(jin)而(er)(er)達(da)到了提高人(ren)臉(lian)檢(jian)測的(de)(de)實(shi)時(shi)性(xing)(xing)的(de)(de)技(ji)術效(xiao)果(guo)。
附圖說明
此處所說明的(de)附(fu)圖用來提供對(dui)本發(fa)明的(de)進(jin)一步(bu)理解，構成(cheng)本申請的(de)一部分，本發(fa)明的(de)示意性(xing)實施(shi)例及其說明用于解釋(shi)本發(fa)明，并不(bu)構成(cheng)對(dui)本發(fa)明的(de)不(bu)當限定。在附(fu)圖中：
圖1是相(xiang)關技術中(zhong)的(de)可選的(de)人臉(lian)區(qu)域的(de)示(shi)意圖；
圖(tu)2是(shi)根據本發明實施(shi)例的人(ren)臉(lian)區域的確定方法的硬件環境的示意圖(tu)；
圖(tu)3是根據(ju)本發明實施例的(de)一(yi)種可選的(de)人(ren)臉(lian)區域(yu)的(de)確定方法的(de)流程圖(tu)；
圖(tu)(tu)4是根據本發明實施例的一(yi)種可選的人臉重合程度的示(shi)意圖(tu)(tu)；
圖5是根據本發明實施例(li)的(de)一種可選的(de)樣本的(de)示意(yi)圖；
圖6是根據(ju)本發明(ming)實施例的(de)一種可選的(de)網(wang)絡結構的(de)示(shi)意圖；
圖7是(shi)根據本發明實(shi)施例的(de)(de)一(yi)種(zhong)可選(xuan)的(de)(de)人(ren)臉區域的(de)(de)示意圖；
圖(tu)8是根據本發明實(shi)施例的一種(zhong)可選的人臉區域的示(shi)意圖(tu)；
圖(tu)(tu)9是根據本發(fa)明實(shi)施例的一(yi)種可選的人臉區域(yu)的確定方法的流程圖(tu)(tu)；
圖10是根(gen)據(ju)本發明實施例的(de)一種(zhong)可選(xuan)的(de)概率圖的(de)示意圖；
圖(tu)11是根據本發明(ming)實施(shi)例的一種可選的人臉區域的確定裝置的示意圖(tu)；以及
圖12是根據本發明實施例的(de)一種終端的(de)結構(gou)框圖。
具體實施方式
為了使(shi)本(ben)技術(shu)領域的(de)(de)人員更好地理解本(ben)發(fa)(fa)明方(fang)案(an)，下(xia)面將結合本(ben)發(fa)(fa)明實(shi)施(shi)例(li)(li)中(zhong)的(de)(de)附(fu)圖，對本(ben)發(fa)(fa)明實(shi)施(shi)例(li)(li)中(zhong)的(de)(de)技術(shu)方(fang)案(an)進行清楚、完整地描述，顯然，所描述的(de)(de)實(shi)施(shi)例(li)(li)僅(jin)僅(jin)是本(ben)發(fa)(fa)明一部分的(de)(de)實(shi)施(shi)例(li)(li)，而不是全(quan)部的(de)(de)實(shi)施(shi)例(li)(li)。基于本(ben)發(fa)(fa)明中(zhong)的(de)(de)實(shi)施(shi)例(li)(li)，本(ben)領域普(pu)通(tong)技術(shu)人員在沒有做出創造性勞動(dong)前提下(xia)所獲(huo)得(de)的(de)(de)所有其他(ta)實(shi)施(shi)例(li)(li)，都(dou)應當屬于本(ben)發(fa)(fa)明保護的(de)(de)范圍。
需(xu)要說明(ming)的(de)(de)是，本(ben)(ben)發(fa)明(ming)的(de)(de)說明(ming)書(shu)和(he)權利要求(qiu)書(shu)及(ji)上述(shu)附圖(tu)中的(de)(de)術語“第一(yi)”、“第二”等是用(yong)于(yu)區別類似的(de)(de)對象，而(er)不(bu)必用(yong)于(yu)描述(shu)特定(ding)的(de)(de)順序(xu)或(huo)(huo)先后次序(xu)。應該(gai)理解這樣使用(yong)的(de)(de)數據在適當情況下可(ke)以(yi)互(hu)換，以(yi)便這里描述(shu)的(de)(de)本(ben)(ben)發(fa)明(ming)的(de)(de)實(shi)施例能夠(gou)以(yi)除(chu)了在這里圖(tu)示或(huo)(huo)描述(shu)的(de)(de)那(nei)些(xie)(xie)以(yi)外(wai)(wai)的(de)(de)順序(xu)實(shi)施。此外(wai)(wai)，術語“包括”和(he)“具有”以(yi)及(ji)他(ta)們的(de)(de)任何變形(xing)，意圖(tu)在于(yu)覆蓋不(bu)排他(ta)的(de)(de)包含(han)，例如(ru)，包含(han)了一(yi)系列步驟或(huo)(huo)單元的(de)(de)過程(cheng)、方(fang)法、系統(tong)、產品或(huo)(huo)設(she)備不(bu)必限(xian)于(yu)清楚(chu)地列出的(de)(de)那(nei)些(xie)(xie)步驟或(huo)(huo)單元，而(er)是可(ke)包括沒有清楚(chu)地列出的(de)(de)或(huo)(huo)對于(yu)這些(xie)(xie)過程(cheng)、方(fang)法、產品或(huo)(huo)設(she)備固有的(de)(de)其它步驟或(huo)(huo)單元。
首(shou)先，在對本(ben)發明實施(shi)例進行描述的(de)過程(cheng)中(zhong)出現的(de)部(bu)分名詞或者術語(yu)適用于(yu)如下(xia)解(jie)釋(shi)：
卷(juan)積(ji)神(shen)(shen)經(jing)網絡(convolutionalneuralnetwork，cnn)是一種(zhong)前(qian)饋(kui)神(shen)(shen)經(jing)網絡，它(ta)的(de)人(ren)工(gong)神(shen)(shen)經(jing)元可以響應一部分覆蓋范圍(wei)內(nei)的(de)周(zhou)圍(wei)單元，對于大(da)型(xing)圖像處理(li)有出色表現，它(ta)主要包括(kuo)卷(juan)積(ji)層(ceng)(ceng)和池層(ceng)(ceng)。
adaboost：一(yi)(yi)種迭代算法(fa)，可用(yong)于針(zhen)對同一(yi)(yi)訓(xun)練集訓(xun)練不同的分類(lei)器(qi)，然后(hou)將這些(xie)分類(lei)器(qi)集合起來構成(cheng)一(yi)(yi)個更強的分類(lei)器(qi)。
實施例1
根(gen)據本發明(ming)實施例(li)，提供了(le)一種人臉區域的(de)確定(ding)方法(fa)的(de)方法(fa)實施例(li)。
可選地，在(zai)本(ben)實施例(li)中(zhong)，上述人臉(lian)區(qu)(qu)域(yu)的(de)(de)確(que)定(ding)方法(fa)可以(yi)(yi)應用于如圖2所示的(de)(de)由(you)服務(wu)器(qi)202和終(zhong)端(duan)(duan)204所構成的(de)(de)硬件環境中(zhong)。如圖2所示，服務(wu)器(qi)202通過網(wang)絡與終(zhong)端(duan)(duan)204進(jin)行(xing)連接，上述網(wang)絡包括(kuo)但不(bu)限(xian)于：廣域(yu)網(wang)、城(cheng)域(yu)網(wang)或局域(yu)網(wang)，終(zhong)端(duan)(duan)204并不(bu)限(xian)定(ding)于pc、手機、平板電腦(nao)等。本(ben)發(fa)明實施例(li)的(de)(de)人臉(lian)區(qu)(qu)域(yu)的(de)(de)確(que)定(ding)方法(fa)可以(yi)(yi)由(you)服務(wu)器(qi)202來執(zhi)行(xing)，也可以(yi)(yi)由(you)終(zhong)端(duan)(duan)204來執(zhi)行(xing)，還可以(yi)(yi)是(shi)由(you)服務(wu)器(qi)202和終(zhong)端(duan)(duan)204共同執(zhi)行(xing)。其中(zhong)，終(zhong)端(duan)(duan)204執(zhi)行(xing)本(ben)發(fa)明實施例(li)的(de)(de)人臉(lian)區(qu)(qu)域(yu)的(de)(de)確(que)定(ding)方法(fa)也可以(yi)(yi)是(shi)由(you)安(an)裝(zhuang)在(zai)其上的(de)(de)客戶端(duan)(duan)來執(zhi)行(xing)。
例如，對(dui)(dui)于(yu)需(xu)要進行人(ren)(ren)臉(lian)(lian)區(qu)(qu)域識(shi)別的(de)(de)(de)(de)終端(duan)(duan)，可以直接在終端(duan)(duan)上集成(cheng)本(ben)申請的(de)(de)(de)(de)方法所提供(gong)的(de)(de)(de)(de)人(ren)(ren)臉(lian)(lian)識(shi)別功能，或者安裝用(yong)(yong)于(yu)實現本(ben)申請的(de)(de)(de)(de)方法的(de)(de)(de)(de)客(ke)戶端(duan)(duan)，這樣(yang)，終端(duan)(duan)在接收到用(yong)(yong)于(yu)請求(qiu)在目標(biao)圖(tu)片中定(ding)位(wei)(wei)(wei)出(chu)人(ren)(ren)臉(lian)(lian)區(qu)(qu)域的(de)(de)(de)(de)定(ding)位(wei)(wei)(wei)請求(qiu)時，通過卷(juan)(juan)積(ji)(ji)神經網(wang)絡對(dui)(dui)目標(biao)圖(tu)片進行人(ren)(ren)臉(lian)(lian)定(ding)位(wei)(wei)(wei)操(cao)作，得到定(ding)位(wei)(wei)(wei)結果，卷(juan)(juan)積(ji)(ji)神經網(wang)絡用(yong)(yong)于(yu)調(diao)用(yong)(yong)圖(tu)形處理器對(dui)(dui)目標(biao)圖(tu)片進行卷(juan)(juan)積(ji)(ji)操(cao)作，人(ren)(ren)臉(lian)(lian)定(ding)位(wei)(wei)(wei)操(cao)作包(bao)括(kuo)卷(juan)(juan)積(ji)(ji)操(cao)作；在定(ding)位(wei)(wei)(wei)結果用(yong)(yong)于(yu)表示目標(biao)圖(tu)片中定(ding)位(wei)(wei)(wei)出(chu)存(cun)在人(ren)(ren)臉(lian)(lian)區(qu)(qu)域的(de)(de)(de)(de)情況(kuang)下(xia)，返回定(ding)位(wei)(wei)(wei)結果。
再如(ru)，本申請(qing)所提供的(de)(de)方法還可以軟件開發(fa)(fa)工具包(bao)sdk(softwaredevelopmentkit)的(de)(de)形(xing)式運行在(zai)服(fu)務器等設備(bei)上(shang)，以sdk的(de)(de)形(xing)式提供給(gei)應用(yong)(yong)使用(yong)(yong)，提供人(ren)(ren)臉(lian)區域識別功能(neng)的(de)(de)接口，其(qi)它設備(bei)通(tong)過提供的(de)(de)接口即可實現人(ren)(ren)臉(lian)區域的(de)(de)識別。服(fu)務器在(zai)接收到其(qi)它設備(bei)通(tong)過該接口發(fa)(fa)送(song)的(de)(de)定(ding)位(wei)(wei)請(qing)求時，通(tong)過卷積(ji)神經(jing)網(wang)絡對(dui)目(mu)標(biao)圖(tu)(tu)片進行人(ren)(ren)臉(lian)定(ding)位(wei)(wei)操作(zuo)，得到定(ding)位(wei)(wei)結(jie)果，卷積(ji)神經(jing)網(wang)絡用(yong)(yong)于調用(yong)(yong)圖(tu)(tu)形(xing)處(chu)理器對(dui)目(mu)標(biao)圖(tu)(tu)片進行卷積(ji)操作(zuo)，人(ren)(ren)臉(lian)定(ding)位(wei)(wei)操作(zuo)包(bao)括(kuo)卷積(ji)操作(zuo)；在(zai)定(ding)位(wei)(wei)結(jie)果用(yong)(yong)于表示(shi)目(mu)標(biao)圖(tu)(tu)片中定(ding)位(wei)(wei)出存(cun)在(zai)人(ren)(ren)臉(lian)區域的(de)(de)情況(kuang)下(xia)，返(fan)回定(ding)位(wei)(wei)結(jie)果給(gei)發(fa)(fa)起請(qing)求的(de)(de)設備(bei)。
圖(tu)3是根(gen)據本發明實施例的一種可選(xuan)的人臉區(qu)域的確定方(fang)法的流程圖(tu)，如圖(tu)3所(suo)示(shi)，該(gai)方(fang)法可以(yi)包括(kuo)以(yi)下步驟(zou)：
步驟s302，接收定(ding)位(wei)請求，定(ding)位(wei)請求用于請求在(zai)目(mu)標(biao)圖片中定(ding)位(wei)出(chu)人臉區域；
步驟s304，通(tong)過卷(juan)積神經(jing)網絡對目標(biao)圖片進(jin)(jin)行人臉定位(wei)操(cao)作，得到定位(wei)結果(guo)，卷(juan)積神經(jing)網絡用于調(diao)用圖形處理器對目標(biao)圖片進(jin)(jin)行卷(juan)積操(cao)作，人臉定位(wei)操(cao)作包(bao)括卷(juan)積操(cao)作；
步驟s306，在定位(wei)結(jie)果用于表示目標(biao)圖(tu)片中定位(wei)出存在人臉區域(yu)的(de)情況下，返回定位(wei)結(jie)果。
通過(guo)(guo)上述步驟s302至步驟s306，在(zai)(zai)接(jie)收定位(wei)(wei)請求(qiu)時(shi)，通過(guo)(guo)卷(juan)積神(shen)經網(wang)絡對目標圖(tu)片進行(xing)人臉(lian)(lian)(lian)定位(wei)(wei)操作，得(de)到(dao)(dao)定位(wei)(wei)結果(guo)(guo)，在(zai)(zai)定位(wei)(wei)結果(guo)(guo)用于(yu)表示目標圖(tu)片中(zhong)定位(wei)(wei)出存在(zai)(zai)人臉(lian)(lian)(lian)區域的(de)情(qing)況(kuang)下(xia)，返回定位(wei)(wei)結果(guo)(guo)，由于(yu)進行(xing)人臉(lian)(lian)(lian)識別(bie)的(de)過(guo)(guo)程(cheng)中(zhong)，在(zai)(zai)初步識別(bie)中(zhong)是通過(guo)(guo)卷(juan)積神(shen)經網(wang)絡中(zhong)的(de)全卷(juan)積網(wang)絡直接(jie)調用圖(tu)形處(chu)理器(qi)對目標圖(tu)片進行(xing)卷(juan)積操作，采(cai)用這(zhe)種硬件(jian)加速的(de)方(fang)式，而不是通過(guo)(guo)cpu進行(xing)逐個區域的(de)掃描這(zhe)一(yi)軟件(jian)處(chu)理方(fang)式，可以解決了(le)相關技術(shu)中(zhong)進行(xing)人臉(lian)(lian)(lian)檢(jian)測的(de)實時(shi)性較差的(de)技術(shu)問(wen)題，進而達到(dao)(dao)了(le)提(ti)高人臉(lian)(lian)(lian)檢(jian)測的(de)實時(shi)性的(de)技術(shu)效果(guo)(guo)。
相關(guan)技術中的(de)(de)人(ren)臉檢測(ce)算(suan)(suan)法在(zai)通用(yong)應用(yong)場景下(xia)存在(zai)諸多問(wen)題，如基(ji)于(yu)(yu)特(te)征的(de)(de)人(ren)臉檢測(ce)雖然檢測(ce)速度快(kuai)，但對于(yu)(yu)稍(shao)復雜的(de)(de)場景該類算(suan)(suan)法的(de)(de)檢測(ce)率偏低，缺乏魯(lu)棒性(xing)；基(ji)于(yu)(yu)adaboost人(ren)臉檢測(ce)算(suan)(suan)法雖然模(mo)(mo)型小，檢測(ce)速度也較快(kuai)，但對于(yu)(yu)復雜場景的(de)(de)魯(lu)棒性(xing)較差，如對于(yu)(yu)極端場景下(xia)的(de)(de)人(ren)臉檢測(ce)，如戴(dai)口(kou)罩、戴(dai)黑框眼鏡、模(mo)(mo)糊圖像(xiang)等檢測(ce)場景。
而在(zai)本申請中，采用的(de)(de)(de)卷(juan)積神經網(wang)絡(luo)(luo)(luo)主(zhu)要有三個，分(fen)別為第一(yi)級卷(juan)積神經網(wang)絡(luo)(luo)(luo)net-1、第二級卷(juan)積神經網(wang)絡(luo)(luo)(luo)net-2、第三級卷(juan)積神經網(wang)絡(luo)(luo)(luo)net-3，采用級聯(lian)結(jie)構，給定一(yi)幅圖像，通過net-1后輸(shu)出候(hou)選(xuan)人(ren)臉框集合(he)，將候(hou)選(xuan)集合(he)輸(shu)入到(dao)net-2，得到(dao)較精準(zhun)的(de)(de)(de)候(hou)選(xuan)人(ren)臉框集合(he)，再(zai)將得到(dao)的(de)(de)(de)候(hou)選(xuan)集合(he)輸(shu)入到(dao)net-3，得到(dao)最終的(de)(de)(de)人(ren)臉框集合(he)，即是(shi)最終的(de)(de)(de)人(ren)臉位置，這是(shi)一(yi)個由粗到(dao)精的(de)(de)(de)過程。使用本申請的(de)(de)(de)方法(fa)，能夠在(zai)保證魯棒性、檢測率及準(zhun)確率的(de)(de)(de)前提(ti)下解決相關技術中實(shi)時性較差的(de)(de)(de)問(wen)題，主(zhu)要體現如下：
(1)采用了卷(juan)積(ji)神經網(wang)cnn來表達人臉特征，相(xiang)較(jiao)于相(xiang)關(guan)技術中的基(ji)于adaboost或svm的人臉檢(jian)測方(fang)法，對于側(ce)臉、暗光以及(ji)模(mo)糊等場景的檢(jian)測具(ju)有更強(qiang)的魯棒性，同時采用三級級聯(lian)結構的卷(juan)積(ji)神經網(wang)，能夠保證識別的準確度；
(2)將(jiang)人臉(lian)框(即(ji)人臉(lian)區域)的(de)初始定位(wei)和精確定位(wei)分(fen)(fen)別用(yong)(yong)一(yi)個分(fen)(fen)類分(fen)(fen)支(zhi)和回歸分(fen)(fen)支(zhi)來代替，兩個分(fen)(fen)支(zhi)共享(xiang)中間層(ceng)，相較于目前出現的(de)一(yi)些(xie)人臉(lian)檢(jian)測方(fang)法所使用(yong)(yong)的(de)模(mo)型(xing)(如基于深度(du)學(xue)習的(de)模(mo)型(xing))，減小了(le)模(mo)型(xing)的(de)大小，使得(de)檢(jian)測速(su)度(du)更快；
(3)本申請(qing)的(de)(de)三級級聯結(jie)構中的(de)(de)第(di)一級網絡采用了(le)全(quan)卷積神經(jing)網絡，代替了(le)傳統(tong)的(de)(de)掃描窗(slidingwindow)的(de)(de)方(fang)式，全(quan)卷積神經(jing)網絡直接調用gpu進行處理，使得(de)生成(cheng)候選人(ren)臉框的(de)(de)過程大大加快。
下面結合圖3進一步(bu)詳(xiang)述本申請的(de)實(shi)施(shi)例：
在(zai)執行(xing)步驟s302的(de)接收定(ding)(ding)位請(qing)求之前，可以采用如下方(fang)式學習卷積(ji)(ji)神(shen)經網絡(luo)中(zhong)的(de)參數(shu)(shu)：通過(guo)(guo)圖(tu)(tu)片(pian)集(ji)合(he)中(zhong)的(de)圖(tu)(tu)片(pian)對(dui)卷積(ji)(ji)神(shen)經網絡(luo)進行(xing)訓練，以確定(ding)(ding)卷積(ji)(ji)神(shen)經網絡(luo)中(zhong)參數(shu)(shu)的(de)數(shu)(shu)值，圖(tu)(tu)片(pian)集(ji)合(he)中(zhong)的(de)圖(tu)(tu)片(pian)為包括(kuo)部分或者全部人臉區域(yu)的(de)圖(tu)(tu)像。上(shang)述的(de)學習過(guo)(guo)程主要包括(kuo)選擇(ze)合(he)適(shi)的(de)訓練數(shu)(shu)據(ju)和訓練得(de)到參數(shu)(shu)數(shu)(shu)值兩個(ge)部分。
(1)選擇合適(shi)的訓練(lian)數據
為(wei)了使訓練得到的(de)(de)模型參數更為(wei)準(zhun)確，數據越豐富越好，在本(ben)(ben)申(shen)請中(zhong)，作為(wei)一(yi)種可(ke)選的(de)(de)實施方(fang)式(shi)，訓練以(yi)上(shang)的(de)(de)卷積神(shen)經網絡的(de)(de)數據可(ke)分(fen)為(wei)三類(lei)：正樣(yang)本(ben)(ben)、回歸樣(yang)本(ben)(ben)以(yi)及負(fu)樣(yang)本(ben)(ben)，這三類(lei)樣(yang)本(ben)(ben)基于樣(yang)本(ben)(ben)中(zhong)標識出的(de)(de)人臉區域(yu)(yu)(即人臉框)與真(zhen)實人臉區域(yu)(yu)的(de)(de)iou(intersectionoverunion)來劃(hua)分(fen)，iou定義了兩個框的(de)(de)重疊(die)程度(du)，樣(yang)本(ben)(ben)人臉區域(yu)(yu)a框和(he)(he)真(zhen)實人臉區域(yu)(yu)b框的(de)(de)公共(gong)面(mian)積a∩b(即相互(hu)重疊(die)的(de)(de)部分(fen))，與樣(yang)本(ben)(ben)人臉區域(yu)(yu)和(he)(he)真(zhen)實人臉區域(yu)(yu)的(de)(de)面(mian)積之和(he)(he)a∪b的(de)(de)比值，即：
如(ru)圖4所示(shi)，在x軸和y軸組(zu)成的(de)二維平面(mian)中(zhong)，a∩b為樣本人臉(lian)區(qu)域a框(kuang)和真實(shi)人臉(lian)區(qu)域b框(kuang)的(de)公共面(mian)積，a∪b為a框(kuang)和b框(kuang)占有(you)的(de)總(zong)面(mian)積。
如(ru)圖(tu)5所(suo)示，虛(xu)線的(de)(de)框為真(zhen)實(shi)的(de)(de)人(ren)(ren)(ren)臉框(groundtruth，真(zhen)實(shi)人(ren)(ren)(ren)臉區域(yu)(yu))，實(shi)線的(de)(de)框為生成的(de)(de)樣(yang)本(ben)(ben)(ben)框(即樣(yang)本(ben)(ben)(ben)人(ren)(ren)(ren)臉區域(yu)(yu))，在進(jin)行訓練時，可以從圖(tu)5中(zhong)得到訓練所(suo)用的(de)(de)樣(yang)本(ben)(ben)(ben)數據，如(ru)將樣(yang)本(ben)(ben)(ben)人(ren)(ren)(ren)臉區域(yu)(yu)輸入卷(juan)積神經網絡。
為了使模型對噪聲有較強的(de)魯棒性，三類樣(yang)本可按照如(ru)下(xia)方式進行定義：正(zheng)樣(yang)本，iou大于(yu)0.7的(de)樣(yang)本；回歸樣(yang)本，iou在0.5～0.7之間的(de)樣(yang)本；負樣(yang)本，iou小于(yu)0.25的(de)樣(yang)本。
需要說(shuo)明的(de)是(shi)，本申(shen)請(qing)上述(shu)的(de)分為三(san)類(lei)樣本進行訓練僅為示意性的(de)描述(shu)，為了使學習得到(dao)的(de)卷(juan)積神經網(wang)絡的(de)參數更(geng)為準確，可以增加樣本的(de)學習量(liang)；同(tong)時對樣本進行進一步細(xi)分，如劃(hua)分為五(wu)類(lei)，iou在0.8～1.0之間的(de)為一類(lei)；iou在0.6～0.8之間的(de)為一類(lei)，以此類(lei)推。
完(wan)成訓練(lian)數據(ju)準備之后，即可使用準備好的數據(ju)對卷積(ji)神經網絡進行(xing)訓練(lian)。
(2)訓練過程
由圖6中(zhong)的(de)網絡(luo)結構(gou)可(ke)以(yi)看出，本申請所(suo)采用的(de)網絡(luo)結構(gou)可(ke)為雙分(fen)(fen)支(zhi)結構(gou)。其中(zhong)一個(ge)分(fen)(fen)支(zhi)為人(ren)臉(lian)(lian)分(fen)(fen)類分(fen)(fen)支(zhi)(faceclassification)，用以(yi)判斷(duan)當前的(de)輸入是(shi)否(fou)含有人(ren)臉(lian)(lian)，得(de)到(dao)候選人(ren)臉(lian)(lian)框(kuang)(kuang)集合，得(de)到(dao)人(ren)臉(lian)(lian)框(kuang)(kuang)集合，另(ling)外一個(ge)分(fen)(fen)支(zhi)為人(ren)臉(lian)(lian)框(kuang)(kuang)回歸分(fen)(fen)支(zhi)(faceboxregression)，用以(yi)在(zai)分(fen)(fen)類分(fen)(fen)支(zhi)給出初始(shi)的(de)人(ren)臉(lian)(lian)框(kuang)(kuang)坐標后，進行人(ren)臉(lian)(lian)區域的(de)坐標調(diao)整，以(yi)得(de)到(dao)精確的(de)人(ren)臉(lian)(lian)框(kuang)(kuang)位(wei)置(zhi)。
對于(yu)人臉(lian)分(fen)類(lei)分(fen)支，圖6中三個net的人臉(lian)分(fen)類(lei)分(fen)支優化(hua)的目標均是最小化(hua)誤差softmaxloss，最終的分(fen)類(lei)神經元的softmax表達(da)式為：
在softmax表達式中，h為結果，θ是模型參數，k表示待估計的狀態個數，本申請中可以為區分人臉和非人人臉的兩個狀態，因此k＝2，i＝1…m，m為一次前向過程中采用的樣本數量，xi表示第i個輸入，即訓練樣本，t為參數，
通過以上表達式即可得到待優化的代價函數
式中“1{·}”為示性函數，僅當表達式中值為真時，該函數的值為1。“y(i)”(也即(ji)表(biao)示為(wei)yi)為(wei)樣本(ben)“xi”對應的標簽(qian)，在訓練過程(cheng)每個樣本(ben)即(ji)一幅圖像，若不含人臉(lian)則(ze)標簽(qian)為(wei)0，若包含人臉(lian)則(ze)標簽(qian)為(wei)1，其余參數與(yu)softmax表(biao)達式中的相同，參數m與(yu)表(biao)達式中m相同。
對(dui)于人臉(lian)框(kuang)(kuang)回(hui)歸分(fen)(fen)支，對(dui)于人臉(lian)分(fen)(fen)類分(fen)(fen)支得到的(de)(de)候選(xuan)框(kuang)(kuang)，可包含四(si)個(ge)維度的(de)(de)信息，即(xi,yi,wi,hi)，如(ru)圖(tu)(tu)7所(suo)示(shi)，一(yi)幅(fu)圖(tu)(tu)像中(zhong)人臉(lian)框(kuang)(kuang)位置如(ru)圖(tu)(tu)7中(zhong)實線框(kuang)(kuang)所(suo)示(shi)，虛(xu)線框(kuang)(kuang)為一(yi)個(ge)選(xuan)取的(de)(de)樣(yang)本示(shi)例(li)。
待優化的歐式距離損失函數((euclideanloss)為：
式中zi表示人臉框的四個維度r4，故zi∈r4。
上述各維度信息使用的是相對量(liang)，以(yi)zi的第一個分量(liang)為例，即：
zi為訓練過程中輸入的監督信息，
在利用前述的(de)(de)(de)三類樣(yang)本(ben)進(jin)(jin)行參數(shu)(shu)(shu)訓練時，首先可以將(jiang)卷(juan)積(ji)(ji)(ji)神(shen)經網絡(luo)中的(de)(de)(de)參數(shu)(shu)(shu)進(jin)(jin)行初(chu)始化，然后將(jiang)樣(yang)本(ben)圖片輸(shu)(shu)(shu)入到(dao)卷(juan)積(ji)(ji)(ji)神(shen)經網絡(luo)中，得(de)到(dao)卷(juan)積(ji)(ji)(ji)神(shen)經網絡(luo)輸(shu)(shu)(shu)出(chu)的(de)(de)(de)結果(guo)(guo)(即(ji)人臉定位結果(guo)(guo)，包括識別出(chu)的(de)(de)(de)iou等(deng))，將(jiang)輸(shu)(shu)(shu)出(chu)的(de)(de)(de)結果(guo)(guo)與真實的(de)(de)(de)結果(guo)(guo)(如實際的(de)(de)(de)iou)通過上述的(de)(de)(de)兩(liang)個公式進(jin)(jin)行誤差等(deng)信(xin)息(xi)的(de)(de)(de)計算，若誤差在允(yun)(yun)許范(fan)圍(wei)內(nei)，則說明(ming)當前的(de)(de)(de)參數(shu)(shu)(shu)是合理的(de)(de)(de)；若誤差不(bu)在允(yun)(yun)許范(fan)圍(wei)內(nei)，則根(gen)據誤差大小對(dui)參數(shu)(shu)(shu)進(jin)(jin)行調(diao)整，然后重新(xin)輸(shu)(shu)(shu)入樣(yang)本(ben)圖片，再次將(jiang)輸(shu)(shu)(shu)出(chu)的(de)(de)(de)結果(guo)(guo)與真實的(de)(de)(de)結果(guo)(guo)通過上述的(de)(de)(de)兩(liang)個公式進(jin)(jin)行誤差等(deng)信(xin)息(xi)的(de)(de)(de)計算，直至調(diao)整參數(shu)(shu)(shu)后的(de)(de)(de)卷(juan)積(ji)(ji)(ji)神(shen)經網絡(luo)得(de)到(dao)的(de)(de)(de)結果(guo)(guo)誤差在允(yun)(yun)許范(fan)圍(wei)內(nei)為止。
在對卷積神(shen)經網絡(luo)中(zhong)的參(can)數訓練完(wan)畢之后，即可通過本申請提供的方法進行人臉區域的識別。具體如下(xia)：
在步驟s302提供的技術方案中，在接(jie)收定位(wei)請求(qiu)時(shi)，定位(wei)請求(qiu)主要包括(kuo)但(dan)不(bu)局限于(yu)以下幾種來源(yuan)：
(1)在本申請的(de)(de)方(fang)法是集成在終(zhong)端(duan)(duan)(duan)上(shang)、或者(zhe)以客(ke)(ke)戶端(duan)(duan)(duan)a的(de)(de)形(xing)式(shi)安裝在終(zhong)端(duan)(duan)(duan)上(shang)的(de)(de)情況下，可(ke)以接收終(zhong)端(duan)(duan)(duan)上(shang)的(de)(de)客(ke)(ke)戶端(duan)(duan)(duan)b向(xiang)終(zhong)端(duan)(duan)(duan)發起的(de)(de)人臉(lian)定(ding)位請求，該客(ke)(ke)戶端(duan)(duan)(duan)b可(ke)以為直播美(mei)顏、人臉(lian)跟蹤(zong)等需要實時地檢(jian)測(ce)人臉(lian)的(de)(de)客(ke)(ke)戶端(duan)(duan)(duan)；
(2)在(zai)本申請的(de)方法是集成在(zai)終(zhong)(zhong)(zhong)(zhong)端a上、或者以客戶端的(de)形式(shi)(shi)安裝在(zai)終(zhong)(zhong)(zhong)(zhong)端a上的(de)情況下，終(zhong)(zhong)(zhong)(zhong)端b與終(zhong)(zhong)(zhong)(zhong)端a通(tong)(tong)訊連接(jie)(如通(tong)(tong)過wifi、藍牙、nfc等方式(shi)(shi)連接(jie))，終(zhong)(zhong)(zhong)(zhong)端a接(jie)收(shou)到的(de)終(zhong)(zhong)(zhong)(zhong)端b發(fa)起的(de)人臉定位請求；
(3)在(zai)(zai)本申(shen)請所提供的(de)(de)方法以軟件開(kai)發(fa)工(gong)具包sdk的(de)(de)形式運行在(zai)(zai)服務(wu)器(qi)上的(de)(de)情況下，在(zai)(zai)服務(wu)器(qi)上接(jie)收到的(de)(de)其它(ta)設備通過調用(yong)接(jie)口(kou)發(fa)起的(de)(de)人臉定位請求，其它(ta)設備可(ke)以為手機、電腦、平板電腦等設備。
在步驟s304提供(gong)的技術方(fang)案中，本申請三(san)(san)級卷(juan)(juan)積神(shen)(shen)經(jing)網(wang)絡(luo)(luo)(luo)為(wei)采用級聯的方(fang)式工(gong)作，第(di)一級卷(juan)(juan)積神(shen)(shen)經(jing)網(wang)絡(luo)(luo)(luo)的人臉框集(ji)合1可以(yi)作為(wei)三(san)(san)級卷(juan)(juan)積神(shen)(shen)經(jing)網(wang)絡(luo)(luo)(luo)中第(di)二(er)(er)級卷(juan)(juan)積神(shen)(shen)經(jing)網(wang)絡(luo)(luo)(luo)net-2(即(ji)第(di)二(er)(er)卷(juan)(juan)積神(shen)(shen)經(jing)網(wang)絡(luo)(luo)(luo))的輸入，進行進一步過(guo)濾篩選(xuan)，第(di)二(er)(er)級卷(juan)(juan)積神(shen)(shen)經(jing)網(wang)絡(luo)(luo)(luo)進行過(guo)濾篩選(xuan)的輸出(chu)又可以(yi)作為(wei)第(di)三(san)(san)級卷(juan)(juan)積神(shen)(shen)經(jing)網(wang)絡(luo)(luo)(luo)(第(di)三(san)(san)卷(juan)(juan)積神(shen)(shen)經(jing)網(wang)絡(luo)(luo)(luo))的輸入，將(jiang)第(di)三(san)(san)級卷(juan)(juan)積神(shen)(shen)經(jing)網(wang)絡(luo)(luo)(luo)過(guo)濾篩選(xuan)的輸出(chu)作為(wei)最終的結果。具(ju)體實現(xian)方(fang)案如下：
在通過卷(juan)積神(shen)經網(wang)絡對目標圖(tu)片進行(xing)人(ren)(ren)臉定位操作(zuo)時(shi)，可通過三級卷(juan)積神(shen)經網(wang)絡中(zhong)的第(di)(di)一(yi)卷(juan)積神(shen)經網(wang)絡net-1調用圖(tu)形處理(li)器對目標圖(tu)片進行(xing)卷(juan)積操作(zuo)，得到卷(juan)積結果，其中(zhong)，卷(juan)積神(shen)經網(wang)絡包括第(di)(di)一(yi)卷(juan)積神(shen)經網(wang)絡；根據卷(juan)積結果確定目標圖(tu)片中(zhong)的第(di)(di)一(yi)區(qu)(qu)域(yu)(yu)為(wei)人(ren)(ren)臉區(qu)(qu)域(yu)(yu)的置信度；根據置信度在第(di)(di)一(yi)區(qu)(qu)域(yu)(yu)中(zhong)確定出人(ren)(ren)臉區(qu)(qu)域(yu)(yu)。
在(zai)通(tong)過(guo)第一(yi)卷(juan)(juan)(juan)積(ji)神(shen)經網絡調(diao)用(yong)圖(tu)形處理(li)器(qi)對目(mu)標圖(tu)片進(jin)行卷(juan)(juan)(juan)積(ji)操作，得(de)到卷(juan)(juan)(juan)積(ji)結果(guo)時(shi)，具(ju)(ju)體是通(tong)過(guo)調(diao)用(yong)圖(tu)形處理(li)器(qi)執行第一(yi)卷(juan)(juan)(juan)積(ji)神(shen)經網絡上的(de)卷(juan)(juan)(juan)積(ji)算法，以(yi)對目(mu)標圖(tu)片中(zhong)的(de)各個第一(yi)區域(yu)(yu)進(jin)行一(yi)類特(te)(te)征(zheng)的(de)識別(bie)，得(de)到卷(juan)(juan)(juan)積(ji)結果(guo)，卷(juan)(juan)(juan)積(ji)結果(guo)用(yong)于指(zhi)示(shi)一(yi)類特(te)(te)征(zheng)中(zhong)第一(yi)區域(yu)(yu)所具(ju)(ju)有的(de)特(te)(te)征(zheng)。這樣在(zai)根(gen)據卷(juan)(juan)(juan)積(ji)結果(guo)確定目(mu)標圖(tu)片中(zhong)的(de)第一(yi)區域(yu)(yu)為(wei)(wei)人臉區域(yu)(yu)的(de)置(zhi)信度(du)時(shi)，即可根(gen)據一(yi)類特(te)(te)征(zheng)中(zhong)第一(yi)區域(yu)(yu)所具(ju)(ju)有的(de)特(te)(te)征(zheng)確定第一(yi)區域(yu)(yu)為(wei)(wei)人臉區域(yu)(yu)的(de)置(zhi)信度(du)。
如圖(tu)(tu)6所(suo)示(shi)，對(dui)于第(di)(di)一級(ji)(ji)卷積(ji)神(shen)經(jing)網(wang)絡(luo)net-1，輸入(ru)的(de)(de)(de)(de)(de)圖(tu)(tu)片(pian)(pian)的(de)(de)(de)(de)(de)參(can)數為(wei)12*12*3，“12*12”表示(shi)輸入(ru)圖(tu)(tu)片(pian)(pian)的(de)(de)(de)(de)(de)像(xiang)素(su)大(da)小(xiao)至少為(wei)12*12(即(ji)第(di)(di)三(san)閾(yu)值(zhi))，也即(ji)支(zhi)持識(shi)別(bie)的(de)(de)(de)(de)(de)最(zui)小(xiao)人(ren)臉(lian)區(qu)域(yu)(yu)為(wei)“12*12”，“3”表示(shi)為(wei)3通(tong)道的(de)(de)(de)(de)(de)圖(tu)(tu)像(xiang)；第(di)(di)一級(ji)(ji)卷積(ji)神(shen)經(jing)網(wang)絡(luo)用(yong)于對(dui)較為(wei)粗粒度(du)的(de)(de)(de)(de)(de)人(ren)臉(lian)特(te)(te)征(zheng)(zheng)(即(ji)上述(shu)的(de)(de)(de)(de)(de)一類特(te)(te)征(zheng)(zheng))的(de)(de)(de)(de)(de)識(shi)別(bie)，對(dui)于圖(tu)(tu)片(pian)(pian)中的(de)(de)(de)(de)(de)每個(ge)區(qu)域(yu)(yu)(即(ji)第(di)(di)一區(qu)域(yu)(yu))，均包(bao)括識(shi)別(bie)出(chu)來的(de)(de)(de)(de)(de)特(te)(te)征(zheng)(zheng)，然后(hou)用(yong)預先設置的(de)(de)(de)(de)(de)特(te)(te)征(zheng)(zheng)匹配算法來確定(ding)該區(qu)域(yu)(yu)為(wei)人(ren)臉(lian)區(qu)域(yu)(yu)的(de)(de)(de)(de)(de)置信度(du)。最(zui)終將置信度(du)大(da)于第(di)(di)一閾(yu)值(zhi)的(de)(de)(de)(de)(de)第(di)(di)一區(qu)域(yu)(yu)放入(ru)候選人(ren)臉(lian)框集(ji)合1(集(ji)合中的(de)(de)(de)(de)(de)區(qu)域(yu)(yu)記為(wei)第(di)(di)二區(qu)域(yu)(yu))。
在根(gen)據(ju)(ju)置(zhi)信(xin)度在第一(yi)(yi)區域(yu)(yu)(yu)中確定出(chu)人(ren)(ren)臉區域(yu)(yu)(yu)之前，為(wei)了(le)使可能是人(ren)(ren)臉區域(yu)(yu)(yu)的(de)第一(yi)(yi)區域(yu)(yu)(yu)中人(ren)(ren)臉處于(yu)較為(wei)居中的(de)位(wei)置(zhi)，可根(gen)據(ju)(ju)人(ren)(ren)臉參考特征在第一(yi)(yi)區域(yu)(yu)(yu)中的(de)位(wei)置(zhi)對第一(yi)(yi)區域(yu)(yu)(yu)進(jin)行位(wei)置(zhi)調整，以使人(ren)(ren)臉參考特征位(wei)于(yu)經過(guo)位(wei)置(zhi)調整后(hou)的(de)第一(yi)(yi)區域(yu)(yu)(yu)中的(de)預設(she)位(wei)置(zhi)。
采用上述的(de)調(diao)整(zheng)方式時，在根據置信(xin)度(du)(du)在第一(yi)區(qu)(qu)域(yu)中(zhong)確(que)定出人臉區(qu)(qu)域(yu)時，可根據置信(xin)度(du)(du)在經過(guo)位置調(diao)整(zheng)后(hou)的(de)第一(yi)區(qu)(qu)域(yu)中(zhong)確(que)定出人臉區(qu)(qu)域(yu)。
可選地，為了(le)提(ti)高處理效率，在根(gen)據人臉參考特(te)征(zheng)在第一(yi)區(qu)域(yu)(yu)中的(de)位置對第一(yi)區(qu)域(yu)(yu)進行位置調整時，可以僅對第一(yi)區(qu)域(yu)(yu)中的(de)第二區(qu)域(yu)(yu)(即置信度(du)大于(yu)第一(yi)閾值的(de)第一(yi)區(qu)域(yu)(yu))進行位置調整，避免資源的(de)浪費(fei)。
采用上述的(de)調整(zheng)方式(shi)時，在(zai)根據(ju)置(zhi)信度在(zai)第(di)一區域(yu)中確定(ding)出人臉(lian)區域(yu)時，可以是根據(ju)置(zhi)信度在(zai)經過(guo)位置(zhi)調整(zheng)后的(de)第(di)二區域(yu)中確定(ding)出人臉(lian)區域(yu)。
上述的(de)(de)(de)人臉(lian)參考特征(zheng)可以為(wei)人臉(lian)的(de)(de)(de)面部(bu)特征(zheng)(如鼻(bi)子、眼睛(jing)、嘴、眉毛(mao)等(deng))，某一固定(ding)(ding)的(de)(de)(de)面部(bu)特征(zheng)在人臉(lian)上的(de)(de)(de)位(wei)(wei)置是相對固定(ding)(ding)的(de)(de)(de)，例如對于鼻(bi)子而(er)言，一般位(wei)(wei)于臉(lian)部(bu)居中的(de)(de)(de)位(wei)(wei)置，也即在識別出第一區(qu)域中的(de)(de)(de)鼻(bi)子之(zhi)后，可以對第一區(qu)域進行調(diao)整，以使鼻(bi)子位(wei)(wei)于調(diao)整后第一區(qu)域中的(de)(de)(de)中心位(wei)(wei)置。
本申請的(de)卷積(ji)(ji)神(shen)經網絡可以為三級卷積(ji)(ji)神(shen)經網絡，第一級卷積(ji)(ji)神(shen)經網絡主(zhu)要完成臉部區域的(de)初步識別，得到上述的(de)候(hou)選人臉框集合1。
在(zai)(zai)根(gen)據置(zhi)(zhi)信度在(zai)(zai)第(di)一(yi)區(qu)(qu)域(yu)(yu)中確定出(chu)人(ren)臉(lian)(lian)區(qu)(qu)域(yu)(yu)時，上(shang)述的(de)人(ren)臉(lian)(lian)框集(ji)合(he)1可以作為(wei)第(di)二卷(juan)積(ji)神經網絡(luo)(luo)輸入(ru)，通過(guo)第(di)二卷(juan)積(ji)神經網絡(luo)(luo)確定人(ren)臉(lian)(lian)框集(ji)合(he)1中第(di)二區(qu)(qu)域(yu)(yu)為(wei)人(ren)臉(lian)(lian)區(qu)(qu)域(yu)(yu)的(de)置(zhi)(zhi)信度，第(di)二區(qu)(qu)域(yu)(yu)為(wei)第(di)一(yi)區(qu)(qu)域(yu)(yu)中置(zhi)(zhi)信度大于(yu)第(di)一(yi)閾值的(de)區(qu)(qu)域(yu)(yu)。
具體可以(yi)在通(tong)過第(di)(di)(di)(di)二(er)(er)卷(juan)積(ji)神(shen)經網絡(luo)確定(ding)第(di)(di)(di)(di)二(er)(er)區(qu)域(yu)為人臉區(qu)域(yu)的(de)(de)(de)(de)置信度之前(qian)，將第(di)(di)(di)(di)二(er)(er)區(qu)域(yu)的(de)(de)(de)(de)區(qu)域(yu)大(da)(da)小調整為第(di)(di)(di)(di)四閾值(zhi)，第(di)(di)(di)(di)四閾值(zhi)大(da)(da)于第(di)(di)(di)(di)三(san)閾值(zhi)，例如將像素大(da)(da)小調整為“24*24”的(de)(de)(de)(de)3通(tong)道圖像，然(ran)后通(tong)過第(di)(di)(di)(di)二(er)(er)卷(juan)積(ji)神(shen)經網絡(luo)對經過區(qu)域(yu)大(da)(da)小調整后的(de)(de)(de)(de)第(di)(di)(di)(di)二(er)(er)區(qu)域(yu)進(jin)行特(te)(te)征(zheng)(zheng)識別(bie)(bie)，此(ci)處識別(bie)(bie)的(de)(de)(de)(de)特(te)(te)征(zheng)(zheng)類型(xing)與(yu)前(qian)述的(de)(de)(de)(de)第(di)(di)(di)(di)一級卷(juan)積(ji)神(shen)經網絡(luo)所識別(bie)(bie)的(de)(de)(de)(de)特(te)(te)征(zheng)(zheng)類型(xing)不同，完成識別(bie)(bie)后可根(gen)據識別(bie)(bie)出的(de)(de)(de)(de)特(te)(te)征(zheng)(zheng)確定(ding)第(di)(di)(di)(di)二(er)(er)區(qu)域(yu)為人臉區(qu)域(yu)的(de)(de)(de)(de)置信度，具體可以(yi)通(tong)過預置的(de)(de)(de)(de)特(te)(te)征(zheng)(zheng)匹配算法進(jin)行計算。
在(zai)通過(guo)(guo)第(di)(di)二卷積(ji)神經網絡(luo)確(que)定第(di)(di)二區(qu)域(yu)為(wei)(wei)人(ren)臉(lian)區(qu)域(yu)的(de)置信(xin)度(du)之后，可將第(di)(di)二區(qu)域(yu)中置信(xin)度(du)大(da)于第(di)(di)二閾值的(de)區(qu)域(yu)放入(ru)人(ren)臉(lian)框集(ji)合(he)(he)2(該(gai)集(ji)合(he)(he)中的(de)區(qu)域(yu)記為(wei)(wei)第(di)(di)三區(qu)域(yu))。然后可通過(guo)(guo)第(di)(di)三卷積(ji)神經網絡(luo)識(shi)別出第(di)(di)三區(qu)域(yu)中的(de)人(ren)臉(lian)區(qu)域(yu)。
可選地，在完成對(dui)第三區(qu)域(yu)的(de)篩選之后，可以按照前(qian)述的(de)對(dui)于第二區(qu)域(yu)的(de)位(wei)置(zhi)調整(zheng)方法對(dui)人臉框(kuang)集合2中的(de)第三區(qu)域(yu)進(jin)行(xing)位(wei)置(zhi)調整(zheng)。
可(ke)選地(di)，在通過(guo)第(di)(di)三(san)卷(juan)積神(shen)(shen)經(jing)網絡(luo)識別出第(di)(di)三(san)區域(yu)(yu)(yu)中的(de)(de)(de)人臉區域(yu)(yu)(yu)之(zhi)前，可(ke)以(yi)將(jiang)(jiang)第(di)(di)三(san)區域(yu)(yu)(yu)的(de)(de)(de)區域(yu)(yu)(yu)大小調(diao)整(zheng)為第(di)(di)五閾(yu)值，第(di)(di)五閾(yu)值大于第(di)(di)四閾(yu)值，例如將(jiang)(jiang)第(di)(di)三(san)區域(yu)(yu)(yu)調(diao)整(zheng)為“48*48”的(de)(de)(de)圖像作為第(di)(di)三(san)卷(juan)積神(shen)(shen)經(jing)網絡(luo)的(de)(de)(de)輸入，通過(guo)第(di)(di)三(san)卷(juan)積神(shen)(shen)經(jing)網絡(luo)對經(jing)過(guo)區域(yu)(yu)(yu)大小調(diao)整(zheng)后的(de)(de)(de)第(di)(di)三(san)區域(yu)(yu)(yu)進行特(te)(te)征識別，此處所識別的(de)(de)(de)特(te)(te)征類(lei)型(xing)(xing)與(yu)前述的(de)(de)(de)第(di)(di)一(yi)級(ji)卷(juan)積神(shen)(shen)經(jing)網絡(luo)和第(di)(di)二級(ji)卷(juan)積神(shen)(shen)經(jing)網絡(luo)所識別的(de)(de)(de)特(te)(te)征類(lei)型(xing)(xing)不同，完成識別后可(ke)根據識別出的(de)(de)(de)特(te)(te)征確(que)定(ding)第(di)(di)三(san)區域(yu)(yu)(yu)中的(de)(de)(de)人臉區域(yu)(yu)(yu)，具體(ti)可(ke)以(yi)通過(guo)預置的(de)(de)(de)特(te)(te)征匹(pi)配算(suan)法(fa)進行計算(suan)匹(pi)配度的(de)(de)(de)計算(suan)，將(jiang)(jiang)匹(pi)配度最高的(de)(de)(de)第(di)(di)三(san)區域(yu)(yu)(yu)作為人臉區域(yu)(yu)(yu)。
在(zai)(zai)上述(shu)實施例中(zhong)，第(di)一級(ji)卷積神(shen)經網(wang)絡(luo)所(suo)識別的(de)特(te)征比(bi)較(jiao)(jiao)簡(jian)單，判別閾值可以設置得(de)比(bi)較(jiao)(jiao)寬松，這樣(yang)就可以在(zai)(zai)保持較(jiao)(jiao)高召回率的(de)同時排除掉大量的(de)非人臉窗口；第(di)二(er)極(ji)卷積神(shen)經網(wang)絡(luo)和第(di)二(er)極(ji)卷積神(shen)經網(wang)絡(luo)可以設計得(de)比(bi)較(jiao)(jiao)復雜，但由于(yu)只需要處理前(qian)面剩(sheng)下的(de)窗口，因此可以保證足夠的(de)效(xiao)率。
采用(yong)級聯的(de)思想可(ke)以(yi)幫(bang)助去組合(he)利用(yong)性能較差的(de)分類器(qi)，同時(shi)又可(ke)以(yi)獲(huo)得(de)一(yi)定的(de)效率保證，由于每(mei)一(yi)級輸入的(de)圖(tu)像像素大小(xiao)不一(yi)，可(ke)以(yi)使網絡學習到(dao)多尺(chi)度特征組合(he)，便于完(wan)成對人臉的(de)最(zui)終識別(bie)。
目(mu)前(qian)已有(you)的(de)深度(du)模(mo)型都比(bi)較(jiao)(jiao)大(卷積神經網(wang)絡的(de)級數較(jiao)(jiao)多)，如相關技(ji)術中的(de)模(mo)型超過15mb，導(dao)致人臉(lian)檢(jian)(jian)測速(su)度(du)比(bi)較(jiao)(jiao)慢(在主(zhu)流pc上大于(yu)300ms)，無法滿足(zu)實時(shi)性的(de)要求。本申請(qing)采用的(de)級聯結果的(de)深度(du)網(wang)絡架構具有(you)檢(jian)(jian)測率(lv)高、誤檢(jian)(jian)低、速(su)度(du)快(主(zhu)流pc上小(xiao)(xiao)于(yu)40ms)、模(mo)型小(xiao)(xiao)等特點(dian)，充分彌補了已有(you)的(de)人臉(lian)檢(jian)(jian)測方(fang)法的(de)不足(zu)。
在(zai)步驟s306提(ti)供(gong)的(de)(de)(de)技術方案中，返(fan)回(hui)定(ding)位結(jie)果包(bao)括(kuo)：返(fan)回(hui)卷積神經網絡定(ding)位出的(de)(de)(de)人(ren)臉(lian)區(qu)(qu)域(yu)的(de)(de)(de)位置信息，其中，位置信息用于指示人(ren)臉(lian)區(qu)(qu)域(yu)在(zai)目標圖片中的(de)(de)(de)位置。
在相關(guan)的(de)(de)產品應(ying)用中(zhong)，本申(shen)請可(ke)返回人(ren)臉(lian)(lian)(lian)框(kuang)在圖像中(zhong)的(de)(de)位(wei)置(zhi)信息(xi)，如(ru)位(wei)置(zhi)信息(xi)(xi,yi,wi,hi)，i＝1…k，k為檢測到的(de)(de)人(ren)臉(lian)(lian)(lian)個數。(xi,yi)(xi,yi)表(biao)示(shi)人(ren)臉(lian)(lian)(lian)框(kuang)左(zuo)上頂點的(de)(de)圖像坐(zuo)標，wi和hi分別表(biao)示(shi)人(ren)臉(lian)(lian)(lian)框(kuang)的(de)(de)寬(kuan)度(du)和高度(du)。如(ru)圖8所(suo)示(shi)，對(dui)圖8中(zhong)左(zuo)側圖像完成(cheng)檢測之后，得到如(ru)右側圖所(suo)示(shi)的(de)(de)人(ren)臉(lian)(lian)(lian)區(qu)域，并將位(wei)置(zhi)信息(xi)返回給(gei)發起請求的(de)(de)對(dui)象。
需要(yao)說你的(de)(de)是，上(shang)述的(de)(de)位(wei)置信息(xi)(xi)為在圖像中(zhong)能夠唯一確定(ding)出一個人臉區域(yu)的(de)(de)信息(xi)(xi)，上(shang)述的(de)(de)(xi,yi,wi,hi)僅為一種示意性的(de)(de)位(wei)置信息(xi)(xi)的(de)(de)表(biao)示方式，具體可以(yi)(yi)(yi)更加需要(yao)進(jin)行調(diao)整，如返回左下(xia)(xia)(xia)角、右下(xia)(xia)(xia)角以(yi)(yi)(yi)及右下(xia)(xia)(xia)角中(zhong)任(ren)意一個角的(de)(de)坐(zuo)標(biao)，并返回人臉框的(de)(de)寬(kuan)度(du)和高度(du)；也可以(yi)(yi)(yi)區域(yu)中(zhong)心點(dian)的(de)(de)坐(zuo)標(biao)，并返回人臉框的(de)(de)寬(kuan)度(du)和高度(du)；還可以(yi)(yi)(yi)返回左下(xia)(xia)(xia)角、左上(shang)角、右下(xia)(xia)(xia)角以(yi)(yi)(yi)及右下(xia)(xia)(xia)角中(zhong)任(ren)意兩個點(dian)的(de)(de)坐(zuo)標(biao)。
在得到圖(tu)像(xiang)中的(de)(de)人(ren)(ren)臉(lian)位(wei)置之后(hou)可(ke)完成人(ren)(ren)臉(lian)關鍵點定(ding)(ding)位(wei)、活體檢(jian)測(ce)、人(ren)(ren)臉(lian)識別(bie)與檢(jian)索等應用(yong)，如對于人(ren)(ren)臉(lian)關鍵點定(ding)(ding)位(wei)而言，可(ke)以根(gen)據相(xiang)關算法定(ding)(ding)位(wei)出人(ren)(ren)臉(lian)區域內的(de)(de)眼睛、鼻子、嘴(zui)、眉毛等特征部位(wei)。
在(zai)本(ben)申請的實施例中，采用基于(yu)(yu)卷(juan)積神經(jing)網絡(cnn)的人臉(lian)檢(jian)測(ce)(ce)方(fang)法，由于(yu)(yu)卷(juan)積網絡對樣本(ben)具有更強的特征表示能力，卷(juan)積神經(jing)網絡的基于(yu)(yu)深度學習(xi)的人臉(lian)檢(jian)測(ce)(ce)在(zai)多(duo)種復雜場景下能夠取得更為(wei)優異的檢(jian)測(ce)(ce)性(xing)能。
下面(mian)結合圖9和圖10進(jin)一步詳述(shu)本(ben)申請(qing)的實施(shi)例(li)：
步(bu)驟s902，學習卷積神經網絡中參(can)數的數值。
步驟s904，輸入一幅圖像p到第一級卷積神經網絡net-1，net-1的人臉分類分支將輸出一個概率圖prob(如圖10所示)，prob中一個點對應人臉在圖像p中某個位置出現的可能性(即置信度)。設定閾值cls-1，將prob中大于cls-1的位置保留，假設得到人臉框為
步驟s906，通過net-1的人臉框回歸分支調整r1中各個人臉框的位置，得到更精確的人臉框集合
步驟s908，將
步驟s910，將
步驟s912，通過net-2的人臉框回歸分支調整r2中各個人臉框的位置，得到更精確的人臉框集合
步驟s914，將
步驟s916，將
步驟s918，通過net-3的人臉框回歸分支調整r3中各個人臉框的位置，得到更精確的人臉框集合
步驟s920，將
使用本申請實(shi)施例提供的(de)技術方案，可以(yi)sdk的(de)形式為各類場(chang)景提供服務，可以(yi)使得(de)人臉檢(jian)(jian)測(ce)的(de)檢(jian)(jian)測(ce)率高、誤檢(jian)(jian)低(di)，使得(de)基于深度學習(xi)的(de)人臉檢(jian)(jian)測(ce)在移(yi)動端(duan)實(shi)時人臉檢(jian)(jian)測(ce)成為可能。
需(xu)要(yao)說明的(de)(de)是(shi)，對(dui)于前述(shu)的(de)(de)各方法實施例，為了簡單(dan)描述(shu)，故將其都表述(shu)為一(yi)系列(lie)的(de)(de)動作(zuo)組合(he)，但是(shi)本領(ling)域(yu)技術人員(yuan)應該(gai)知悉，本發明并不受(shou)所(suo)描述(shu)的(de)(de)動作(zuo)順序的(de)(de)限制，因為依據本發明，某些步驟可(ke)以采(cai)用(yong)其他順序或者同時(shi)進行(xing)。其次，本領(ling)域(yu)技術人員(yuan)也應該(gai)知悉，說明書(shu)中所(suo)描述(shu)的(de)(de)實施例均屬于優選實施例，所(suo)涉及的(de)(de)動作(zuo)和模塊并不一(yi)定(ding)是(shi)本發明所(suo)必須的(de)(de)。
通(tong)(tong)過以(yi)上的(de)實(shi)施(shi)方(fang)式(shi)(shi)的(de)描述，本(ben)領域的(de)技術(shu)(shu)人員(yuan)可(ke)(ke)以(yi)清楚地了解(jie)到根據(ju)上述實(shi)施(shi)例(li)的(de)方(fang)法可(ke)(ke)借助軟件加必(bi)需(xu)的(de)通(tong)(tong)用硬件平臺的(de)方(fang)式(shi)(shi)來實(shi)現(xian)，當然也可(ke)(ke)以(yi)通(tong)(tong)過硬件，但很多(duo)情況(kuang)下(xia)前者(zhe)是更(geng)佳(jia)的(de)實(shi)施(shi)方(fang)式(shi)(shi)。基于這樣的(de)理解(jie)，本(ben)發(fa)明的(de)技術(shu)(shu)方(fang)案本(ben)質上或者(zhe)說(shuo)對現(xian)有技術(shu)(shu)做出(chu)貢獻的(de)部分可(ke)(ke)以(yi)以(yi)軟件產(chan)品的(de)形(xing)式(shi)(shi)體現(xian)出(chu)來，該計(ji)算機軟件產(chan)品存(cun)儲在一個存(cun)儲介質(如rom/ram、磁碟、光盤)中，包括(kuo)若干指令用以(yi)使得一臺終端設備(bei)(可(ke)(ke)以(yi)是手(shou)機，計(ji)算機，服務器，或者(zhe)網絡設備(bei)等)執(zhi)行本(ben)發(fa)明各個實(shi)施(shi)例(li)所述的(de)方(fang)法。
實施例2
根據(ju)本(ben)發(fa)明實施(shi)例，還提供了(le)一(yi)種用于實施(shi)上(shang)述人臉區域的(de)確(que)定方(fang)法(fa)的(de)人臉區域的(de)確(que)定裝(zhuang)(zhuang)置(zhi)。圖11是根據(ju)本(ben)發(fa)明實施(shi)例的(de)一(yi)種可(ke)選的(de)人臉區域的(de)確(que)定裝(zhuang)(zhuang)置(zhi)的(de)示(shi)(shi)意圖，如(ru)圖11所示(shi)(shi)，該裝(zhuang)(zhuang)置(zhi)可(ke)以(yi)包括：接(jie)收單元112、定位單元114以(yi)及返回單元116。
接收(shou)單元112，用(yong)于(yu)接收(shou)定位(wei)請求，定位(wei)請求用(yong)于(yu)請求在目標圖片中定位(wei)出人(ren)臉區域(yu)；
定位單元114，用(yong)于(yu)通過(guo)卷積(ji)神經網絡對(dui)目標圖片進行人臉定位操作(zuo)(zuo)，得到定位結果，卷積(ji)神經網絡用(yong)于(yu)調用(yong)圖形(xing)處理器對(dui)目標圖片進行卷積(ji)操作(zuo)(zuo)，人臉定位操作(zuo)(zuo)包括卷積(ji)操作(zuo)(zuo)；
返回單元116，用(yong)于在定(ding)位結果(guo)用(yong)于表示(shi)目標圖片中定(ding)位出存在人臉區域的情況下，返回定(ding)位結果(guo)。
需要說(shuo)明的(de)是，該實施例中(zhong)(zhong)的(de)接收單(dan)元(yuan)112可(ke)以(yi)用于(yu)(yu)(yu)執(zhi)(zhi)行(xing)本(ben)申(shen)(shen)請(qing)(qing)實施例1中(zhong)(zhong)的(de)步(bu)驟(zou)s302，該實施例中(zhong)(zhong)的(de)定位(wei)單(dan)元(yuan)114可(ke)以(yi)用于(yu)(yu)(yu)執(zhi)(zhi)行(xing)本(ben)申(shen)(shen)請(qing)(qing)實施例1中(zhong)(zhong)的(de)步(bu)驟(zou)s304，該實施例中(zhong)(zhong)的(de)返回單(dan)元(yuan)116可(ke)以(yi)用于(yu)(yu)(yu)執(zhi)(zhi)行(xing)本(ben)申(shen)(shen)請(qing)(qing)實施例1中(zhong)(zhong)的(de)步(bu)驟(zou)s306。
此處需要說明的(de)(de)(de)是(shi)，上述模(mo)塊(kuai)與對(dui)應的(de)(de)(de)步(bu)驟所(suo)實(shi)現的(de)(de)(de)示(shi)例(li)和應用場(chang)景相同，但(dan)不(bu)限于(yu)上述實(shi)施例(li)1所(suo)公(gong)開的(de)(de)(de)內容(rong)。需要說明的(de)(de)(de)是(shi)，上述模(mo)塊(kuai)作為裝置的(de)(de)(de)一部分可(ke)以運(yun)行在(zai)如圖(tu)2所(suo)示(shi)的(de)(de)(de)硬(ying)件環(huan)境中(zhong)，可(ke)以通(tong)(tong)過(guo)軟件實(shi)現，也可(ke)以通(tong)(tong)過(guo)硬(ying)件實(shi)現。
通(tong)(tong)過(guo)上(shang)述模塊(kuai)，在接收定(ding)(ding)位(wei)(wei)請求時(shi)，通(tong)(tong)過(guo)卷積(ji)神(shen)經(jing)網絡對目標圖(tu)片進(jin)行(xing)人臉(lian)(lian)定(ding)(ding)位(wei)(wei)操(cao)作，得(de)到(dao)定(ding)(ding)位(wei)(wei)結果，在定(ding)(ding)位(wei)(wei)結果用于表示目標圖(tu)片中(zhong)定(ding)(ding)位(wei)(wei)出(chu)存在人臉(lian)(lian)區域(yu)(yu)的(de)情(qing)況下，返回定(ding)(ding)位(wei)(wei)結果，由于進(jin)行(xing)人臉(lian)(lian)識(shi)別(bie)的(de)過(guo)程中(zhong)，在初(chu)步(bu)識(shi)別(bie)中(zhong)是通(tong)(tong)過(guo)卷積(ji)神(shen)經(jing)網絡中(zhong)的(de)全卷積(ji)網絡直接調(diao)用圖(tu)形(xing)處理器對目標圖(tu)片進(jin)行(xing)卷積(ji)操(cao)作，采用這(zhe)種硬件加速的(de)方(fang)式，而不是通(tong)(tong)過(guo)cpu進(jin)行(xing)逐個區域(yu)(yu)的(de)掃(sao)描這(zhe)一軟(ruan)件處理方(fang)式，可(ke)以解決了相(xiang)關技術中(zhong)進(jin)行(xing)人臉(lian)(lian)檢測的(de)實(shi)時(shi)性(xing)較差(cha)的(de)技術問題，進(jin)而達到(dao)了提高人臉(lian)(lian)檢測的(de)實(shi)時(shi)性(xing)的(de)技術效果。
相關技術中的(de)(de)人(ren)臉(lian)檢(jian)測算法在通用應用場(chang)景下存在諸多問(wen)題，如(ru)基于特征(zheng)的(de)(de)人(ren)臉(lian)檢(jian)測雖然(ran)檢(jian)測速度快(kuai)，但對于稍復雜(za)的(de)(de)場(chang)景該類算法的(de)(de)檢(jian)測率偏(pian)低，缺乏魯棒性；基于adaboost人(ren)臉(lian)檢(jian)測算法雖然(ran)模(mo)型(xing)小，檢(jian)測速度也較(jiao)快(kuai)，但對于復雜(za)場(chang)景的(de)(de)魯棒性較(jiao)差，如(ru)對于極端場(chang)景下的(de)(de)人(ren)臉(lian)檢(jian)測，如(ru)戴口罩、戴黑(hei)框眼鏡(jing)、模(mo)糊圖(tu)像等檢(jian)測場(chang)景。
而(er)在(zai)本(ben)(ben)申請中(zhong)，采用的(de)卷積神(shen)(shen)經(jing)(jing)網絡(luo)主要(yao)(yao)有三(san)個(ge)，分別為(wei)第(di)一(yi)(yi)級(ji)卷積神(shen)(shen)經(jing)(jing)網絡(luo)net-1、第(di)二(er)級(ji)卷積神(shen)(shen)經(jing)(jing)網絡(luo)net-2、第(di)三(san)級(ji)卷積神(shen)(shen)經(jing)(jing)網絡(luo)net-3，采用級(ji)聯(lian)結構，給定(ding)一(yi)(yi)幅圖像，通過(guo)net-1后輸出候(hou)選(xuan)人(ren)(ren)臉(lian)框(kuang)集(ji)合(he)(he)(he)，將候(hou)選(xuan)集(ji)合(he)(he)(he)輸入到net-2，得(de)到較精(jing)準的(de)候(hou)選(xuan)人(ren)(ren)臉(lian)框(kuang)集(ji)合(he)(he)(he)，再將得(de)到的(de)候(hou)選(xuan)集(ji)合(he)(he)(he)輸入到net-3，得(de)到最(zui)(zui)終的(de)人(ren)(ren)臉(lian)框(kuang)集(ji)合(he)(he)(he)，即(ji)是最(zui)(zui)終的(de)人(ren)(ren)臉(lian)位置，這(zhe)是一(yi)(yi)個(ge)由(you)粗到精(jing)的(de)過(guo)程。使用本(ben)(ben)申請的(de)方法，能夠在(zai)保證魯棒(bang)性(xing)、檢(jian)測率(lv)及準確率(lv)的(de)前(qian)提下解決相關技(ji)術中(zhong)實時性(xing)較差的(de)問題，主要(yao)(yao)體現如下：
(1)采用(yong)了(le)卷(juan)積(ji)神經(jing)網(wang)cnn來表(biao)達人臉(lian)(lian)特(te)征，相(xiang)(xiang)較(jiao)于相(xiang)(xiang)關技術中的(de)(de)基于adaboost或svm的(de)(de)人臉(lian)(lian)檢測方法，對(dui)于側臉(lian)(lian)、暗光以(yi)及(ji)模(mo)糊等場景的(de)(de)檢測具有更(geng)強的(de)(de)魯棒性，同(tong)時采用(yong)三級級聯(lian)結構(gou)的(de)(de)卷(juan)積(ji)神經(jing)網(wang)，能夠(gou)保證識別的(de)(de)準確度(du)；
(2)將人(ren)臉框(即人(ren)臉區域)的(de)初始定位和精確定位分別用一(yi)個(ge)分類分支和回歸分支來代(dai)替，兩(liang)個(ge)分支共享(xiang)中(zhong)間層，相較于目前出現的(de)一(yi)些人(ren)臉檢測方法所使用的(de)模(mo)(mo)型(如基(ji)于深(shen)度(du)學習的(de)模(mo)(mo)型)，減(jian)小(xiao)(xiao)了模(mo)(mo)型的(de)大小(xiao)(xiao)，使得檢測速度(du)更(geng)快(kuai)；
(3)本申請的(de)(de)(de)三級級聯結構中的(de)(de)(de)第一級網絡(luo)(luo)采用(yong)(yong)了全卷積(ji)(ji)神(shen)經網絡(luo)(luo)，代(dai)替(ti)了傳(chuan)統的(de)(de)(de)掃描窗(chuang)(slidingwindow)的(de)(de)(de)方式，全卷積(ji)(ji)神(shen)經網絡(luo)(luo)直接調用(yong)(yong)gpu進行處理，使得生成候選(xuan)人臉框的(de)(de)(de)過程大(da)大(da)加快(kuai)。
可(ke)選地，在進行人(ren)臉(lian)識(shi)別之前(qian)，可(ke)以(yi)采用如下(xia)方(fang)式學習卷(juan)(juan)積(ji)神(shen)經(jing)(jing)網絡中(zhong)的(de)參數：本申(shen)請(qing)裝(zhuang)置所包括(kuo)(kuo)的(de)訓練單(dan)元，在接收(shou)定位請(qing)求之前(qian)，通過圖片集(ji)合中(zhong)的(de)圖片對卷(juan)(juan)積(ji)神(shen)經(jing)(jing)網絡進行訓練，以(yi)確定卷(juan)(juan)積(ji)神(shen)經(jing)(jing)網絡中(zhong)參數的(de)數值，其中(zhong)，圖片集(ji)合中(zhong)的(de)圖片為(wei)包括(kuo)(kuo)部分或者全部人(ren)臉(lian)區域的(de)圖像(xiang)。上(shang)述的(de)學習過程主要包括(kuo)(kuo)選擇合適的(de)訓練數據和訓練得到(dao)參數數值兩個部分。
在對卷(juan)積神經(jing)網絡(luo)中的參數訓(xun)練完畢之后，即可通過(guo)本申(shen)請提供的裝置(zhi)進行人臉區(qu)域(yu)的識別。具體如下：
通過(guo)接收(shou)單元接收(shou)定(ding)(ding)位請(qing)求，定(ding)(ding)位請(qing)求用于請(qing)求在目標圖片(pian)中定(ding)(ding)位出人(ren)臉區域。定(ding)(ding)位請(qing)求主要包括但不局限于以下幾種來源(yuan)：
(1)在本申請(qing)的(de)方法是集(ji)成在終端(duan)(duan)上、或者以客(ke)戶(hu)端(duan)(duan)a的(de)形式安裝在終端(duan)(duan)上的(de)情況下，可以接收終端(duan)(duan)上的(de)客(ke)戶(hu)端(duan)(duan)b向終端(duan)(duan)發起的(de)人臉(lian)定位請(qing)求，該客(ke)戶(hu)端(duan)(duan)b可以為直播(bo)美顏、人臉(lian)跟蹤等需要(yao)實時地檢測人臉(lian)的(de)客(ke)戶(hu)端(duan)(duan)；
(2)在本(ben)申(shen)請(qing)的方法是集成(cheng)在終(zhong)(zhong)端a上(shang)、或者(zhe)以(yi)客戶(hu)端的形式安裝在終(zhong)(zhong)端a上(shang)的情(qing)況下，終(zhong)(zhong)端b與終(zhong)(zhong)端a通訊(xun)連接(jie)(如通過wifi、藍(lan)牙(ya)、nfc等方式連接(jie))，終(zhong)(zhong)端a接(jie)收到的終(zhong)(zhong)端b發起(qi)的人臉定位請(qing)求；
(3)在(zai)本申請所提供的方法以(yi)軟件(jian)開發工具包(bao)sdk的形(xing)式運行在(zai)服(fu)務器(qi)上的情況(kuang)下(xia)，在(zai)服(fu)務器(qi)上接收到的其它(ta)設備通過調用接口發起(qi)的人臉定(ding)位(wei)請求，其它(ta)設備可(ke)以(yi)為手(shou)機、電腦(nao)(nao)、平板電腦(nao)(nao)等(deng)設備。
本申請三級卷(juan)(juan)(juan)(juan)積(ji)(ji)神(shen)(shen)經(jing)網(wang)(wang)絡(luo)(luo)(luo)為采用(yong)級聯的(de)(de)方式(shi)工作(zuo)，第一(yi)(yi)級卷(juan)(juan)(juan)(juan)積(ji)(ji)神(shen)(shen)經(jing)網(wang)(wang)絡(luo)(luo)(luo)的(de)(de)人臉(lian)框集(ji)合1可以(yi)作(zuo)為三級卷(juan)(juan)(juan)(juan)積(ji)(ji)神(shen)(shen)經(jing)網(wang)(wang)絡(luo)(luo)(luo)中(zhong)第二(er)(er)級卷(juan)(juan)(juan)(juan)積(ji)(ji)神(shen)(shen)經(jing)網(wang)(wang)絡(luo)(luo)(luo)net-2(即第二(er)(er)卷(juan)(juan)(juan)(juan)積(ji)(ji)神(shen)(shen)經(jing)網(wang)(wang)絡(luo)(luo)(luo))的(de)(de)輸入，進行進一(yi)(yi)步過濾篩選(xuan)，第二(er)(er)級卷(juan)(juan)(juan)(juan)積(ji)(ji)神(shen)(shen)經(jing)網(wang)(wang)絡(luo)(luo)(luo)進行過濾篩選(xuan)的(de)(de)輸出(chu)又可以(yi)作(zuo)為第三級卷(juan)(juan)(juan)(juan)積(ji)(ji)神(shen)(shen)經(jing)網(wang)(wang)絡(luo)(luo)(luo)(第三卷(juan)(juan)(juan)(juan)積(ji)(ji)神(shen)(shen)經(jing)網(wang)(wang)絡(luo)(luo)(luo))的(de)(de)輸入，將第三級卷(juan)(juan)(juan)(juan)積(ji)(ji)神(shen)(shen)經(jing)網(wang)(wang)絡(luo)(luo)(luo)過濾篩選(xuan)的(de)(de)輸出(chu)作(zuo)為最終的(de)(de)結果。
可選(xuan)地，定位單(dan)元(yuan)包括(kuo)：卷(juan)(juan)積模塊，用(yong)于(yu)通過第(di)一(yi)卷(juan)(juan)積神(shen)經網絡調用(yong)圖形(xing)處理器(qi)對目標圖片進行卷(juan)(juan)積操作，得到卷(juan)(juan)積結果，其中，卷(juan)(juan)積神(shen)經網絡包括(kuo)第(di)一(yi)卷(juan)(juan)積神(shen)經網絡；第(di)一(yi)確(que)定模塊，用(yong)于(yu)根(gen)據(ju)卷(juan)(juan)積結果確(que)定目標圖片中的第(di)一(yi)區域(yu)(yu)為人臉區域(yu)(yu)的置(zhi)信度；第(di)二確(que)定模塊，用(yong)于(yu)根(gen)據(ju)置(zhi)信度在(zai)第(di)一(yi)區域(yu)(yu)中確(que)定出(chu)人臉區域(yu)(yu)。
可選地(di)，第(di)(di)二確(que)定模塊(kuai)包(bao)括：調(diao)(diao)整子模塊(kuai)，用于(yu)根(gen)據(ju)人(ren)臉參考(kao)特征在第(di)(di)一(yi)區(qu)(qu)域中的(de)位(wei)(wei)置(zhi)對第(di)(di)一(yi)區(qu)(qu)域進行位(wei)(wei)置(zhi)調(diao)(diao)整，以(yi)使人(ren)臉參考(kao)特征位(wei)(wei)于(yu)經(jing)過(guo)位(wei)(wei)置(zhi)調(diao)(diao)整后的(de)第(di)(di)一(yi)區(qu)(qu)域中的(de)預設位(wei)(wei)置(zhi)；第(di)(di)二確(que)定子模塊(kuai)，用于(yu)根(gen)據(ju)置(zhi)信度(du)在第(di)(di)一(yi)區(qu)(qu)域中確(que)定出(chu)人(ren)臉區(qu)(qu)域包(bao)括：根(gen)據(ju)置(zhi)信度(du)在經(jing)過(guo)位(wei)(wei)置(zhi)調(diao)(diao)整后的(de)第(di)(di)一(yi)區(qu)(qu)域中確(que)定出(chu)人(ren)臉區(qu)(qu)域。
可選(xuan)地，卷(juan)積(ji)(ji)模塊還用(yong)(yong)于通過調用(yong)(yong)圖(tu)形處理(li)器(qi)執行第(di)(di)一(yi)卷(juan)積(ji)(ji)神(shen)經網絡上的(de)卷(juan)積(ji)(ji)算法，以對目(mu)標圖(tu)片中(zhong)(zhong)的(de)各(ge)個第(di)(di)一(yi)區(qu)域(yu)進行一(yi)類(lei)特(te)(te)征(zheng)的(de)識(shi)別，得(de)到卷(juan)積(ji)(ji)結(jie)果，其中(zhong)(zhong)，卷(juan)積(ji)(ji)結(jie)果用(yong)(yong)于指(zhi)示一(yi)類(lei)特(te)(te)征(zheng)中(zhong)(zhong)第(di)(di)一(yi)區(qu)域(yu)所(suo)(suo)具(ju)有(you)的(de)特(te)(te)征(zheng)；第(di)(di)一(yi)確(que)定(ding)模塊還用(yong)(yong)于根(gen)據一(yi)類(lei)特(te)(te)征(zheng)中(zhong)(zhong)第(di)(di)一(yi)區(qu)域(yu)所(suo)(suo)具(ju)有(you)的(de)特(te)(te)征(zheng)確(que)定(ding)第(di)(di)一(yi)區(qu)域(yu)為人臉區(qu)域(yu)的(de)置信度。
可選地，卷(juan)積(ji)神(shen)經(jing)(jing)網絡(luo)(luo)還包(bao)括(kuo)第(di)(di)(di)二卷(juan)積(ji)神(shen)經(jing)(jing)網絡(luo)(luo)和第(di)(di)(di)三(san)(san)卷(juan)積(ji)神(shen)經(jing)(jing)網絡(luo)(luo)，其中(zhong)，第(di)(di)(di)一(yi)確定模塊包(bao)括(kuo)：第(di)(di)(di)一(yi)確定子模塊，用于(yu)(yu)通(tong)過(guo)(guo)第(di)(di)(di)二卷(juan)積(ji)神(shen)經(jing)(jing)網絡(luo)(luo)確定第(di)(di)(di)二區(qu)(qu)(qu)域(yu)(yu)為人臉(lian)區(qu)(qu)(qu)域(yu)(yu)的(de)(de)置信度(du)，其中(zhong)，第(di)(di)(di)二區(qu)(qu)(qu)域(yu)(yu)為第(di)(di)(di)一(yi)區(qu)(qu)(qu)域(yu)(yu)中(zhong)置信度(du)大于(yu)(yu)第(di)(di)(di)一(yi)閾(yu)值(zhi)的(de)(de)區(qu)(qu)(qu)域(yu)(yu)；識別子模塊，用于(yu)(yu)通(tong)過(guo)(guo)第(di)(di)(di)三(san)(san)卷(juan)積(ji)神(shen)經(jing)(jing)網絡(luo)(luo)識別出第(di)(di)(di)三(san)(san)區(qu)(qu)(qu)域(yu)(yu)中(zhong)的(de)(de)人臉(lian)區(qu)(qu)(qu)域(yu)(yu)，其中(zhong)，第(di)(di)(di)三(san)(san)區(qu)(qu)(qu)域(yu)(yu)為第(di)(di)(di)二區(qu)(qu)(qu)域(yu)(yu)中(zhong)置信度(du)大于(yu)(yu)第(di)(di)(di)二閾(yu)值(zhi)的(de)(de)區(qu)(qu)(qu)域(yu)(yu)。
具體可(ke)以(yi)在通過(guo)第(di)(di)二卷積神經(jing)(jing)網絡確(que)定第(di)(di)二區(qu)(qu)(qu)域(yu)(yu)為(wei)人(ren)臉區(qu)(qu)(qu)域(yu)(yu)的(de)置(zhi)信度之(zhi)前，將第(di)(di)二區(qu)(qu)(qu)域(yu)(yu)的(de)區(qu)(qu)(qu)域(yu)(yu)大小(xiao)調整為(wei)第(di)(di)四閾(yu)值，第(di)(di)四閾(yu)值大于第(di)(di)三閾(yu)值，例如將像素大小(xiao)調整為(wei)“24*24”的(de)3通道圖像，然后通過(guo)第(di)(di)二卷積神經(jing)(jing)網絡對(dui)經(jing)(jing)過(guo)區(qu)(qu)(qu)域(yu)(yu)大小(xiao)調整后的(de)第(di)(di)二區(qu)(qu)(qu)域(yu)(yu)進行特征識(shi)別(bie)，此處識(shi)別(bie)的(de)特征類型與前述(shu)的(de)第(di)(di)一(yi)級卷積神經(jing)(jing)網絡所識(shi)別(bie)的(de)特征類型不同(tong)，完(wan)成識(shi)別(bie)后可(ke)根據(ju)識(shi)別(bie)出的(de)特征確(que)定第(di)(di)二區(qu)(qu)(qu)域(yu)(yu)為(wei)人(ren)臉區(qu)(qu)(qu)域(yu)(yu)的(de)置(zhi)信度，具體可(ke)以(yi)通過(guo)預(yu)置(zhi)的(de)特征匹配算法進行計算。
可(ke)選地(di)，第(di)(di)(di)(di)一區(qu)(qu)(qu)(qu)域(yu)(yu)(yu)(yu)的(de)(de)(de)區(qu)(qu)(qu)(qu)域(yu)(yu)(yu)(yu)大小(xiao)不小(xiao)于(yu)(yu)第(di)(di)(di)(di)三(san)閾值(zhi)(zhi)，其中(zhong)(zhong)，第(di)(di)(di)(di)一確定(ding)子(zi)模(mo)塊(kuai)還用于(yu)(yu)：在通過(guo)(guo)第(di)(di)(di)(di)二卷積(ji)神經(jing)(jing)網(wang)絡確定(ding)第(di)(di)(di)(di)二區(qu)(qu)(qu)(qu)域(yu)(yu)(yu)(yu)為人臉(lian)區(qu)(qu)(qu)(qu)域(yu)(yu)(yu)(yu)的(de)(de)(de)置(zhi)信度(du)之前，將第(di)(di)(di)(di)二區(qu)(qu)(qu)(qu)域(yu)(yu)(yu)(yu)的(de)(de)(de)區(qu)(qu)(qu)(qu)域(yu)(yu)(yu)(yu)大小(xiao)調(diao)整(zheng)為第(di)(di)(di)(di)四閾值(zhi)(zhi)，其中(zhong)(zhong)，第(di)(di)(di)(di)四閾值(zhi)(zhi)大于(yu)(yu)第(di)(di)(di)(di)三(san)閾值(zhi)(zhi)；通過(guo)(guo)第(di)(di)(di)(di)二卷積(ji)神經(jing)(jing)網(wang)絡對(dui)經(jing)(jing)過(guo)(guo)區(qu)(qu)(qu)(qu)域(yu)(yu)(yu)(yu)大小(xiao)調(diao)整(zheng)后的(de)(de)(de)第(di)(di)(di)(di)二區(qu)(qu)(qu)(qu)域(yu)(yu)(yu)(yu)進(jin)行特(te)(te)征識(shi)別(bie)，并(bing)(bing)根據(ju)識(shi)別(bie)出(chu)的(de)(de)(de)特(te)(te)征確定(ding)第(di)(di)(di)(di)二區(qu)(qu)(qu)(qu)域(yu)(yu)(yu)(yu)為人臉(lian)區(qu)(qu)(qu)(qu)域(yu)(yu)(yu)(yu)的(de)(de)(de)置(zhi)信度(du)；識(shi)別(bie)子(zi)模(mo)塊(kuai)還用于(yu)(yu)：將第(di)(di)(di)(di)三(san)區(qu)(qu)(qu)(qu)域(yu)(yu)(yu)(yu)的(de)(de)(de)區(qu)(qu)(qu)(qu)域(yu)(yu)(yu)(yu)大小(xiao)調(diao)整(zheng)為第(di)(di)(di)(di)五(wu)閾值(zhi)(zhi)，其中(zhong)(zhong)，第(di)(di)(di)(di)五(wu)閾值(zhi)(zhi)大于(yu)(yu)第(di)(di)(di)(di)四閾值(zhi)(zhi)；通過(guo)(guo)第(di)(di)(di)(di)三(san)卷積(ji)神經(jing)(jing)網(wang)絡對(dui)經(jing)(jing)過(guo)(guo)區(qu)(qu)(qu)(qu)域(yu)(yu)(yu)(yu)大小(xiao)調(diao)整(zheng)后的(de)(de)(de)第(di)(di)(di)(di)三(san)區(qu)(qu)(qu)(qu)域(yu)(yu)(yu)(yu)進(jin)行特(te)(te)征識(shi)別(bie)，并(bing)(bing)根據(ju)識(shi)別(bie)出(chu)的(de)(de)(de)特(te)(te)征確定(ding)第(di)(di)(di)(di)三(san)區(qu)(qu)(qu)(qu)域(yu)(yu)(yu)(yu)中(zhong)(zhong)的(de)(de)(de)人臉(lian)區(qu)(qu)(qu)(qu)域(yu)(yu)(yu)(yu)。
也(ye)即在通過第(di)三(san)卷積(ji)神經(jing)網(wang)絡識(shi)別(bie)(bie)出(chu)第(di)三(san)區(qu)(qu)(qu)域(yu)中的(de)人臉(lian)區(qu)(qu)(qu)域(yu)之前(qian)，可(ke)以將第(di)三(san)區(qu)(qu)(qu)域(yu)的(de)區(qu)(qu)(qu)域(yu)大小調整為(wei)(wei)第(di)五閾(yu)值，第(di)五閾(yu)值大于第(di)四(si)閾(yu)值，例如將第(di)三(san)區(qu)(qu)(qu)域(yu)調整為(wei)(wei)“48*48”的(de)圖(tu)像作(zuo)為(wei)(wei)第(di)三(san)卷積(ji)神經(jing)網(wang)絡的(de)輸入，通過第(di)三(san)卷積(ji)神經(jing)網(wang)絡對經(jing)過區(qu)(qu)(qu)域(yu)大小調整后的(de)第(di)三(san)區(qu)(qu)(qu)域(yu)進(jin)行(xing)特(te)(te)(te)征(zheng)識(shi)別(bie)(bie)，此處所識(shi)別(bie)(bie)的(de)特(te)(te)(te)征(zheng)類型(xing)(xing)與前(qian)述的(de)第(di)一級卷積(ji)神經(jing)網(wang)絡和第(di)二級卷積(ji)神經(jing)網(wang)絡所識(shi)別(bie)(bie)的(de)特(te)(te)(te)征(zheng)類型(xing)(xing)不同(tong)，完成(cheng)識(shi)別(bie)(bie)后可(ke)根(gen)據識(shi)別(bie)(bie)出(chu)的(de)特(te)(te)(te)征(zheng)確定(ding)第(di)三(san)區(qu)(qu)(qu)域(yu)中的(de)人臉(lian)區(qu)(qu)(qu)域(yu)，具體可(ke)以通過預(yu)置的(de)特(te)(te)(te)征(zheng)匹(pi)配算(suan)法進(jin)行(xing)計(ji)算(suan)匹(pi)配度(du)的(de)計(ji)算(suan)，將匹(pi)配度(du)最高的(de)第(di)三(san)區(qu)(qu)(qu)域(yu)作(zuo)為(wei)(wei)人臉(lian)區(qu)(qu)(qu)域(yu)。
在(zai)上述實(shi)施例(li)中，第一級(ji)卷(juan)積(ji)神經網(wang)絡所識別(bie)的(de)(de)特征比較(jiao)(jiao)簡(jian)單，判別(bie)閾值可以設(she)置得比較(jiao)(jiao)寬松(song)，這樣就可以在(zai)保(bao)持較(jiao)(jiao)高召回率的(de)(de)同時排除掉大量(liang)的(de)(de)非人臉窗口；第二極(ji)卷(juan)積(ji)神經網(wang)絡和第二極(ji)卷(juan)積(ji)神經網(wang)絡可以設(she)計得比較(jiao)(jiao)復(fu)雜，但由于只需(xu)要(yao)處理前(qian)面剩下的(de)(de)窗口，因此可以保(bao)證足夠的(de)(de)效率。
采用(yong)級聯的(de)思(si)想可以(yi)(yi)幫助去組合利(li)用(yong)性能較(jiao)差的(de)分類器，同時(shi)又(you)可以(yi)(yi)獲得(de)一定的(de)效率保證，由于每一級輸入的(de)圖像像素(su)大小(xiao)不(bu)一，可以(yi)(yi)使(shi)網絡(luo)學(xue)習到多(duo)尺(chi)度特征組合，便于完(wan)成對(dui)人臉的(de)最終識別。
目前(qian)已有(you)的(de)(de)深度模型都比(bi)較大(卷積神(shen)經網絡的(de)(de)級數較多)，如相關技術中的(de)(de)模型超過(guo)15mb，導致人臉檢(jian)(jian)測(ce)速度比(bi)較慢(在(zai)主流(liu)pc上(shang)(shang)大于(yu)300ms)，無法滿(man)足實(shi)時性的(de)(de)要(yao)求。本申(shen)請(qing)采用的(de)(de)級聯結果的(de)(de)深度網絡架(jia)構具(ju)有(you)檢(jian)(jian)測(ce)率高、誤檢(jian)(jian)低、速度快(主流(liu)pc上(shang)(shang)小于(yu)40ms)、模型小等(deng)特點，充分彌補了已有(you)的(de)(de)人臉檢(jian)(jian)測(ce)方(fang)法的(de)(de)不足。
可選地，返(fan)回單元還用(yong)于返(fan)回卷(juan)積神經網絡定位(wei)(wei)出(chu)的(de)人臉區域的(de)位(wei)(wei)置(zhi)(zhi)信(xin)息，其中，位(wei)(wei)置(zhi)(zhi)信(xin)息用(yong)于指示人臉區域在目標圖片中的(de)位(wei)(wei)置(zhi)(zhi)。
在相(xiang)關的產品(pin)應用中(zhong)，本申請可(ke)返回人(ren)(ren)臉框在圖像(xiang)中(zhong)的位置信息，如位置信息(xi,yi,wi,hi)，i＝1…k，k為檢測到的人(ren)(ren)臉個數。(xi,yi)(xi,yi)表(biao)示(shi)人(ren)(ren)臉框左上頂點的圖像(xiang)坐(zuo)標，wi和(he)hi分別(bie)表(biao)示(shi)人(ren)(ren)臉框的寬度(du)和(he)高度(du)。
需(xu)要說你(ni)的(de)(de)(de)(de)(de)是，上(shang)述的(de)(de)(de)(de)(de)位置(zhi)信息(xi)為在圖像中能夠唯一(yi)(yi)確定出一(yi)(yi)個(ge)人(ren)臉(lian)區域的(de)(de)(de)(de)(de)信息(xi)，上(shang)述的(de)(de)(de)(de)(de)(xi,yi,wi,hi)僅為一(yi)(yi)種(zhong)示意性的(de)(de)(de)(de)(de)位置(zhi)信息(xi)的(de)(de)(de)(de)(de)表(biao)示方式(shi)，具體(ti)可以更(geng)加需(xu)要進行調整，如返回(hui)左下(xia)(xia)角、右(you)(you)下(xia)(xia)角以及右(you)(you)下(xia)(xia)角中任(ren)意一(yi)(yi)個(ge)角的(de)(de)(de)(de)(de)坐(zuo)標，并(bing)返回(hui)人(ren)臉(lian)框的(de)(de)(de)(de)(de)寬度(du)(du)和高(gao)度(du)(du)；也可以區域中心(xin)點的(de)(de)(de)(de)(de)坐(zuo)標，并(bing)返回(hui)人(ren)臉(lian)框的(de)(de)(de)(de)(de)寬度(du)(du)和高(gao)度(du)(du)；還可以返回(hui)左下(xia)(xia)角、左上(shang)角、右(you)(you)下(xia)(xia)角以及右(you)(you)下(xia)(xia)角中任(ren)意兩(liang)個(ge)點的(de)(de)(de)(de)(de)坐(zuo)標。
在得到圖像中的(de)人(ren)(ren)(ren)臉位置之后可完成人(ren)(ren)(ren)臉關鍵點(dian)定(ding)位、活體(ti)檢(jian)(jian)測、人(ren)(ren)(ren)臉識別與(yu)檢(jian)(jian)索等(deng)(deng)應(ying)用，如對于人(ren)(ren)(ren)臉關鍵點(dian)定(ding)位而言(yan)，可以根據相關算法定(ding)位出人(ren)(ren)(ren)臉區(qu)域內的(de)眼睛、鼻子、嘴、眉毛等(deng)(deng)特征(zheng)部位。
在(zai)本申請的(de)實施例(li)中，采用基于卷積(ji)神(shen)經(jing)(jing)網(wang)絡(cnn)的(de)人(ren)臉(lian)檢測(ce)方法，由于卷積(ji)網(wang)絡對樣本具有更(geng)強(qiang)的(de)特征表(biao)示能(neng)力，卷積(ji)神(shen)經(jing)(jing)網(wang)絡的(de)基于深度(du)學習的(de)人(ren)臉(lian)檢測(ce)在(zai)多種復(fu)雜(za)場景下能(neng)夠(gou)取得(de)更(geng)為優異的(de)檢測(ce)性能(neng)。
此處(chu)需(xu)(xu)要說明(ming)的(de)(de)(de)是(shi)，上(shang)述(shu)模(mo)塊與對(dui)應的(de)(de)(de)步驟(zou)所(suo)實現(xian)的(de)(de)(de)示例(li)和應用場景(jing)相(xiang)同(tong)，但不限(xian)于(yu)上(shang)述(shu)實施(shi)例(li)1所(suo)公(gong)開的(de)(de)(de)內(nei)容。需(xu)(xu)要說明(ming)的(de)(de)(de)是(shi)，上(shang)述(shu)模(mo)塊作(zuo)為裝置的(de)(de)(de)一部分可(ke)(ke)以(yi)運行在如圖(tu)2所(suo)示的(de)(de)(de)硬(ying)件(jian)環(huan)境中，可(ke)(ke)以(yi)通(tong)過軟件(jian)實現(xian)，也可(ke)(ke)以(yi)通(tong)過硬(ying)件(jian)實現(xian)，其(qi)中，硬(ying)件(jian)環(huan)境包括(kuo)網絡(luo)環(huan)境。
實施例3
根據本發(fa)明實(shi)施(shi)例，還提(ti)供(gong)了一(yi)種用于(yu)實(shi)施(shi)上(shang)述人臉區域的確定方法的服(fu)務(wu)器(qi)或終端。
圖(tu)12是根據本(ben)發(fa)明(ming)實(shi)施例的一(yi)種終(zhong)端(duan)(duan)的結構(gou)框圖(tu)，如圖(tu)12所示(shi)(shi)，該(gai)(gai)終(zhong)端(duan)(duan)可以(yi)包(bao)(bao)括：一(yi)個(ge)或多個(ge)(圖(tu)中(zhong)僅示(shi)(shi)出一(yi)個(ge))處理器1201、存儲(chu)器1203、以(yi)及傳(chuan)輸(shu)裝置(zhi)1205(如上(shang)述實(shi)施例中(zhong)的發(fa)送(song)裝置(zhi))，如圖(tu)12所示(shi)(shi)，該(gai)(gai)終(zhong)端(duan)(duan)還可以(yi)包(bao)(bao)括輸(shu)入輸(shu)出設備1207。
其中，存(cun)(cun)(cun)儲(chu)器(qi)(qi)(qi)1203可(ke)用于(yu)存(cun)(cun)(cun)儲(chu)軟件(jian)程(cheng)(cheng)(cheng)序(xu)以(yi)(yi)及(ji)模(mo)塊，如本(ben)發(fa)明實(shi)施例中的(de)人臉區域的(de)確定方法和裝置(zhi)對應的(de)程(cheng)(cheng)(cheng)序(xu)指令/模(mo)塊，處理器(qi)(qi)(qi)1201通過運行存(cun)(cun)(cun)儲(chu)在(zai)存(cun)(cun)(cun)儲(chu)器(qi)(qi)(qi)1203內的(de)軟件(jian)程(cheng)(cheng)(cheng)序(xu)以(yi)(yi)及(ji)模(mo)塊，從而執行各種功能應用以(yi)(yi)及(ji)數(shu)據處理，即(ji)實(shi)現上(shang)述的(de)人臉區域的(de)確定方法。存(cun)(cun)(cun)儲(chu)器(qi)(qi)(qi)1203可(ke)包(bao)括(kuo)高(gao)速隨機存(cun)(cun)(cun)儲(chu)器(qi)(qi)(qi)，還可(ke)以(yi)(yi)包(bao)括(kuo)非(fei)易(yi)失(shi)性存(cun)(cun)(cun)儲(chu)器(qi)(qi)(qi)，如一(yi)(yi)個或者(zhe)(zhe)多個磁性存(cun)(cun)(cun)儲(chu)裝置(zhi)、閃存(cun)(cun)(cun)、或者(zhe)(zhe)其他(ta)非(fei)易(yi)失(shi)性固態存(cun)(cun)(cun)儲(chu)器(qi)(qi)(qi)。在(zai)一(yi)(yi)些(xie)實(shi)例中，存(cun)(cun)(cun)儲(chu)器(qi)(qi)(qi)1203可(ke)進一(yi)(yi)步包(bao)括(kuo)相對于(yu)處理器(qi)(qi)(qi)1201遠程(cheng)(cheng)(cheng)設置(zhi)的(de)存(cun)(cun)(cun)儲(chu)器(qi)(qi)(qi)，這些(xie)遠程(cheng)(cheng)(cheng)存(cun)(cun)(cun)儲(chu)器(qi)(qi)(qi)可(ke)以(yi)(yi)通過網(wang)絡連(lian)接至(zhi)終端。上(shang)述網(wang)絡的(de)實(shi)例包(bao)括(kuo)但(dan)不限(xian)于(yu)互(hu)聯網(wang)、企業內部網(wang)、局(ju)域網(wang)、移(yi)動通信網(wang)及(ji)其組合。
上(shang)述的(de)傳(chuan)(chuan)輸(shu)裝(zhuang)置(zhi)1205用(yong)(yong)于經由一(yi)個(ge)(ge)網(wang)(wang)(wang)絡(luo)(luo)接(jie)收或(huo)者發(fa)送數據，還(huan)可以用(yong)(yong)于處理器(qi)(qi)與(yu)存儲器(qi)(qi)之間(jian)的(de)數據傳(chuan)(chuan)輸(shu)。上(shang)述的(de)網(wang)(wang)(wang)絡(luo)(luo)具體實例(li)可包括(kuo)有線(xian)網(wang)(wang)(wang)絡(luo)(luo)及無線(xian)網(wang)(wang)(wang)絡(luo)(luo)。在一(yi)個(ge)(ge)實例(li)中，傳(chuan)(chuan)輸(shu)裝(zhuang)置(zhi)1205包括(kuo)一(yi)個(ge)(ge)網(wang)(wang)(wang)絡(luo)(luo)適配器(qi)(qi)(networkinterfacecontroller，nic)，其可通(tong)過網(wang)(wang)(wang)線(xian)與(yu)其他網(wang)(wang)(wang)絡(luo)(luo)設備與(yu)路由器(qi)(qi)相(xiang)連從而可與(yu)互聯網(wang)(wang)(wang)或(huo)局域網(wang)(wang)(wang)進(jin)行通(tong)訊。在一(yi)個(ge)(ge)實例(li)中，傳(chuan)(chuan)輸(shu)裝(zhuang)置(zhi)1205為射頻(radiofrequency，rf)模塊，其用(yong)(yong)于通(tong)過無線(xian)方式與(yu)互聯網(wang)(wang)(wang)進(jin)行通(tong)訊。
其(qi)中，具體地，存(cun)儲器1203用于(yu)存(cun)儲應用程序。
處(chu)(chu)理(li)(li)器1201可(ke)以通過傳(chuan)輸裝置1205調(diao)用(yong)存儲器1203存儲的(de)應用(yong)程序，以執行(xing)下(xia)(xia)述步驟：接收定(ding)(ding)位(wei)請(qing)求，其(qi)中(zhong)，定(ding)(ding)位(wei)請(qing)求用(yong)于請(qing)求在目(mu)標圖(tu)(tu)片中(zhong)定(ding)(ding)位(wei)出(chu)人臉區域；通過卷積(ji)(ji)神(shen)經網絡對(dui)目(mu)標圖(tu)(tu)片進(jin)行(xing)人臉定(ding)(ding)位(wei)操作(zuo)(zuo)，得到定(ding)(ding)位(wei)結(jie)果，其(qi)中(zhong)，卷積(ji)(ji)神(shen)經網絡用(yong)于調(diao)用(yong)圖(tu)(tu)形處(chu)(chu)理(li)(li)器對(dui)目(mu)標圖(tu)(tu)片進(jin)行(xing)卷積(ji)(ji)操作(zuo)(zuo)，人臉定(ding)(ding)位(wei)操作(zuo)(zuo)包括卷積(ji)(ji)操作(zuo)(zuo)；在定(ding)(ding)位(wei)結(jie)果用(yong)于表示(shi)目(mu)標圖(tu)(tu)片中(zhong)定(ding)(ding)位(wei)出(chu)存在人臉區域的(de)情況下(xia)(xia)，返回定(ding)(ding)位(wei)結(jie)果。
處理器1201還(huan)用于執行下述步驟：通過(guo)第(di)一卷(juan)(juan)積(ji)(ji)(ji)神(shen)經(jing)網(wang)絡調用圖形處理器對目(mu)標圖片(pian)進行卷(juan)(juan)積(ji)(ji)(ji)操(cao)作，得到卷(juan)(juan)積(ji)(ji)(ji)結果，其中(zhong)，卷(juan)(juan)積(ji)(ji)(ji)神(shen)經(jing)網(wang)絡包括第(di)一卷(juan)(juan)積(ji)(ji)(ji)神(shen)經(jing)網(wang)絡；根據卷(juan)(juan)積(ji)(ji)(ji)結果確定目(mu)標圖片(pian)中(zhong)的(de)第(di)一區域(yu)為人臉區域(yu)的(de)置(zhi)信度(du)；根據置(zhi)信度(du)在第(di)一區域(yu)中(zhong)確定出人臉區域(yu)。
采(cai)用本發明實(shi)施(shi)例，在(zai)接收定(ding)位請(qing)求時，通(tong)(tong)過(guo)卷(juan)積神經(jing)網絡對目(mu)(mu)標(biao)圖(tu)片進行人(ren)臉定(ding)位操作，得到(dao)定(ding)位結果，在(zai)定(ding)位結果用于(yu)表示目(mu)(mu)標(biao)圖(tu)片中(zhong)定(ding)位出存在(zai)人(ren)臉區域(yu)的(de)(de)情(qing)況下，返回(hui)定(ding)位結果，由于(yu)進行人(ren)臉識別(bie)(bie)的(de)(de)過(guo)程中(zhong)，在(zai)初(chu)步識別(bie)(bie)中(zhong)是通(tong)(tong)過(guo)卷(juan)積神經(jing)網絡中(zhong)的(de)(de)全卷(juan)積網絡直接調用圖(tu)形處理器(qi)對目(mu)(mu)標(biao)圖(tu)片進行卷(juan)積操作，采(cai)用這種硬(ying)件加速(su)的(de)(de)方(fang)式，而(er)不是通(tong)(tong)過(guo)cpu進行逐個區域(yu)的(de)(de)掃描這一軟件處理方(fang)式，可(ke)以(yi)解決了相關技術(shu)中(zhong)進行人(ren)臉檢測的(de)(de)實(shi)時性(xing)較(jiao)差的(de)(de)技術(shu)問題，進而(er)達到(dao)了提高(gao)人(ren)臉檢測的(de)(de)實(shi)時性(xing)的(de)(de)技術(shu)效果。
可選地，本(ben)實(shi)(shi)(shi)(shi)施(shi)例(li)中(zhong)的具(ju)體(ti)示(shi)例(li)可以(yi)參考上(shang)述(shu)實(shi)(shi)(shi)(shi)施(shi)例(li)1和(he)實(shi)(shi)(shi)(shi)施(shi)例(li)2中(zhong)所描述(shu)的示(shi)例(li)，本(ben)實(shi)(shi)(shi)(shi)施(shi)例(li)在(zai)此不再(zai)贅述(shu)。
本(ben)領域(yu)普通技術人員(yuan)可(ke)以理解，圖(tu)12所示的結構(gou)僅為示意，終(zhong)端可(ke)以是智能手(shou)(shou)機(如android手(shou)(shou)機、ios手(shou)(shou)機等)、平(ping)板電腦、掌上電腦以及移動(dong)互聯網設(she)備(bei)(mobileinternetdevices，mid)、pad等終(zhong)端設(she)備(bei)。圖(tu)12其(qi)并不(bu)對上述電子裝置(zhi)(zhi)的結構(gou)造成限定(ding)。例如，終(zhong)端還可(ke)包括比圖(tu)12中所示更多或者(zhe)更少的組件(如網絡接口、顯示裝置(zhi)(zhi)等)，或者(zhe)具(ju)有與圖(tu)12所示不(bu)同的配(pei)置(zhi)(zhi)。
本領域普通(tong)技術人員可以(yi)理解上述實施例的各種方法(fa)中的全(quan)部或(huo)部分(fen)步驟是可以(yi)通(tong)過程序來(lai)(lai)指令終端設(she)備相(xiang)關(guan)的硬件來(lai)(lai)完成(cheng)，該程序可以(yi)存儲(chu)于(yu)一計算機可讀(du)存儲(chu)介質(zhi)中，存儲(chu)介質(zhi)可以(yi)包括(kuo)：閃(shan)存盤(pan)、只讀(du)存儲(chu)器(read-onlymemory，rom)、隨機存取器(randomaccessmemory，ram)、磁盤(pan)或(huo)光盤(pan)等。
實施例4
本發明的實(shi)施例(li)還提供了一種存儲介質(zhi)。可(ke)選地，在(zai)本實(shi)施例(li)中(zhong)，上述存儲介質(zhi)可(ke)以用于執行人臉區(qu)域的確定(ding)方法的程序代(dai)碼。
可選地，在本實(shi)(shi)施(shi)例中，上(shang)述(shu)存儲介質可以(yi)位于上(shang)述(shu)實(shi)(shi)施(shi)例所(suo)示的網(wang)(wang)絡(luo)中的多個(ge)網(wang)(wang)絡(luo)設備中的至少一(yi)個(ge)網(wang)(wang)絡(luo)設備上(shang)。
可(ke)選(xuan)地，在本實施例中，存(cun)儲介質被(bei)設(she)置為存(cun)儲用于執行以下步(bu)驟的程序代碼：
s11，接收(shou)定位請求，定位請求用(yong)于請求在(zai)目(mu)標圖片(pian)中定位出人臉(lian)區域；
s12，通(tong)過卷積(ji)(ji)(ji)神(shen)經網(wang)絡對目標圖片進行人臉定位(wei)(wei)操作(zuo)，得到定位(wei)(wei)結(jie)果，卷積(ji)(ji)(ji)神(shen)經網(wang)絡用(yong)(yong)于(yu)調(diao)用(yong)(yong)圖形(xing)處理器對目標圖片進行卷積(ji)(ji)(ji)操作(zuo)，人臉定位(wei)(wei)操作(zuo)包括卷積(ji)(ji)(ji)操作(zuo)；
s13，在定(ding)(ding)位結果(guo)用(yong)于表示目(mu)標(biao)圖片中定(ding)(ding)位出存在人(ren)臉區域的情況下，返回定(ding)(ding)位結果(guo)。
可選地(di)，存(cun)儲(chu)介質(zhi)還被設置為(wei)存(cun)儲(chu)用于執行以下步驟的程序代碼：
s21，通過第一卷(juan)(juan)積神經網(wang)絡(luo)調用圖形處理器對(dui)目(mu)標圖片進(jin)行卷(juan)(juan)積操作，得到卷(juan)(juan)積結果(guo)，卷(juan)(juan)積神經網(wang)絡(luo)包括第一卷(juan)(juan)積神經網(wang)絡(luo)；
s22，根據卷積結(jie)果確定目(mu)標(biao)圖片中的(de)第一區域為人(ren)臉區域的(de)置(zhi)信(xin)度；
s23，根(gen)據置信(xin)度(du)在第一區(qu)域(yu)中確(que)定出人臉區(qu)域(yu)。
可選地，本實施(shi)例(li)中(zhong)的(de)具體示(shi)例(li)可以參考上(shang)述實施(shi)例(li)1和(he)實施(shi)例(li)2中(zhong)所(suo)描述的(de)示(shi)例(li)，本實施(shi)例(li)在此(ci)不再(zai)贅述。
可(ke)選地(di)，在本(ben)實施例(li)中，上述(shu)存(cun)(cun)儲(chu)介(jie)(jie)質可(ke)以包(bao)括(kuo)但不(bu)限于：u盤(pan)、只(zhi)讀存(cun)(cun)儲(chu)器(rom，read-onlymemory)、隨(sui)機存(cun)(cun)取存(cun)(cun)儲(chu)器(ram，randomaccessmemory)、移動硬盤(pan)、磁(ci)碟(die)或者光盤(pan)等各種可(ke)以存(cun)(cun)儲(chu)程序代碼的介(jie)(jie)質。
上(shang)述本(ben)發明實施例序號僅僅為了描述，不(bu)代(dai)表實施例的優劣。
上(shang)述(shu)實(shi)施例中的(de)(de)(de)(de)集(ji)成的(de)(de)(de)(de)單元如(ru)果以軟(ruan)件功能單元的(de)(de)(de)(de)形(xing)式(shi)實(shi)現(xian)并作(zuo)為獨立的(de)(de)(de)(de)產(chan)品銷售或(huo)使用(yong)時，可以存(cun)儲(chu)在(zai)上(shang)述(shu)計算機(ji)可讀取的(de)(de)(de)(de)存(cun)儲(chu)介質(zhi)中。基于這樣的(de)(de)(de)(de)理解，本(ben)(ben)發(fa)明的(de)(de)(de)(de)技(ji)術(shu)方(fang)案(an)本(ben)(ben)質(zhi)上(shang)或(huo)者(zhe)說對現(xian)有技(ji)術(shu)做出貢(gong)獻的(de)(de)(de)(de)部(bu)分或(huo)者(zhe)該技(ji)術(shu)方(fang)案(an)的(de)(de)(de)(de)全部(bu)或(huo)部(bu)分可以以軟(ruan)件產(chan)品的(de)(de)(de)(de)形(xing)式(shi)體現(xian)出來，該計算機(ji)軟(ruan)件產(chan)品存(cun)儲(chu)在(zai)存(cun)儲(chu)介質(zhi)中，包括(kuo)若干指令用(yong)以使得(de)一臺(tai)或(huo)多臺(tai)計算機(ji)設備(bei)(可為個(ge)人計算機(ji)、服務器(qi)或(huo)者(zhe)網絡設備(bei)等(deng))執行本(ben)(ben)發(fa)明各個(ge)實(shi)施例所述(shu)方(fang)法的(de)(de)(de)(de)全部(bu)或(huo)部(bu)分步驟。
在本(ben)發明的上述(shu)實施(shi)(shi)例中，對各個實施(shi)(shi)例的描述(shu)都各有(you)側(ce)重，某(mou)個實施(shi)(shi)例中沒有(you)詳述(shu)的部(bu)分(fen)，可以(yi)參(can)見其他(ta)實施(shi)(shi)例的相(xiang)關描述(shu)。
在(zai)本(ben)申請所(suo)提(ti)供的(de)(de)(de)(de)幾(ji)個實(shi)施例(li)中，應該理解到，所(suo)揭露的(de)(de)(de)(de)客戶端，可(ke)(ke)通(tong)(tong)過其它的(de)(de)(de)(de)方式(shi)(shi)實(shi)現。其中，以(yi)(yi)(yi)上所(suo)描述的(de)(de)(de)(de)裝(zhuang)置實(shi)施例(li)僅(jin)僅(jin)是示意性的(de)(de)(de)(de)，例(li)如(ru)所(suo)述單元的(de)(de)(de)(de)劃分，僅(jin)僅(jin)為一(yi)種(zhong)邏輯功能劃分，實(shi)際(ji)實(shi)現時(shi)可(ke)(ke)以(yi)(yi)(yi)有另外的(de)(de)(de)(de)劃分方式(shi)(shi)，例(li)如(ru)多個單元或(huo)(huo)組件可(ke)(ke)以(yi)(yi)(yi)結合(he)或(huo)(huo)者可(ke)(ke)以(yi)(yi)(yi)集成到另一(yi)個系(xi)統，或(huo)(huo)一(yi)些特征(zheng)可(ke)(ke)以(yi)(yi)(yi)忽略，或(huo)(huo)不執行。另一(yi)點，所(suo)顯示或(huo)(huo)討論的(de)(de)(de)(de)相互之間(jian)的(de)(de)(de)(de)耦合(he)或(huo)(huo)直接(jie)耦合(he)或(huo)(huo)通(tong)(tong)信(xin)連接(jie)可(ke)(ke)以(yi)(yi)(yi)是通(tong)(tong)過一(yi)些接(jie)口，單元或(huo)(huo)模塊的(de)(de)(de)(de)間(jian)接(jie)耦合(he)或(huo)(huo)通(tong)(tong)信(xin)連接(jie)，可(ke)(ke)以(yi)(yi)(yi)是電性或(huo)(huo)其它的(de)(de)(de)(de)形(xing)式(shi)(shi)。
所述作(zuo)為分離部件(jian)說(shuo)明的(de)單(dan)(dan)元(yuan)(yuan)可(ke)以(yi)是或者(zhe)也可(ke)以(yi)不是物理上分開的(de)，作(zuo)為單(dan)(dan)元(yuan)(yuan)顯示(shi)的(de)部件(jian)可(ke)以(yi)是或者(zhe)也可(ke)以(yi)不是物理單(dan)(dan)元(yuan)(yuan)，即可(ke)以(yi)位于一個(ge)地方，或者(zhe)也可(ke)以(yi)分布到多(duo)個(ge)網絡(luo)單(dan)(dan)元(yuan)(yuan)上。可(ke)以(yi)根據實際的(de)需要(yao)選(xuan)擇(ze)其中的(de)部分或者(zhe)全部單(dan)(dan)元(yuan)(yuan)來實現(xian)本實施(shi)例方案(an)的(de)目的(de)。
另外，在(zai)本發明各個(ge)(ge)實施例中的(de)(de)各功(gong)能(neng)(neng)單(dan)(dan)(dan)元(yuan)(yuan)可(ke)以(yi)(yi)集(ji)成(cheng)在(zai)一個(ge)(ge)處理單(dan)(dan)(dan)元(yuan)(yuan)中，也(ye)可(ke)以(yi)(yi)是各個(ge)(ge)單(dan)(dan)(dan)元(yuan)(yuan)單(dan)(dan)(dan)獨(du)物理存在(zai)，也(ye)可(ke)以(yi)(yi)兩(liang)個(ge)(ge)或兩(liang)個(ge)(ge)以(yi)(yi)上單(dan)(dan)(dan)元(yuan)(yuan)集(ji)成(cheng)在(zai)一個(ge)(ge)單(dan)(dan)(dan)元(yuan)(yuan)中。上述集(ji)成(cheng)的(de)(de)單(dan)(dan)(dan)元(yuan)(yuan)既(ji)可(ke)以(yi)(yi)采用硬件(jian)的(de)(de)形式實現(xian)，也(ye)可(ke)以(yi)(yi)采用軟件(jian)功(gong)能(neng)(neng)單(dan)(dan)(dan)元(yuan)(yuan)的(de)(de)形式實現(xian)。
以(yi)上(shang)所(suo)述(shu)僅是本發明的(de)優選實施方(fang)式(shi)，應(ying)當(dang)指出，對于本技術領域的(de)普通技術人員來說，在不脫(tuo)離(li)本發明原(yuan)理(li)的(de)前(qian)提(ti)下，還可以(yi)做出若干(gan)改進(jin)和(he)潤(run)飾，這(zhe)些改進(jin)和(he)潤(run)飾也應(ying)視為本發明的(de)保護(hu)范(fan)圍。
- 還沒有人留言評論。精彩留言會獲得點贊！