一種人臉識別裝置的制造方法
【專利摘要】本公開涉及一種人臉識別裝置，所述裝置至少包括輸入模塊、人臉分析模塊和輸出模塊。所述輸入模塊為人臉分析模塊提供欲檢測圖像序列，人臉分析模塊借助深度學習技術進行人臉識別，基于多個子數據庫并行檢索比對分析并合并分析結果，輸出模塊將人臉檢測框、人臉相關統計信息與原始視頻疊加，輸出到前端進行顯示。本公開的裝置在識別人臉時具有自動、快速、精準的特點。
【專利說明】
-種人臉識別裝置
技術領域
[0001 ]本公開設及視頻監控領域，特別設及一種人臉識別裝置。
【背景技術】
[0002] 目前很多行業為了吸收、維護更多有價值、有潛力的貴賓(VIP)客戶，越來越重視 對貴賓客戶提供更優質、有針對性的服務。傳統行業會使用VIP卡等形式來區分客戶，但是 攜帶卡片，報卡號等方式并不人性化、便捷化。而人臉識別技術是依據人臉部的特征信息進 行身份識別的一種技術，具有非接觸性、并發性、非強制性、直觀性等優點。 【實用新型內容】
[0003] 針對上述部分問題，本公開提供了一種人臉識別裝置，所述裝置借助深度學習技 術進行人臉識別，可W為銀行VIP識別、Π 店迎賓、監控場景人臉識別提供服務支持;若利用 裝置中檢測到人臉的時間、地點和時長，可W進一步實現客流統計，為改進服務或查詢特殊 用戶提供幫助。其中，各個模塊可W采用現有的視頻采集板卡，W及多媒體分析板卡來組裝 成本公開裝置的模塊，各個模塊之間是禪接關系。
[0004] 一種人臉識別裝置，所述裝置至少包括輸入模塊、人臉分析模塊和輸出模塊；
[0005] 所述輸入模塊將欲檢測圖像序列傳送給人臉分析模塊；
[0006] 所述輸出模塊包括圖像輸出單元和/或消息訂閱單元；
[0007] 所述圖像輸出單元將人臉分析模塊中得到的人臉進行標識，并將該人臉相關的信 息疊加到原始視頻上；
[000引所述消息訂閱單元向終端訂閱用戶發送事件消息；
[0009] 其中，所述人臉分析模塊至少包括下述單元：
[0010] U100、人臉檢測跟蹤單元:對接收的圖像，檢測跟蹤圖像中的人臉，并進行質量判 斷，挑選滿足要求的若干帖作為關鍵帖，傳遞給人臉比對單元；
[0011] U200、人臉比對單元:接收所述關鍵帖并提取每一帖的人臉特征，在用戶信息數據 庫服務器中查找并選擇多個相似的人臉特征進行比對分析；
[0012] 其中:所述人臉特征使用多維特征向量表示；
[0013] 所述用戶信息數據庫服務器允許單人有Μ張人臉圖像使用相同的第一標識符標識 存入。
【附圖說明】
[0014] 圖1本公開的一個實施例中的裝置結構構成圖。
【具體實施方式】
[001引在一個基礎實施例中，如圖1所示，提供了一種人臉識別裝置，所述裝置至少包括 輸入模塊、人臉分析模塊和輸出模塊；
[0016] 所述輸入模塊將欲檢測圖像序列傳送給人臉分析模塊；
[0017] 所述輸出模塊包括圖像輸出單元和/或消息訂閱單元；
[0018] 所述圖像輸出單元將人臉分析模塊中得到的人臉進行標識，并將該人臉相關的信 息疊加到原始視頻上；
[0019] 所述消息訂閱單元向終端訂閱用戶發送事件消息；
[0020] 其中，所述人臉分析模塊至少包括下述單元：
[0021] U100、人臉檢測跟蹤單元:對接收的圖像，檢測跟蹤圖像中的人臉，并進行質量判 斷，挑選滿足要求的若干帖作為關鍵帖，傳遞給人臉比對單元；
[0022] U200、人臉比對單元:接收所述關鍵帖并提取每一帖的人臉特征，在用戶信息數據 庫服務器中查找并選擇多個相似的人臉特征進行比對分析；
[0023] 其中:所述人臉特征使用多維特征向量表示；
[0024] 所述用戶信息數據庫服務器允許單人有Μ張人臉圖像使用相同的第一標識符標識 存入。
[0025] 在運個實施例中，其中，各個模塊可W采用現有的視頻采集板卡，W及多媒體分析 板卡來組裝成本公開裝置的模塊，各個模塊之間是禪接關系。所述輸入模塊的輸出是人臉 圖像，其輸入可W是多重網絡視頻源、圖像序列、離線視頻或者實時視頻，只要經過處理后 可W獲得帶有人臉的圖像即可。在對圖像進行檢測時，可W對接收的所有圖像進行檢測，也 可W優選的對圖像進行檢測。在一個實施例中，所述裝置每隔6帖進行一次人臉檢測。在對 圖像進行檢測時，提取圖像中的人臉位置、人臉關鍵點信息，所述人臉關鍵點信息可包括眼 角、眉毛的末端、嘴角、鼻尖等位置信息。當所述圖像序列為單帖時，該圖像本身為關鍵帖； 所述圖像序列為多帖時，從該序列中挑選質量好的Ν帖作為關鍵帖。其中，質量的判斷可W 通過對后述指標進行打分后，選取得分高的前Ν帖作為關鍵帖。所述指標包括人臉圖片清晰 度、大小、真實人臉、遮擋、光照等等。所述人臉特征通過多維特征向量表示，在一個實施例 中，使用約180維特征向量來表示人臉特征。對已檢測到人臉，在后續帖中進行跟蹤。在查找 時，將Ν組人臉特征作為一個整體，在用戶信息數據庫服務器中檢索相似人臉，選擇得分最 高的幾個人臉作為返回結果。而比對分析的結果即所述視頻組裝分發單元W及原圖像可W 通過ht化協議或消息服務器發送至圖像輸出單元。在一個實施例中，當在監控區域識別人 臉庫人臉，所述裝置立即發布通知或報警，消息包括往訂閱者發送其關注的特殊人員比如 VIP、可疑人等識別結果、地點時間、人臉圖片等信息。
[0026] 在一個實施例中，給出了一種用于U100中所述質量判斷的方法，即包括下述步驟：
[0027] S1010、對每個檢測到的人臉圖像，首先判斷兩眼間距是否滿足設定要求，若滿足 要求則執行步驟S1011;否則，舍棄該檢測到的人臉圖像；
[0028] S1011、計算檢測到的人臉圖像的人臉置信度得分是否滿足設定要求，若滿足要求 則執行步驟S1012;否則，舍棄該檢測到的人臉圖像；
[0029] S1012、計算正臉得分是否滿足設定要求，如滿足則判斷該帖能夠用于識別人臉； 否則，舍棄該檢測到的人臉圖像。
[0030] 在一個實施例中，提供了一種具體挑選關鍵帖的實現方式。在運個實施例中，對單 個跟蹤抓拍的人臉，根據兩眼間距>25,人臉置信度得分>0.95,正臉得分，判斷該帖是否用 于識別。進一步地，在運個實施例中還提供了通過程序實現挑選關鍵帖的方法，即對每個跟 蹤為同一人臉的圖像，內部維護一個關鍵帖容器，容量為10。開始時，若不滿10帖，則每帖均 存儲入容器內；滿10帖后，適合用于識別的帖，且與最后存入的帖號間隔大于10,則替換掉 已知質量最差的帖;記錄單個跟蹤為同一人臉的圖像已被處理的帖數，若帖數大于20,則結 束跟蹤。
[0031] 在一個實施例中，給出了一種用于所述U100中檢測跟蹤包括下述步驟，其步驟為：
[0032] S101、每隔若干帖進行一次人臉檢測，當檢測到人臉時，對滿足質量要求的人臉使 用標記框對包括人臉的部分進行標記；
[0033] S102、判斷標記的人臉面積與已檢測到的人臉面積是否有重合，當重合度滿足預 設闊值時，則認為與已檢測到的人臉為同一人臉，則進入步驟S103;否則認為當前標記的人 臉為新的人臉，跟蹤結束；
[0034] S103、對標記的人臉在標記框內進行人臉對齊，檢測人臉關鍵點位置，計算人臉關 鍵點外包圍矩形，替換之前檢測到的認為為同一人臉的標記框內的圖像。
[0035] 在運個實施例中，使用標記框對包括人臉的部分進行標記，所標記的部分可W是 頭部，更優的，還可W包括肩部，在包括肩部的標記方式中，可W提高識別率。不論采用哪種 方式，重合度的計算均可W通過置信度來度量，當計算的置信度達到一定的范圍時，可W認 為兩個對象為同一對象。而所應達到的范圍可W通過試驗的方式來確定。
[0036] 優選的，使用多庫與并行檢索，即：所述U200中的用戶信息數據庫服務器包括多個 子數據庫，則所述比對分析基于多個子數據庫進行并行檢索比對分析，并合并分析結果。運 種方式不僅支持將大量人臉圖像導入用戶信息數據庫服務器，同時又不加大檢索時間。每 個子數據庫導入一定量的人臉圖像，單人的多個人臉圖像導入相同的數據庫。在檢索時，在 一個實施例中采用多線程并行檢索每個數據庫的方式，然后根據比較分析的結果合并多個 子數據庫的結果。
[0037] 在一個實施例中，給出了關于入庫的人臉圖像中人臉特征的獲取方法，即：所述 U200中的用戶信息數據庫服務器中存儲的人臉圖像使用Deepid深度學習算法提取人臉特 征。運種方式獲取人臉特征能夠有助于精準的識別人臉。在一個實施例中，使用運種提取人 臉特征提取方式，提取約180維的特征向量。
[0038] 基于人臉特征使用多維特征向量表示，在一個實施例中，給出了一種在查找相似 特征向量時，減少比較次數加速比對過程方法，即:所述U200中的相似的人臉特征通過下述 步驟獲得：
[0039] S2011、建立KD樹:在查找時，建立KD樹捜索K個近鄰，Κ > Μ;
[0040] S2012、遍歷KD樹:在遍歷KD樹時，每層選取人臉特征中的一維進行比較，W確定下 一層檢索的分支，最后確定與關鍵帖相似的多個人臉特征。
[0041] 運種通過建立KD特征檢索樹的方式，在捜索相似特征時，通過遍歷檢索樹來實現， 為了減少比對次數，在每層選取一維的特征進行比較，W確定下一層要檢索的分支。
[0042] 在一個實施例中，在所述步驟S102中，當判斷新標記的人臉與已檢測到的人臉為 同一人臉時，將該新標記的人臉圖像和已檢測到的人臉使用相同的第二標識符標識;且，所 述U200中的比對分析包括下述步驟：
[0043] S201、對具有相同第二標識符標識的Μ帖圖像，根據是否正臉、清晰度計算一個質 量分值 qi，iE[l，M];
[0044] S202、對Μ帖圖像中的每帖圖像，分別從人臉庫中檢索比對找出最相似的N個用戶， 對應相似度為Si,userj，i e [ 1，M]，j e [ 1，N];
[0045] S203、對M帖圖像檢索比對共得到K個用戶，計算此K個用戶中每個用戶的相似度的 得分，
[0046]
[0047] ke[l，K]，K=MXN;
[004引8204、根據5^^_對1(個用戶按降序排列，選取最相似的若干個用戶。 化
[0049]在運種比對方式下，若是用戶信息數據庫服務器包括多個子數據庫，可W有多種 獲取最終識別結果的方式。比如在對多個子數據庫進行并行檢索后，對每個子數據庫都進 行步驟S202~S204然后將所有最相似的用戶的相似度進行排序后選取返回結果。再比如， 對每個子數據庫都返回該子數據庫中得分排序在前的若干個人臉特征，然后對返回的人臉 特征再使用相似度值進行排序，選擇當前排序下的在前的若干個人臉特征所對應的人臉圖 像作為返回結果。
[0化0] 可選的，在比對分析之后，所述人臉比對單元還實現下述操作：
[0051] S2031、使用深度學習方法進行人臉屬性計算；
[0052] S2032、判斷檢測的人臉進行是否已存在于用戶信息數據庫服務器中；若已存在于 用戶信息數據庫服務器中，則將人臉屬性結果進行更新；否則將識別結果及人臉屬性計算 結果一起存儲。
[0053] 所述人臉屬性包括用戶性別、年齡、是否戴眼鏡、帽子、口罩等外觀屬性。增加存儲 人臉屬性的裝置可W在對外提供檢索功能時，增加檢索維度，可W按時間、欲檢測人臉與入 庫人臉相似值、外觀屬性、地點進行過濾，縮小檢索范圍，加快檢索速度，提供檢索準確度。
[0054] 可選的，在存儲人臉屬性的計算結果的基礎上還可W為每個結果附上統計時間 點、地點，即：所述人臉屬性計算結果還包括獲取圖像時的時間點和地點。運為定位某個人 臉什么時間是否在某個區域出現過提供數據支持。在一個實施例中，所述裝置為VIP或可疑 人等特殊人員單獨建立用戶信息數據庫服務器，在用戶查詢運類人員時，可W直接與該庫 存儲的人臉圖像的人臉特征進行比對，方便快速的定位某個人臉什么時間在某個區域是否 出現過。
[0055] 在一個實施例中，所述裝置具有人流統計功能，即：所述人臉比對單元還實現如下 操作：
[0056] S2030、統計一定時間內檢測到的人臉的數目、每個人臉的出現的時間和時長。在 運個實施例中，所述裝置會將當前檢測到的人臉和一定時間內已經檢測過的人臉進行比 對，若判斷為同一個人，則認為該人出現的次數為1次;運樣可W獲得在一定時間間隔內出 現的不同人臉數目，同時也可W得到若干個時間間隔中，同一人臉出現的次數、每次出現的 時間和時長。為了實現運樣的統計功能，所述裝置可W為檢測到的人臉建立臨時用戶信息 數據庫服務器，該數據庫可W按時間定期建立。所述裝置也可W專口建立訪客特征庫。當所 述裝置用于口店時，可w為口店進行上述客流統計。
[0057] 在一個實施例中，針對人臉圖像來源為視頻時，所述視頻可W是多重網絡視頻源、 離線視頻或者實時視頻時，為獲取視頻帖圖像，所述輸入模塊還包括視頻解碼單元，所述輸 出模塊還包括視頻組裝分發單元；
[0058] 所述視頻解碼單元用于讀取實時視頻流或本地視頻文件，并解析出視頻帖圖像；
[0059] 所述視頻組裝分發單元用于將疊加了人臉檢測框W及與該人臉相關的信息的原 視頻帖圖像重新編碼成視頻。
[0060] 在運個實施例中，當所述輸入模塊向人臉分析模塊發送欲檢測圖像序列時，可W 通過隊列的方式來實現。
[0061 ]在一個實施例中，視頻組裝時，將人臉分析模塊得到的人臉檢測框、識別出的用戶 名等信息，疊加到原始視頻帖上，然后按X264格式重新編碼成視頻，在組裝之后，通過 live555廣播出去，提供瀏覽器或其他客戶端進行播放。
[0062] 在一個實施例中，所述視頻解碼單元讀取dsp視頻流或本地視頻文件，通過vie視 頻解碼器，解釋出視頻帖圖像，使用緩存隊列，把圖像傳送給人臉分析模塊。
[0063] 優選的，所述裝置還包括攝像頭，則所述輸入模塊包括視頻配置單元，所述視頻配 置單元用于配置視頻通道場景的監控參數。在一個實施例中，需要配置視頻通道地址。在運 種方式下，可W將實現的裝置應用于實時監控，并對監控中的人臉進行實時識別。在本公開 的基礎上附加報警功能，可W為有安保需要的場景提供一套完整的人臉識別監控服務，比 如在公安關注的人流出入口，對過往人員自動進行人臉抓拍，自動識別人員外觀特征，自動 與入庫可疑人員進行快速自動比對，若發現可疑人，給出報警提示。再比如，應用于小區口 禁安保。
[0064] 在一個實施例中，所述裝置能夠實現實時顯示視頻與識別結果；當用戶需要識別 其服務的VIP客戶時，系統可W幫客戶自動識別出進入口店的VIP客戶，并給出提示;幫助用 戶統計每天進入口店的客戶人數，統計每個客戶進入口店的時間和次數;通過對進入店口 的客戶人臉圖片進行保存，計算并保存包括用戶性別、年齡、是否戴眼鏡、帽子、口罩等外觀 屬性、保存進店時間和時長，方便用戶對客戶進行查詢條件過濾;顯示最近進入口店的客戶 信息，包括抓拍人臉圖片、訪問時間、地點、訪問次數等。
[0065] 在一個實施例中，所述裝置為公安部口提供視頻監控服務，在監控區域，檢測進入 的人臉，并與入庫的可疑人進行比對，在發現欲監控的人員時，給出提示。所述提示可W是 下述一種或任意多種方式的組合形式:靜態文字、圖案或動態文字、動態圖案、聲音。
[0066] 本公開的人臉識別技術可W通過人臉識別快速識別出貴賓客戶并且關聯相關的 客戶信息數據庫。還可將經常光顧，有價值有潛力的客戶通過數據統計作為潛在貴賓客戶 重點服務及推薦針對性產品。另外，在本公開的基礎上附加報警功能，還可W為公安提供一 套完整的人臉識別監控服務，在公安關注的人流出入口，對過往人員自動進行人臉抓拍，自 動識別人員外觀特征，自動與入庫可疑人員進行快速自動比對，若發現可疑人，給出報警提 /J、- 〇
[0067] W上對本公開進行了詳細介紹，本文中應用了具體個例對本公開的原理及實施方 式進行了闡述，W上實施例的說明只是用于幫助理解本公開的方法及其核屯、思想；同時，對 于本領域技術人員，依據本公開的思想，在【具體實施方式】及應用范圍上均會有改變之處，綜 上所述，本說明書內容不應理解為對本公開的限制。
【主權項】
1. 一種人臉識別裝置，其特征在于： 所述裝置至少包括攝像頭、視頻采集板卡、多媒體分析板卡和輸出模塊； 所述攝像頭連接視頻采集板卡，以便將欲檢測原始視頻的圖像序列傳送給視頻采集板 卡； 所述視頻采集板卡連接所述多媒體分析板卡，對接收的圖像，檢測跟蹤圖像中的人臉， 并進行質量判斷，挑選滿足要求的若干幀作為關鍵幀，傳遞給所述多媒體分析板卡； 所述多媒體分析板卡接收所述關鍵幀并提取每一幀的人臉特征，在用戶信息數據庫服 務器中查找并選擇多個相似的人臉特征進行比對分析，其中所述人臉特征使用多維特征向 量表示，所述多媒體分析板卡中的用戶信息數據庫服務器為并行式體系； 所述輸出模塊連接訂閱用戶的終端，將多媒體分析板卡的處理結果疊加到原始視頻以 輸出新的視頻。2. 根據權利要求1所述的裝置，其特征在于，所述攝像頭還包括視頻解碼單元，所述輸 出模塊還包括視頻編碼單元。3. 根據權利要求1-2任一所述的裝置，其特征在于，所述攝像頭還包括視頻配置單元， 所述視頻配置單元用于配置視頻通道場景的監控參數。
【文檔編號】G06K9/00GK205451095SQ201520986440
【公開日】2016年8月10日
【申請日】2015年12月2日
【發明人】梁伯均, 陳朝軍, 李慶林, 張偉, 黃展鵬, 王晶, 蘇哲昆, 許金濤, 張帥, 張廣程
【申請人】深圳市商湯科技有限公司