一種基于視頻人臉識別的會議引導方法及系統的制作方法
【專利摘要】本發明提供了一種基于視頻人臉識別的會議引導系統，包括數據庫模塊、采集模塊、數據處理模塊、顯示屏模塊。本發明還提供了利用所述系統實現的方法，包括：建立數據庫，所述數據庫存儲有參會人員的人臉照片、參會人員的標識信息、參會人員與會議目的地之間對應的會議引導圖信息；采集會場圖像；從會場圖像中提取人臉圖像；根據人臉圖像和人臉照片識別人臉，得到相應的標識信息；根據標識信息提供對應的引導圖信息；通過顯示屏顯示對應的引導圖信息。本發明解決了傳統的數字或紙質引導過程復雜效果差的問題，提升了用戶體驗，保證了會議的效率。
【專利說明】
一種基于視頻人臉識別的會議引導方法及系統
技術領域
[0001]本發明涉及會議引導方法，具體地，涉及一種基于視頻人臉識別的會議引導方法；還涉及實現所述方法的基于視頻人臉識別的會議引導系統。
【背景技術】
[0002]會議引導是會議成功舉行的基礎，特別是大型會議，快捷方便的引導是保證參會人員快速到達會場的一把金鑰匙。雖然視頻技術越來越滲入國民生活的方方面面，但會議引導卻基本上還停留在紙質或簡單的數字引導時代。經檢索現有會議引導技術，中國專利，申請號為CN201540698U，名稱為數字會議引導系統；在該專利中采用了顯示屏來顯示會議引導信息，但卻并未對基于視頻人臉識別技術的會議引導進行專門的研究。
【發明內容】
[0003]針對現有技術中的缺陷，本發明的目的是提供一種基于視頻人臉識別的會議引導方法。
[0004]根據本發明提供的基于視頻人臉識別的會議引導方法，包括如下步驟:
[0005]步驟1:建立數據庫，所述數據庫存儲有參會人員的人臉照片、參會人員的標識信息、參會人員與會議目的地之間對應的會議引導圖信息；
[0006]步驟2:采集會場圖像；
[0007]步驟3:從會場圖像中提取人臉圖像；
[0008]步驟4:根據人臉圖像和人臉照片識別人臉，得到相應的標識信息；
[0009]步驟5:根據標識信息提供對應的引導圖信息；
[0010]步驟6:通過顯示屏顯示對應的引導圖信息。
[0011]優選地，所述步驟I建立數據庫，包括如下步驟:
[0012]-利用已有的會議地點引導圖，根據實際會議地點的結構，繪制由會議引導處開始到會議地點的路線圖，構成所述會議引導圖信息；
[0013]-錄入具體參會人員的標識信息，并保存到建立的數據庫中；
[0014]-上傳符合設定要求的參會人員照片，并從上傳的參會人員照片中檢測人臉，將檢測出來的人臉矩形框擴大之后摳取人臉照片，保存到建立的數據庫中；
[0015]-添加參會人員人臉圖像到建立的數據庫中，計算摳取出來的參會人員人臉的特征值并保存，其中，人臉特征值的計算方法如下:
[0016]對于從視頻中摳取出來的人臉圖像，先使用基于多尺度SDM模型的人臉對齊算法，檢測出人臉的特征點，并估計其姿態；將人臉歸一化至標準姿態人臉，同時進行光照校正，消除光線強弱及不均勻對人臉識別帶來的影響；對于歸一化后所得的標準姿態與標準光照人臉提取分塊GSF特征；
[0017]-將制作好的會議地點引導圖分配給參會人員，并通過會議地點引導圖的文件路徑進行關聯。
[0018]優選地，所述步驟2，包括:通過智能攝像機從攝像頭獲取會場實時視頻，然后從視頻流中取幀。
[0019]優選地，所述步驟3，包括:
[0020]步驟3.1:通過智能攝像機進行人臉抓拍，所述人臉抓拍采用的技術方法包括在OpenCV中人臉檢測過程中采用定點計算；
[0021]步驟3.2:依次對獲取的每幀圖片進行人臉檢測，檢測到人臉之后摳取人臉；
[0022]步驟3.3:通過網絡把摳取的人臉圖像傳輸到后臺服務器；其中智能攝像機中人臉抓拍采用的技術方法如下:
[0023]在OpenCV中人臉檢測過程中采用定點計算；在對視頻圖像處理時，智能攝像機的DSP采用將圖像分批載入L2Cache的方式。優選地，所述步驟4，包括:
[0024]步驟4.1:將智能攝像機抓拍的人臉的特征值與數據庫中參會人員人臉特征值比對，并將匹配程度最高的人臉圖片作為識別結果返回；其中，人臉識別采用的技術方法如下:
[0025]步驟4.1.1:將計算好的人臉特征值通過PCA進行必要的降維；
[0026]步驟4.1.2:將降維后的人臉特征向量投影到事先訓練好的FLD人臉子空間，從而得出該人臉的識別結果，并返回該參會人員的相關信息。
[0027]優選地，所述步驟5包括如下步驟:
[0028]步驟5.1:根據識別出來的參會人員人臉檢索出對應的參會人員標識信息；
[0029]步驟5.2:根據參會人員標識信息查找會議地點，并獲取會議地點引導圖信息。
[0030]優選地，所述步驟6通過顯示屏顯示對應的引導圖，包括從數據庫中獲得會議地點引導圖信息，通過網絡傳輸給會議引導終端，在顯示屏上顯示對應參會人員的會議引導圖。
[0031 ] 優選地，所述人臉檢測的方法為:采用Haar小波特征與Adaboost算法訓練的層級結構分類器檢測人臉。
[0032]優選地，所述摳取人臉的方法如下:
[0033]-將人臉檢測框向外擴展后再進行摳取，令需要摳取人臉寬度為L1、需要摳取人臉高度為Hl、檢測出的人臉寬度為L0、檢測出的人臉高度為HO、摳取人臉左上角X坐標為X1、摳取人臉左上角Y坐標為Yl、檢測出的人臉左上角X坐標XO、檢測出的人臉左上角Y坐標為Y0，則摳取人臉的矩形計算公式如下:
[0034]LI = L0*1.5 ；
[0035]Hl = H0*1.5 ；
[0036]Xl = XO-(1.5-1) *L0*0.5 ；
[0037]Yl = YO-(1.5-1) *Η0*0.5 ；
[0038]-根據參會人員照片，對摳取人臉左上角X、Y坐標做調整，調整步驟如下:
[0039]如果Χ1〈0，那么令Π = O ;
[0040]如果Υ1〈0，那么令 Yl = O0
[0041]本發明還提供一種基于視頻人臉識別的會議引導系統，所述基于視頻人臉識別的會議引導系統用于執行上述的基于視頻人臉識別的會議引導方法。
[0042]與現有技術相比，本發明具有如下的有益效果:
[0043]1、本發明利用人臉識別技術進行會議引導，提升了會議參會人員進入會場的效率。
[0044]2、本發明中基于個人的特定化引導服務，提高了用戶體驗，協助會議能夠按時舉行。
[0045]3、本發明在OpenCV中的人臉檢測采用定點計算，大大提高了人臉檢測在智能相機的DSP中的運算速度；并且在對視頻圖像處理時，智能攝像機的DSP采用將圖像分批載入L2Cache的方式，減少內存頻繁訪問的開銷，從而提供人臉檢測的速度。
【附圖說明】
[0046]通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本發明的其它特征、目的和優點將會變得更明顯:
[0047]圖1為本發明提供的會議準備階段流程圖；
[0048]圖2為本發明提供的會議引導階段流程圖。
【具體實施方式】
[0049]下面結合具體實施例對本發明進行詳細說明。以下實施例將有助于本領域的技術人員進一步理解本發明，但不以任何形式限制本發明。應當指出的是，對本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進。這些都屬于本發明的保護范圍。
[0050]根據本發明提供的基于視頻人臉識別的會議引導方法，包括如下步驟:
[0051]步驟1:建立數據庫，所述數據庫存儲有參會人員的人臉照片、參會人員的標識信息、參會人員與會議目的地之間對應的會議引導圖信息；
[0052]具體地，如圖1中所示的會議準備階段流程，包括:制作會議地點引導圖、錄入參會人員信息，上傳參會人員照片，從照片中檢測人臉，添加人臉到參會人員人臉庫，給參會人員分配會議地點，其中所述參會人員的人臉照片與對應的會議引導圖之間設置鏈接關系;
[0053]步驟2:采集會場圖像；
[0054]步驟3:從會場圖像中提取人臉圖像；
[0055]步驟4:根據人臉圖像和人臉照片識別人臉，得到相應的標識信息；
[0056]步驟5:根據標識信息提供對應的引導圖信息；
[0057]步驟6:通過顯示屏顯示對應的引導圖信息。
[0058]優選地，所述步驟I建立數據庫，包括如下步驟:
[0059]-利用已有的會議地點引導圖，根據實際會議地點的結構，繪制由會議引導處開始到會議地點的路線圖，構成所述會議引導圖信息；其中，路線圖可以有多種格式，包括但不僅限于平面圖、三維圖、動態圖；
[0060]-錄入具體參會人員的標識信息，并保存到建立的數據庫中；具體地，錄入參會人員姓名、職位、手機號碼等基本信息并保存到數據庫中；
[0061]-上傳符合設定要求的參會人員照片，并從上傳的參會人員照片中檢測人臉，將檢測出來的人臉矩形框擴大之后摳取人臉照片，保存到建立的數據庫中；具體地，對于參會人員照片設定要求:照片中人臉的長寬大小不低于150象素X 150象素，象素太低會影響識別的準確率；照片中人臉部分必須清晰可見，并且不能穿戴包括但不限于帽子、墨鏡、口罩可能會遮擋人臉面部特征的各種衣物、裝飾品；
[0062]-添加參會人員人臉圖像到建立的數據庫中，計算摳取出來的參會人員人臉的特征值并保存，具體地，從照片中檢測人臉模塊從上傳的參會人員照片中檢測人臉，并將檢測出來的人臉矩形框擴大1.5倍，然后將人臉從上傳圖片中摳取出來，保存到臨時文件；其中，人臉特征值的計算方法如下:
[0063]對于從視頻中摳取出來的人臉圖像，先使用基于多尺度SDM模型的人臉對齊算法，本領域技術人員可以參考現有技術實現所述基于多尺度SDM模型的人臉對齊算法，例如參考文獻:姚文韜，沈春鋒，顧志松，董文生基于多尺度SDM模型的人臉對齊算法”載于《控制工程》2015Vol.22 (增刊)，檢測出人臉的特征點，并估計其姿態；將人臉歸一化至標準姿態人臉，同時進行光照校正，消除光線強弱及不均勻對人臉識別帶來的影響；對于歸一化后所得的標準姿態與標準光照人臉提取分塊GSF特征，所述GSF特征全稱為Gabor Surface Feature，本領域技術人員可參考文獻Yan.K，Chen.Y，Zhang.D， Gabor Surface Feature for Face Recognit1n， Asian Conference on PatternRecognit1n (ACPR)，pp288 - 292，2011;
[0064]-將制作好的會議地點引導圖分配給參會人員，并通過會議地點引導圖的文件路徑進行關聯。制作會議地點引導圖可以借助第三方工具，根據實際會議地點的結構，繪制由會議引導處開始到會議地點的路線圖，路線圖可以有多種格式，包括但不僅限于平面圖、三維圖、動態圖。
[0065]如圖2中所示的會議引導階段流程，包括:參會人員人臉抓拍，根據抓拍的人臉進行自動識別，根據識別出來的參會人員檢索會議地點，獲取到達會議地點的引導圖，顯示引導圖到顯示屏。
[0066]優選地，所述步驟2，包括:通過智能攝像機從攝像頭獲取會場實時視頻，然后從視頻流中取幀。
[0067]優選地，所述步驟3，包括:
[0068]步驟3.1:通過智能攝像機進行人臉抓拍，所述人臉抓拍采用的技術方法包括在OpenCV中人臉檢測過程中采用定點計算；
[0069]步驟3.2:依次對獲取的每幀圖片進行人臉檢測，檢測到人臉之后摳取人臉；
[0070]步驟3.3:通過網絡把摳取的人臉圖像傳輸到后臺服務器；其中智能攝像機中人臉抓拍采用的技術方法如下:
[0071]在OpenCV中人臉檢測過程中采用定點計算；在對視頻圖像處理時，智能攝像機的DSP采用將圖像分批載入L2Cache的方式。
[0072]優選地，所述步驟4，包括:
[0073]步驟4.1:將智能攝像機抓拍的人臉的特征值與數據庫中參會人員人臉特征值比對，并將匹配程度最高的人臉圖片作為識別結果返回；其中，人臉識別采用的技術方法如下:
[0074]步驟4.1.1:將計算好的人臉特征值通過PCA進行必要的降維；
[0075]步驟4.1.2:將降維后的人臉特征向量投影到事先訓練好的FLD人臉子空間，從而得出該人臉的識別結果，并返回該參會人員的相關信息。
[0076]優選地，所述步驟5根據識別出的人臉圖像提供對應的引導圖，
[0077]步驟5.1:根據識別出來的參會人員人臉檢索出對應的參會人員標識信息；
[0078]步驟5.2:根據參會人員標識信息查找會議地點，并獲取會議地點引導圖信息。
[0079]優選地，所述步驟6通過顯示屏顯示對應的引導圖，包括從數據庫中獲得會議地點引導圖信息，通過網絡傳輸給會議引導終端，在顯示屏上顯示對應參會人員的會議引導圖。
[0080]優選地，所述人臉檢測的方法為:采用Haar小波特征與Adaboost算法訓練的層級結構分類器檢測人臉。
[0081 ] 優選地，所述摳取人臉的方法如下:
[0082]-將人臉檢測框向外擴展后再進行摳取，令需要摳取人臉寬度為L1、需要摳取人臉高度為Hl、檢測出的人臉寬度為L0、檢測出的人臉高度為HO、摳取人臉左上角X坐標為X1、摳取人臉左上角Y坐標為Yl、檢測出的人臉左上角X坐標XO、檢測出的人臉左上角Y坐標為Y0，則摳取人臉的矩形計算公式如下:
[0083]LI = L0*1.5 ；
[0084]Hl = Η0*1.5 ;
[0085]Xl = XO-(1.5-1) *L0*0.5 ；
[0086]Yl = YO-(1.5-1) *Η0*0.5 ；
[0087]-根據參會人員照片，對摳取人臉左上角X、Y坐標做調整，調整步驟如下:
[0088]如果Χ1〈0，那么令Π = O ;
[0089]如果Υ1〈0，那么令 Yl = O。
[0090]本發明還提供一種基于視頻人臉識別的會議引導系統，用于執行上述的基于視頻人臉識別的會議引導方法。
[0091]更進一步具體地，在一個優選例中，智能攝像機和會議引導終端安裝在參會人員引導入口處。后臺服務器上安裝了人臉識別服務軟件和數據庫。智能攝像機、會議引導終端和后臺服務器通訊正常。
[0092]在會議準備階段中:
[0093](I)制作某某公司XX會議室的平面引導圖。
[0094](2)新增參會人員張三，并錄入張三的姓名、職位、手機號碼等基本信息。
[0095](3)上傳張三的人臉照片到后臺服務器。
[0096](4)分配張三的會議地點為某某公司XX會議室。
[0097]在會議引導階段中:
[0098](I)張三到達會議引導處。
[0099](2)智能攝像機自動抓取張三的人臉圖像。
[0100](3)智能攝像機將張三的人臉圖像傳輸到后臺服務器。
[0101](4)后臺服務器識別出張三的基本信息。
[0102](5)后臺服務器根據張三的基本信息獲取張三的會議地點。
[0103](6)后臺服務器將會議地點引導圖發送給會議引導終端。
[0104](7)會議引導終端顯示會議引導圖。
[0105]以上對本發明的具體實施例進行了描述。需要理解的是，本發明并不局限于上述特定實施方式，本領域技術人員可以在權利要求的范圍內做出各種變形或修改，這并不影響本發明的實質內容。
【主權項】
1.一種基于視頻人臉識別的會議引導方法，其特征在于，包括如下步驟: 步驟1:建立數據庫，所述數據庫存儲有參會人員的人臉照片、參會人員的標識信息、參會人員與會議目的地之間對應的會議引導圖信息； 步驟2:采集會場圖像； 步驟3:從會場圖像中提取人臉圖像； 步驟4:根據人臉圖像和人臉照片識別人臉，得到相應的標識信息； 步驟5:根據標識信息提供對應的引導圖信息； 步驟6:通過顯示屏顯示對應的引導圖信息。2.根據權利要求1所述的基于視頻人臉識別的會議引導方法，其特征在于，所述步驟I建立數據庫，包括如下步驟: -利用已有的會議地點引導圖，根據實際會議地點的結構，繪制由會議引導處開始到會議地點的路線圖，構成所述會議引導圖信息； -錄入具體參會人員的標識信息，并保存到建立的數據庫中； -上傳符合設定要求的參會人員照片，并從上傳的參會人員照片中檢測人臉，將檢測出來的人臉矩形框擴大之后摳取人臉照片，保存到建立的數據庫中； -添加參會人員人臉圖像到建立的數據庫中，計算摳取出來的參會人員人臉的特征值并保存，其中，人臉特征值的計算方法如下: 對于從視頻中摳取出來的人臉圖像，先使用基于多尺度SDM模型的人臉對齊算法，檢測出人臉的特征點，并估計其姿態；將人臉歸一化至標準姿態人臉，同時進行光照校正，消除光線強弱及不均勻對人臉識別帶來的影響；對于歸一化后所得的標準姿態與標準光照人臉提取分塊GSF特征； -將制作好的會議地點引導圖分配給參會人員，并通過會議地點引導圖的文件路徑進行關聯。3.根據權利要求2所述的基于視頻人臉識別的會議引導方法，其特征在于，所述步驟2，包括:通過智能攝像機從攝像頭獲取會場實時視頻，然后從視頻流中取幀。4.根據權利要求3所述的基于視頻人臉識別的會議引導方法，其特征在于，所述步驟3，包括: 步驟3.1:通過智能攝像機進行人臉抓拍，所述人臉抓拍采用的技術方法包括在OpenCV中人臉檢測過程中采用定點計算； 步驟3.2:依次對獲取的每幀圖片進行人臉檢測，檢測到人臉之后摳取人臉； 步驟3.3:通過網絡把摳取的人臉圖像傳輸到后臺服務器；其中智能攝像機中人臉抓拍采用的技術方法如下: 在OpenCV中人臉檢測過程中采用定點計算；在對視頻圖像處理時，智能攝像機的DSP采用將圖像分批載入L2Cache的方式。5.根據權利要求4所述的基于視頻人臉識別的會議引導方法，其特征在于，所述步驟4，包括: 步驟4.1:將智能攝像機抓拍的人臉的特征值與數據庫中參會人員人臉特征值比對，并將匹配程度最高的人臉圖片作為識別結果返回；其中，人臉識別采用的技術方法如下:步驟4.1.1:將計算好的人臉特征值通過PCA進行必要的降維； 步驟4.1.2:將降維后的人臉特征向量投影到事先訓練好的FLD人臉子空間，從而得出該人臉的識別結果，并返回該參會人員的相關信息。6.根據權利要求5所述的基于視頻人臉識別的會議引導方法，其特征在于，所述步驟5包括如下步驟: 步驟5.1:根據識別出來的參會人員人臉檢索出對應的參會人員標識信息； 步驟5.2:根據參會人員標識信息查找會議地點，并獲取會議地點引導圖信息。7.根據權利要求6所述的基于視頻人臉識別的會議引導方法，其特征在于，所述步驟6通過顯示屏顯示對應的引導圖，包括從數據庫中獲得會議地點引導圖信息，通過網絡傳輸給會議引導終端，在顯示屏上顯示對應參會人員的會議引導圖。8.根據權利要求2或4所述的基于視頻人臉識別的會議引導方法，其特征在于，所述檢測人臉的方法為:采用Haar小波特征與Adaboost算法訓練的層級結構分類器檢測人臉。9.根據權利要求2或4所述的基于視頻人臉識別的會議引導方法，其特征在于，所述摳取人臉的方法如下: -將人臉檢測框向外擴展后再進行摳取，令需要摳取人臉寬度為L1、需要摳取人臉高度為Hl、檢測出的人臉寬度為LO、檢測出的人臉高度為HO、摳取人臉左上角X坐標為X1、摳取人臉左上角Y坐標為Yl、檢測出的人臉左上角X坐標XO、檢測出的人臉左上角Y坐標為Y0，則摳取人臉的矩形計算公式如下:LI = LO*1.5 ；Hl = HO*1.5 ；Xl = XO-(1.5-l)*L0*0.5 ；Yl = YO-(1.5-l)*H0*0.5 ； -根據參會人員照片，對摳取人臉左上角X、Y坐標做調整，調整步驟如下: 如果X1〈0，那么令Xl = O ； 如果Y1〈0，那么令Yl = Oo10.一種基于視頻人臉識別的會議引導系統，其特征在于，所述基于視頻人臉識別的會議引導系統用于執行權利要求1-9中任一項所述的基于視頻人臉識別的會議引導方法。
【文檔編號】G06F17/30GK106033539SQ201510125890
【公開日】2016年10月19日
【申請日】2015年3月20日
【發明人】劉濤, 顧志松, 姚文韜, 沈春鋒
【申請人】上海寶信軟件股份有限公司