一種基于Gabor小波和灰度共生矩陣的人臉表情識別方法
【技術領域】
[0001] 本發明涉及人臉表情識別領域，設計并實現了一種基于Gabor小波和灰度共生矩 陣的人臉表情識別算法。
【背景技術】
[0002] 人臉表情蘊含著豐富的個人情感信息，是人類進行情感表達的重要方式。計算機 通過對人臉表情進行識別，可以了解到人類對應的心理狀態，從而更好的服務于人類生活 的各個方面，如人機交互、智能安防、醫療監護、心理分析等。目前，多數的表情識別算法主 要針對正面無遮擋的人臉表情圖像進行實驗，一定程度上保留了完整的表情信息。但在現 實生活中，表情被遮擋的情況時有發生，頭發、墨鏡、口罩、手勢等產生的遮擋均會造成表情 信息的缺失，致使算法的識別率與魯棒性下降。因此，針對局部遮擋的人臉表情圖像，提出 更為魯棒的人臉表情識別算法，已經成為計算機智能化應用領域的研究熱點。
[0003] 人臉表情識別一般包括以下三個環節：人臉檢測與圖像預處理、表情特征提取以 及表情分類。其中，表情特征提取是決定人臉表情識別過程是否精準有效的重要環節，也是 表情識別研究的核心內容。局部遮擋的存在會造成部分表情信息的缺失，給表情特征提取 帶來一定的阻礙。針對這一問題，眾多學者展開了相應研究，主要形成了兩類處理面部遮擋 的方法：一類是舍棄法，即舍棄遮擋區域的表情信息，利用未遮擋區域的表情信息來完成特 征提取工作；另一類是重建法，即先對遮擋區域進行重建恢復，然后再進行表情特征提取。 鑒于重建法必須以無遮擋時的表情圖像作為參考，無形中加大了圖像處理的工作量，且重 建效果的好壞會受到算法性能、遮擋面積等因素的影響，所以多數研究者選用舍棄法來完 成局部遮擋條件下的表情特征提取。
[0004] 在眾多局部遮擋條件下的表情特征提取算法中，Gabor小波被廣泛的應用。Gabor 小波可以提取圖像不同尺度、不同方向下的表情特征，它被證實在圖像局部特征提取上具 有明顯的優勢，對遮擋條件下的表情識別具有良好效果。因此，諸多研究者圍繞著Gabor小 波在局部遮擋的人臉表情識別上的效果展開深入研究，形成了各種基于Gabor小波或是基 于Gabor小波與其他算法相結合的表情特征提取算法。例如，2012年，澳大利亞昆士蘭科技 大學的Zhang強調了 Gabor濾波器在局部紋理信息提取方面的重要作用，以及對遮擋條件 下表情識別的有效性。同年，Azmi在20th伊朗電子工程會議（ICEE)上提出將局部Gabor 二元模式直方圖序列（Local Gabor Binary Pattern Histogram Sequence, LGBPHS)引入 到表情識別領域，證明了 LBP和直方圖的引入對Gabor特征起到了降維作用，同時組合算法 的識別率也優于單一算法的識別率。在此基礎上，吉林大學的劉帥師提出了 Gabor多尺度 特征融合與LGBPHS相結合的算法，進一步降低了 Gabor特征的維數。這些算法取得了較好 的識別效果，推動著魯棒人臉表情識別技術的發展。
[0005] 但是，由于Gabor小波提取的表情特征往往具有較高的維度，這使得各種結合了 Gabor小波的特征提取算法都存在計算量大、復雜度高的缺點，導致整個表情識別過程耗時 較長，不利于表情識別從實驗仿真走向實際應用。因此，如何在保證局部遮擋表情識別準確 率不下降的前提下，降低特征維數、減少計算量，從而提高表情識別速率，成為本發明亟待 解決的問題。

【發明內容】

[0006] 在保證局部遮擋條件下表情識別準確率不下降的前提下，為了進一步降低特征向 量的數據冗余，減少算法耗時，本發明提出了一種基于Gabor小波和灰度共生矩陣的人臉 表情識別算法。該算法首先設計了一種分塊提取Gabor特征統計量的方法，生成一個低維 Gabor特征向量，大大降低了 Gabor特征的數據冗余，并保留了人臉器官的空間特征；然后， 該算法首次將反映圖像紋理特征的灰度共生矩陣引入到表情識別領域，以此來彌補Gabor 特征分塊處理造成的像素空間相關性缺失的不足；最后，將提取的Gabor特征統計量和灰 度共生矩陣紋理特征進行線性疊加，生成一組用于特征表達的低維特征向量。實驗結果表 明，本發明提出的表情特征提取算法對于局部遮擋條件下的人臉表情識別，具有魯棒性強、 特征向量維數低、分類耗時短、識別速率高的特點。
[0007] -種基于Gabor小波和灰度共生矩陣的表情識別方法，其特征在于，步驟如下：
[0008] 步驟（1)，采集樣本
[0009] 采集若干個人的N張局部遮擋的正面人臉表情靜態圖像，每張圖像對應的表情類 別即為該圖像的樣本標記，所有表情圖像及其對應的樣本標記構成實驗樣本。采用交叉驗 證中的10折交叉驗證法，將實驗樣本劃分成10等份，輪流將其中9份作為訓練集X，剩余的 1份作為測試集S，最后取10次實驗結果正確率的平均值作為對算法識別準確率的估計；
[0010] 步驟（2)，樣本預處理
[0011] 處理對象是訓練集X和測試集S內的所有表情圖像，具體的預處理過程如下：
[0012] 步驟（2. 1)，以雙眼位置為基準獲取人臉位置，并手工分割出"純臉"區域；
[0013] 步驟（2. 2)，采用加權平均法將彩色圖像轉換為灰度圖像；
[0014] 步驟（2. 3)，采用直方圖均衡化方法降低光照變化對圖像造成的影響；
[0015] 步驟（2. 4)，對圖像進行尺度歸一化處理；
[0016] 步驟（3)，特征提取
[0017] 采用基于Gabor小波和灰度共生矩陣的特征提取算法分別對預處理后的X和S內 的每幅圖像進行表情特征提取，該算法過程分為三部分：低維Gabor特征統計量的提取、灰 度共生矩陣特征的提取、高斯歸一化，算法流程如圖1所示。具體的過程描述如下：
[0018] 步驟（3. 1)，低維Gabor特征統計量的提取
[0019] 低維Gabor特征的提取是在傳統Gabor特征提取的基礎上，對Gabor濾波后生成 的Gabor幅度圖（Gabor Magnitude Pictures, GMPs)進行分塊處理，再求取每個子塊的特 征統計量實現的，具體分為以下兩個步驟：
[0020] 步驟（3. I. 1)，傳統Gabor特征的提取：將預處理后的訓練集X和測試集S分別與 二維Gabor小波函數作卷積，本方法選用5個尺度、8個方向，共40個Gabor濾波器與表情 圖像進行卷積，并且僅選用變換相對平穩的Gabor幅度信息作為有效信息，即每幅表情圖 像轉化為40張 GMPs，每幅GMPs對應的Gabor系數值即為所提取的Gabor特征；
[0021 ] 步驟（3. 1. 2)，分塊的Gabor特征統計量的提取：利用傳統算法提取圖像Gabor特 征時，一幅圖像經過Gabor濾波后，其特征維數會擴大40倍，而且表情圖像本身就屬于高維 數據，所以采用傳統的Gabor特征提取方法可能會造成所謂的"維數災難"，導致整個表情 識別過程耗時較長。因此，本方法針對傳統Gabor特征提取算法的不足，設計實現了一種分 塊的Gabor特征統計量的提取算法：
[0022] 為了更有效表征人臉，依據面部主要器官的分布特性對人臉進行分塊處理。具體 的分塊處理方法，是對每幅GMP在垂直方向按照圖像高度進行上、中、下三等分，然后將最 上面一部分按照圖像寬度進行二等分，最終形成了 4個子塊：R0、RU R2、R3,四個子塊分別 對應包含左眼、右眼、鼻子和嘴四類主要器官。單幅GMP圖像經過分塊處理后的結果圖如圖 2所示。
[0