視頻序列中人臉微表情的識別方法
【技術領域】
[0001] 本發明的技術方案涉及用于識別圖形的記錄載體的處理，具體地說是視頻序列中 人臉微表情的識別方法。
【背景技術】
[0002] 微表情（micro-expression)是人類試圖壓抑或隱藏真實情感時泄露的非常短暫 的不能自主控制的面部表情，Ekman等人對微表情開展了一系列研究，其結果表明微表情是 識別謊言的有效線索，可以被廣泛地應用于安全、司法、臨床和法律領域。但是微表情持續 時間短且難以識別，即使是受過良好訓練的人，進行微表情識別時，準確率僅在40%左右。 因此，研發自動微表情識別系統，實現計算機自動識別微表情，無論對于開展微表情識別的 機理研究，還是對于進行微表情識別的實際應用都是非常必要的。
[0003] 目前，國內外很多團隊都在開展微表情研究。Ekman和Friesen于1969首次發現微 表情的重要性，并且一直是微表情研究的主要力量之一，但他們的大部分研究工作成果至 今并未見到公開發表。中科院王甦菁提出了一種基于判別式分析的獨立張量子空間（DTSA) 和極限學習機的微表情識別算法，但是該方法計算復雜，而且識別效率只有50%左右。后 來，王甦菁對顏色信息加以考慮，因為顏色信息R、G、B三個成分有較大的相關，所以考慮利 用獨立成分分析（ICA)，對張量的第四階（顏色）去相關性，建立了 TICS模型，并且在對 CASME數據庫進行分類的時候，提出將緊張和壓抑這兩個非常相似的微表情歸為一類，將識 別率提高到了 61. 8%。日本筑波大學Polikovsky團隊利用3D梯度直方圖方法進行微表 情的檢測識別，對200fps的視頻序列進行處理，首先將人臉表情按照特定區域進行分塊， 然后在每一個區域提取3D直方圖特征描述運動方向，在檢測到微表情之后，根據一些給定 的規則諸如FACS編碼進行分類，該方法利用的數據庫是研究人員自己構建的，參與人員被 要求以盡可能低的表情強度、盡可能快的速度做出面部表情，論文并沒有給出最終的識別 率，該方法的人臉跟蹤效果不好，沒有足夠的測試集進行測試，分類算法無法適應復雜的人 臉變化。美國南佛羅里達大學Shreveport團隊把光流法用于微表情研究，該方法利用應變 模式處理連續的、不斷變化的長視頻，對面部表情的自動分割，通過對面部劃分成的8個興 趣區域計算得到的光學應力與訓練等得到的某一閾值進行比較，實現了對表情和微表情的 分割。雖然該方法對光照不均勻和大量移動問題是魯棒性的，但較為依賴于面部皮膚中形 變的大小。芬蘭奧盧大學的趙國英團隊利用時間差值模型和LBP-TOP算法提取微表情序列 的特征，通過提取序列圖像或視頻在時域和空域方向上的動態LBP紋理特征進行微表情的 識別，算法測試庫樣本量相對較小，識別率較低。CN 103258204A公開了一種基于Gabor和 EOH特征的自動微表情識別方法，利用Gabor和EOH特征進行微表情特征提取，但Gabor和 EOH表征全局的能力較弱，且需要結合改進后的GentleSVM分類器才能進行微表情的分類 識別，所需的硬件設備性能要求較高，而識別性能低于人們的期望。CN104298981A提出了基 于CBP-TOP特征的自動微表情識別方法，使用ELM分類器進行分類，該方法在計算每一個像 素的CBP值的時候都涉及到了乘和冪運算，相比于本發明方法，計算復雜度高，而且提取的 微表情信息不夠完整。現有人臉微表情的識別方法主要存在提取的微表情序列信息單一， 沒有從多個頻率和方向考慮，因而識別性能低的缺陷。

【發明內容】

[0004] 本發明所要解決的技術問題是：提供視頻序列中人臉微表情的識別方法，是在對 人臉微表情視頻利用歐拉影像放大技術進行放大之后，對人臉微表情圖像序列進行預處 理，再利用HLACLF-T0P算法提取人臉微表情序列的動態時空紋理特征，最后利用分類器進 行訓練和預測，該方法克服了現有技術中由于人臉微表情變化幅度小造成微表情難以識別 的缺陷。
[0005] 上述 HLACLF-T0P 是 Higher-order Local Auto-Correlation Like Features from Three Orthogonal Panels的縮寫，中文意思為基于三個正交平面的類似高階局部自 相關特征。
[0006] 本發明解決該技術問題所采用的技術方案是：視頻序列中人臉微表情的識別方 法，是一種利用HLACLF-T0P算法提取人臉微表情序列的動態時空紋理特征方法，具體步驟 如下：
[0007] 第一步，人臉微表情視頻歐拉放大：
[0008] 利用歐拉影像放大算法對人臉微表情視頻進行放大，將放大后的人臉微表情視頻 轉為人臉微表情圖像序列；
[0009] 第二步，人臉微表情圖像預處理：
[0010] 利用高斯濾波器對第一步得到的人臉微表情圖像序列進行去噪處理，利用 Adaboost算法檢測該微表情圖像中的人臉并進行裁剪，采用雙線性插值算法實現圖像的尺 寸歸一化，經過如此人臉微表情圖像預處理后的人臉微表情圖像大小為MXM像素，即人臉 微表情圖像的寬度和高度均為M個像素；
[0011] 第三步，利用HLACLF-T0P算法提取人臉微表情序列的動態時空紋理特征：
[0012] 以下將HLACLF-T0P算法提取的人臉微表情序列的動態時空紋理特征簡稱為 HLACLF-T0P 特征，
[0013] 通過將HLAC掩膜作用在圖像序列上來計算HLACLF-T0P特征，具體過程為：
[0014] (1)計算XY平面的HLACLF向量：
[0015] 人臉微表情圖像序列在XY平面的HLACLF向量是將HLAC掩膜作用于人臉微表情 序列中的每一幀，得到一個HLACLF向量，將這些特征向量串聯起來，得到該序列在當前平 面的特征向量（fn，f 12,. . .，flm，f21，f22,. . .，f2m，. . .，fnl，fn2,. . .，O，操作方法是：
[0016] 首先將HLAC掩膜作用在第二步提取的單幀人臉微表情圖像的左上角3X3的區 域，將掩膜各位置的值作為所對應的像素的權值，進行相乘再相加，得到該區域的特征值， 然后將HLAC掩膜向右滑動3個像素，與前面的區域無重疊，進行掩膜操作，得到該3X3區 域特征值，繼續向右滑動，直到該行的最右端，將這一行每個3X3小區域得到的特征值相 加得到該行的向量值fii;
[0017] 將HLAC掩膜向下滑動3個像素，按上述操作方法，繼續從左到右掃描該圖像進行 掩膜操作，得到該行的向量值f 12;
[0018] 重復上述操作，直到掃描完整個圖像，得到該圖像在該掩膜下得到的HLACLF向量 (fn，f12, f13, · · ·，fj，其中m = M/3,當前圖像大小為MXM像素，即圖像的寬度和高度均為 M個像素；
[0019] HLAC掩膜包含25個0到2階的3X3掩膜，0-階掩膜即在3X3的窗口中只有中 心位置為1，其他位置為〇 ;1_階掩膜是在3X3的窗口中有兩個位置為1，其他為0 ;2_階 掩膜是在3X3的窗口中有三個位置為1，其他為0 ;將25個3X3經典HLAC掩膜作用在XY 平面，即按照上述方法，每個掩膜提取一個HLACLF向量，最后每個序列在XY平面上得到25 個向量，記為，
[0020]
(1>
[0021] 其中η為每個微表情序列中幀的個數，a代表人臉微表情圖像序列中第a幀，b代 表每幀人臉微表情圖像中的第b個向量元素，b取值范圍為1，…，m，k表示第k個掩膜；
[0022] (2)計算XT平面和YT平面的HLACLF向量：
[0023] XT平面和YT平面中的T軸是時間軸，分別與Y軸和X軸垂直，
[0024] 將HLAC掩膜改進為6個I X 3的掩膜，這6個掩膜分別包含了三個0-階和三個 1-階的掩膜，〇-階掩膜即只有一個位置為1，1-階掩膜為兩個位置為1，在XT和YT平面上 采用這6個IX 3的掩膜進行特征提取，操作方法是：
[0025] 將6個I X 3的掩膜分別作用于XT平面和YT平面，XT與YT平面大小為均為MXn， 其中，圖像序列中每幀圖像的寬為M個像素，η為每個微表情序列中幀的個數，對于XT平面 和YT平面分別在在Y軸與X軸上，以3為步長按照上述XY平面上掩膜的掃描方法，將I X 3 的掩膜在XT和YT平面上進行掃描，在每個平面上提取一個I Xn的向量，最后，每個序列在 XT及YT平面上得到的向量的大小均為nXm，其中m = Μ/3,與XY平面得到的向量大小一 致，記為，
[0026]
(句，
[0027] 其中，η表示每個微表情序列中幀的個數，a代表在Y軸或X軸上取到的第a個平 面，a取值為1，…，m，b代表該平面上的第b個向量元素，b取值為1，…，n，k表示第k個掩 膜；
[0028] (3)計算整個人臉微表情圖像序列的HLACLF-T0P特征向量：
[0029] 將上述步驟（1)和步驟（2)獲得的XY、XT和YT平面的特征向量進行串聯，得到 25+6+6個長度為mXη的向量，作為每個人臉微表情視頻序列的HLACLF-T0P特征向量，即將 37個向量串聯，作為每個人臉微表情視頻序列的HLACLF-T0P特征，由此利用HLACLF-T0P算 法提取到人臉微表情序列的動態時空紋理特征；
[0030] 第四步，利用ELM分類器進行訓練和預測：
[0031] 利用ELM分類器進行訓練和預測，用以驗證HLACLF-T0P算法的有效性，同時對人 臉微表情序列的特征進行分類識別，判斷提取的HLACLF-T0P特征究竟屬于哪類人臉微表 情，具體操作過程如下：
[0032] (1)將第二步人臉微表情圖像預處理完成的人臉微表情