基于先驗模型的正面人臉圖像合成方法及系統的制作方法
【專利摘要】本發明涉及一種基于先驗模型的正面人臉圖像合成方法及系統，所述方法包括：步驟一：對三維原型樣本庫進行樣本規范化得到三維人臉樣本庫，標定測試人臉圖像的特征點；步驟二：求取平均三維人臉模型，通過其上的特征點投影后與測試人臉圖像標定的特征點建立對應關系求得測試人臉圖像的姿態角度；步驟三：從三維人臉樣本庫中篩選出與測試人臉圖像相似性較大的圖像構建原型樣本庫；步驟四：合成正面人臉圖像。本發明可以實現在只采用三維人臉庫中信息的情況下，估計出輸入的測試人臉圖像的姿態角并合成對應的正面人臉，且可以保留原來人臉面部上某些細節特征。這對于人臉識別、人臉姿態估計的研究與實際應用的開發都具有重要的理論與實際意義。
【專利說明】基于先驗模型的正面人臉圖像合成方法及系統

【技術領域】
[0001] 本發明涉及計算機圖形學、數字圖像處理以及人工智能等領域，具體涉及一種通 過人臉姿態圖像合成其正面人臉圖像的方法及系統。

【背景技術】
[0002] 正面人臉合成的方法包括三維的方法和二維的方法。三維方法的思路是通過對測 試人臉圖像進行三維重建，在得到測試人臉圖像的三維數據之后，正面人臉圖像自然就可 以得到。該類方法最典型的方法是形變模型（3DMM，3D Morphable Mpdel)方法，實現了由 側面到正面的人臉圖像合成，但3DMM的人臉重建過程效率很低，在主頻2GHz的服務器上重 建一幅人臉需要300秒。后來的學者提出了許多基于3DMM改進的法來優化重建過程提高 效率。如有文獻擴展了 AAM匹配的改進方法，并將其應用于2D -3D的配準中，提高了重建 效率，但其重建精度較差低；還有文獻利用部分臉部特征點實現稀疏的2D - 3D配準，具有 較高的重建效率，但該方法只能應用于正臉圖像且重建精度較低。除了三維方法以外，直接 采用二維圖像來合成正面人臉也得到了廣泛的研究。二維方法主要是通過統計學的原理進 行正面人臉合成，這必定涉及到對測試人臉的姿態估計問題。二維人臉模型由于模型本身 的局限，不能準確估計出圖像上缺失的深度信息，而基于三維人臉模型，能夠準確的估計出 人臉的姿態信息。有學者采用三維人臉模型對人臉姿態進行估計的，并取得良好的姿態估 計結果。還有學者首先判定測試人臉的姿態角，然后利用對應姿態的人臉訓練庫進行正臉 合成，但這種合成方法需要大量的各種姿態人臉訓練圖像。因此，基于先驗模型姿態估計和 正面人臉合成方法，是一個新的視角，值得深入的研究和特別的關注。


【發明內容】

[0003] 針對上述現有技術的缺陷，本發明的目的在于提供一種正面人臉合成的方法。其 可以實現在只采用三維人臉庫中信息的情況下，估計出輸入的測試人臉圖像的姿態角并合 成對應的正面人臉，且可以保留原來人臉面部上某些細節特征。這對于人臉識別、人臉姿態 估計的研究與實際應用的開發都具有重要的理論與實際意義。具體技術方案如下：
[0004] 一種基于先驗模型的正面人臉圖像合成方法，包括：
[0005] 步驟一：對三維原型樣本庫進行樣本規范化得到三維人臉樣本庫，標定測試人臉 圖像的特征點；
[0006] 步驟二：求取平均三維人臉模型，通過其上的特征點投影后與測試人臉圖像標定 的特征點建立對應關系求得測試人臉圖像的姿態角度α，β， Y ;
[0007] 步驟三：從三維人臉樣本庫中篩選出與測試人臉圖像相似性較大的圖像構建原型 樣本庫；
[0008] 步驟四：合成正面人臉圖像。
[0009] 所述的步驟二可進一步具體包括：用Si = (xn, yn, ζη,......, xim, yim, zim)T表示 歸一化好的三維人臉樣本庫中每張人臉的形狀，用形狀矩陣S = (Sp S2, . . . Sn)表示所有樣 本，則平均三維人臉模型為

【權利要求】
1. 一種基于先驗模型的正面人臉圖像合成方法，其特征在于，包括： 步驟一：對三維原型樣本庫進行樣本規范化得到三維人臉樣本庫，標定測試人臉圖像 的特征點； 步驟二：求取平均三維人臉模型，通過其上的特征點投影后與測試人臉圖像標定的特 征點建立對應關系求得測試人臉圖像的姿態角度α，β，Y ; 步驟三：從三維人臉樣本庫中篩選出與測試人臉圖像相似性較大的圖像構建原型樣本 庫； 步驟四：合成正面人臉圖像。
2. 根據權利要求1所述的一種基于先驗模型的正面人臉圖像合成方法，其特征在于， 所述的步驟二進一步具體包括：用Si = (xn, yn, ζη,......, xim, yim, zim)T表示歸一化好的 三維人臉樣本庫中每張人臉的形狀，用形狀矩陣S = (Sp S2,... Sn)表示所有樣本，則平均 三維人臉模型為^^,
e ，假設將模型在X、y、z軸上分別旋轉α，β，γ的角度 后與測試人臉圖像姿態相同，那么模型上面相應的特征點經過坐標旋轉矩陣R，點坐標由 Ρ (X，y，Ζ)變換到 Pr (X，，y'，ζ'），
(1) 通過三維到二維的投影關系，對三維坐標系進行平移變換以及尺度變換，得到平移變 化矩陣T和三維到二維的尺度變換系數S，確定了 T和S后，將旋轉后平均三維人臉模型上 的特征點投影到二維平面上，建立與測試人臉圖像標定的特征點的對應關系，選取平均三 維人臉模型上雙眼的內外角點，鼻尖點和嘴巴兩端這7個特征點，其在平均三維人臉模型 和測試人臉圖像中的坐標分別為（ Xi，yi，Zi)、（X' i，y' ^，則有：
(2) 采用最小二乘法進行求解，從而求得測試人臉的姿態角度α，β，Y。
3. 根據權利要求1所述的一種基于先驗模型的正面人臉圖像合成方法，其特征在于， 所述的步驟三進一步具體包括：根據線性類思想，將待重建人臉表述為：
(3) 其中Si三維原型樣本庫中的樣本，s' i為樣本Si依據姿態角度α，β，Y旋轉后的三 維模型，通過求解式（3)的稀疏解來篩選與測試人臉圖像相似的原型樣本庫。
4. 根據權利要求1所述的一種基于先驗模型的正面人臉圖像合成方法，其特征在于， 所述的步驟四包括： 步驟①：形狀和紋理分開建模； 步驟②：用基于樣本篩選的形變模型理論求解輸入的測試人臉圖像的形狀和紋理的組 合系數； 步驟③：將測試人臉圖像的紋理與合成的紋理相結合得到綜合的紋理，得到最終合成 的正面人臉。
5. 根據權利要求4所述的一種基于先驗模型的正面人臉圖像合成方法，其特征在于， 所述的步驟①進一步具體包括：采用與測試人臉圖像相似性大的數據構建原型樣本庫，利 用標定的特征點對人臉形狀和紋理分別進行建模，建立圖像像素之間一對一的對應關系， 將人臉形狀Si用Delaunay三角化，并將每一張人臉都變形到原型樣本庫的平均人臉上，將 人臉的紋理向量表達為g = Qu "，... ik，... UT e R1的形式。
6. 根據權利要求4所述的一種基于先驗模型的正面人臉圖像合成方法，其特征在于， 所述的步驟②進一步具體包括：用經步驟三篩選后的三維人臉組合來表示測試人臉的形狀 和紋理：
(4) 其中分別為原始三維人臉平均形狀和平均紋理向量，分別為模型的形狀 和紋理的組合系數，Si為經步驟三篩選后的原型樣本庫中的形狀向量，h為紋理向量，現對 式（4)中的形狀模型進行旋轉和投影變形，得到下式：
(5) 其中，、礦與f分別表示表示輸入的測試人臉圖像的形狀，旋轉投影之后模型平均 的人臉形狀，及特征旋轉投影矩陣，利用稀疏形變模型方法求解式（5)中的組合系數，根據 求得的形狀組合系數，得到合成的正面人臉形狀：
(6) 采用同樣的求解方法，SVD分解，求得形變模型中紋理的組合系數β得到合成紋理：
(7) 〇
7. 根據權利要求4所述的一種基于先驗模型的正面人臉圖像合成方法，其特征在于， 所述的步驟③進一步具體包括：綜合紋理合成方式如下：若在正臉中可見、而在測試人臉 圖像中不可見的紋理，采用式（7)合成的紋理；反之采用測試人臉圖像的原始紋理，最終生 成的綜合紋理如下： Si(x,y) = Wi(x,y)*ti(x,y)+(l_Wi(x,y))* tO(x,y) ⑶ 其中ti(x，y)代表在點（x，y)處合成得到的像素值，代表在點（x，y)處輸入測試人 臉圖像的像素值，Wi代表點（x，y)處合成紋理中原始紋理的權重，結合公式（6)和公式（8) 得到正面人臉圖像。
8. 根據權利要求7所述的一種基于先驗模型的正面人臉圖像合成方法，其特征在于， 所述&通過相應點處局域面積變化率確定。
9. 一種基于先驗模型的正面人臉圖像合成系統，其特征在于，包括特征點標定模塊、姿 態角度求取模塊、原型樣本構建模塊及正面人臉合成模塊， 所述的特征點標定模塊用于對三維原型樣本庫進行樣本規范化得到三維人臉樣本庫， 標定測試人臉圖像的特征點，將結果發送給姿態角度求取模塊； 所述的姿態角度求取模塊用于求取平均三維人臉模型，通過其上的特征點投影后與測 試人臉圖像標定的特征點建立對應關系求得測試人臉圖像的姿態角度，將結果發送給原型 樣本庫構建模塊； 所述的原型樣本庫構建模塊用于從三維人臉樣本庫中篩選出與測試人臉圖像相似性 較大的圖像構建原型樣本庫，將結果發送給正面人臉合成模塊； 所述的正面人臉合成模塊用于根據輸入的測試人臉圖像信息和原型樣本庫發送來的 信息合成正面人臉圖像。
【文檔編號】G06T11/40GK104299250SQ201410546803
【公開日】2015年1月21日 申請日期:2014年10月15日 優先權日:2014年10月15日
【發明者】周大可, 方三勇, 曹元鵬 申請人:南京航空航天大學