用于跟蹤人臉的設備和方法
【技術領域】
[0001] 本發明涉及針對人臉以及人臉上關鍵點進行跟蹤的設備和方法。
【背景技術】
[0002] 對圖像或視頻中的人臉以及人臉上關鍵點的位置進行跟蹤，在很多以人臉圖像或 視頻作為輸入的應用中具有十分重要的作用，這里，所述關鍵點可以是諸如眼睛、鼻子、眉 毛、嘴等處于人臉關鍵位置的點。例如，在基于視頻的人臉識別系統中，需要使用每幀圖像 上的人臉關鍵點位置對待匹配的人臉圖像進行幾何歸一化。在面部動作和表情捕捉系統 中，需要根據人臉關鍵點的位置分析面部器官的形狀和運動。在一些三維人臉建模系統中， 也需要根據人臉關鍵點的位置信息對不同姿態的人臉圖像進行配準和融合。
[0003] 對于一般物體的跟蹤，常常使用基于特征點或特征區域匹配的技術。首先，從當前 幀圖像中選擇或者檢測到若干特征點或者特征區域，記錄特征點周圍或者特征區域內的像 素顏色值，對這些像素顏色值進行變換來得到用于表示特征點或特征區域的特征向量。然 后，從下一幀圖像中以同樣的方法選擇或者檢測特征點或者特征區域并計算特征向量。最 后，根據特征向量間的相似性對來自兩幀圖像的特征點或者特征區域進行匹配，從而估計 出物體在視頻中的運動。或者，在對當前幀中的特征點或特征區域提取特征向量之后，直接 在下一幀圖像的感興趣區域內搜索具有最相似特征向量的特征點或特征區域，從而實現運 動跟蹤。或者，用于表示特征點或特征區域的特征向量不是從當前幀圖像中獲得，而是從手 工標定的樣本圖像中獲得。
[0004] 人臉關鍵點跟蹤與一般物體跟蹤存在兩點明顯的區別。第一，人臉是一個非剛性 物體，除了具有在空間中運動時產生的平移、旋轉等六個自由度外，還會由于表情的變化產 生各種復雜的變形。第二，人臉具有相似性，也就是說，所有自動人臉跟蹤系統所需要處理 的人臉對象都具有相似但不完全一樣的形狀和紋理。基于以上兩點，大部分人臉跟蹤系統 都會使用可以描述人臉相似性，同時可以適應不同人臉個性的模型，這些模型可以表示為 一組感興趣的關鍵點。例如，在基于主動表觀模型的跟蹤方法中，需要對人臉的形狀和面部 紋理建立參數模型，人臉形狀用一系列關鍵點的坐標組成的向量表示，面部紋理用將模型 覆蓋的人臉像素映射到平均形狀模版后的紋理向量表示。當設置不同的參數時，可以產生 不同的人臉形狀和面部紋理。通過改變參數，使得產生的人臉形狀和紋理與輸入的當前幀 圖像中人臉形狀和紋理相同，就可以得到當前幀圖像中人臉和人臉上關鍵點的坐標。
[0005] 人臉跟蹤技術需要處理很多方面的困難。例如，當被跟蹤的人臉發生劇烈的運動 或姿態變化時，相鄰兩幀圖像中的人臉距離較遠或存在較大的外觀差異，這時有些方法會 跟蹤失敗。當人臉處于強烈的非均勻光照環境中時，由于陰影的存在，隨著姿態、表情的變 化，不同幀圖像上人臉區域的外觀會產生巨大的變化，從而導致跟蹤失敗。
[0006] 而且，人臉區域上經常存在遮擋，例如墨鏡、頭發、口罩等，這會給跟蹤帶來困難。 尤其當遮擋面積較大，以及遮擋的位置隨時間會發生變化時，現有的技術難以提供穩定可 靠的跟蹤結果。通常，在現有技術中，為了解決遮擋條件下的跟蹤問題，需要首先根據不同 幀圖像之間的差別，或者根據人臉模型給出的人臉外觀與實際圖像中人臉區域外觀的差 另IJ，估計出可能的遮擋發生的區域，然后將這些遮擋區域排除在跟蹤時使用的特征區域范 圍之外。然而，如何準確地估計出遮擋區域，從而使人臉跟蹤得以準確進行，仍然是一個難 以解決的問題。

【發明內容】

[0007] 本發明的目的在于提供一種能夠在人臉存在遮擋的情況下有效地進行人臉跟蹤 的設備和方法。
[0008] 根據本發明的一方面，提供一種用于跟蹤人臉的設備，包括：人臉位置確定單元， 用于從當前幀圖像確定人臉位置；分割單元，用于將人臉位置的圖像分割成組成人臉的各 部分圖像；遮擋估計單元，用于基于遮擋概率模型來估計分割后的各部分圖像被遮擋的概 率，并基于所述各部分圖像被遮擋的概率來估計人臉位置的圖像中每個像素被遮擋的概 率；關鍵點獲取單元，用于通過最小化與每個像素被遮擋的概率有關的匹配誤差函數，使人 臉的二維形狀模型相對于人臉形狀進行匹配，從而獲取當前幀圖像上人臉關鍵點的位置， 以完成對人臉的跟足示。
[0009] 所述設備可還包括：跟蹤效果確定器，用于利用分類器來確定對人臉的跟蹤是否 成功。
[0010] 在所述設備中，分割單元可使用基于顏色和位置坐標的像素聚類算法將人臉位置 的圖像分割成至少一個圖像片，并且，遮擋估計單元可基于圖像片遮擋概率模型來估計每 個圖像片被遮擋的概率，并基于每個圖像片被遮擋的概率來估計人臉位置的圖像中每個像 素被遮擋的概率。
[0011] 在所述設備中，分割單元可將人臉位置的圖像分割成與各個人臉器官對應的至少 一個圖像區域，并且，遮擋估計單元可基于圖像區域遮擋概率模型來估計每個圖像區域被 遮擋的概率，并基于每個圖像區域被遮擋的概率來估計人臉位置的圖像中每個像素被遮擋 的概率。
[0012] 在所述設備中，分割單元可將人臉位置的圖像分割成至少一個圖像片和至少一個 圖像區域，并且，遮擋估計單元基于遮擋概率模型來分別估計每個圖像片和每個圖像區域 被遮擋的概率，并基于每個圖像片和每個圖像區域被遮擋的概率，估計人臉位置的圖像中 每個像素被遮擋的概率。
[0013] 在所述設備中，分割單元可使用基于顏色和位置坐標的像素聚類算法將人臉位置 的圖像分割成至少一個圖像片，并按照預先定義的人臉器官，將所述至少一個圖像片中對 應于相同人臉器官的圖像片合并為圖像區域。
[0014] 在所述設備中，人臉位置確定單元可在當前幀圖像中檢測人臉特征點，在關鍵幀 數據庫中選擇與人臉特征點在特征向量方面匹配的對應特征點，然后通過使對應特征點在 當前幀圖像上的投影與人臉特征點之間的距離度量最小，來計算一種人臉三維形狀模型的 三維位置和旋轉參數，使用此三維位置和旋轉參數計算人臉二維形狀模型的關鍵點在圖像 中的位置，從而確定當前幀圖像中人臉的位置，其中，關鍵幀數據庫包括與之前成功跟蹤到 的人臉對應的人臉關鍵幀，在跟蹤開始時建立，在成功跟蹤每一幀圖像后更新，其中，所述 人臉關鍵幀中保存有所述之前成功跟蹤到的人臉上被成功匹配的特征點的三維位置坐標 和特征向量。
[0015] 在所述設備中，人臉位置確定單元可基于人臉特征點與計算出的所述一種人臉三 維形狀模型中的對應特征點在當前幀圖像上的投影之間的距離是否小于預定閾值來確定 所述人臉特征點是否為被成功匹配的特征點。
[0016] 在所述設備中，遮擋估計單元可包括：圖像片遮擋估計單元，用于基于圖像片遮擋 概率模型來估計每個圖像片被遮擋的概率；圖像區域遮擋估計單元，用于基于圖像區域遮 擋概率模型來估計每個圖像區域被遮擋的概率；綜合估計單元，用于基于每個圖像片和每 個圖像區域被遮擋的概率，估計人臉位置的圖像中每個像素被遮擋的概率。
[0017] 在所述設備中，如果跟蹤效果確定器確定對人臉的跟蹤成功，則圖像片遮擋估計 單元可在當前幀沒有被遮擋的情況下利用相應的圖像片來更新圖像片遮擋概率模型，圖像 區域遮擋估計單元可在當前幀沒有被遮擋的情況下利用相應的圖像區域來更新圖像區域 遮擋概率模型。
[0018] 在所述設備中，在所述匹配誤差函數中，基于每個像素被遮擋的概率來調整人臉 表觀模型與人臉形狀