專利名稱：一種基于輪廓波變換的三維人耳提取方法
技術領域：
本發明屬于圖像處理技術領域，具體為一種可以自動地從三維深 度數據中提取出人耳的算法。
背景技術：
生物特征識別在身份識別中應用得越來越廣泛。相對于指紋識別
和虹膜識別，人耳在圖像采集上更方便；相對于人臉，人耳不存在表 情，也沒有化妝品或眼鏡的遮擋，特征更為穩定。對于每個人來說， 外耳輪廓形狀和輪廓內結構分布各不相同，并且這種獨特的結構在年 齡8 70歲之間幾乎不發生變化。因此，人耳識別是一種很有發展潛 力的生物特征識別技術。
通常，人耳的上半部分跟頭發相鄰，兩者顏色差異比較大，在彩 色圖像中表現為明顯的邊緣，人耳的下半部分比頸部皮膚表面位置高 的多，因而在深度圖像中表現為明顯的邊緣，所以Yan等人通過彩色 圖像和深度圖像的結合，使用snake算法提取人耳，取得了較好的效 果。他們融合了彩色圖像和深度圖像的梯度，以一個中心在耳洞的橢 圓作為初始輪廓，采用膨脹氣球模型的snake算法順利提取出人耳。 由于snake算法要求對象存在閉合的邊緣信息，但是人耳在靠近臉頰 那邊不存在明顯的邊緣，所以傳統的snake輪廓會一直往臉頰擴張。針對這個問題提出了 一種改進如果在深度圖像上3 x 5范圍內沒有大 的梯度變化，就修改該處的內部能量，使得輪廓停止擴展。但是，文 獻[ll]中提出的對于內部能量修改的改進雖然避免了輪廓向臉頰的膨 脹，卻也引入了新的問題輪廓線可能在耳朵內部較為平滑的區域停 止膨脹。在使用的snake算法過程中，我們還發現該算法提取輪廓的 效果很大程度上依賴于參數取值，并且相關的參數個數較多，除了 snake模型的張力、剛度、深度圖像的權重、彩色圖像的權重和氣球 壓力外，實際運算中還有阻滯系數，輪廓點分布密度等，均需要手動 調節。
由于snake算法和它的改進算法存在上述問題，本發明提出一種 新的基于Contourlet變換的外耳輪廓提取方法。能夠較好地實現三維 人耳的精確提取，為后續的人耳識別打下良好的基礎，實現更高的識 別率。

發明內容
為了解決snake算法和它的改進算法存在上述問題，本發明提出一 種新的基于Contourlet變換的外耳輪廓提取方法。該方法步驟如下 步驟1 ，訓練Contourlet域概率模型
(1) 預處理進行耳洞檢測找到人耳位置，以耳洞為中心，在Z通道, 取出人耳周圍161X149像素的彩色圖像和深度圖像；
(2) 分別提取Cr通道和深度圖像的梯度并求兩者的和,再將這個梯度 和二值化，把像素點少于27、的連通小段清理掉，接著進行細化，所得結果稱為邊緣圖像；
(3) Contourlet變換對邊緣圖像做Contourlet變換，分解參數集設
置為"/euy ;
(4) 系數量化與組合將Contourlet變換得到的系數量化為N級，
相鄰的M個系數組合成塊；
(5) 統計，獲得概率表以塊為單位，統計這種類型的塊在這個位置
出現的概率，結果保存在表格中。
(6) 對所有訓練圖像做1 4，得到系數分布的概率表； 步驟2，應用Contourlet域概率模型提取耳廓
(1)對測試圖像做與訓練步驟1， 2， 3相同的操作，得到系數組合 成的塊；
(2) 對于每個塊，利用系數矢量的索引號v查找概率表，在概率表 中，如果這種塊在這個位置出現的概率小于0.01，就將這個塊
的所有系數置為零，反之則保留；
(3) 反變換對處理過的系數做Contourlet反變換；
(4) 二值化對反變換結果通過閾值TH重新二值化；
(5) 求凸殼計算二值化的結果的凸殼，獲得閉合的曲線，作為耳 朵的邊緣輪廓；
進行Contourlet變換時采用的參數集設置為"/ew = [2,3]。 Contourlet變換得到的系數量化級數N取為3，統計概率表時相 鄰的組合成塊的系數個數M取為4。 對反變換結果重新二值化時閾值TH取為0.5，大于閾值的置為l,小于的置為0。
Contourlet變換是M. N. Do等人提出的一種能夠捕捉二維信號 幾何結構的變換方法[13]。通過這種變換，可以對圖像進行多尺度、 多方向的分解，解決了小波變換在提取方向信息上的不足。Contourlet 變換的邊緣捕捉方式如附圖l(a)所示，它能沿著圖像輪廓邊緣用比 小波變換更少的系數來逼近曲線，從而實現圖像的稀疏表示。
Contourlet變換通過塔形方向濾波器組將圖像分解成各個尺度 上的帶通方向子帶，它由兩個步驟實現子帶分解和方向變換。首先， 用拉普拉斯金字塔變換對圖像進行多尺度分解以"捕獲"奇異點，然 后由方向濾波器組將分布在同方向上的奇異點合成一個系數。拉普拉 斯金字塔分解和方向濾波器組都具有完全重構性，因此可由變換系
數通過反變換得到原圖像。
Contourlet分解可以用參數集w/ew-
，表示將 圖像分解為兩個從細到粗的尺度第一個尺度(高頻細節)進一步分 解為23個方向子帶(附圖l(b)中的子帶5、 6、 7、 8、 9、 10、 11和12)， 第二個尺度(中頻部分)進一步分解為22個方向子帶(附圖中l(b)中 的子帶l、 2、 3和4)，最后剩下的子帶O是不再做方向分解的低頻部分。
本發明主要提出的一種基于Contourlet變換的外耳輪廓提取方 法，是先統計人耳邊緣在不同位置不同方向的Contourlet系數值出現 的概率，得到Contourlet域人耳邊緣分布的概率模型，再利用概率大 小對輸入的邊緣圖像進行過濾，濾除不屬于人耳的邊緣，只留下真正 的人耳邊緣。最后，計算包含這些邊緣的最小凸包，即凸殼(Convex Hull),凸殼包含的區域就是耳朵區域。實驗結果表明，本發明可較好地實現三維人耳的精確提取，為后續的人耳識別打下良好的基礎，實 現更高的識別率。
本發明的優點是， 一是能較好地定位出耳朵輪廓，并提取出外耳，
提供給后續識別和判定；二是適用于正面耳朵的檢測，即使有少量頭 發的遮擋，算法依然有效，并且對圖像的輕微旋轉、光照條件變化不 敏感。三是本發明的計算復雜度很低。


圖1. Contourlet變換。(a) Contourlet變換的邊緣捕捉方式，(b) Contourlet變換在頻域上的分割
具仃實施方式 關于預處理
實驗使用的是來自University of Notre Dame構建的UND數據庫。 該數據庫是由Minolta Vivid 910深度掃描儀掃描側面人臉獲得的。人 坐在距離掃描儀約1.5米的地方，左側臉正對掃描儀。掃描結果是一 幅640X480大小的RGB彩色圖像和640X480大小的包含X， Y, Z 三個通道坐標的三維深度圖像，圖像中的點灰度越大表示離掃描儀越 近，邊上純黑色的區域表示該處沒有深度數據。庫里每個對象都有兩 個掃描結果，分兩次拍攝，兩次拍照時間相差17.7周。
Contourlet變換是一種二維圖像處理方法，而傳感器采集到的數 據不僅包含有彩色圖像，而且有三維的深度信息，所以需要對數據做 一定的預處理。 '首先，耳洞檢測方法找到人耳位置。然后，以耳洞為中心，取出
人耳周圍161 X 149像素的彩色圖像和深度圖像(僅Z通道)。在K76CV 彩色空間的O通道上，皮膚與頭發的邊緣最為明顯，因此提取人耳 彩色圖像O通道的梯度，并進行閾值處理，把較小的梯度值直接置為 0，只留下較強的邊緣。同樣的，對深度圖像也提取梯度，也進行閾 值處理，只留下較強的邊緣。然后把兩個梯度圖像相加得到聯合梯度 圖像，接著將聯合梯度圖像二值化，再把像素點少于一定值的連通小 段清理掉，最后進行細化處理，便可得到邊緣圖像。 關于Contourlet域概率模型
預處理得到的邊緣里不僅含有耳朵的邊緣，也含有頭發的邊緣。 由于邊緣圖像中頭發邊緣的存在，會使提取的耳朵包含大量頭發表面 等非耳朵信息，使后續識別階段的識別率大大降低。耳朵的邊緣在特 定位置具有特定的方向，比如說，在右下角邊緣應該是約45度走向， 正下方應該呈水平走向等。因此，為了確定邊緣走向和位置的關系， 我們在Contourlet變換域設計了一個的概率模型，以實現人耳的精確 提取，其實現步驟如下所示
Step 1.變換對邊緣圖像做Contourlet變換，分解參數集設置為 w/ew = [2，3]。
Step 2.量化通過閾金/eve/(/eve/>0)將Contourlet系數量化為3級， 分別是小于-/ew/的(量化為0)、介于-/ew/和之間的(量 化為1)以及大于+&^/的(量化為2)。在Contourlet變換域中 的每個系數代表了圖像該處一小段邊緣的走向，由于相同子 帶的臨近系數具有很大的相關性，為了更好的表示邊緣分布 關系，我們把每個子帶劃分為多個不重疊的2x2大小的塊， 每個塊里f 4個系數，故共有34=81種不同類型，用索引 0，1，...,80表示，記為v。
Step 3.統計:記索引值為v的塊在訓練樣本里出現的頻數為C;(;c,少,v)，
則該塊的概率為
在上式中，下標w表示子帶序號，v為塊類型索引值，Oc,》為塊 在第n個子帶中的坐標，C,為訓練樣本的總個數，通過對邊緣圖像中 只包含耳朵邊緣的圖像進行統計，得到所有類型的塊在所有子帶各個 位置出現的概率/U:c，"v)，獲得概率表。
在應用上述模型進行邊緣清理時，同樣的，首先將邊緣圖像做 Contourlet變換，在每個子帶中把臨近的2x2個系數組合成為一個塊v，然后査找概率表，如果該塊在Oc，力處出現概率少于某個閾值，說 明該塊為耳朵邊緣的概率極小，那么就將這4個系數置為零。對 Contourlet變換域的每個塊做上述處理后，再進行Contourlet反變換， 并對反變換后的結果重新二值化，便可得到處理后的邊緣圖像。 關于計算閉合的輪廓線
計算處理后的邊緣圖像的凸殼作為耳朵輪廓線，填充輪廓線獲得 掩膜，利用這個掩膜在深度圖像中挖出耳朵，作為下一步人耳識別的 基礎。用Contourlet域概率模型將部分系數置為零，再反變換回來， 重新二值化，最后計算凸殼，得到閉合的耳朵輪廓線。
下面說明具體操作過程
首先訓練出Contourlet域概率模型，然后應用Contourlet域概率
模型提取耳廓。
Contourlet域概率模型訓練步驟
1. 預處理進行耳洞檢測找到人耳位置，以耳洞為中心，取出人耳
周圍161X149像素的彩色圖像和深度圖像(僅Z通道)。分別 提取O通道和深度圖像的梯度得到G&和《，先把和《中 比較小的梯度值置為0，再求和得到混合梯度G^，取一個閾 值對C^二值化，把像素點少于一定值的連通小段清理掉，接 著進行細化，所得結果稱為邊緣圖像。
2. Contourlet變換對邊緣圖像做Contourlet變換，分解參數集設置 為由^[2,3]。
3. 系數量化與組合將Contourlet變換得到的系數量化為3級，相 鄰的4個系數組合成塊。
4. 統計，獲得概率表以塊為單位，統計這種類型的塊在這個位置
出現的概率，結果保存在表格中。
5. 對所有訓練圖像做1 4，得到系數分布的概率表。應用Contouriet域概率模型提取耳廓
1. 對測試圖像做與訓練步驟1， 2， 3相同的操作，得到系數組合成 的塊。
2. 對于每個塊，利用系數矢量的索引號v査找概率表，在概率表中， 如果這種塊在這個位置出現的概率小于某閾值，就將這個塊的4個 系數置為零，反之則保留。
3. 反變換對處理過的系數做Contourlet反變換。
4. 二值化對反變換結果重新二值化，實驗中閾值取為0.5。
5. 求凸殼計算二值化的結果的凸殼，獲得閉合的曲線，作為耳朵 的邊緣輪廓。
人耳提取結果的好壞可以用提取到的輪廓與真實人耳輪廓的 Hausdorff距離來衡量，Hausdorff距離值越小，結果越精確。但是由 于真實的人耳邊界無法獲得，我們用手動提取的人耳輪廓代替真實輪 廓。對來自200個不同對象的400個樣本(每個對象2個樣本)做預處 理，從中選出只包含耳朵邊緣的部分邊緣圖像作為訓練集建立概率 表，使用這個概率表對這400個樣本進行耳朵提取，并計算所提取結 果與手動提取結果之間Hausdorff距離的平均值。
首先，本發明研究訓練集大小與耳朵提取結果之間的關系。訓練 集個數依次設為IO， 20,……，90， 100，測試集始終是400個樣本。 當訓練集較小時，Hausdorff距離隨訓練集增大明顯減小，當訓練集 個數大于80個后，距離值還在繼續減小，但變化已經不再明顯，所 以在后面的實驗中訓練集個數就定為100個。在訓練集個數固定為IOO個的情況下，利用所提議的方法，對邊 緣圖像進行了處理，由于改進的snake算法一方面需要在圖像中低梯 度的地方膨脹以到達高梯度的輪廓邊緣，另一方面又需要停止在大面 積低梯度的地方，防止往臉部膨脹，所以有部分曲線容易收斂在耳朵 上較為平坦的地方，結果獲得的也往往是不完整的耳朵，這一點可以 從附圖9(a)中清楚地看出來。
最后，利用本發明方法的提取結果，在深度圖像里取出三維人耳 數據點，使用ICP算法進行人耳識別。400個樣本來自200個不同的 人，每個人都有兩個樣本，其中質量較高的作為模型在人耳庫里注冊， 稱為gallery,另一個用來測試，稱為probe。人耳識別時，用ICP算 法使pmbe跟庫里的每個gallery逐一匹配，匹配誤差最小的一對耳朵 作為識別結果。為了加快識別速度，運行ICP算法時對probe進行了 下采樣，每四行和四列取一個數據點，gallery不做下采樣。另外，本 發明對使用snake算法提取的人耳做了識別，結果如表1所示。 表l ，本發明方法、snake算法結果與手動方法提取人耳的結果和識 別結果計較
采用ICP進行 — Hausdorff距離(像 人耳提取運 方法 3D人耳識別
素) 算時間(秒) 的識別率(％)
手動方法0.0(參考標準) 96.5 ——
本發明方法 4.2 95.5 0.43
snake方法 18.9 90.0 2.66通過比較，我們發現所提議的人耳提取算法與snake算法相比， 具有更好的效果，與手動提取的輪廓的Hausdorff距離平均僅為4.2 象素，采用ICP算法進行識別時識別率達到95.5M,比用手動方法提 取出來的耳朵做三維人耳識別得到的識別率僅僅低一個百分點。另 外，不同于迭代的snake算法，我們提出的方法運算時間是固定的， 由于Contourlet變換具有較高的運算速度，所以所提議的方法在運算 時間上也具有較大的優勢，參見表1。更進一步，本文提出的基于 Contourlet變換的人耳提取算法，克服了 snake算法的大量參數需要 手動調整的難題，實現了自動的人耳精確提取。
權利要求
1、一種基于Contourlet變換的三維人耳提取方法，其特征在于，該方法步驟如下步驟1，訓練Contourlet域概率模型(1)預處理進行耳洞檢測找到人耳位置，以耳洞為中心，在Z通道，取出人耳周圍161×149像素的彩色圖像和深度圖像；(2)分別提取Cr通道和深度圖像的梯度并求兩者的和，再將這個梯度和二值化，把像素點少于27的連通小段清理掉，接著進行細化，所得結果稱為邊緣圖像；(3)Contourlet變換對邊緣圖像做Contourlet變換，分解參數集設置為nlevs；(4)系數量化與組合將Contourlet變換得到的系數量化為N級，相鄰的M個系數組合成塊；(5)統計，獲得概率表以塊為單位，統計這種類型的塊在這個位置出現的概率，結果保存在表格中。(6)對所有訓練圖像做1～4，得到系數分布的概率表；步驟2，應用Contourlet域概率模型提取耳廓(1)對測試圖像做與訓練步驟1，2，3相同的操作，得到系數組合成的塊；(2)對于每個塊，利用系數矢量的索引號v查找概率表，在概率表中，如果這種塊在這個位置出現的概率小于0.01，就將這個塊的所有系數置為零，反之則保留；(3)反變換對處理過的系數做Contourlet反變換；(4)二值化對反變換結果通過閾值TH重新二值化；(5)求凸殼計算二值化的結果的凸殼，獲得閉合的曲線，作為耳朵的邊緣輪廓。
2、 如權利要求1所述的一種基于Contourlet變換的三維人耳提取方 法，其特征在于，進行Contourlet變換時采用的參數集設置為 w/evs二[2，3]。
3、 如權利要求1所述的一種基于Contourlet變換的三維人耳提取 方法，其特征在于，Contourlet變換得到的系數量化級數N取為3, 統計概率表時相鄰的組合成塊的系數個數M取為4。
4、 如權利要求1所述的一種基于Contourlet變換的三維人耳提取 方法，其特征在于，對反變換結果重新二值化時閾值TH取為0.5， 大于閾值的置為l，小于的置為0。
全文摘要
本發明屬于圖像處理技術領域，具體為一種可以自動地從三維深度數據中提取出人耳的算法。該算法可以應用于計算機自動人耳識別系統的前端處理方面。本算法通過統計耳朵輪廓在Contourlet變換域不同子帶不同位置上系數的分布概率，構建耳朵概率模型，利用這個模型，把非人耳輪廓邊緣過濾掉，只留下耳朵邊緣，再計算這些邊緣的凸殼，從而實現了三維人耳的精確提取。本發明具有較低的計算復雜度，同時提取的三維人耳具有較高的精確度，對于進一步提高計算機自動人耳識別系統性能具有重要的實際應用價值，在身份認證和識別領域具有較好的應用前景。
文檔編號G06K9/36GK101419669SQ200810201170
公開日2009年4月29日 申請日期2008年10月14日 優先權日2008年10月14日
發明者張立明, 斌 王, 陳雷蕾 申請人:復旦大學