專利名稱：步態識別方法
技術領域：
本發明涉及模式識別領域，特別涉及一種步態識別方法。

背景技術：
生物特征識別技術是鑒定個體身份的一種方法。它通過高科技信息檢測技術、利用人體所固有的生理或行為特征進行個體的身份鑒別，包括人臉識別、指紋識別、虹膜識別和步態識別等多種識別技術。由于每個人的生物特征具有唯一性與普遍性，不易偽造和假冒，因此利用生物特征識別技術進行身份認證具有安全、可靠、正確等優點。目前廣泛使用的指紋識別、虹膜識別及人臉識別等第一代生物特征識別技術，大多需要被檢測對象的配合，有時需要被檢測對象完成特定的動作才能進行識別，這樣難免會造成某些身份認證的被動性。
步態識別旨在根據人們走路的姿勢識別其身份。作為第二代生物特征識別技術，步態識別是唯一在遠距離情況下可以進行身份認證的生物特征識別技術，具有隱蔽性好、對視頻質量要求不高、遠距離非接觸以及難以偽裝等優點。即使在其他生物特征識別技術都失效的情況下，步態識別仍能發揮強而有力的作用。基于上述優點，步態識別近年來備受關注，在視覺監控領域具有廣闊的應用前景。
立體視覺作為計算機視覺領域的一個重要分支，其目的在于重構場景中的三維幾何信息。它由不同位置的兩臺或多臺攝像機拍攝同一場景中的圖像，通過計算空間點在兩幅圖像中的視差以獲得該空間點的三維坐標值。由于立體視覺提供了圖像的三維坐標，理論上可以比單目視覺獲得更多的有效信息。
現有的步態識別大多是在單目視覺的情況下進行的，只有極少部分是在多視角下進行的。目前，基于多視角的步態識別方法都是圍繞預先建立的人體結構模型展開的研究，算法實現比較復雜，實驗環境要求比較嚴格，需要構建人體模型的先驗知識，并且基本側重于跟蹤與分析，識別也僅限于評估算法的有效性，而步態識別研究尚未進行。但是，由于立體視覺具有抗干擾性、有效性處理遮擋、包含更多的運動信息等優點，因此可結合立體視覺進行步態識別，以獲得高識別率和強魯棒性。


發明內容
本發明的目的旨在解決上述技術缺陷之一，特別是解決利用人行走時的步態運動變化行為進行人的身份識別的問題。
為了達到上述目的，本發明提出一種步態識別方法，包括立體視覺標定、訓練和識別。所述立體視覺標定用于進行立體視覺雙攝像機的標定；所述訓練用于訓練獲得的立體步態數據庫；所述識別用于對立體步態特征進行分類。
作為本發明的一個實施例，所述立體視覺標定包括以下步驟將立體視覺雙攝像機采集到的標準棋盤格圖像傳輸到計算機；對所述標準棋盤格圖像進行預處理；提取標定所需要的特征點；對所述立體視覺雙攝像機各自的內外參數進行標定；標定所述立體視覺雙攝像機之間的空間相對位置參數；保存經過校準后的標定結果值。
作為本發明的一個實施例，所述訓練包括以下步驟獲取訓練步態圖像序列對；提取運動目標輪廓；立體匹配得到三維立體輪廓點；提取立體步態特征；使用主分量分析方法對所述立體步態特征進行降維，獲得訓練好的立體步態數據庫。
作為本發明的一個實施例，所述識別采用最近鄰準則，包括以樣本質心作為類匹配模板計算歐氏距離，選取歐氏距離最小的一類作為歸屬類；或者，以樣本標本質心作為類匹配模板計算歐氏距離，選取最近的樣本標本質心所屬的類作為歸屬類。
通過本發明所提取的立體步態特征具有很好的表征性和強魯棒性，能夠有效地提高步態身份認證的識別率。
本發明附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。



本發明上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變得明顯和容易理解，其中 圖1為本發明實施例的步態識別方法的流程圖； 圖2為本發明實施例的立體視覺雙攝像機標定后的配置示意圖； 圖3為本發明實施例的運動目標輪廓提取的流程圖； 圖4為本發明實施例的部分立體步態圖像序列對的示意圖； 圖5為本發明實施例的運動目標輪廓提取的結果示意圖； 圖6為本發明實施例的立體匹配結果示意圖； 圖7為本發明實施例的三維立體輪廓矢量提取示意圖及歸一化的L2范數的結果圖； 圖8為本發明實施例的特征空間投影示意圖。

具體實施例方式 下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發明，而不能解釋為對本發明的限制。
如圖1所示，為本發明實施例的步態識別方法的流程圖，包括以下步驟 步驟S101，進行立體視覺的攝像機標定。
目前常用的立體視覺的攝像機標定方法包括張氏標定法、Tsai標定法和

四步標定法等。由于

四步標定法對標定模板與攝像機位置的要求不高，易于實現，可以得到不同攝像機之間的變換矩陣，因此在本發明實施例中，采用

四步標定法標定攝像機的內外參數，具體步驟如下首先，不考慮任何畸變因素，用直接線性變換的方法計算參數的初值；然后，通過雅可比矩陣反復迭代計算，對參數進行非線性優化使得總的誤差平方和最小；如果使用的控制點的投影大于1個像素，需補償鏡頭圓形產生的失真；最后，解決圖像校正問題，糾正受畸變扭曲的圖像元素的坐標。
在

四步標定法中，內部參數包括焦距長度fc(用2×1矩陣表示，精確到像素)、圖像主點坐標cc(用2×1矩陣表示)、x軸和y軸夾角的角度畸變alpha_c和圖像扭曲系數kc(徑向和切向扭曲，用5×1矩陣表示)，則攝像機矩陣定義為 外部參數包括3×3旋轉矩陣om和3×1平移矩陣T，則兩攝像機之間的空間位置關系可由關系式描述，其中，xwr、ywr和zwr分別為右攝像機在x軸、y軸和z軸的坐標，xwl、ywl和zwl分別為左攝像機在x軸、y軸和z軸的坐標。
如圖2所示，為標定后的立體視覺雙攝像機的配置示意圖。
步驟S102，獲取立體步態圖像序列對。
步驟S103，提取運動目標輪廓。
如圖3所示，為本發明實施例的運動目標輪廓提取的流程圖，包括以下步驟 步驟S301，利用中間值的方法從部分立體步態圖像序列中重建背景圖像。
在本發明實施例中，設{Ik，k＝1，2，...，N}表示包含N幀的圖像序列，則背景圖像可以用表示，其中，Ik(x，y)是像素(x，y)處的灰度值，B(x，y)是背景圖像在像素(x，y)處的灰度值。
步驟S302，運用改進的背景減除法獲取運動目標的二值化圖像序列。
目前常用的運動目標檢測方法包括背景減除法、時間差分法和光流法等。基于各方法的復雜性和檢測的有效性考慮，在本發明實施例中，采用背景減除法進行左右圖像序列的運動目標檢測。
但是，由于在對圖像進行差分時很難確定合適的二值化閾值，因此在本發明實施例中，采用下述提取函數間接執行差分操作 其中，a(x，y)為當前圖像在(x，y)處的亮度值，b(x，y)為背景圖像在(x，y)處的亮度值，且0≤a(x，y)，b(x，y)≤255。對于每幅圖像I(x，y)，通過二值化該提取函數可獲取當前圖像中的變化像素。
步驟S303，數學形態學處理。
由于圖像中通常包含一些由影子、光照等原因造成的非背景噪聲點，使得背景減除后得到的二值化圖像存在一些小空洞、溝壑及毛刺等非目標對象，因此使用數學形態學方法填充空洞、去除噪聲。
步驟S304，單連通區域分析。
對經過數學形態學處理的二值化圖像運用單連通區域分析方法獲得單連通的運動目標區域。
步驟S305，檢測運動目標輪廓。
在本發明實施例中，采用Canny算子檢測出運動目標的輪廓。
如圖4所示，為本發明實施例的部分立體步態圖像序列對的示意圖，其中圖4(a)為左圖像序列，圖4(b)為對應于圖4(a)的右圖像序列。使用本發明實施例的運動目標輪廓提取方法，圖4中的第一幀運動目標圖像對可得到如圖5所示的運動目標輪廓提取結果。
步驟S104，立體匹配得到三維立體輪廓點。
立體視覺的實現包括圖像獲取、攝像機標定、立體匹配和三維重建等幾個主要步驟，其中立體匹配是最關鍵的一個步驟，也是實現最困難的一個步驟。立體匹配方法總體可分為稠密匹配法和稀疏匹配法兩大類。在本發明實施例中主要是針對輪廓點進行立體匹配的，因此采用如下步驟進行 1)在左輪廓圖像上取一點，確定以其為中心的匹配模板和對應的極線。
2)根據已經匹配出的點預測右輪廓圖像待匹配點的初始值，并沿著極線滑動與1)中的點進行模板匹配，得到相關函數序列。
3)將2)中的相關函數序列擬合成二次曲線，確定二次曲線的極大值對應的點作為與1)中的點對應的匹配點。
設(xil，yil)和(xir，yir)分別為左圖像和右圖像中按照上述步驟匹配出的一對輪廓點，則可由以下立體視覺三維坐標恢復公式求出三維立體輪廓點(xiw，yiw，ziw)，i＝1，2，...，N 其中，b為基線距離，fl和fr分別為標定出的左右攝像機的焦距長度，(x0，y0)為圖像中心，(αx，αy)為像素的行間距和列間距。
如圖6所示，為經過立體匹配后，左輪廓圖像上的一點(xil，yil)和其在右輪廓圖像上的對應匹配點(xir，yir)的示意圖。
應理解，在很多情況下監控攝像機拍攝的視頻序列并非是在立體視覺的情況下拍攝的，因此在處理這樣的步態圖像時可省略立體匹配得到三維立體輪廓的步驟，而直接將上述處理三維立體輪廓矢量的方法擴展到二維的情況進行同樣的處理，同時增加抽取圖像序列的步驟。
步驟S105，獲取立體步態特征。
人體運動過程中的輪廓形狀是隨著時間變化的，是一個復雜的時空信號。為了分析運動目標輪廓變化的規律性，并降低算法的復雜性和減少數據的冗余度，在本發明實施例中，使用三維立體輪廓矢量表示運動目標的輪廓變化。三維立體輪廓矢量隨著時間的變化則反映了運動目標輪廓形狀的不斷變化，進而得到三維立體輪廓矢量的L2范數作為原始立體步態特征。
如圖7(a)所示，為三維立體輪廓矢量的提取示意圖。令(xi，yi，zi)為三維立體輪廓上的任意一點，其中，i＝1，2，...，N，N為輪廓像素總數，則三維立體輪廓的質心可表示為 其中，(xc，yc，zc)為三維立體輪廓的質心坐標， 那么，三維立體輪廓矢量可表示為 三維立體輪廓可表示為 由于運動目標輪廓隨著時間的變化隱含反應了所提取的三維立體輪廓矢量的變化，為了簡化計算量，在不影響最終識別的情況下，本發明僅采用三維立體輪廓矢量的L2范數作為原始立體步態特征，則原始立體步態特征為為了消除尺度、長度因子對于識別結果的影響，利用最大值范數和等間隔重采樣方法對原始立體步態特征進行幅度和長度的歸一化，這樣所提取的原始立體步態特征即可組成訓練和測試樣本集。如圖7(b)所示，為歸一化后的L2范數。
步驟S106，使用主分量分析方法降低立體步態特征的維數。
由于步驟S105中所提取的立體步態特征的數據量很大，并且有很多冗余數據，直接應用這些特征數據進行步態識別會造成很大的工作量，因此可先對其構造特征空間，然后進行特征空間投影變換以降低數據維數。
對于如何構造特征空間以及特征空間投影變化，本發明提出的可能的方案如下，當然本領域技術人員也能夠根據下述方案提出其他修改或變化，這些修改或變化均應包含在本發明的包含范圍之內。
給定C個訓練類別，設訓練樣本集為T＝{Sij}，i＝1，2，...，C，j＝1，2，...，Nc，總訓練樣本數為NT＝N1+N2+...+Nc，則訓練樣本集的均值和協方差矩陣為 其中，μ為訓練樣本集的均值。根據矩陣分析理論，如果協方差矩陣∑的秩為N，則可以求得協方差矩陣的N個特征值[λ1，λ2，...，λN]及其對應的特征矢量[e1，e2，...，eN]。根據能量分布觀點，給定閾值U，選擇使得的前k個特征值所對應的特征矢量[e1，e2，...，ek]作為一組基構造特征空間P，特征空間的維數為k。
將訓練樣本在上述基[e1，e2，...，ek]所張成的特征空間中進行投影，即Pij＝[e1，e2，...，ek]T·Sij＝[s1，s2，...，sk]。經過特征空間投影的原始立體步態特征對應于k維特征空間P中的一個點，而原始立體步態特征序列對應于特征空間中的一個軌跡，這樣就極大地簡化了進行識別時的數據計算量，同時也保證了數據的有效性。
如圖8所示，為本發明實施例的特征空間投影的示意圖。為了可視化，此處僅顯示了三維的情形。
步驟S107，采用最近鄰準則進行分類識別。
為了驗證所提取的立體步態特征的有效性，在本發明實施例中，首先定義樣本質心與樣本標本質心，然后基于歐氏距離度量，采用最近鄰準則進行分類識別。
設P1j和P2j分別為經過特征空間投影后的兩個步態序列，N1和N2分別為它們的長度，則其樣本質心分別為和它們之間的距離為D＝‖S1-S2‖。
對于任意一個經過特征空間投影后的步態序列Pij，則其樣本質心為再計算Si到所有訓練樣本集的樣本質心之間的歐氏距離，選取歐氏距離最小的一類作為Pij的歸屬類。
同時，在本發明實施例中，還可采用樣本標本質心作為類匹配模板計算歐氏距離。設為第S個人的I個步態序列，樣本總數為NS＝N1+N2+...+NI，則第S類的樣本標本質心為對于最近標本分類器，每個樣本序列被分類到離它最近的樣本標本質心所屬的類中。
為了進一步了解本發明的優點，使用本發明實施例中創建的PRLAB立體步態數據庫驗證了本發明實施例的步態識別方法的識別性能。通過驗證結果，本發明的和/或附加的方面和優點將變得更加明顯和容易理解。
由于目前世界上尚無特定的立體步態數據庫，因此創建了PRLAB立體步態數據庫。固定在三腳架上的兩臺數字攝像機用于在室內環境中捕捉立體步態圖像序列對，經過立體視覺攝像機標定后的立體視覺被用來采集步態圖像序列對，行人相對于攝像機平面而言是側面行走。本發明創建的PRLAB立體步態數據庫包括14個人，每人5個序列，總計70個立體步態圖像序列對，圖像尺寸為320×240。
在上述立體步態數據庫中，在樣本質心和樣本標本質心兩種度量規則下，采用最近鄰分類，各自獲得了70％和92％的識別率。由于本發明所創建的立體步態數據庫中有一人的服飾與背景近似，而沒有經過特別的前期圖像預處理，所以進行識別時此人的大部分步態序列不能正確識別，導致整體識別率的降低。但是，對于其他人，采用本發明的步態識別方法都能正確的識別。另外，對于攜帶附屬物品或者存在少許遮擋的行人，例如攜帶背包、斜挎包等的行人，采用本發明的步態識別方法都能正確的識別。由上述識別結果可以看出，本發明的立體步態特征具有很好的表征性和強魯棒性。
通過本發明能夠有效地提高步態身份認證的識別率，可以應用于各種場合的視覺監控系統。
盡管已經示出和描述了本發明的實施例，對于本領域的普通技術人員而言，可以理解在不脫離本發明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發明的范圍由所附權利要求及其等同限定。
權利要求
1、一種步態識別方法，包括立體視覺標定、訓練和識別，
所述立體視覺標定，用于對立體視覺雙攝像機進行標定；
所述訓練，用于訓練所獲得的立體步態數據庫；
所述識別，用于對立體步態特征進行分類。
2、權利要求1所述的步態識別方法，其特征在于，所述訓練包括以下步驟
獲取訓練步態圖像序列對；
提取運動目標輪廓；
立體匹配得到三維立體輪廓點；
提取立體步態特征；
使用主分量分析方法對所述立體步態特征進行降維，獲得訓練好的立體步態數據庫。
3、權利要求1所述的步態識別方法，其特征在于，所述提取運動目標輪廓，包括以下步驟
利用中間值的方法從部分立體步態圖像序列中重建背景圖像；
運用改進的背景減除法獲取運動目標的二值化圖像序列；
使用數學形態學方法填充空洞、去除噪聲；
使用單連通區域分析方法獲得單連通的運動目標區域；
采用Canny算子檢測出運動目標的輪廓。
4、權利要求2所述的步態識別方法，其特征在于，所述立體匹配得到三維立體輪廓點，包括以下步驟
確定以左輪廓圖像中的點為中心的匹配模板和對應的極線；
根據已匹配出的點預測右輪廓圖像待匹配點的初始值，并沿著所述極線滑動與所述左輪廓圖像中的點進行模板匹配，得到相關函數序列；
將所述相關函數序列擬合成二次曲線，確定所述二次曲線的最大值所對應的點作為與所述左輪廓圖像中的點所對應的匹配點；
結合所述立體視覺雙攝像機標定的內外參數與空間相對位置參數，獲得所述三維立體輪廓點。
5、如權利要求2所述的步態識別方法，其特征在于，所述提取立體步態特征，包括以下步驟
產生三維立體輪廓矢量；
獲得原始立體步態特征；
對所述原始立體步態特征進行幅度和長度上的歸一化。
6、如權利要求5所述的步態識別方法，其特征在于，所述原始立體步態特征為所述三維立體輪廓矢量的L2范數。
7、如權利要求2所述的步態識別方法，其特征在于，所述主分量分析方法，包括
對所述立體步態特征構造特征空間；
進行特征空間投影變換。
8、如權利要求1所述的步態識別方法，其特征在于，所述識別采用最近鄰準則，包括
以樣本質心作為類匹配模板計算歐氏距離，選取歐氏距離最小的一類作為歸屬類；
以樣本標本質心作為類匹配模板計算歐氏距離，選取最近的樣本標本質心所屬的類作為歸屬類。
全文摘要
本發明提出一種步態識別方法，包括立體視覺標定、訓練和識別三個部分，具體步驟如下立體視覺的攝像機標定；獲取立體步態圖像序列對；提取運動目標輪廓；立體匹配得到三維立體輪廓點；提取立體步態特征；使用主分量分析方法對所述立體步態特征進行降維；采用最近鄰準則進行分類與識別。本發明所提取的立體步態特征具有很好的表征性和強魯棒性，能夠有效地提高步態身份認證的識別率。
文檔編號G06K9/00GK101609507SQ20091015206
公開日2009年12月23日 申請日期2009年7月28日 優先權日2009年7月28日
發明者汪增福, 劉海濤 申請人:中國科學技術大學