一種基于拓撲表達的跨視角步態識別方法
【專利摘要】本發明公開了一種基于拓撲表達的跨視角步態識別方法，該方法包括以下步驟：根據某個人某個視角的人體空間輪廓圖片，建立人體空時輪廓；以數據點為頂點構建立方體，得到包述人體空時輪廓外表面的三角形集合；對所有邊和頂點排序，構建新空間，計算其拓撲表達，形成每個方向每個維度下的類柱狀圖；在類柱狀圖上提取特征，得到這個人這個視角下的特征表達；得到每個人在各個視角下的特征表達，作為匹配模板；計算測試樣本的特征表達，將其與匹配模板進行匹配，得到步態識別結果。本發明從步態的全局信息出發，融合部分有區分力的局部信息，解決了人體步態在跨視角下利用局部信息難以區分的問題，從而提高了步態識別，尤其是跨視角下的精度。
【專利說明】一種基于拓撲表達的跨視角步態識別方法
【技術領域】
[0001]本發明涉及模式識別和代數拓撲，特別涉及一種基于silhouette模型拓撲表達的跨視角步態識別方法。
【背景技術】
[0002]目前，傳統步態識別算法，尤其是基于silhouette模型的步態識別算法，缺乏有效地表達時序和三維空間的全局信息的能力，尤其是在視角劇烈變化和有遮擋的情況下，這些傳統算法往往表現的不盡如人意。這也是計算機視覺系統與人眼視覺系統相比在識別精度上仍存在著巨大差距的重要原因之一。因此，鑒于以往的方法很難滿足人們對全局信息的需要，本發明提出了一種基于拓撲表達的跨視角步態識別方法來描述步態的整體時空結構，本發明方法在跨視角和遮擋的條件下，比傳統方法表現出了更強的魯棒性和更高的識別精度。

【發明內容】

[0003]為了解決現有技術存在的問題，本發明提供一種基于拓撲表達的跨視角步態識別方法，該方法包括以下步驟:
[0004]步驟1，根據數據庫中某個人在某個視角下的人體空間輪廓圖片，建立對應的人體空時輪廓；
[0005]步驟2，對所述人體空時輪廓中的每個數據點，若滿足立方體構建條件，則以其為一個頂點構建一個立方體；
[0006]步驟3，根據構建得到的立方體，得到包圍所述人體空時輪廓外表面的三角形集合；
[0007]步驟4，基于對所述三角形集合中的三角形按多個方向進行排序，并根據三角形的排列順序對構成三角形的所有邊和頂點進行排序；
[0008]步驟5，將排好序的頂點、邊和三角形作為要素，構建新空間，并計算所述新空間的拓撲表達，形成每個方向每個維度下的類柱狀圖barcode ；
[0009]步驟6，在所述步驟5得到的每個方向每個維度下的類柱狀圖上提取特征，得到這個人在這個視角下的最終特征表達；
[0010]步驟7，對所有人在每個視角下都進行所述步驟1-6的過程，得到每個人在各個視角下的特征表達，作為用于匹配的模板；
[0011]步驟8，對于測試樣本按照所述步驟1-6得到其對應的特征表達，將測試序列的特征表達與所述步驟7得到的數據庫中的特征表達模板進行匹配，得到步態識別結果。
[0012]根據本發明方法，可以區分局部相似而全局不同的特征。通過以拓撲結構為媒介使得特征對視角變化和遮擋更加魯棒，提供更高的識別精度。
【專利附圖】

【附圖說明】[0013]圖1是本發明方法的流程圖。
[0014]圖2是根據本發明一實施例的人體空間輪廓圖(silhouette)。
[0015]圖3(a)是將人體空間輪廓疊加在一起形成的空時輪廓示意圖。
[0016]圖3(b)是立方體三角化的示意圖。
[0017]圖3(c)是三角形排序的示意圖。
[0018]圖4是類柱狀圖的示意圖。
[0019]圖5是在三種條件下利用本發明方法和傳統步態能量圖方法進行步態識別的精度比較圖。
【具體實施方式】
[0020]為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，并參照附圖，對本發明進一步詳細說明。
[0021]本發明利用基于拓撲的目標表達，來實現一個步態識別方法。該方法包括構建新空間、對新空間進行描述、計算新空間的拓撲表達、利用拓撲表達進行步態識別等4部分內容。本發明利用空間的全局信息，增強了圖像的信息表達能力。
[0022]圖1是本發明方法的流程圖，如圖1所示，所述方法包括以下步驟:
[0023]步驟1，根據數據庫中某個人在某個視角下的人體空間輪廓圖片，建立對應的人體空時輪廓；
[0024]所述步驟I進一步包括以下步驟:
[0025]步驟11，收集一系列某個人在某個視角下的人體空間輪廓圖片，如圖2所示；
[0026]步驟12，將圖片中的人體空間輪廓按比例縮放到同一尺寸大小并對齊，比如對齊到圖片中心；
[0027]步驟13，將所有圖片以相鄰間隔m個(比如I個)像素單位地疊在一起，得到一個人體空時輪廓(space-time shape),如圖3(a)所示。
[0028]步驟2，對所述人體空時輪廓中的每個數據點，判斷能否以其為一個頂點構建一個立方體，判斷規則如圖3 (b)所示，當前數據點為點1，如果對應的數據點2?8存在，則滿足立方體構建條件，否則由該數據點出發無法構建一個立方體。
[0029]步驟3，根據構建得到的立方體，得到包圍所述人體空時輪廓外表面的三角形集合；
[0030]所述步驟3進一步包括以下步驟:
[0031]步驟31，對組成立方體的每個正方形進行判斷:如果這個正方形同時為兩個立方體所共有，則刪除這個正方形，對于所有的正方形進行上述判斷，得到一個包圍人體空時輪廓外表面的正方形集合；
[0032]步驟32，對所述正方形集合中的每個正方形進行三角化，即將所述正方形集合中的每個正方形劃分成兩個三角形，如圖3(b)所示，最終得到一個包圍人體空時輪廓外表面的三角形集合。
[0033]步驟4，基于對所述三角形集合中的三角形按多個方向進行排序，并根據三角形的排列順序對構成三角形的所有邊和頂點進行排序；
[0034]在本發明一實施例中，在對三角形按多個方向進行排序時，可以先以三角形的某個頂點來表示此三角形，然后按照三角形的第一個坐標進行由小到大的排列，如圖3(c)中X軸所示的方向，形成集合S1 ;然后取其逆序，得到集合S2 ;按照第二坐標和兩個對角線方向分別對三角形進行正向和反向排序，又可以得到集合S3，S4,…，S7, S8。
[0035]在本發明一實施例中，在對構成三角形的所有邊和頂點進行排序時，按照以下規則進行排序:如果某個三角形在三角形集合中處于第i個的位置，那么其三條邊在三角形邊集合中應位于3i，3i+l，3i+2的位置，其三個頂點在三角形頂點集合中應位于3i，3i+l，3?+2的位置。
[0036]步驟5，將排好序的頂點、邊和三角形作為要素，構建新空間，并計算所述新空間的拓撲表達，形成每個方向每個維度下的類柱狀圖(barcode)，如圖4所示。
[0037]在本發明一實施例中，利用現有技術中常用的persistent homology方法計算空間的拓撲表達。
[0038]步驟6，在所述步驟5得到的每個方向每個維度下的類柱狀圖上提取特征，得到這個人在這個視角下的最終特征表達；
[0039]所述步驟6進一步包括以下步驟:
[0040]步驟61，將某個維度的類柱狀圖沿著橫軸劃分成多個比如ncut個區域；
[0041]步驟62，在每個區域內統計新產生的特征數目和從上一區域一直持續到本區域結束的特征數目，其中，一條線就是對應的一個特征；
[0042]步驟63，將這些數字串起來形成一個向量，即為在該維度下的類柱狀圖提取得到的特征；
[0043]步驟64，在每個方向每個維度下進行相同的操作，將得到的所有向量合并起來得到一個矩陣，即為這個人在這個視角下的最終特征表達。
[0044]步驟7，對所有人在每個視角下都進行所述步驟1-6的過程，得到每個人在各個視角下的特征表達，作為用于匹配的模板；
[0045]步驟8，對于 測試樣本按照所述步驟1-6得到其對應的特征表達，將測試序列的特征表達與所述步驟7得到的數據庫中的特征表達模板進行匹配，得到步態識別結果。
[0046]在本發明一實施例中，采用最近鄰匹配的方式:采用cosine距離計算兩個特征表達的相似度。
[0047]為了詳細說明本發明方法，接下來以某步態識別數據集為例進行說明。該數據集包含124個人在3種條件下(正常、背包、穿大衣)11個視角(從0°到180°，相鄰角度間隔18° )的圖像，圖片總計數量在一百萬以上。本發明能夠根據人的步態圖像，給出圖像所代表的人的標簽。具體步驟如下:
[0048]步驟SO，將所有人體輪廓圖按比例縮放、對齊到100X 100大小。
[0049]步驟SI，將步驟SO得到的某人某視角下的圖片以相鄰間隔I個像素單位按序疊在一起，形成一個人體空時輪廓space-time shape。
[0050]步驟S2，對space-time shape中每個數據點構建立方體；對立方體的每個面，如果它也是其它立方體的一個面，那么就舍棄這個面；然后對剩余的立方體的面進行三角化。
[0051]步驟S3，對步驟S2產生的三角形按照其第一頂點的第一個坐標進行排序，形成集合31 ;取其逆序，得到集合S2 ;按照第二坐標和兩個對角線方向分別對三角形進行正向和反向排序，又得到集合S3，S4,..., S7, Sgo[0052]步驟S4，將步驟S3中每組排序好的集合Si, i = 1,2,…，8，連帶著其邊和節點，利用persistent homology計算其拓撲表達,形成每個方向每個維度下的barcode By,其中，j代表維度。
[0053]步驟S5，將步驟S4中產生barcode Bi,」，劃分成24區域，在每個區域內統計新產生的特征數目(一條線就是對應一個特征)和從上一區域一直持續到本區域結束的特征數目，將這些數字串起來形成一個48維的向量VM，然后將所有8個方向下第O個維度和第I個維度(j = 0，1)下的向量合并起來形成一個48X 16大小的矩陣M= [Vlj0 Via V2j0 V2jl-V8,0 V8, J，這就是這個人在這個視角下的最終特征表達。
[0054]步驟S6，對于數據庫中的每個人、每個視角，重復步驟SI~步驟S5，建立其對應的特征表達。
[0055]步驟S7，對于新來的測試樣本，重復步驟SI~步驟S5，建立其特征表達，并和數據庫中已存在的特征表達進行最近鄰匹配；采用cosine距離計算兩個
特征表達的相似度，也即對于特征表達
【權利要求】
1.一種基于拓撲表達的跨視角步態識別方法，其特征在于，該方法包括以下步驟: 步驟1，根據數據庫中某個人在某個視角下的人體空間輪廓圖片，建立對應的人體空時輪廓； 步驟2，對所述人體空時輪廓中的每個數據點，若滿足立方體構建條件，則以其為一個頂點構建一個立方體； 步驟3，根據構建得到的立方體，得到包圍所述人體空時輪廓外表面的三角形集合；步驟4，基于對所述三角形集合中的三角形按多個方向進行排序，并根據三角形的排列順序對構成三角形的所有邊和頂點進行排序； 步驟5，將排好序的頂點、邊和三角形作為要素，構建新空間，并計算所述新空間的拓撲表達，形成每個方向每個維度下的類柱狀圖barcode ； 步驟6，在所述步驟5得到的每個方向每個維度下的類柱狀圖上提取特征，得到這個人在這個視角下的最終特征表達； 步驟7，對所有人在每個視角下都進行所述步驟1-6的過程，得到每個人在各個視角下的特征表達，作為用于匹配的模板； 步驟8，對于測試樣本按照所述步驟1-6得到其對應的特征表達，將測試序列的特征表達與所述步驟7得到的數據庫中的特征表達模板進行匹配，得到步態識別結果。
2.根據權利要求1所述的方法，其特征在于，所述步驟I進一步包括以下步驟: 步驟11，收集一系列某個人在某個視角下的人體空間輪廓圖片； 步驟12，將圖片中的人體空間輪廓按比例縮放到同一尺寸大小并對齊； 步驟13，將所有圖片以相鄰間隔m個像素單位地疊在一起，得到一個人體空時輪廓。
3.根據權利要求1所述的方法，其特征在于，所述步驟3進一步包括以下步驟: 步驟31，對組成立方體的每個正方形進行判斷:如果這個正方形同時為兩個立方體所共有，則刪除這個正方形，對于所有的正方形進行判斷，得到一個包圍人體空時輪廓外表面的正方形集合； 步驟32，對所述正方形集合中的每個正方形進行三角化，最終得到一個包圍人體空時輪廓外表面的三角形集合。
4.根據權利要求1所述的方法，其特征在于，在所述步驟4中對三角形按多個方向進行排序時，先以三角形的某個頂點來表示此三角形，然后按照三角形的第一個坐標進行由小到大的排列，形成集合S1 ;然后取其逆序，得到集合S2 ;按照第二坐標和兩個對角線方向分別對三角形進行正向和反向排序，得到集合S3，S4,…，S7, S8。
5.根據權利要求1所述的方法，其特征在于，在所述步驟4中對構成三角形的所有邊和頂點進行排序時，按照以下規則進行排序:如果某個三角形在三角形集合中處于第i個的位置，那么其三條邊在三角形邊集合中應位于3i，3i+l，3i+2的位置，其三個頂點在三角形頂點集合中應位于3i，3i+l，3i+2的位置。
6.根據權利要求1所述的方法，其特征在于，所述步驟6進一步包括以下步驟: 步驟61，將某個維度的類柱狀圖沿著橫軸劃分成多個區域； 步驟62，在每個區域內統計新產生的特征數目和從上一區域一直持續到本區域結束的特征數目，其中，一條線就是對應的一個特征； 步驟63，將這些數字串起來形成一個向量，即為在該維度下的類柱狀圖提取得到的特征； 步驟64，在每個方向每個維度下進行相同的操作，將得到的所有向量合并起來得到一個矩陣，即為這個人在這個視角下的最終特征表達。
7.根據權利要求1所述的方法，其特征在于，所述步驟5中，采用persistenthomology方法來計算空間的拓撲表達。
8.根據權利要求1所述的方法，其特征在于，所述步驟8中，采用最近鄰匹配的方式計算兩個特征表達的相似度。
【文檔編號】G06K9/64GK103839081SQ201410064937
【公開日】2014年6月4日 申請日期:2014年2月25日 優先權日:2014年2月25日
【發明者】譚鐵牛, 王亮, 黃永禎, 周振 申請人:中國科學院自動化研究所