專利名稱：處理被動光學運動獲取數據的方法
技術領域：
本發明涉及一種處理被動光學運動獲取數據的方法，包括獲取步驟，獲取帶有被動光學標記的被攝體的同步多攝像機圖像；三維重建步驟，從獲取的數據得到標記的一組三維坐標；作標記步驟，確定連續獲取中各標記之間在時間上的對應，從而確定附有標記的被攝體身體部分的位置；和連接角計算步驟，以一組所作的標記為基礎，確定被攝體運動投影到的運動模型的每個連接的角度，并且計算被攝體的姿式。
已知的被動光學運動獲取中，作標記的步驟通常是在結束圖像獲取步驟之后進行。原因如下當標記隱藏在被攝體的手和腳的后面，或當標記位于攝像機的盲點位置時，由于上面提及的標記被遮蔽的情況，就不能得到標記的三維坐標。在這種情況下，標記作為數據消失，而且消失的標記重新出現。處于這種情況，很難在獲取圖像步驟的同時找到標記對應的名稱。在自動執行作標記步驟的情況下，有一種方法，其中最接近于在先作標記步驟中獲取的標記被確定為相同的標記，但不涉及標記的消失和重現，而且對于被攝體的身體結構，甚至輸出實際上不可能的結果。
為了解決上面提及的問題，Yang Song等人研究了一種技術，它利用頻率函數來自動執行作標記的步驟(Yang Song，Luis Goncalves，Enrico DiBerrnardo and Pietro Perona，“Monocular Perception of BiologicalMotion-Detection and Labeling”，In Proc.IEEE CVPR，pp805-812，1999)。然而，用這種技術需要事先得知“典型的”運動，并難以增加用于圖像獲取操作的標記數量，而且，用這種技術，在結束圖像獲取步驟之后，作標記的步驟是以這樣的方式完成的，即各次作標記以非矛盾方式參考所有所作標記的結果來完成。因此，就難以實時實現這種技術。
下面概括已知的處理被動光學運動獲取數據方法中的問題。
(1)因為沒有參考被攝體的身體結構來作標記，實際上不可能的結果被輸出。
(2)在標記消失的情況下，不能確定消失標記的位置。為了估算消失標記的位置，需要采用另一種方法。
(3)用這種技術，因為所作的標記是通過許多在先前和作標記步驟后所作標記獲取的，消失的標記得到補償，這種技術不可能實現實時作標記，其中作標記的步驟在圖像獲取的時間間隔或類似的情況下完成的。
(4)在作標記后連接角的計算步驟中，根據所用的算法，因為在無論標記消失與否，所有的標記總是標著的情況下，不可能計算連接角，因而增加作標記步驟的負擔。
根據本發明，一種處理被動光學運動獲取數據的方法包括圖像獲取步驟，獲取帶有被動光學標記的被攝體的同步多攝像機圖像；三維重建步驟，從獲取的數據獲得標記的一組三維坐標；作標記步驟，確定連續獲取中各標記之間在時間上的對應，從而確定附有標記的被攝體的身體部分的位置；以及連接角計算步驟，以一組所作的標記為基礎，確定被攝體投影到的運動模型的每個連接的角度，并且計算被攝體的姿式，其中作標記步驟和連接角計算步驟被連成環，并同時行。
根據本發明，通常是獨立地完成的作標記步驟和連接角計算步驟形成環，并同時進行，因此，能獲得以下功能和效果(a)連接角計算后，消失的標記的坐標可以估算出來，并且總能獲得所有標記的運動。
(b)在作標記的情況下，因為目前被攝體的姿式可以估算出來，所以就可以有效地進行找出附在身體不同部分的標記的操作。
(c)因為各次獲得全部標記數據和全部連接角數據變得容易，所以可以將本發明應用于實時運動獲取。
作為優選實施例，本次作標記步驟參考上次被攝體上的虛擬標記來完成，而上次被攝體上的虛擬標記通過對上次的獲取數據執行上次的連接角計算步驟獲得。這個實施例被優選是因為實現本發明更有效。而且，當利用上面提及的處理被動光學運動獲取數據的方法時，可以實現實時運動獲取系統。
作連接角計算用于其運動待確定的被攝體的運動模型、CG特征或類似人的身體模型。虛擬標記設置在運動模型上，以盡可能多地將虛擬標記重疊在實際計算和所作的標記上的方式移動各個連接處，從而確定整個身體的姿式。連接角計算是否要求全部標記坐標依賴所用的算法，而不考慮丟失標記，在結束計算后，就能無一例外地確定身體模型上的全部虛擬標記位置。利用這個特性，如

圖1a-1f所示的運動獲取系統就能構成。
首先，在圖1a-1f所示的實施例中，如圖1a所示的圖像獲取步驟、如圖1b所示的三維坐標重建步驟、如圖1c所示的初級作標記步驟都與已知的方法相同。作為連接角計算時采用的模型，一個基于被攝體身體的運動模型或其他模型被利用(圖1d)。所有在連接角計算后確定的虛擬標記坐標，作為參考信息，被反饋給下一次作標記(圖1e)。因為作標記總是通過利用這樣確定的參考信息，并如此參考被攝體的身體結構來完成，因而與已知的方法相比，能提高性能。
作為作標記的方法，各種各樣作標記的方法都可被利用。在這些方法中，有一種作標記方法，其中，位于最接近參考標記位置的標記被作標記，因為在已知的方法中，上一次作標記的標記位置被確定為參考標記位置，所以不可能涉及丟失標記。然而，根據本發明，因為從連接角計算反饋的標記位置被確定為參考標記位置，所以即使在丟失標記的情況下，總能利用參考標記位置，從而就可以繼續作標記。如果無論丟失標記是否存在，所有的標記坐標都要被輸出，則在緊急情況下，就可能輸出反饋參考標記的位置。
在不同于被攝體的運動模型的運動被作為最后輸出來獲取的情況下，通過完成關于被攝體的連接角計算獲得的運動模型的一組虛擬標記被一次確定。然后，對于不同于被攝體的運動模型，新的連接角計算被執行(圖1f)。
根據本發明，除初次以外的無論何時，可以僅僅利用上次的參考信息，來完成作標記和連接角計算，因而，就可以實現光學運動獲取的實時處理。
上面提及的本發明，除了應用于上面提及的光學運動獲取系統和光學實時運動獲取系統外，更適宜應用于類似人的機器人的實時操作輸入裝置和仿生學運動測量裝置等。
從上面的說明可以清楚地理解，根據本發明處理被動光學運動獲取數據的方法，即使作標記的算法和連接角計算的算法與已知的方法相同，與作標記和連接角計算是獨立完成的已知方法相比，本發明能獲得以下的效果(a)通過利用連接角計算反饋的參考信息，可限制作標記所要搜尋的空間。這樣能降低標記丟失和減少搜尋時間。
(b)因為使用包括身體結構的參考信息，就能夠避免實際上不可能的標記結果。
(c)在利用其中連接角計算要求輸入所有標記位置的算法的情況下，如果在作標記期間出現標記丟失，可以通過提供上次的參考信息作為輸出來涉及這種情況。
(d)只要能進行連接角計算，無論標記是否消失，全部次數的所有標記坐標能被確定。
權利要求
1.一種處理被動光學運動獲取數據的方法，包括圖像獲取步驟，獲取帶有被動光學標記的被攝體的同步多攝像機圖像；三維重建步驟，從獲取的數據獲得標記的一組三維坐標；作標記步驟，確定連續獲取中各標記之間在時間上的對應，從而確定附有標記的被攝體的身體部分的位置；和連接角計算步驟，以一組所作的標記為基礎，確定被攝體運動投影到的運動模型的每個連接的角度，并計算被攝體的姿式，其中作標記的步驟和連接角計算步驟被連成環，并同時進行。
2.如權利要求1所述的處理被動光學運動獲取數據的方法，其中，本次作標記的步驟是參考上次被攝體上的虛擬標記來完成的，而上次被攝體上的虛擬標記是通過對上次的獲取數據執行上次的連接角計算步驟獲得的。
3.一種實時運動獲取系統，其中利用如權利要求1或2所述的處理被動光學運動獲取數據的方法。
全文摘要
一種處理被動光學運動獲取數據的方法，包括圖像獲取步驟，獲取帶有被動光學標記的被攝體的同步多攝像機圖像；三維重建步驟，從獲取的數據獲得標記的一組三維坐標；作標記步驟，確定連續獲取中各標記之間在時間上的對應，從而確定附有標記的被攝體的身體部分的位置；和連接角計算步驟，以一組所作的標記為基礎，確定被攝體運動投影到的運動模型的每個連接的角度，并且計算被攝體的姿勢，其中作標記的步驟和連接角計算步驟被連成環，并同時進行。
文檔編號G06T15/70GK1455355SQ03120688
公開日2003年11月12日 申請日期2003年2月12日 優先權日2002年2月12日
發明者中村仁彥, 山根克, 栗原一貴, 鈴木一郎 申請人:東京大學