一種面向圖像序列的鉸接關節點空間運動重構方法
【專利摘要】本發明公開了一種面向圖像序列的鉸接關節點空間運動重構方法，在獲得相機的自校正參數以及相機CCD物理尺寸后，建立以圖像序列第一幀所對應的相機中心為坐標原點的空間物理坐標系；根據視覺成像原理，建立鉸接關節點運動直線參數方程和圓參數方程；通過求解初等函數，獲得鉸接關節點的潛在坐標；進一步通過軌跡平滑約束，逐幀建立鉸接關節點的空間運動軌跡。本發明利用已知的相機空間運動軌跡和相鄰鉸接關節點的空間運動軌跡，通過求解初等函數來逐幀恢復本關節點的空間運動軌跡。
【專利說明】
-種面向圖像序列的絞接關節點空間運動重構方法
技術領域
[0001] 本發明設及Ξ維重構技術領域，特別是設及一種面向圖像序列的較接關節點空間 運動重構方法。
【背景技術】
[0002] Ξ維重構是計算機視覺領域中一個非常重要的問題，其分為剛性重構和非剛性重 構。其中，剛性Ξ維重構已經成為經典的計算機視覺組成部分。非剛性運動重構有著非常廣 泛的應用場景，例如人體運動的重構在康復領域的應用等。人體運動就屬于一種典型的較 接關節點運動方式，目前廣泛采用的運動捕獲設備Motion Capture系統，例如Vicon、 CAREN，能獲得精確的較接關節點運動數據，但設備價格昂貴，且只能在有限的空間內進行 運動采集。而基于圖像序列的運動恢復可W彌補上述設備的缺點，所W也一直是計算機視 覺領域的熱點問題，在虛擬現實、人機交互等方面都有重要的應用價值。
[0003] 利用圖像序列獲得較接關節點運動重構方法，主要分為W下兩個部分:第一部分 是特征點匹配，第二部分是根據已知的相機運動和相鄰關節點運動確定較接關節點運動。 經過對現有技術文獻進行檢索發現，Park等人在IE邸ICCV 2011( IE邸國際計算機視覺會 議2011)戶片發表的"3D Reconstruction of a Smooth Articulated Trajectory from a Monocular Image Sequence"(基于單一圖像序列中的光滑較接關節點軌跡Ξ維重構）主要 針對較接關節點運動重構的第二部分方法，在不同的相機模型下，把較接關節點運動重構 建模成為一個二次整形規劃的問題進行恢復。他們認為每帖兩個較接關節點的可能構成了 一個2^條的序列空間（其中F為整個二維圖像序列的帖數），需要從中找到一條最優的序列， 并采用分支定界法，需要對序列整體進行優化，運算效率低下，且隨著圖像序列的增長，每 次都需要重新優化。

【發明內容】

[0004] 本發明的目的在于克服現有技術的不足，提供一種面向圖像序列的較接關節點空 間運動重構方法，利用已知的相機空間運動軌跡和相鄰較接關節點的空間運動軌跡，通過 求解初等函數來逐帖恢復本關節點的空間運動軌跡。
[0005] 本發明的目的是通過W下技術方案來實現的：一種面向圖像序列的較接關節點空 間運動重構方法，包括W下步驟：
[0006] S1.獲取相機感光器件的物理尺寸，并對相機進行校正，獲取相機的內部參數，所 述相機的內部參數包括相機的崎變參數、焦距f和中屯、偏移(Px，Py);
[0007] S2.建立W圖像序列第一帖所對應的相機中屯、Co為原點的空間坐標系八；
[000引S3.在相機中屯、Co與空間運動關節點X中間設定成像平面I，成像平面I與相機中屯、 Co保持物理焦距/距離，成像平面I垂直于相機光軸，計算成像平面I在空間坐標系Λ下的空 間坐標；
[0009] S4.將相鄰關節點投影在圖像坐標系下的二維坐標點y換算為空間坐標系Λ下的 Ξ維空間坐標Υο，根據相機中屯、Co和Ξ維空間坐標Υο確定直線Co機的方向；
[0010] S5.確定圖像序列第i帖在空間坐標系Λ下的空間坐標，W及相機中屯、Co和相鄰關 節點Xi在空間坐標系A下的空間坐標;重復步驟S3至步驟S4,確定直線CiYi的方向，建立直 線CiYi的參數方程，
[0011] X = C/ + m · t.
[0012] y = C]'+n*t,
[0013] 之=C': + ;? · t;
[0014]式中，（m,n,p)為直線CiYi的方向；
[001引 S6.建立W相鄰關節點X功圓屯、，W較接關節點r為半徑的圓的參數方程Ox,
[001W J = C,' + Γ * sin 食 * cos (/>, 0 < 4 < 2巧
[0017] v = C,'+/'*sin99?.c〇.s^，0<(/5<K;'
[001 引 ：二-C; +廠 *cos口
[0019] S7.通過直線CiYi的參數方程和參數方程化的聯立求解，獲得第i帖Yi的兩個潛在 坐標，潛在坐標γ,ι對應直線方程參數，潛在坐標Υ,=對應直線方程參數咬;
[0020] S8.重復步驟S5至步驟S7,獲得第i+1帖Yi+1的兩個潛在坐標,，潛在坐標磅, 對應直線方程參數也，潛在坐標掉對應直線方程參數秩,；
[0021] S9.分別計算兩帖間可能增量Δχ.ι]+,，ΔΥ品,，Δ巧ι,,,ΔΥ式1，根據相鄰第i帖和第i + 1 帖的較接關節點運動保持平滑，選擇其中最小的可能，即
[0022]
[0023] 再確定其對應的第i+1帖的Ξ維空間坐標Yi+i;
[0024] S10.重復步驟S3至步驟S9,逐帖確定后續帖所對應的Ξ維空間坐標Yi+2，Yi+3,...， 化，得到較接關節點Y連續的運動軌跡。
[0025] 所述步驟S1包括W下子步驟：
[0026] S11.固定相機的光圈、焦距，不同角度拍攝多幅棋盤格圖像；
[0027] S12.選擇棋盤格圖像的四角W確定對應點；
[0028] S13.利用相機自校正工具對相機進行校正，然后獲得相機的內部參數，所述內部 參數包括相機的崎變參數、焦距f和中屯、偏移(Px，Py)。
[0029] 所述步驟S3包括W下子步驟：
[0030] S31.根據相機感光器件的尺寸與棋盤格圖像的像素大小比例，計算單個像素的物 理尺寸，并計算相機的物理焦距/和物理中屯、偏移
[0031] S32.根據相機中屯、Co和物理中屯、偏移巧1,武）確定相機光軸方向，相機平面處于相 機中屯、Co物理焦距/處，且垂直于相機光軸(反，反）；
[0032] S33.根據相機的物理焦距/和物理中屯、偏移(/)、，/，,），計算成像平面I在空間坐標 系八下的空間坐標。
[0033] 步驟S3中相機光軸的直線方程由相機中屯、Co和相機中屯、偏移(px，py)確定。
[0034] 本發明的有益效果是：
[0035] (1)本發明確定W第一帖所對應的相機中屯、為原點坐標系，并將相機運動和相鄰 關節點運動統一到該坐標系下，求取較接關節點的運動；
[0036] (2)本發明在整個算法中，采用物理量綱來進行運動軌跡恢復；
[0037] (3)本發明逐帖恢復較接關節點運動，相鄰兩帖間的較接關節點運動通過運動平 滑約束來保證，而無需整體優化，降低了重構的時間消耗；
[0038] (4)本發明采用參數方程表示直線和圓，使得求取物理交點變成求解簡單的初等 函數方程，而無需求解復雜的整形二次規劃。
【附圖說明】
[0039] 圖1為本發明一種面向圖像序列的較接關節點空間運動重構方法的流程圖；
[0040] 圖2為本發明中用于相機校正的部分棋盤格圖像的示意圖；
[0041] 圖3為本發明中較接關節點可能的空間位置；
[0042] 圖4為空間成像平面與較接關節點夾角的剖面示意圖。
【具體實施方式】
[0043] 下面結合附圖進一步詳細描述本發明的技術方案，但本發明的保護范圍不局限于 W下所述。
[0044] 實施例一
[0045] 如圖1、圖2、圖3和圖4所示，一種面向圖像序列的較接關節點空間運動重構方法， 包括W下步驟：
[0046] S1.獲取相機感光器件的物理尺寸，并對相機進行校正，獲取相機的內部參數，所 述相機的內部參數包括相機的崎變參數、焦距f和中屯、偏移(Px，Py);
[0047] 所述步驟S1包括W下子步驟：
[0048] S11.固定相機的光圈、焦距，不同角度拍攝多幅棋盤格圖像；
[0049] S12.選擇棋盤格圖像的四角W確定對應點；
[0050] S13.利用相機自校正工具對相機進行校正，然后獲得相機的內部參數，所述內部 參數包括相機的崎變參數、焦距f和中屯、偏移(Px，Py)。
[0051] S2.建立W圖像序列第一帖所對應的相機中屯、Co為原點的空間坐標系Λ。
[0052] S3.在相機中屯、Co與空間運動關節點X中間設定成像平面I，成像平面I與相機中屯、 Co保持物理焦距/距離，成像平面I垂直于相機光軸，計算成像平面I在空間坐標系Λ下的空 間坐標；
[0053] 所述步驟S3包括W下子步驟：
[0054] S31.根據相機感光器件的尺寸與棋盤格圖像的像素大小比例，計算單個像素的物 理尺寸，并計算相機的物理焦距/和物理中屯、偏移作，，A);
[005引 S32.根據相機中屯、Co和物理中屯、偏移海，馬)確定相機光軸方向，相機平面處于相 機中屯、Co物理焦距/處，且垂直于相機光軸作、，A);
[0化6] S33.根據相機的物理焦距/和物理中屯、偏移巧,，托），計算成像平面I在空間坐標 系八下的空間坐標。
[0057] 步驟S3中相機光軸的直線方程由相機中屯、Co和相機中屯、偏移(px，py)確定。
[0058] S4.根據步驟S2和步驟S3確定直線CoYo的方向：將相鄰關節點投影在圖像坐標系下 的二維坐標點y換算為空間坐標系A下的Ξ維空間坐標Υο,根據相機中屯、Co和Ξ維空間坐標 Υο確定直線CoYo的方向。
[0059] S5.確定圖像序列第i帖在空間坐標系Λ下的空間坐標，W及相機中屯、Co和相鄰關 節點Xi在空間坐標系A下的空間坐標;重復步驟S3至步驟S4,確定直線CiYi的方向，建立直 線CiYi的參數方程，
[0060]
[0061 ] 1'二（:；+"·/-,
[0062] z = C；+/j·/',
[0063] 式中，(m,η,P)為直線CiYi的方向。
[0064] S6.建立W相鄰關節點Xi為圓屯、，W較接關節點r為半徑的圓的參數方程化，
[00化]'、-=C,、+ r · S in。· cos興 0 空貧么 2本
[006引 r:=C,'+r*sin^*cos^,0<(9<j·。
[0067] z = C;:+r*cos^
[0068] S7.通過直線CiYi的參數方程和參數方程化的聯立求解，獲得第i帖Yi的兩個潛在 坐標，潛在坐標γ,ι對應直線方程參數《，潛在坐標Y/對應直線方程參數擇。
[0069] S8.重復步驟S5至步驟S7，獲得第i+1帖Yi+i的兩個潛在坐標請.1，，潛在坐標 對應直線方程參數古1，潛在坐標貨對應直線方程參數境1。
[0070] S9.分別計算兩帖間可能增量/\培+,，么￥瓦1，么巧1+1，么巧^.1，根據相鄰第1帖和第1 + 1 帖的較接關節點運動保持平滑，選擇其中最小的可能，即
[0071]
[0072] 再確定其對應的第i+1帖的Ξ維空間坐標Yi+i。
[0073] S10.重復步驟S3至步驟S9,逐帖確定后續帖所對應的Ξ維空間坐標Yi+2，Yi+3,...， 化，得到較接關節點Y連續的運動軌跡。
[0074] 實施例二
[0075] 步驟一:采集標準棋盤格圖像進行相機自校正，獲得相機中屯、偏移(Px，Py)、焦距f、 崎變參數等相機參數。同時查閱相機技術手冊，獲得相機CCD物理尺寸LxW。假設圖像分辨率 為MxN，物理焦距則為f · L/M。建立自校正矩聞
，用于下述圖像坐標校正。
[0076] 步驟二:建立W圖像序列第一帖所對應的相機中屯、Co=[0 0 0]為原點的空間坐 標系A ;其光軸方向為[0 0 1]。通過上述獲得的相機參數，計算圖像序列第一帖的成像平 面物理空間坐標。
[0077] 步驟Ξ:同理，獲得第i帖的成像平面的物理空間坐標，并將其換算成在空間坐標 系八中的空間坐標Ci，確定圖像主軸方向；根據圖像上的像素坐標yiW及成像的平面物理空 間坐標，獲得y 1對應的空間坐標Yi。
[007引步驟四：通過相機中屯、Ci空間坐標和Yi的空間坐標，建立直線參數方程CiYi。
[0079] 步驟五:將已知Xi的坐標換算成坐標系Λ下的坐標，再通過該坐標和較接關節距 離r，建立圓的參數方程化。
[0080] 步驟六:通過分別建立直線參數方程CiYi和圓的參數方程化，求取潛在坐標Υ,1，Υ,2， 分別對應直線方程參數?巧時，即潛在坐標t對應直線方程參數?;，潛在坐標《對應直線方 程參數咬。
[0081] 步驟屯:重復步驟Ξ至步驟六，獲得第i+1帖成像平面物理空間坐標yi+i，Yf+i，分別 對應古，和這,，即潛在坐標Y/+1對應直線方程參數4，潛在坐標Y,:對應直線方程參數括。
[00劇步驟八:分別計算兩帖間可能增量Δ巧+l，Δ趕+,，Δ巧+,，ΔY,式,，根據相鄰第i帖和第 i+1帖的較接關節點運動保持平滑，選擇其中最小的可能，即
[0083]
[0084] 再確定其對應的Yw。
[00化]步驟九：重復步驟Ξ至步驟八，逐帖確定后續帖所對應的Υι+2，Υι+3,...，化，得到較 接關節點Υ連續的運動軌跡。
[0086] 本發明在獲得相機的自校正參數W及相機CCD物理尺寸后，建立W圖像序列第一 帖所對應的相機中屯、為坐標原點的空間物理坐標系;根據視覺成像原理，建立較接關節點 運動直線參數方程和圓參數方程;通過求解初等函數，獲得較接關節點的潛在坐標;進一步 通過軌跡平滑約束，逐帖建立較接關節點的空間運動軌跡。本發明逐帖恢復較接關節點運 動，相鄰兩帖間的較接關節點運動通過運動平滑約束來保證，而無需整體優化，降低了重構 的時間消耗;采用參數方程表示直線和圓，使得求取物理交點變成求解簡單的初等函數方 程，而無需求解復雜的整形二次規劃。
[0087] W上所述僅是本發明的優選實施方式，應當理解本發明并非局限于本文所披露的 形式，不應看作是對其他實施例的排除，而可用于各種其他組合、修改和環境，并能夠在本 文所述構想范圍內，通過上述教導或相關領域的技術或知識進行改動。而本領域人員所進 行的改動和變化不脫離本發明的精神和范圍，則都應在本發明所附權利要求的保護范圍 內。
【主權項】
1. 一種面向圖像序列的鉸接關節點空間運動重構方法，其特征在于:包括以下步驟：51. 獲取相機感光器件的物理尺寸，并對相機進行校正，獲取相機的內部參數，所述相 機的內部參數包括相機的畸變參數、焦距f和中心偏移(p x，py);52. 建立以圖像序列第一幀所對應的相機中心Co為原點的空間坐標系Λ ;53. 在相機中心Co與空間運動關節點X中間設定成像平面I，成像平面I與相機中心Co保 持物理焦距/距離，成像平面I垂直于相機光軸，計算成像平面I在空間坐標系Λ下的空間 坐標；54. 將相鄰關節點投影在圖像坐標系下的二維坐標點y換算為空間坐標系Λ下的三維 空間坐標Υο，根據相機中心Co和三維空間坐標Υο確定直線CoYo的方向；55. 確定圖像序列第i幀在空間坐標系Λ下的空間坐標，以及相機中心Co和相鄰關節點 Xi在空間坐標系Λ下的空間坐標;重復步驟S3至步驟S4，確定直線CiYi的方向，建立直線CiYi 的參數方程，式中，(m，n，p)為直線CiYi的方向；56. 建立以相鄰關節點t為圓心，以鉸接關節點r為半徑的圓的參數方程Ox，S7 .通過直線QYi的參數方程和參數方程Ox的聯立求解，獲得第i幀兩個潛在坐標 ，潛在坐標對應直線方程參數豕，潛在坐標Yf對應直線方程參數rf;58. 重復步驟S5至步驟S7,獲得第i+1幀Y1+1的兩個潛在坐標潛在坐標對應 直線方程參數U替在坐標義2對應直線方程參數;59. 分別計算兩幀間可能增量△^^△〇+一兄1+1，叫.2；^根據相鄰第1幀和第1+1幀的鉸 接關節點運動保持平滑，選擇其中最小的可能，即再確定其對應的第i+1幀的三維空間坐標Yi+i;510. 重復步驟S3至步驟S9,逐幀確定后續幀所對應的三維空間坐標Yi+2，Yi+3,. ..，Yk，得 到鉸接關節點Y連續的運動軌跡。2. 根據權利要求1所述的一種面向圖像序列的鉸接關節點空間運動重構方法，其特征 在于:所述步驟S1包括以下子步驟：511. 固定相機的光圈、焦距，不同角度拍攝多幅棋盤格圖像；512. 選擇棋盤格圖像的四角以確定對應點；513. 利用相機自校正工具對相機進行校正，然后獲得相機的內部參數，所述內部參數 包括相機的畸變參數、焦距f和中心偏移(px，p y)。3. 根據權利要求1所述的一種面向圖像序列的鉸接關節點空間運動重構方法，其特征 在于:所述步驟S3包括以下子步驟：531. 根據相機感光器件的尺寸與棋盤格圖像的像素大小比例，計算單個像素的物理尺 寸，并計算相機的物理焦距/和物理中心偏移532. 根據相機中心C〇和物理中心偏移(艮，九）確定相機光軸方向，相機平面處于相機中 心C〇物理焦距/處，且垂直于相機光軸(A，九）；533. 根據相機的物理焦距/和物理中心偏移(A4,)，計算成像平面I在空間坐標系Λ 下的空間坐標。4. 根據權利要求1所述的一種面向圖像序列的鉸接關節點空間運動重構方法，其特征 在于:步驟S3中相機光軸的直線方程由相機中心Co和相機中心偏移(p x，py)確定。
【文檔編號】G06T7/00GK105825549SQ201610154349
【公開日】2016年8月3日
【申請日】2016年3月17日
【發明人】鄭亞莉, 程洪, 姬艷麗
【申請人】電子科技大學