標記圖像處理系統的制作方法
【技術領域】
[0001] 本發明涉及用于對標記進行圖像處理并提取各種信息的標記圖像處理系統。
【背景技術】
[0002] 這樣的標記在AR(Augmented Reality:增強現實）、局部部位的計測領域，進一步 地在機器人技術領域，被用于攝像機對物體的位置或姿勢進行識別，一般廣泛采用的是能 粘貼于作為對象的物體的、具備平面圖案的平板型的標記。
[0003] 例如，在今后的服務機器人的實用化時，在構筑輔助由服務機器人進行的可靠的 自主工作的系統方面，標記是必不可少的要素。
[0004] 標記中具有代表性的標記包含正方形的黑色框、印刷于其內部的二維圖案以及代 碼(code)。然后，通過用攝像機識別標記，能識別相對于標記的攝像機的相對位置和姿勢， 并識別帶有標記的物體的位置或姿勢。此外，還能通過攝像機讀取存儲于標記的信息。
[0005] 圖1示出了通常使用的ARToolKit標記、ARTag標記、CyberCode標記以及 ARToolKitPlus標記的例子。此外，除了這樣的標記以外，也可以利用QRCode這樣的能存儲 更多信息的標記。
[0006] 例如，在AR領域中，對于現實世界的圖像，使CG(Computer GraphiCS:計算機圖形） 的模型與現實世界的圖像中的物體所帶的AR標記的位置對齊并重疊地進行顯示。
[0007] 此外，在機器人技術領域中，例如通過使機器人對物體所帶的標記進行計測，從而 使機器人識別帶有標記的物體的位置或姿勢，并對物體進行操作。
[0008] 作為一例，圖2是表示機器人技術領域中的使用了標記的機器人任務(task)的例 子的圖。使裝接于輪椅的、為了輔助坐輪椅的人的生活而裝接于機器人手臂頂端的機器人 手的攝像機對帶有標記的冰箱的把手進行識別，使機器人手自動地進行冰箱門的打開/關 閉。在圖2示出的任務中，攝像機識別了標記之后，機器人自主地以標記的位置和相對于該 位置的姿勢為基準生成規定的機器人手臂的軌道，由此，能打開冰箱門。
[0009]通過攝像機進行的標記的計測例如如下所示地進行。
[0010]首先，例如在具備正方形的外框的平板型標記的情況下，攝像機通過對所讀取的 圖像數據進行圖像處理來提取外框，檢測出四個角。然后，通過使用了預先已知的該標記的 四個角的位置(正方形的各頂點）與由攝像機讀取的圖像內的四個角的位置關系的幾何學 計算，能對相對于標記的攝像機的位置以及姿勢進行解析，并識別帶有標記的物體的位置 或姿勢。
[0011]但是，在標記和攝像機正對的附近，標記的計測誤差變大。此外，即使通過在攝像 機中使用濾波器(平均濾波器、卡爾曼濾波器、粒子濾波器等)和計測記錄能使標記的計測 值的分散變小，也難以可靠地判定標記的計測值是否為真值。
[0012]為了防止利用了這樣的平板型的標記的、關于攝像機的位置或姿勢的計測精度的 惡化，在專利文獻1中記載了 ：在構成標記的圖樣上方設置根據觀測的方向使其濃淡圖案變 化的鏡頭，通過使濃淡圖案變化，正確地計測相對于標記的攝像機的位置或姿勢，正確地識 別帶有標記的物體的位置或姿勢。
[0013] 現有技術文獻
[0014] 專利文獻
[0015] 專利文獻1:日本特開號公報

【發明內容】

[0016] 發明所要解決的問題
[0017] 但是，在以往的平板型標記中，根據相對于標記的攝像機的姿勢而產生計測誤差， 例如根據標記的大小、攝像機與標記的距離以及攝像機的視場角（焦距），恐怕會產生帶有 標記的物體的位置或姿勢的識別不確定的問題。
[0018] 圖3左側表示攝像機與標記接近的情況或者攝像機的視場角大（廣角鏡頭）的情 況，圖3中央表示攝像機與標記遠離的情況或者攝像機的視場角小(望遠鏡頭)的情況。 [0019]攝像機與標記遠離時、或者攝像機的視場角小（望遠鏡頭）時，如圖3右側所示，當 標記的外框投影于以鏡頭的中心軸為法線的攝像面時，即使在通過鏡頭中心點和標記的中 心點的直線(Visual line:視線)與標記的平面所成的角度是反向傾斜的情況下，攝像面的 標記外框的偏差也變小，兩者的判別不確定，例如在機器人技術的領域中，構成對相對于標 記的攝像機的姿勢做出錯誤推定，機器人手進行錯誤的動作的原因。
[0020] 圖4表示通過鏡頭中心和標記的中心點的視線與標記中心點的法線所成的角度為 45°時的實際所拍攝的圖像，攝像機l(Cameral)是使用視場角為7.1°的鏡頭拍攝時的圖像， 攝像機2 (Camera2)是使用視場角為40 · 0°的鏡頭拍攝時的圖像。與攝像機2的圖像相比，能 確認在攝像機1的圖像中未與正對的情況產生大的差別。
[0021] 圖5是通過圖像處理連續地對手持的平板型標記的姿勢進行解析，將通過所獲得 的標記的中心點的法線(Z軸)的矢量(vector)用箭頭表示。
[0022]可知:根據手的移動，在02、06、08，法線矢量的朝向反轉，在該階段，在相對于六財示 記的攝像機的姿勢推定產生擺動。
[0023] 為了防止這樣的錯誤推定，可以想到：在平板型標記中包含高度彼此不同的立體 標識，形成六處標識，除了外框以外，還確定各標識，基于相對于平板型標記的各立體標識 的位置和高度的數據，對繞X軸、Y軸(標記平面上的二維坐標）、Z軸以及各軸的旋轉角度進 行解析。
[0024] 但是，在這樣的方法中，為了確定相對于標記的攝像機的位置或姿勢，需要通過圖 像處理來正確地確定六處標識。但是，由于不能確定位于立體標識的陰影的標識，因此當攝 像機偏離能對全部六處正確地進行拍攝的限定范圍時，不可能確定正確的位置和姿勢。而 且，存在的問題是:需要極其高精度地選定各立體標識的位置、高度，標記的成本大幅上升。
[0025] 因此，在本發明中，附加于平板型標記的立體標識只設一處，而且該立體標識僅用 于對所推定的姿勢是否合理進行判定。然后，其目的在于，在做出了錯誤推定的情況下，僅 按照一定的規則對已經運算出的相對于標記的攝像機的姿勢數據進行變換，就能簡單地進 行修正。
[0026]用于解決問題的方案
[0027]為了解決上述的問題，本發明提供一種使用具有平面標識的標記，識別相對于該 標記的攝像機的位置以及姿勢的圖像處理系統，其中，在所述標記上，將具有預先設定的高 度的一個立體標識配置于相對于所述平面標識預先設定的位置，該圖像處理系統具備:第 一推定單元，通過比較由所述攝像機的圖像提取的所述平面標識的配置和預先設定的所述 平面標識的配置，推定相對于所述標記的攝像機的位置和姿勢;第二推定單元，基于所述立 體標識的配置、高度以及由所述第一推定單元推定的相對于所述標記的攝像機的位置，推 定所述攝像機的圖像上的所述立體標識的上表面以及下表面的中央位置;檢測單元，基于 所述攝像機的圖像，檢測所述立體標識的上表面的中央位置;判定單元，將由所述第二推定 單元推定的所述立體標識的上表面以及下表面的中央位置和由所述檢測單元檢測出的所 述立體標識的上表面以及下表面的中央位置，基于從所述攝像機觀察的三維矢量進行比 較，其誤差為規定值以上時，判定為由所述第一推定單元推定的相對于所述標記的攝像機 的姿勢是錯誤的，該圖像處理系統具備:運算單元，在所述判定單元判定為錯誤時，分別使 基于由所述第一推定單元推定的姿勢的所述攝像機的繞X軸的視線角度以及繞Y軸的視線 角度的符號反轉之后，進行旋轉變換，由此，對相對于所述標記的攝像機的姿勢進行再運 算，以使所述第一推定單元推定的相對于所述標記的攝像機的姿勢正確。
[0028] 其中，X軸和Y軸分別表示在以所述標記上的一點為原點的三維坐標中，在該標記 平面上彼此正交的坐標軸。
[0029] 發明效果
[0030] 根據本發明，僅將具有預先設定的高度的一個立體標識配置于具有平面標識的標 記的預先設定的位置，就能判定所推定的姿勢是否恰當，在做出了錯誤推定的情況下，僅按 照一定的規則對已經運算出的相對于標記的攝像機的姿勢數據進行變換，就能簡單地進行 修正。因此，能以低成本、而且不被其他立體標識妨礙地做出正確且可靠的姿勢推定。
【附圖說明】
[0031] 圖1是表示普通的標記的例子的圖。
[0032] 圖2是表示使用了標記的機器人任務的例子的圖。
[0033] 圖3是對攝像機與標記接近的情況或者攝像機的視場角大的情況(左側)和攝像機 與標記遠離的情況或者攝像機的視場角小的情況（中央)進行對比，并表示產生錯誤推定的 情況(右側)的圖。
[0034] 圖4是對視場角小時的圖像(攝像機1)和視場角大時的圖像(攝像機2)進行對比的 圖。
[0035]圖5是通過圖像處理對手持標記的姿勢連續地進行解析，并表示通過所得的標記 的中心點的法線(Z軸)方向的圖。
[0036]圖6是表不實施例中使用的標記的一例的圖。
[0037] 圖7是表示形成于立體標識底面的中央部和上表面的中央部的白色標記的推定位 置、檢測位置的關系的圖。
[0038] 圖8是在固定攝像機、改變手持標記的角度的情況下，對正確地進行推定的情況和 錯誤地進行推定的情況進行對比的圖。
[0039 ]圖9是表示以標記的中心點c為原點的三維坐標的圖。
[0040]圖10是表示在使標記的角度連續地慢慢變化的情況下，基于所推定的姿勢算出的 視線角度Θ?。的變化的圖。
[0041] 圖11是表示固定攝像機、以二種方式改變手持標記的角度，基于各自推定的姿勢， 求出繞X軸的視線角度Θ?。、繞Υ軸的視線角度9 vy。的結果的圖。
[0042] 圖12是對應用了旋轉變換的姿勢推定值的修正進行說明的圖。
[0043] 圖13是表示本實施例的效果的實驗結果。
【具體實施方式】
[0044]以下，使用附圖對本發明的實施例進行說明。
[0045] 實施例
[0046] 首先，對本實施例中采用的標記進行說明。
[0047]如圖6所示，平板型標記構成為:在外框為20mm的正方形中，除了位于中央的直徑 12_的白色圓1、離外框的各頂點在對角線上位于相同位置的直徑3mm的白色圓2,其他部分 為黑色的正方形。本實施例中，在距離該平板型標記的外框底邊的中心5mm的地方，粘貼了 由外徑4.9mm、高度3.2mm的圓筒體的立體標識3。需要說明的是，在該立體標識3的上表面， 形成有在中央部留有直徑2.2mm的白色圓的部分，外周被涂黑的標記。
[0048] 通過以往的同樣的方法，首先，從圖像數據提取