專利名稱：一種基于立體視覺伺服的機械臂系統及其實時校準方法
技術領域：
本發明屬于機器人技術領域，具體涉及機器人的機械臂校準技術，特別是一種基于立體視覺伺服的機械臂及其實時校準方法。本發明能夠簡單而高精度地通過立體視覺定位位于機械臂末端的視覺標記物來進行機械臂的即時校準，適用于低成本、高精度要求的機械臂系統。
背景技術：
在現有技術中，按照機器人的應用環境分類，機器人包括制造環境下的工業機器人和非制造環境下的服務與仿人形機器人，其中服務機器人是指除從事工業生產以外的一大類半自主或全自主工作的機器人。其中基于視覺伺服的精確的機械臂抓取、操縱功能是服務機器人的重要功能之一，而手眼協調技術是其中的關鍵技術之一。手眼協調技術包括基于“手眼一體”的技術和基于“手眼分離”技術。其中，對于基于“手眼分離”技術的機器人的機械臂系統，其包括用于目標識別與定位的視覺設備和機械臂，機械臂末端包括用于抓取、操縱的執行器，所述視覺設備與機械臂是獨立安裝在機器人上的。比如，視覺設備安裝在服務機器人的頭部，機械臂安裝在機器人本體上，安裝位置例如機器人的肩膀或者機器人的底座。在這樣的機械臂系統中，要完成對目標物體的精確抓取或操縱，就需要將視覺設備的坐標空間與機械臂末端的坐標空間進行對齊，消除兩者間的偏差，或者說將機械臂的末端執行器的位姿換算到視覺設備的坐標系中，從而使得抓取或操縱的目標物體與末端執行器的相對位姿是準確的，進而保證抓取、操縱任務的有效完成。在這樣的機械臂系統中，要完成這種準確的對齊，需要滿足如下條件(I)對機械臂相對于機器人的頭部的相對位置做準確的測量；(2)對機器人的頭部與機械臂上相鄰關節的相對位移做準確的測量；(3)保證機器人的頭部與機械臂上的各關節的角度值準確。其中，條件(I)和(2)是由機器人的機械結構決定的，可以通過手工的測量方法直接得到精確的值；條件(3)則存在關節安裝(或重啟動)的零位置偏差和關節間隙兩個因素導致的從關節傳感器得到的關節角度值與實際值不符合的問題。對于零位置偏差，有兩種情況一種是關節使用絕對編碼器來獲取關節位置的情況，這個需要在機械手系統安裝好之后對各關節進行一次系統的零位置校準；另一種是關節使用相對編碼器來計算關節位置的情況，這需要機械手系統每次啟動時做一次各關節的零位置校準。至于關節間隙，主要是由驅動電機和軸承間的傳動系統(即減速器)產生的。使用諧波減速器幾乎可以做到零間隙，因而不會影響到機械臂的精度，但是諧波減速器的造價高昂，使得機械臂的成本難以控制；而使用造價低的行星減速器，則不可避免的因齒輪間隙導致的關節間隙，且間隙會隨著關節的使用而逐漸變大，有間隙的關節，對于由編碼器獲得的某個關節角度值，關節的實際值是可以在這個關節角度值附近、關節間隙的范圍內變動的，這種不可控的關節間隙嚴重影響機械臂的精度。為了獲得機械臂的高精度，現有的機械臂系統一般都是使用諧波減速器來避免關節間隙，并在安裝之初和機械臂系統在重啟時作系統的零位置校準來完成。也就是說，現有的機械臂系統在精度高的同時成本也高，而成本低的話則精度不高。但是業內更希望有一種低成本、高精度的機械臂系統
發明內容
(一 )要解決的技術問題本發明要解決的技術問題是通過立體視覺和特定的視覺標記物來實現機器人的機械臂系統的實時精確校準，以在控制成本的同時保證機械臂操作時的高精度。( 二 )技術方案為解決上述技術問題，本發明提出一種機械臂系統，用于對目標物體進行操作，并且所述機械臂系統包括機械臂、視覺設備和主控設備，該機械臂具有多個關節，且在所述機械臂的末端安裝有視覺標記物，并且，所述視覺標記物位于所述視覺設備的視覺范圍內，作為識別和定位所述機械臂末端的標記；所述視覺設備和機械臂相互獨立地安裝，用于獲取目標物體與該視覺標記物的圖像，以識別和定位所述視覺標記物相對于目標物體的位姿；所述主控設備用于根據所述視覺標記物的圖像計算所述機械臂的各個關節的角度，以控制所述機械臂對所述目標物體進行操作。本發明還提出一種機械臂系統的實時校準方法，所述機械臂系統用于對目標物體進行操作，并且所述機械臂系統包括機械臂，該機械臂具有多個關節，其特征在于，所述方法包括如下步驟Tl、采集所述目標物體的實時圖像，根據該實時圖像計算該目標物體彩色深度圖像，從而確定該目標物體在視覺坐標系中的位置，所述視覺坐標系是基于視覺設備的坐標系；T2、在所述視覺坐標系中，根據所述目標物體的位置計算出一個停靠位置，該并控制機械臂的末端移動到該停靠位置，所述停靠位置是指機械臂在操作目標物體之前進行停靠的位置；Τ3、在所述機械臂的末端設置視覺標記物，采集該視覺標記物的實時圖像，并根據該視覺標記物的實時圖像計算該視覺標記物的彩色深度圖像，由此識別和定位該視覺標記物，并確定其位姿；Τ4、根據所述視覺標記物的位姿計算所述機械臂的各關節的角度，從而對該機械臂進行校準。本發明還提出一種機器人，其包括所述的機械臂系統。(三)有益效果本發明的機械臂系統及其校準方法能夠對機械臂進行實時校準，特別是當機械臂上的關節存在間隙時，本發明也能進行精確校準，從而使得機械臂系統能夠完成精確的操作任務。


圖I是本發明的一個實施例的機械臂系統的整體結構示意圖；圖2是圖I所示的本發明實施例的機械臂系統的視覺標記物的具體結構示意圖；圖3是本發明的機械臂系統校準方法的流程圖；圖4是圖3所示的方法中的步驟Τ3的流程圖；圖5是本發明的根據所述視覺標記物的位姿計算機械臂的各關節的角度的方法的示意圖。
具體實施例方式本發明的機械臂系統是機器人的一部分，用于對目標物體進行操作，機器人具有一個本體，而該機械臂系統包括機械臂、視覺設備和主控設備。其中，機械臂包括多個連桿和連桿之間的關節，并且還包括用于固定在機器人本體上的固定裝置。由于各個連桿之間的關節具有運動自由度，從而使得該機械臂具有多個運動自由度。并且，上述各關節均包括關節控制器，用于對關節的運動位置進行控制。此外，在機械臂的末端具有一個執行器，該執行器相對于機械臂的臂關節的位置和角度由一個機械臂坐標系來標定。該機械臂坐標系的原點位于該機械臂與機器人本體的固定裝置處。本發明的視覺設備同樣安裝在機器人本體上，但與機械臂之間在結構上不相關聯，即相互間獨立地安裝。視覺設備也可以進行運動，例如通過與本體之間的連接關節進行旋轉和俯仰等。并且視覺設備包括有圖像采集裝置和圖像采集控制器(兩者可以是各自獨立的裝置或是集成裝置)，圖像采集裝置用于采集圖像，圖像采集控制器用于對圖像的采集、傳輸進行控制。并且，在本發明的機械臂系統中，機械臂的各個關節具有關節控制器，關節控制器用于控制各個關節進行轉動，視覺設備的圖像采集控制器和機械臂的各個關節控制器均電性連接于一個主控設備，該主控設備根據圖像設備采集的關于機械臂末端的執行器與目標物體的圖像，并通過關節控制器控制機械臂對目標物體進行精確地操作。如上所述，視覺設備用于采集目標物體與機械臂末端的執行器實時圖像，控制設 備由該實時圖像識別和定位機械臂的末端的執行器與目標物體之間的相對位置和相對角度。但是，由于機械臂與視覺設備是獨立安裝的，視覺設備所采集的圖像中的物體的位置和角度是基于不同于機械臂坐標系的視覺坐標系的，該視覺坐標系是基于視覺設備的坐標系，其原點例如位于安裝視覺設備的一個云臺的旋轉與俯仰關節的軸線的交點上。前面提到了機械臂坐標系和視覺坐標系，在此需要說明的是，這兩個坐標系之間是可以相互換算的，根據這兩個設備在機器人本體上的安裝位置和我們對這兩個坐標系的原點和軸向的定義，我們可以得到這兩個坐標系間的換算關系。比如要控制機械臂抓取物體時，我們可先得到物體在視覺坐標系中的位置，然后將此位置換算到機械臂坐標系中，再以此計算出機械臂末端的夾持器要到達該位置機械臂各關節所對應的位置和角度。為了實時、精確地識別與定位機械臂末端的執行器，本發明在機械臂的末端固定一個視覺標記物，通過使用視覺設備對該視覺標記物在視覺坐標系上的空間位姿(位置和角度)進行識別和定位，從而計算得到機械臂末端的執行器在視覺坐標系下的空間位姿，進而通過逆運動學計算出當前機械臂上各個關節的真實角度值，完成機械臂的實時校準。事實上，即使機械臂的各關節之間有間隙，但由于重力的作用，關節軸承會比較穩定地停靠在間隙范圍的某一端，也就是說，只要機械臂運動過程中，這一狀態不改變，關節間隙的不可控性就不會表現出來，實時校準過后其精確性能保持到狀態的改變。為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，并參照附圖，對本發明作進一步的詳細說明。圖I是本發明的一個實施例的機械臂系統的整體結構示意圖。如圖所示，該實施例的機械臂系統是一個機器人的一部分，該機器人還包括本體I和安裝在本體上的頭部2，而該機械臂系統包括機械臂3、視覺設備4和主控設備5。具體來說，在該實施例中，本體I是一個雙輪差動的移動機器人底座，其上部是一個平整表面，用以搭載其他設備。我們約定圖I中向左為移動底座的正方向，底座表面左邊部分稱為前端，底座表面右邊部分稱為后端。機器人的頭部2是通過一個支架6安裝在底座I上的后端，而機械臂系統的視覺設備4是安裝在該頭部上的。機械臂系統的機械臂3則直接固定在底座I的前端。機械臂和視覺設備4的安裝一前一后，機械臂末端在視覺設備的視野范圍內，符合手眼協調的需求。同時，在進行抓取、操縱任務時，先要通過視覺系統搜索、定位目標物體，這時暫不涉及機械臂，所以視覺設備4和機械臂也是相互獨立的。本發明的機械臂系統也可以應用于其它結構的機器人上，只要機器人能機械上安裝該系統(如果是移動機器人的話則要保證安裝該系統后仍保持運動的平穩性)。另外，視覺設備4和機械臂3在機器人上的安裝位置也可以做各種變化，但是須保證其是獨立安裝，且機械臂末端能夠位于視覺設備可達的視野范圍內。
如圖I所示，本實施例的機械臂3是一個簡易的機械臂，機械臂坐標系Ck的原點在其與底座接觸面的中心，該坐標系為右手系，往前是X軸的正方向，往上是Y軸的正方向。該機械臂3只在Y、Z兩個維度上有自由度，從靠近機器人本體到遠離機器人本體的順序依次是第一個關節上有兩個自由度，繞Z軸旋轉、繞Y軸俯仰；第二個關節上有一個自由度，繞Y軸俯仰；第三個關節上有一個自由度，繞Y軸俯仰，第四個關節有一個自由度，繞Z軸旋轉。上述各個關節均包括有關節控制器，關節控制器可以對關節的運動位置進行控制。在機械臂3的末端連接有一個作為末端執行器的夾持器7,其可被驅動以在一個自由度上張開和閉合，以便于夾持目標物體。根據本發明，在該機械臂3的末端固定一個視覺標記物8，該視覺標記物8的作用是作為所述視覺設備4用于識別和定位機械臂末端的一個標記，以便視覺設備4實時校準機械臂末端相對于目標物體的位姿(位置和角度)。根據本發明的優選實施方式，視覺標記物8呈片狀的長方形，該視覺標記物8粘附在機械臂3的最后一節連桿的靠近連桿末端的正上表面位置，并且該片狀視覺標記物的平面與機械臂3的最后一節連桿相垂直。根據本發明的優選實施方式，視覺標記物8具有特征顏色，所謂特征顏色是指用于視覺識別的系統(視覺設備和主控設備)中能夠進行識別和標定的顏色，特征顏色可以形成一個色塊，并使具有色塊的部分位于所述視覺設備4的視野范圍內。本領域技術人員應當理解的是，該實施例中所示的機械臂3是一種比較簡單的情況，本發明也可用于其它更加復雜的機械臂結構中，例如在第三個關節處加一個繞Z軸旋轉的自由度，但其前提是要使得機械臂在使用過程中視覺標記物能暴露在視覺設備的視野中，且能夠通過視覺標記物8在機械臂坐標系Ck中的空間位姿，根據機械臂的結構約束來直接獲得機械臂3上各個關節的角度。圖2是圖I所示的本發明實施例的機械臂系統的視覺標記物8的具體結構示意圖。如圖2所示，視覺標記物8為一約2. 5cmX9cm的長方形薄片(例如由鐵片或鋁片制成)，在沿長邊方向的一端，且在距短邊Icm處，沿平行于短邊的一條線折成90度角，使得該視覺標記物包括相互垂直的兩部分，其中面積較小的一部分用于將該視覺標記物8固定在機械臂的末端，固定方式可以是粘附或螺絲固定等多種方式。
該實施例中，該視覺標記物8的面積較大的一部分從機械臂3的末端的最后一節連桿的表面垂直向外支出。由于該部分具有兩個面，可使其中一個面朝向視覺設備4。并且，為了便于視覺設備4進行識別和定位，對該朝向視覺設備的一面進行顏色設置如下整個面設置一種背景顏色(例如白色)，然后預留一定寬度(例如4mm)的邊框，并將邊框包圍的內部區域設置為另一種與背景顏色差異較大的顏色(即前面所述的特征顏色，例如深橙色，在圖2中以陰影線表示)。根據本發明，在設置內部區域的顏色時，根據所述視覺設備的類型進行不同的處理。例如，若是視覺設備是普通雙目攝像頭，則可盡可能讓顏色塊內多一些紋理，若是基于紅外結構光的立體視覺(如體感外設Kinect，該設備是微軟公司生產的XB0X360外設，能實時提供彩色-深度圖像信息)，則可以設置成純色。如上所述地設置背景顏色和內部區域顏 色，是為了讓色塊上的每個像素點都盡可能地保有深度信息，同時使色塊不與環境中相似的色塊粘連在一起，便于識別和定位色塊。在該實施例中，機器人的頭部由一個安裝在支架6的頂端的云臺實現，云臺具有與支架連接的旋轉、俯仰兩個關節，云臺上固定著所述視覺設備4。在該實施例中，視覺設備4是一個體感外設Kinect。在其他的實施方式中，其也可以是其他形式的立體視覺設備，如雙目立體視覺設備等，只要它滿足下面的特征它能提供對齊的彩色-深度圖像(在該實施例中為RGB-D圖像，在圖像的某些像素或區域，不同的立體視覺設備會有著不同程度的深度信息缺失)，RGB-D圖像的每個像素不僅有RGB的顏色信息，而且有在參照視覺坐標系CH下XYZ的空間位置信息，其圖像采集、深度計算、深度-彩色圖像對齊分別由相應的軟、硬件實現。根據本發明，所述視覺設備4的圖像采集控制器和機械臂3的各關節傳感器均與一個主控設備5連接，視覺設備用于采集圖像，并將采集的圖像通過圖像采集控制器傳送到主控設備5中，主控設備5是一個具有圖像處理能力的數字處理裝置。在該實施例中，主控設備5是一個具有與圖像采集控制器連接的接口的計算機。該計算機接收由視覺設備采集的實時圖像，通過立體視覺算法對視覺標記物和目標物體進行識別與定位，進而對機械臂末端的執行器與目標位置進行識別和定位，并通過機械臂的各關節控制器進行控制，從而對機械臂進行實時校準，然后控制校準好的機械臂完成操作任務。下面通過對上述實施例中的機械臂末端的執行器與目標位置進行識別和定位的算法進行詳細說明，以使本發明的機械臂系統的校準方法更加清楚。圖3是基于本發明的機械臂系統的校準方法的流程圖。如圖3所示，本發明的校準方法包括如下步驟Tl :獲取目標物體的實時圖像，根據該實時圖像計算目標物體彩色深度圖像，從而確定目標物體在視覺坐標系CH中的位置，所述視覺坐標系CH是基于視覺設備的坐標系。在該實施例中，彩色深度圖像為實時RGB-D圖像，視覺坐標系CH的原點位于安裝視覺設備的云臺的旋轉與俯仰關節的軸線的交點上。首先需要視覺設備采集目標位置的實時圖像。在該實施例中，視覺設備4的圖像采集裝置為多個攝像頭，該實時圖像為該多個攝像頭采集的圖像。接著，通過圖像采集控制器將這些實時圖像傳送到主控設備5中，主控設備5根據這些實時圖像來計算出實時RGB-D圖像，并在此基礎上以識別和定位所述視覺標記物8相對于目標物體的位姿。在本領域中，不同立體視覺設備的RGB-D圖像的獲得均有成熟的方法，基于RGB-D圖像的物體識別、定位也已有不少實用的方法，因此在此不再贅述。T2:在所述視覺坐標系中，根據所述目標物體的位置計算出一個停靠位置，并控制機械臂的末端移動到該停靠位置，所述停靠位置是指機械臂在操作目標物體之前進行停靠的位置。根據本發明的具體實施方式
，該停靠位置距離物體有一定的距離，該距離的大小要使得該距離的大小使得所述目標物體和所述視覺標記物的圖像能夠同時被采集，同時也應留有足夠的余量避免出現碰撞，例如在該實施例中，該距離大小為5 10厘米。在該實施例中，在計算所述停靠位置時，可以直接從最終目標位置開始，沿指向機 械臂坐標系Ck原點的方向但保持同樣的高度回退5 10厘米而得到停靠位置。加上機械臂的最后一節連桿應保持水平的約束，便可以計算出機械臂上各個關節需要到達的角度。然后，主控裝置5向各個機械臂3的各個關節控制器發送控制信號，使各個關節控制器控制各個關節達到相應的角度，從而使機械臂的末端移動到該位置。需要注意的時，在這一步驟完成之后，機械臂的各關節角度可能是不準確的，但是能保證其誤差是在一個相對較小的范圍內。T3:在所述機械臂的末端設置所述視覺標記物，采集該視覺標記物的實時圖像，并根據該視覺標記物的實時圖像計算該視覺標記物的彩色深度圖像，由此識別該定位該視覺標記物，并確定其位姿，所述位姿指的是位置和角度。圖4是識別該定位該視覺標記物并確定其位姿的方法的流程圖。該方法的輸入是根據視覺設備采集的實時圖像計算得到的對齊的彩色深度圖像。在該實施例中，其是RGB-D圖像。我們假設視覺標記物8在視覺設備所采集的實時圖像中呈現出具有特征顏色的色塊，則該方法的具體步驟如下T31 :將所述彩色深度圖像轉換到HSV顏色空間，然后用一個顏色閾值對該圖像的像素進行分類，將其分為色塊像素和非色塊像素，得到一幅二值圖。所述顏色閾值通常預先通過訓練的方法得到，也可以直接設定。接著，根據該二值圖去除明顯不屬于色塊的像素，得到候選色塊。T32:根據所述候選色塊中的所有像素對應的空間位置計算該候選色塊在空間中的大小、形狀和位姿。T33:根據所述候選色塊在空間中的大小、形狀和位姿，濾除噪聲色塊，選出對應視覺標記物的色塊。該步驟是一個可選步驟。因為可能存在的環境的不確定性，除了視覺標記物的色塊外，圖像中可能還有別的物體具有相似的顏色，因此圖像中會有噪聲色塊。我們通過下面的步驟濾除噪聲色塊首先，從候選色塊中濾除與視覺標記物的大小、形狀不相符合的色塊區域。然后，通過機械臂的先驗關節角度和正運動學計算視覺標記物的先驗位姿，濾除與先驗位姿相差超過一定范圍的色塊區域。所謂先驗關節角度是指未進行校準前所獲得的關節角度，正運動學指的是已知關節變量和連桿幾何參數，求解機械臂末端相對于機械臂坐標系Ck的位姿，并將其轉換到視覺坐標系中的方法，所計算得到的位姿在此稱之為先驗位姿。所述一定范圍是指包括最大空間距離和最大空間角度差異，其值機械臂的誤差的上界有關，例如在該實施例中，分別為12厘米和40度。
最后，若還剩下的候選色塊區域的個數大于或等于兩個，則選擇與先驗位姿的相似度最高的色塊。相似度的計算方式d+fX Θ，其中d為色塊與先驗位姿的空間距離，Θ為空間角度差異，f為權重系數。在該實施例中f設為O. 5。最后留下的色塊區域的位姿將最終作為視覺標記物8的位姿。T4 :根據所述視覺標記物的位姿計算機械臂的各關節的角度，從而對該機械臂進行校準。圖5是根據所述視覺標記物的位姿計算機械臂的各關節的角度的方法的示意圖。如圖5所示，A點表示機械臂坐標系的原點，即機械臂與機器人本體相互固定的固定裝置的中心；B點表示從所述固定裝置起始，沿著機械臂的第一個關節中心；C點為第二個關節中心；D點為第三個關節中心出點是視覺標記物8與最后一節連桿的接觸點；P點為視覺標記物的中心。
根據前面的步驟，現在已知視覺標記物8的中心點P在視覺坐標系中的位姿，即空間位置和角度，由于中心點P固定在機械臂3的末端，D點的空間位置便可以求得；由事先工作測量標定的機械臂和機器人頭部的相對空間位置關系，我們可以直接得到A、B兩點在視覺坐標系中的位置，故BD的長度可以求出來，又BC、CD的長度已知，故可得到角BCD的角度，再加上A、B、C、D、E均處在同一個平面，由此便可以計算出各個關節所實際處于的角度值(可預先設定當整個機械臂3豎直向上時各關節處于零角度)。以上的計算方法僅為本發明的一種示例，事實上，當本發明實施為各種不同結構的機械臂時，在已知視覺標記物在視覺坐標系中的位姿時，根據幾何算法均可以計算出機械臂各關節實際的角度值。根據該步驟計算的角度值是符合實際的值。將各個關節設置為該角度時，可用于后續的精確操作，此即本發明所指的機械臂實時校準。按照一般方式控制校準好的機械臂操縱目標物體。由于已根據本發明的校準方法進行校準過，在運動軌跡設計時機考慮到機械臂以相對平滑的軌跡運動，實踐證明，即便機械臂的關節有間隙，機械臂的運動控制在接下來的一段運動中，各關節的角度控制都是很準確的。以上所述的具體實施例，對本發明的目的、技術方案和有益效果進行了進一步詳細說明，應理解的是，以上所述僅為本發明的具體實施例而已，并不用于限制本發明，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。
權利要求
1.一種機械臂系統，用于對目標物體進行操作，并且所述機械臂系統包括機械臂(3)、視覺設備(4)和主控設備(5)，該機械臂(3)具有多個關節，其特征在于，在所述機械臂(3)的末端安裝有視覺標記物(8)，并且， 所述視覺標記物(8)位于所述視覺設備(4)的視覺范圍內，作為識別和定位所述機械臂末端的標記； 所述視覺設備(4)和所述機械臂相互獨立地安裝，用于獲取目標物體與該視覺標記物(8)的圖像，以識別和定位所述視覺標記物(8)相對于目標物體的位姿； 所述主控設備(5)用于根據所述視覺標記物的圖像計算所述機械臂(3)的各個關節的角度，以控制所述機械臂對所述目標物體進行操作。
2.如權利要求I所述的機械臂系統，其特征在于，所述機械臂具有多個連桿，該多個連桿通過所述多個關節相連接，并且所述視覺標記物(8)固定于所述機械臂末端的最后一節連桿上。
3.如權利要求2所述的機械臂系統，其特征在于，所述視覺標記物(8)固定于所述最后一節連桿的末端，并與該連桿垂直。
4.如權利要求2所述的機械臂系統，其特征在于，所述視覺標記物(8)具有特征顏色，所述特征顏色是所述視覺設備(4)和主控設備(5)能夠進行識別和標定的顏色。
5.如權利要求4所述的機械臂系統，其特征在于，所述特征顏色形成色塊，且該色塊位于所述視覺設備(4)的視野范圍內。
6.如權利要求4所述的機械臂系統，其特征在于，所述視覺標記物(8)為片狀，所述特征顏色位于該片狀的一面，將該具有特征顏色的一面朝向所述視覺設備(4)。
7.如權利要求I所述的機械臂系統，其特征在于， 所述視覺設備(4)包括圖像采集裝置和圖像采集控制器，所述圖像采集裝置用于采集圖像，所述圖像采集控制器用于對圖像的采集、傳輸進行控制； 所述機械臂(3)的各關節具有關節控制器，其用于控制各個關節進行轉動； 所述圖像采集控制器和所述關節控制器均電性連接于所述主控設備，所述主控制備接收所述圖像采集控制器輸入的圖像，并通過所述關節控制器控制各個關節的運動。
8.如權利要求7所述的機械臂系統，其特征在于，所述圖像采集裝置是多個攝像頭，所述圖像采集控制裝置用于將所述多個攝像頭采集的實時圖像傳送至所述主控設備(5)。
9.如權利要求8所述的機械臂系統，其特征在于，主控設備(5)根據所述多個攝像頭采集的實時圖像計算彩色深度圖像，并根據該彩色深度圖像識別和定位所述視覺標記物(8)相對于目標物體的位姿。
10.一種機械臂系統的實時校準方法，所述機械臂系統用于對目標物體進行操作，并且所述機械臂系統包括機械臂，該機械臂具有多個關節，其特征在于，所述方法包括如下步驟 Tl、采集所述目標物體的實時圖像，根據該實時圖像計算該目標物體彩色深度圖像，從而確定該目標物體在視覺坐標系中的位置，所述視覺坐標系是基于視覺設備的坐標系； T2、在所述視覺坐標系中，根據所述目標物體的位置計算出一個停靠位置，該并控制機械臂的末端移動到該停靠位置，所述停靠位置是指機械臂在操作目標物體之前進行停靠的位置；T3、在所述機械臂的末端設置視覺標記物，采集該視覺標記物的實時圖像，并根據該視覺標記物的實時圖像計算該視覺標記物的彩色深度圖像，由此識別該定位該視覺標記物，并確定其位姿； Τ4、根據所述視覺標記物的位姿計算所述機械臂的各關節的角度，從而對該機械臂進行校準。
11.如權利要求10所述的機械臂系統的實時校準方法，其特征在于，所述視覺標記物具有特征顏色，所述特征顏色是能夠進行識別和標定的顏色。
12.如權利要求10所述的機械臂系統的實時校準方法，其特征在于，在所述步驟Tl和Τ3中，所述彩色深度圖像是RGB-D圖像。
13.如權利要求10所述的機械臂系統的實時校準方法，其特征在于，在所述步驟Τ2中，該停靠位置距離所述目物體有一定的距離，該距離的大小使得所述目標物體和所述視覺標記物的圖像能夠同時被采集。
14.如權利要求10所述的機械臂系統的實時校準方法，其特征在于，所述步驟Τ3包括如下步驟 Τ31、將所述彩色深度圖像轉換到HSV顏色空間，然后用一個顏色閾值對該圖像的像素進行分類，將其分為色塊像素和非色塊像素，得到一幅二值圖，根據該二值圖去除明顯不屬于色塊的像素，得到候選色塊； Τ32、根據所述候選色塊中的所有像素對應的空間位置計算該候選色塊在空間中的大小、形狀和位姿。
15.如權利要求14所述的機械臂系統的實時校準方法，其特征在于，在所述步驟Τ32之后還包括步驟Τ33，即根據所述候選色塊在空間中的大小、形狀和位姿，濾除噪聲色塊，選出對應所述視覺標記物的色塊。
16.如權利要求15所述的機械臂系統的實時校準方法，其特征在于，所述步驟Τ33包括如下步驟 從所述候選色塊中濾除與所述視覺標記物的大小、形狀不相符合的色塊區域； 通過所述機械臂的先驗關節角度和正運動學計算所述視覺標記物的先驗位姿，濾除與該先驗位姿相差超過一定范圍的色塊區域，所述先驗關節角度是指未進行校準時所獲得的關節角度； 若剩下的候選色塊區域的個數大于或等于兩個，則選擇與先驗位姿的相似度最高的色塊。
17.—種機器人,其特征在于,包括權利要求1-9中任一項所述的機械臂系統。
18.如權利要求17所述的機器人，所述機器人包括本體(I)，所述機械臂系統的機械臂(3)和視覺設備(4)相互獨立地安裝于所述本體(I)上。
全文摘要
本發明公開了一種機械臂系統及其校準方法，機械臂系統包括機械臂、視覺設備和主控設備，在所述機械臂的末端安裝有視覺標記物，并且使視覺標記物位于視覺設備的視覺范圍內；視覺設備和機械臂相互獨立地安裝，用于獲取目標物體與該視覺標記物的圖像，以識別和定位所述視覺標記物相對于目標物體的位姿；主控設備用于根據所述視覺標記物的圖像計算所述機械臂的各個關節的角度，以控制所述機械臂對所述目標物體進行操作。本發明能夠在機械臂上的關節存在間隙時對機械臂進行校準，使機械臂系統能夠完成精確的操作任務。
文檔編號B25J19/00GK102922521SQ20121027917
公開日2013年2月13日 申請日期2012年8月7日 優先權日2012年8月7日
發明者王 鋒, 陳小平, 靳國強, 程敏, 陳凱, 謝炯坤 申請人:中國科學技術大學