一種基于雙目立體視覺的機械手抓取控制系統的控制方法
【專利摘要】一種基于雙目立體視覺的機械手抓取控制系統的控制方法，包括以下步驟：標定相機參數，然后通過示教機械手，實現相機坐標系和機械手坐標系的轉換；線激光做弧面掃描云運動，同時相機采集圖像；對相機拍攝的圖像分別提取激光線；利用亞像素算法精確定位激光線的位置；對圖片中提取到的激光線進行同名點匹配；通過三角測量原理計算激光線上每個點的三維空間坐標，完成對場景內工件的掃描，獲得相機視野內的點云數據；建立工件點云模板，選取機械手抓取點位，將獲得的點云數據與工件點云模板匹配，并計算出兩者間的轉換關系；將點云模板中機械手抓取點位置換算成當前坐標，并將其轉換為機械手坐標系下的坐標，然后傳遞給機械手，機械手執行動作。
【專利說明】
一種基于雙目立體視覺的機械手抓取控制系統的控制方法
技術領域
[0001 ]本發明涉及機械手抓取控制領域，具體涉及一種能實時獲取料箱內工件的3D點云 數據，并通過模板匹配，引導機械手抓取和擺放工件的基于雙目立體視覺的機械手抓取控 制系統的控制方法。
【背景技術】
[0002] 目前，工業自動化裝配受到越來越多的關注，由視覺引導機械手進行工業裝配是 實現工業自動化的重要途徑。在機械手執行任務的過程中，控制機械手定位到目標位置是 一個非常關鍵的問題。CN103963058A基于多方位視覺定位的機械手臂抓取控制方法及方 法、CN104331894A-種基于雙目立體視覺的機器人拆垛方法以及CN104677330A-種小型雙 目立體視覺測距系統都公開了一種視覺引導機械手抓取方法。但這些方法都存在對不同型 號產品識別率差、定位精度難以滿足抓取擺放要求的缺陷。

【發明內容】

[0003] 本發明提出了一種基于雙目立體視覺的機械手抓取控制系統的控制方法，由雙目 立體視覺系統根據目標物的二維圖像計算出目標物的三維坐標，然后根據此三維坐標去控 制機械手自動運動到目標位置，實現料箱內任意擺放工件的抓取，進而實現工件的擺放或 裝配，解決工業裝配或上下料的自動化問題，從而降低人力成本，提高生產效率，消除人力 操作潛在的安全隱患。
[0004] 本發明的目的及解決其技術問題是采用以下技術方案來實現的。依據本發明提出 的一種基于雙目立體視覺的機械手抓取控制系統的控制方法，包括以下步驟：1)標定相機 的內參數和外參數，然后通過示教機械手，實現相機坐標系和機械手坐標系的轉換;2)線激 光做弧面掃描運動，同時位于線激光兩側的相機分別從左右兩個視角拍攝圖像;3)對雙相 機拍攝的兩幅圖像分別提取激光線;4)利用亞像素算法精確定位激光線的位置;5)對兩相 機圖片中提取到的激光線進行同名點匹配;6)通過三角測量原理計算激光線上每個點的三 維空間坐標，完成對場景內工件的掃描，獲得相機視野內的點云數據；7)建立工件點云模 板，選取機械手抓取點位，然后將獲得的點云數據與工件點云模板匹配，從而找到目標工件 并計算出兩者間的轉換關系;8)將點云模板中設置的機械手抓取點位置通過步驟(7)計算 出的轉換關系換算成當前坐標，并將該坐標轉換到機械手坐標系下的坐標，將坐標傳遞給 機械手，若坐標值在機械手的運動范圍之內，則機械手執行抓取工件和擺放工件的動作，然 后相機開始拍攝圖像，進入先一個拍攝抓取循環。
[0005] 本發明的目的及解決其技術問題還可采用以下技術措施進一步實現。
[0006] 前述的根據權利要求1所述的控制方法，其特征在于，其中所述的步驟1中，通過編 碼后的圓形標志點標定相機，示教機械手時通過示教編碼后的圓形標志點的位置完成對機 械手的示教，實現相機坐標系和機械手坐標系的轉換。
[0007] 前述的控制方法，其中所述的步驟3中，提取激光線條時，采用激光線條光照無關 提取方法，即結合灰度閾值和圖片每行像素最值的方法實現激光線條光照無關的初步提 取。
[0008] 前述的控制方法，其中所述的步驟3中，在激光線條提取過程中，采用激光線條列 像素偏差限制的方法剔除因工件表面反射光線引起的激光線散亂。
[0009] 前述的控制方法，其中所述的步驟4中，采用灰度重心的方法精確的定位激光線的 線條中心，從而實現激光線條的亞像素的定位。
[0010]前述的控制方法，其中所述的步驟6中，通過三角測量原理計算激光線上點的三維 空間坐標，具體計算過程為：
[0011]相機拍攝圖像后，相機上的一個像點與相機鏡頭中心確定一條直線，像點與鏡頭 中心這兩點的坐標都在相機坐標系下，這兩點組成的空間直線方程為：
[0012]
[0013]
[0014]其中，X，Y，Z為目標點的三維坐標;X，y，f為像點坐標;Xs，Ys，Zs是鏡頭中心坐標； ai、bi、Ci為坐標系變換參數；
[0015] 選取兩張圖像上的一對同名點，代入上述直線方程可得4個方程式組成的方程組， 從而得到X，Y，Z的值，即算出激光線上點的三維空間坐標。
[0016] 前述的控制方法，其中所述的步驟7具體包括以下步驟：1)啟動雙相機系統，掃描 工件點云數據，然后在界面刪除錯誤的點云數據，即得到完成的工件點云模型；2)將步驟6 得到的點云數據與所述工件點云模型依據工件表面數據的曲率信息進行點云匹配，得到目 標工件;3)計算出點云數據與工件點云模型的轉換關系。
[0017] 本發明與現有技術相比具有明顯的優點和有益效果。借由上述技術方案，本發明 基于雙目立體視覺的機械手抓取控制系統的控制方法可達到相當的技術進步性及實用性， 并具有產業上的廣泛利用價值，其至少具有下列優點：1)本系統通過雙目視覺和線激光掃 描結合的方式獲得工件點云數據，并通過點云建模和匹配，得到工件抓取位置，進而指引機 械手抓取和擺放工件，本系統實現了機械手抓取擺放工件的自動化，提高了企業生產效率， 增加企業競爭力。
[0018] 2)本系統通過與機械手相結合，僅需要操控人員在電腦端設定工件抓取和擺放場 景，便可實現現場環境內的無人化操作，保證了操作人員的安全性。
[0019] 3)本系統能直觀的顯示點云掃描過程，以及工件掃描結果。便于操作人員了解系 統的運行狀況，使操作人員實時掌握系統的工作狀態，提高了系統的可維護性。
【附圖說明】
[0020] 圖1為本發明系統的硬件構成圖；
[0021]圖2為本發明標志點編碼圖；
[0022]圖3為本發明點云模板圖。
[0023]圖4為本發明系統的工作流程圖；
[0024]圖5本發明三角測量原理圖。
[0025] 【主要元件符號說明】
[0026] 01-xyz:相機坐標系
[0027] 02-xyz:相機坐標系
[0028] Pl:相機坐標中的點 [0029] P2:相機坐標中的點
[0030] SI:相機鏡頭中心位置 [0031] S2:相機鏡頭中心位置
[0032] W:真實空間中的點
【具體實施方式】
[0033] 為更進一步闡述本發明為達成預定發明目的所采取的技術手段及功效，以下結合 附圖及較佳實施例，對依據本發明提出的一種基于雙目立體視覺的機械手抓取控制系統的 控制方法其具體方法、步驟及其功效，詳細說明如后。
[0034] 請參閱圖1-5,本發明一種基于雙目立體視覺的機械手抓取控制系統的控制方法， 包括以下步驟：
[0035] 1)標定相機的內參數和外參數，然后通過示教機械手，實現相機坐標系和機械手 坐標系的轉換。在本發明實施中，通過編碼后的圓形標志點標定相機，示教機械手時通過對 通過編碼后的圓形標志點位置的示教完成對機械手的示教，實現相機坐標系和機械手坐標 系的轉換。
[0036] 本發明實施例將8個圓形點組成一個圓形編碼點組，每一組編碼點位置關系均不 相同，且被賦予一個唯一的編號。圖2為編碼點組織圖，使用過程中，將編碼點按照編碼點組 裁剪開，并粘貼到標定板上。利用編碼點來標定相機的內參數和外參數，以及實現相機坐標 系和機械手坐標系的轉換。本方法具有高的標定精度，且能適應多種圖像形變，適應多種圖 像形變是因為編碼點提取時同時考慮了圓形點的形狀和亮度信息，而高的標定精度是由于 圓形點圓心的提取以圓的外邊界作為支撐域，這比方格形標定板采用角點提取的方法具有 更高的準確性。同時，發明中的標定方法同時矯正了相機鏡頭切向畸變和徑向畸變，進一步 保證了測量精度。
[0037] 2)線激光做弧面掃描運動，同時位于線激光兩側的相機分別從左右兩個視角拍攝 工作。本發明機械手抓取控制系統的硬件包括兩個相機和一個位于兩相機之間的線激光 器，其構成圖請參閱圖1。
[0038] 3)對雙相機拍攝的兩幅圖像分別提取激光線。提取投射到工件上的激光線條時， 采用激光線條光照無關提取方法，即結合灰度閾值和圖片每行像素最值的方法實現激光線 條光照無關的初步提取，該方法保證了在環境光照下激光線條的穩定提取，實現了激光線 條提取對光照變化的弱敏感性。
[0039]在激光線條提取過程中，需要將激光線離群點移除，本發明采用激光線條列像素 偏差限制的方法剔除因工件表面反射光線引起的激光線散亂，該方法有效剔除了非激光線 上的離群點，為后續激光同名點的匹配提供準確的種點。
[0040] 4)利用亞像素算法精確定位激光線的位置。本發明對于激光線上點的亞像素的定 位，采用灰度重心的方法精確的定位激光線的線條中心，從而實現激光線條的亞像素的定 位。該方法的應用提高了算法的定位精度。
[0041 ] 5)對兩相機圖片中提取到的激光線進行同名點匹配。
[0042] 6)通過三角測量原理計算激光線上每個點的三維空間坐標，完成對場景內工件的 掃描，獲得相機視野內的點云數據。
[0043]請參閱圖2,01-xyz與02-xyz分別是兩相機空間坐標系；P1，P2是一對兒同名點； SI，S2是相機鏡頭的中心位置;W是真實空間中的一個點。Pl，Sl確定了空間中一條直線，P2， S2確定了另一條直線，它們在空間中相較于W。
[0044] 空間直線:相機拍攝圖像后，相機CCD上的一個像點與相機鏡頭中心可以確定一條 直線。像點與鏡頭中心這兩點的坐標都在相機坐標系下，這兩點組成的空間直線方程為：
[0045]
[0046]
[0047] 其中，X，Y，Z為目標點的三維坐標，是未知數；
[0048] x，y，f為像點坐標，是已知量(通過分析圖像得到）；
[0049] Xs，Ys，Zs是鏡頭中心坐標，為已知量(在相機標定過程得到）；
[0050] ai 為坐標系變換參數，為已知量(在相機標定過程得到）；
[0051 ] -張圖像可以列一個直線方程，兩張圖像就可以列兩個直線方程，共4個方程組， 而式中的未知數只有三個(三維點坐標X，Y，Z)，因此，可算出三個未知數。
[0052] 7)建立工件點云模板，選取機械手抓取點位，然后將獲得的點云數據與工件點云 模板匹配，從而找到目標工件并計算出兩者間的轉換關系。
[0053]不同于已有系統采用cad數據導入的方法，本發明采用工件點云自建模的方式設 定機械手抓取工件的位置。建模過程如下：啟動雙相機系統，掃描工件點云數據，然后在界 面刪除錯誤的點云數據，即得到完成的工件點云模型，然后從中選取機械手抓取點位，點云 模板圖以及設定的機械手抓取工件位置請參閱圖3,該圖顯示的是3D點云數據的一個視角， 在開發的系統界面可以3D查看。
[0054]建立工件的點云模板后，就可以進行后續工件的掃描和機械手的控制。通過雙目 相機激光系統掃面工件獲得工件的3D數據，然后與點云模板自動匹配。本發明采用的匹配 方法是依據工件表面數據的曲率信息進行點云匹配，進而將模板點云中設定的工件抓取位 置轉換到當前工件坐標系下，指引機械手抓取和擺放工件。采用工件表面點云數據的曲率 信息作為匹配項是因為工件表面的曲率信息是一個不變特征，只要工件表面不發生形變， 工件的曲率信息也不會發生改變。不同于已有的點、線、曲面匹配方法，本發明采用工件表 面數據曲率信息匹配工件，具有不依賴于工件形狀特征的優勢，即使工件部分特征發生改 變，只要工件部分曲率能夠與模板工件相匹配，就能準確的得到變換后的工件抓取位置。最 后根據點云匹配計算出點云數據與工件點云模型的轉換關系。
[0055] 8)將點云模板中設置的機械手抓取點位置通過步驟(7)計算出的轉換關系換算成 當前坐標，并將該坐標轉換到機械手坐標系下的坐標，將坐標傳遞給機械手，若坐標值在機 械手的運動范圍之內，則機械手執行抓取工件和擺放工件的動作，然后相機開始拍攝圖像， 進入先一個拍攝抓取循環。
[0056]以上所述，僅是本發明的較佳實施例而已，并非對本發明做任何形式上的限制，雖 然本發明已以較佳實施例揭露如上，然而并非用以限定本發明，任何熟悉本專業的技術人 員，在不脫離本發明技術方案范圍內，當可利用上述揭示的技術內容做出些許更動或修飾 為等同變化的等效實施例，但凡是未脫離本發明技術方案的內容，依據本發明的技術實質 對以上實施例所做的任何簡單修改、等同變化與修飾，均仍屬于本發明技術方案的范圍內。
【主權項】
1. 一種基于雙目立體視覺的機械手抓取控制系統的控制方法，其特征在于，包括以下 步驟： 1) 標定相機的內參數和外參數，然后通過示教機械手，實現相機坐標系和機械手坐標 系的轉換； 2) 線激光做弧面掃描運動，同時位于線激光兩側的相機分別從左右兩個視角拍攝圖 像； 3) 對雙相機拍攝的兩幅圖像分別提取激光線； 4) 利用亞像素算法精確定位激光線的位置； 5) 對兩相機圖片中提取到的激光線進行同名點匹配； 6) 通過三角測量原理計算激光線上每個點的三維空間坐標，完成對場景內工件的掃 描，獲得相機視野內的點云數據； 7) 建立工件點云模板，選取機械手抓取點位，然后將獲得的點云數據與工件點云模板 匹配，從而找到目標工件并計算出兩者間的轉換關系； 8) 將點云模板中設置的機械手抓取點位置通過步驟(7)計算出的轉換關系換算成當前 坐標，并將該坐標轉換到機械手坐標系下的坐標，將坐標傳遞給機械手，若坐標值在機械手 的運動范圍之內，則機械手執行抓取工件和擺放工件的動作，然后相機開始拍攝圖像，進入 下一個拍攝抓取循環。2. 根據權利要求1所述的控制方法，其特征在于，其中所述的步驟1中，通過編碼后的圓 形標志點標定相機，示教機械手時通過示教該編碼后圓形標志點位置完成對機械手的示 教，實現相機坐標系和機械手坐標系的轉換。3. 根據權利要求1所述的控制方法，其特征在于，其中所述的步驟3中，提取激光線條 時，采用激光線條光照無關提取方法，即結合灰度閾值和圖片每行像素最值的方法實現激 光線條光照無關的初步提取。4. 根據權利要求1所述的控制方法，其特征在于，其中所述的步驟3中，在激光線條提取 過程中，采用激光線條列像素偏差限制的方法剔除因工件表面反射光線引起的激光線散 亂。5. 根據權利要求1所述的控制方法，其特征在于，其中所述的步驟4中，采用灰度重心的 方法精確的定位激光線的線條中心，從而實現激光線條的亞像素的定位。6. 根據權利要求1所述的控制方法，其特征在于，其中所述的步驟6中，通過三角測量原 理計算激光線上點的三維空間坐標，具體計算過程為:相機拍攝圖像后，相機上的一個像點 與相機鏡頭中心確定一條直線，像點與鏡頭中心這兩點的坐標都在相機坐標系下，這兩點 組成的空間直線方程為：其中，X，Y，Z為目標點的三維坐標;x，y，f為像點坐標;Xs，Ys，Zs是鏡頭中心坐標;ai、bi、 Ci為坐標系變換參數； 選取兩張圖像上的一對同名點，代入上述直線方程可得4個方程式組成的方程組，從而 得到X，Y，Z的值，即算出激光線上點的三維空間坐標。7.根據權利要求1所述的控制方法，其特征在于，其中所述的步驟7具體包括以下步驟： 1) 啟動雙相機系統，掃描工件點云數據，然后在界面刪除錯誤的點云數據，即得到完成 的工件點云模型； 2) 將步驟6得到的點云數據與所述工件點云模型依據工件表面數據的曲率信息進行點 云匹配，得到目標工件； 3) 計算出點云數據與工件點云模型的轉換關系。
【文檔編號】B25J9/16GK106041937SQ201610676653
【公開日】2016年10月26日
【申請日】2016年8月16日
【發明人】崔慶, 王志飛, 張卓輝, 向宇, 李曉亮, 夏璐璐, 高梓翔
【申請人】河南埃爾森智能科技有限公司