基于運動機構的三維物體建模系統的制作方法
【技術領域】
[0001] 本發明設及一種對=維物體進行=維建模的系統，具體地說，是一種基于運動機 構的=維物體建模系統。
【背景技術】
[0002] 近年來，視覺輔助系統在物體=維建模等方面已經有越來越多的應用，如No址 Snavely研發的Bundler系統應用于大型S維場景重建。在S維物體建模中，伯克利大學研 發了對單個物體實現=維重建的系統，由搭建好的硬件平臺，通過多個相機對物體在不同 角度進行圖像采集，通過ICP對得到的點云進行匹配，再由TSDF進行融合得到物體的S維 柵格模型，為機械臂抓取物體提供物體=維信息和對應特征。

【發明內容】

[0003] 本發明的目的是針對伯克利的=維重建系統存在問題的改進，提出一個完善可行 的成本較低、觀測更連續完整的=維建模系統。用于對物體的位姿進行準確觀測和分析，從 而輔助機械臂進行抓取，完成指定任務，可W在機器人視覺、機器人抓取、3D打印等場景中， 實現對物體的識別和位姿估計，從而可W獲取待抓取物體的完整的=維信息和特征紋理信 息，為機器人的運動和相應操作奠定更好的基礎。
[0004] 為達到上述發明的目的，本發明提出了一種運動機構和相機相結合的視覺系統理 念，利用運動機構末端所固定的彩色深度視覺相機圍繞目標物體運動并采集物體的RGB圖 像和深度圖像，結合運動信息和圖像處理融合算法，對目標物體進行=維還原，得到物體的 S維模型。 陽005] 本發明的具體技術方案如下：
[0006] 本發明公開了一種基于運動機構的=維物體建模系統，包括彩色深度視覺相機、 =自由度W上的運動機構、圖像數據采集傳輸裝置、包含有視覺軟件運行的系統環境的主 控計算機、和外接顯示屏，運動機構固定在工作平臺上，能夠實現圍繞物體進行運動；彩色 深度視覺相機固定在運動機構末端，通過運動機構的運動使其圍繞著目標物體進行彩色深 度圖像的采集；彩色深度視覺相機通過數據線與圖像數據采集卡相連；圖像數據采集卡通 過包含有視覺軟件運行的系統環境的主控計算機總線，將采集到的數據傳送到主控計算機 進行處理；處理結果輸出到包含有視覺軟件運行的系統環境的主控計算機的外接顯示屏上 進行顯示。
[0007] 作為進一步地改進，本發明所述的系統包括如下組成模塊：運動機構在線規劃和 控制模塊、圖像采集模塊、圖像處理模塊、=維數據融合模塊、顯示模塊，其中，運動機構在 線規劃和控制模塊能依據模型精度對運動機構的軌跡進行在線規劃和控制；圖像采集模塊 能實現對物體的RGB圖像和深度圖像的采集；圖像處理模塊能將RGB圖像進行特征點匹配， 計算出對應點的=維坐標，并能將深度信息轉化為=維點云；=維數據融合模塊可依據相 機位姿，將所有=維點統一到同一坐標下，構建出目標物體的=維模型；顯示模塊能實現物 體的s維顯示。
[0008] 作為進一步地改進，本發明所述的基于運動機構的=維物體建模系統，將=維物 體信息分為S維點云信息和SIFT特征信息，S維點云信息從物體外形完成對物體的外形 描述，相對稠密，而SIFT特征信息則從細節特征對物體進行=維描述，相對稀疏，將整體信 息和細節信息進行結合，得到了目標物體的完整=維信息。
[0009] 本發明還公開了一種基于運動機構的=維物體建模系統的運行方法，具體步驟如 下：
[0010] (1)搭建硬件系統，半自動標定各相機內外參數； W11] 似運動機構按照規劃軌跡將相機運動到指定位置，對目標物體進行圖像采集；
[0012] (3)通過運動機構末端搭載的彩色深度視覺相機獲取目標物體的RGB圖像和深度 圖像，結合運動機構的運動信息和相機位姿參數，實現物體=維空間姿態信息還原；
[001引 （4)多帖信息拼接，將得到的立維點云和物體立維空間姿態相結合，實現點云的融 合，直到完成運動軌跡序列或者獲得完整模型，得到物體的=維模型；
[0014] (5)將處理得到的物體的SIFTS維點云圖和S維深度點云圖輸入到外接顯示屏。
[0015] 本發明的最大特點在于能對目標物體進行連續采樣和分析，通過多幅RGB圖像和 深度圖像W及對應相機的位姿，得到其=維模型。通過運動機構將相機運動到指定位置，能 夠減少位姿計算誤差，可W有效提高對物體建模的準確性，從而可W更科學地推廣到其它 運行項目及民用、軍工等類似場景。
[0016] 本發明具有的有益效果如下：
[0017] (1)本發明提出了一種可W精確在運動機構上完成物體=維建模的系統與方法， 在運動機構按照指定路徑進行運動的同時，能夠準確得到相鄰兩幅圖像之間的位姿變換關 系，可W加速算法運行速度為用戶或自動化系統提供更為精確的建模結果； 陽01引 似本發明將彩色深度視覺相機獲取到的RGB圖像和深度圖像相結合，既能恢復 物體的外形，又能得到物體的SIFT特征信息；
[0019] (3)本發明與傳統的多個相機固定位置的方法相比，能夠大大降低成本，并且相機 在成像上無死角；
[0020] (4)本發明中的方法和系統還可W應用于3D打印、家用機器人抓取等多種場景 中。因此，本發明是一種非常實用、有效地=維物體建模系統，具有很好的應用前景。
【附圖說明】
[0021] 圖1是系統硬件結構框圖；
[0022] 圖2是系統的架構流程框圖；
[0023] 圖3是相鄰點云對應點匹配和相鄰點云對應相機位姿變換關系示意圖；
[0024] 圖4是點云配準流程圖； 陽0巧]圖5是基于空間的點云融合技術示意圖；
[00%] 圖1中，1為彩色深度視覺相機、2為運動機構、3為圖像數據采集傳輸裝置、4為包 含有視覺軟件運行的系統環境的主控計算機、5是視覺軟件，6為外接顯示屏。
【具體實施方式】
[0027] 本發明提供的S維物體建模系統，由彩色深度視覺相機1、S個W上自由度的運動 機構2、圖像數據采集傳輸裝置3、包含有視覺軟件的主控計算機4和外接顯示屏6組成； 其中彩色深度視覺相機1固定在運動機構2末端，視野覆蓋物體所在有效區域，進行圖像采 集；，圖像數據采集傳輸裝置3由圖像數據采集卡通過包含有視覺軟件運行的系統環境的 主控計算機4的PCI總線，將采集到的數據傳送到圖像數據采集傳輸裝置3的處理器進行 處理；處理結果輸出到包含有視覺軟件運行的系統環境的主控計算機4的外接顯示屏6。
[0028] 包含有視覺軟件運行的系統環境的主控計算機4包括如下模塊：運動機構2運動 規劃和控制模塊、圖像采集模塊、目標物體的=維建模模塊。系統架構流程是：運動機構2 在線規劃和控制模塊根據物體建模結果和需求精度，對運動軌跡進行在線規劃，將固定在 運動機構2末端的彩色深度視覺相機1運動到指定位置，完成目標物體的RGB圖像和深度 圖像采集；圖像采集模塊對相機視野覆蓋區域進行圖像采集，將所得圖像輸入到=維建模 模塊，進行在線建模，當模型收斂后，運動機構2停止運動，并將物體所建的SIFT特征點云 圖和TSDF融合得到的點云圖輸出到外接顯示器上。
[0029] 運動機構2在線規劃和控制模塊，依據建模需求精度和物體大小進行在線軌跡規 劃，將固定在運動機構2末端的相機運動到指定位置，即知道相鄰兩帖相機對應的相機位 姿變化關系，能夠減少相鄰兩帖圖像計算相機的位姿變換所費時間，并且能夠減少由相機 外參標定所引起的誤差。該模塊能夠直接得到相鄰兩帖圖片對應相機的位姿關系，能加快 速度，提高精度。
[0030] 目標物體=維建模模塊，能夠將相機采集的多幅圖像，進行位姿變換得到物體的 S維點云信息，在此基礎上運用TSDF對點云進行融合處理，其中彩色深度視覺相機1采集 的RGB圖像得到物體的SIFTS維點云信息，而深度圖像得到的物體的稠密S維點云信息。
[0031] 本發明所述的S維虛擬場景重現模炔基于化en化的S維虛擬場景重現模塊：在 =維虛擬場景中任意角度觀看物體的=維模型并輸出到外接顯示屏6上。
[0032] 本發明提供的物體S維建模方法，所述的運行步驟如下：
[0033] (1)搭建硬件系統，標定彩色深度視覺相機1內參；
[0034] 似運動機構2依據建模精度，進行在線軌跡規劃，當運動機構2末端運動到指定 位置，固定在運動機構2末端的彩色深度視覺相機1對物體進行采樣；
[0035] (3)采樣后對所得圖像進行處理，得到物體的=維點云，每采一副圖像，對已建模 的模型進行重新計算和更新，模型越完整和精確，新增圖像提供的新=維信息就越少，待物 體模型收斂后，運動機構2停止運動，結束建模；
[0036] (4)將處理結果數據輸入到=維虛擬場景重現模塊，在外接顯示屏6中進行顯示。 其中上述方法中，控制運動機構2運動采用如下方法：
[0037] (1)離線標定運動機構2的零位和彩色深度視覺相機1的內參；
[0038] (2)依據物體的大小和建模精度，實施在線軌跡規劃，對已建模模型精度進行計 算；
[0039] (3)當模型收斂到需求精度或者運動機構2完成運動軌跡序列，運動機構2停止運 動。其中上述方法中物體=維建模采用如下方法：
[0040] (1)利用運動機構2運動軌跡，得到相鄰兩帖圖像對應相機的位姿變換關系；
[0041] (2)獲取物體在各個位姿下的圖像，結合相機位姿進行圖像融合；
[0042] (3)將圖像融合結果再迭代進行融合，直至運動機構2完成運動軌跡序列或者獲 得完整模型。
[0043] 其中上述方法中的=維虛擬場景重現采用如下方法：
[0044] (1)將計算所得的物體=維模型輸入到=維虛擬場景顯示模塊；
[0045] (2)根據實際尺寸，將模型和實際尺寸統一。
[0046] 下面結合附圖，通過具體實施例，對本發明的技術方案作具體說明，詳細描述本發 明所利用的彩色深度視覺相機1、運動機構2運動和相機位姿變換配合，實現對物體=維建 模和分析，并在=維虛擬空間的場景重現。
[0047] 圖1是系統硬件結構框圖，整個系統由：一個彩色深度視覺相機1、S自由度W上 的運動機構2、圖像數據采集傳輸裝置3、包含有視覺軟件