基于格里諾型體式顯微鏡的三維顯微表面輪廓測量裝置及其方法
【專利摘要】本發明公開了一種基于格里諾型體式顯微鏡的三維顯微表面輪廓測量裝置及其方法，通過將相機、投影儀安裝到格里諾型體式顯微鏡的兩個成像光路中，實現了主動結構光三維顯微表面輪廓測量。在測量時對測量系統的標定首先結合相移輪廓測量技術對顯微鏡投影光路進行高度與條紋相位之間的非線性擬合標定，然后使用透視模型對相機光路的內外參數進行標定，進而得到相機的單應性矩陣，待測物體三維點云數據的高度分布信息通過高度與相位之間的關系求得，然后物體三維點云數據的橫向位置分布通過求解相機單應性矩陣決定的方程組獲得。本發明簡潔高效并且低成本的優點，通過投影多組相移周期條紋，結合系統標定參數即可快速獲取微小物體表面的三維點云數據。
【專利說明】
基于格里諾型體式顯微鏡的三維顯微表面輪廓測量裝置及其 方法
技術領域
[0001]本發明屬于光學測量、成像技術，特別是一種基于格里諾型體式顯微鏡的三維顯 微表面輪廓測量裝置及其方法。
【背景技術】
[0002] 隨著現代制造技術的發展，電子器件小型化變得越來越流行和重要。小型化可以 使得器件具備更多更復雜的功能，使得商家可以制作方便攜帶，易于移植甚至可植入人體 的微小化器件。比如，將機械元件、電子元件、傳感器配合電制動部件一起整合到一塊硅片 上就制作出了微電子機械系統(Micro-electromechanical Systems，MEMS)，類似MEMS的器 件在科學研究與工程應用中具有十分廣泛的用途。與此同時，像MEMS這樣的微小器件在制 作過程中的不同階段需要嚴格的監測與篩選，同時這些小型器件的動態測量與參數獲取尤 為重要，尤其是三維數據的獲取。近年發展的一些技術可以成功地用于三維測量，例如共聚 焦顯微鏡（H. J.Tiziani，M.Wegner，and D.Steudle，"Confocal principle for macro-and microscopic surface and defect analysis，"0pt.Eng.39(l),32-39(2000)·)、白光干涉 儀（L.Deck,and P.De Groot,"High-speed noncontact profiler based on scanning white-light interferometry ,"Appl ·)和全息顯微鏡（Opt · 33(31), 7334-7338( 1994) .3.Yamaguchi,and T.Zhang,"Phase-shifting digital holography /'Opt. Lett.22(16), 1268-1270(1997).)。然而共聚焦顯微鏡通過對樣品逐點地測量獲得樣品表面三維信息，這 導致其測量速度十分緩慢，無法實現樣品三維形貌的快速檢測。白光干涉儀與全息顯微鏡 都需要光束的干涉來獲取信息，這在光路的穩定性上提出了非常高的要求，同時也需要復 雜的干涉條紋圖像處理過程。
[0003] 與上述方法不同，條紋投影輪廓術不同于共聚焦顯微鏡的逐點測量，而是采用全 場同時測量的方法，能夠在測量速度上得到顯著提高。另外，條紋投影輪廓術利用投影設備 直接投影正弦條紋來代替干涉光路干涉產生的正弦條紋，光路結構相比于干涉光路更加簡 單穩定。同時圖像處理的過程與難度相對于干涉圖像的處理也更加方便簡單。還有，條紋投 影輪廓術具備非接觸三維測量的特點使得其在三維測量領域具有廣泛的應用。針對微小物 體的表面輪廓測量，需將條紋投影輪廓術與雙目顯微設備相結合。現有的基于雙目顯微設 備的三維顯微表面輪廓測量方法主要基于遠心透鏡和共物鏡體視顯微鏡。但是，基于遠心 透鏡的三維顯微表面輪廓測量方法的主要問題在于其遠心透鏡較低的數值孔徑限制了成 像系統的分辨率。基于共物鏡體視顯微鏡三維顯微表面輪廓測量方法的主要問題在于其成 像光線的離心化造成較大的像差，這一問題使得成像光路模型變得復雜且難以用簡易的數 值矩陣模型對其光路進行精確的描述并進行標定。（G.Danuser，and O.Kbler, "Calibration of CM〇-Stere〇-Mi croscopes in a Micro Robot System /'in International Archives of Photogrammetry and Remote Sensing,30/5W1:345-353 (Citeseer，1991).)。綜上所述，實現一種可以準確標定，具備高數值孔徑，可以實現快速非 接觸式測量三維顯微物體表面輪廓成為了一個技術難題。

【發明內容】

[0004] 本發明的目的在于提供一種準確標定，具備高數值孔徑，并實現快速非接觸式測 量的三維顯微物體表面輪廓測量裝置及其方法。
[0005] 實現本發明目的的技術解決方案為:一種基于格里諾型體式顯微鏡的三維顯微表 面輪廓測量裝置及其方法，包括相機、投影儀、包含放大光路結構的兩條顯微鏡光路、數據 傳輸線、電腦、樣品臺、連續可調光強衰減片、可旋轉相機接口，所述投影儀固定安裝于第一 顯微鏡光路之前構成投影光路，投影儀的鏡頭表面距離第一顯微鏡光路的鏡頭表面0.2-〇.8cm，該投影儀隨第一顯微鏡光路上下移動而移動，同時投影儀的光軸與第一顯微鏡光路 保持平行且放置于第一顯微鏡光路的之前，投影儀的投影距離和成像放大率通過調節第一 顯微鏡光路中的放大光路結構實現;光強衰減器設置在投影儀與第一顯微鏡光路之間，保 持光強衰減器的鏡面與第一顯微鏡光路的光軸垂直；
[0006] 所述相機通過可旋轉相機接口固定安裝在第二顯微鏡光路的前端與該第二顯微 鏡光路組成成像光路，電腦通過數據傳輸線控制投影儀并且獲取相機數據;測試樣品擺放 在成像光路的物面上下2mm內。
[0007] 本發明與現有技術相比，其顯著優點：（1)相對于共聚焦顯微鏡，白光干涉儀和全 息顯微鏡裝置，該裝置結構簡單，測量快速，且低成本。（2)不同于共物鏡體視顯微鏡，格里 諾型體式顯微鏡具有完全分離的兩個共軸光路，這一特性使得該類型顯微鏡更加便于標 定。（3)有效地將N步相移算法和多頻(hierarchical)相位解包裹算法求解條紋相位應用到 顯微條紋投影裝置中。通過快速求解相位獲取物體高度信息，通過簡單的數值計算獲得物 體三維點云數據。（4)可自由調節顯微鏡高度用于不同高度的樣品測量，避免多次標定。（5) 實驗顯示該系統及其方法能夠成功地測量不同形貌的物體表面，由實驗結果得出測量精度 在幾個微米以內。
[0008] 下面結合附圖對本發明作進一步詳細描述。
【附圖說明】
[0009] 圖1為本發明基于格里諾型體式顯微鏡的三維顯微表面輪廓測量裝置的結構示意 圖。
[0010] 圖2為BGA封裝的芯片測量結果示意圖。
[0011] 圖3為標準平面測量結果示意圖。
【具體實施方式】
[0012] 結合圖1，本發明基于格里諾型體式顯微鏡的三維顯微表面輪廓測量裝置，包括相 機1、投影儀2、包含放大光路結構8的兩條顯微鏡光路3、4、數據傳輸線5、電腦6、樣品臺7、連 續可調光強衰減片9、可旋轉相機接口 10,所述投影儀2固定安裝于第一顯微鏡光路3之前構 成投影光路，投影儀2的鏡頭表面距離第一顯微鏡光路3的鏡頭表面0.2-0.8cm，該投影儀2 隨第一顯微鏡光路3上下移動而移動，同時投影儀2的光軸與第一顯微鏡光路3保持平行且 放置于第一顯微鏡光路3的之前，投影儀2的投影距離和成像放大率通過調節第一顯微鏡光 路3中的放大光路結構8實現;投影儀2的成像面經過第一顯微鏡光路3之后位于第一顯微鏡 光路3下方5-30cm之間可調。光強衰減器9設置在投影儀2與第一顯微鏡光路3之間，保持光 強衰減器9的鏡面與第一顯微鏡光路3的光軸垂直。其中第一、二顯微鏡光路3、4中都包含了 放大光路結構8。放大光路結構8由組合透鏡構成，通過調整組合透鏡各個鏡片之間的距離， 保持像面位置不變的同時能夠對光路的放大率進行調整。
[0013] 所述相機1通過可旋轉相機接口 10固定安裝在第二顯微鏡光路4的前端與該第二 顯微鏡光路4組成成像光路，相機1相對于顯微鏡光路4的距離與方向可通過調節接口 10改 變，以此改變成像光路的物面與投影光路的像面之間的距離。電腦6通過數據傳輸線5控制 投影儀2并且獲取相機1數據;測試樣品7擺放在成像光路的物面上下2mm內，也是投影光路 的成像面附近。
[0014] 本發明的相機1與投影儀2被分別固定安裝在第一、二顯微鏡光路3、4上，在調節顯 微鏡觀察高度時，相機1與投影儀2相對于顯微鏡的位置保持不變，可避免多余的重復調整 投影儀和相機的位置。利用第一、二顯微鏡光路3、4中安裝的放大光路結構8,用于調節光路 放大率以適應不同尺寸的測量物體和滿足不同景深的測量要求。使用了連續可調光強衰減 器9,利用其調節光強透過率的功能對投影儀2投射出的光強進行適當的衰減，以保證投影 圖案具有合適的對比度。相機1通過可旋轉相機接口 10安裝至顯微鏡光路4上，具有調焦和 調節圖像方向的功能。
[0015] 本發明基于格里諾型體式顯微鏡的三維顯微表面輪廓測量方法，包括測量裝置的 系統標定和待測物體表面輪廓測量步驟，其中測量裝置的系統標定分為兩個步驟，BP
[0016] 第一步，相位-高度標定非線性擬合的系數標定部分，將平面標定板在若干個不同 的設定高度Z1…zn放置，通過N步相移算法和多頻(hierarchical)相位解包裹算法求得每個 高度位置平板的相位分布Φ r ·· Φ n，利用非線性擬合得到相機每個像素點(u，v)的高度與相 位關系：
⑴
[0018]其中，ζ代表像素點(u，v)拍攝到的物體的高度值，Φ代表使用Ν步相移算法和多頻 (hierarchical)相位解包裹算法求得的相位，mo, mi, no表示需要標定的非線性擬合的系數； mo, mi, no由下式求得：
(2)
[0020] ' + '表示求解廣義逆矩陣；
[0021] 第二步，相機參數的透視模型單應性矩陣標定部分，對相機1的參數進行透視模型 標定:使用相機光路對若干組標定板隨機姿態進行拍攝，從拍攝到的圖像中提取特征點并 利用透視模型建模：
[0022] [u,v,w]T=M[R,T]X = HX (3)
[0023] 其中，Η表示需要求解的單應性矩陣，其由相機內參矩陣和外參矩陣相乘得到，w表 示相機空間的縮放因子，Μ代表相機的內參矩陣，[R，T]表示相機的外參矩陣，X表示標定板 的特征點世界空間坐標;根據從不同姿態的標定板中提取的若干組特征點信息(u，v，w)和X 求得Μ，R，T，進而由式(3)得到單應性矩陣H。
[0024] 本發明的待測物體表面輪廓測量分為條紋投影、相位求解、高度映射和三維求解 四個步驟，具體如下：
[0025] 第一步，條紋投影，利用Ν步相移算法和多頻(hierarchical)相位解包裹算法，投 影儀2根據電腦6發出的指令投影特定的相移周期條紋，相機1同步拍攝被條紋照射的物體， 獲取條紋圖In;
[0026] 第二步，相位求解，利用N步相移算法和多頻(hierarchical)相位解包裹算法，由 In(u，ν)求得被物體高度調制的相位分布Φ ;
[0027]第三步，高度映射，利用式（1)，已知標定參數mo,mi,no和上一步求得的Φ，計算得 到物體的高度z;
[0028]第四步，三維求解，已知像素坐標(u，v)，求得的高度z和相機參數H，利用式(3)求 得像素坐標(u，v)對應物體的縱向和橫向位置，即Xd包含了待測物體的輪廓的點云數據。 [0029]為了測試本發明基于格里諾型體式顯微鏡的三維顯微表面輪廓測量裝置及其方 法的有效性，特選取兩組實驗加以說明。
[0030] (1)選取一個BGA封裝的芯片管腳作為實驗對象。如圖2所示，（a)為一個BGA封裝的 芯片管腳圖片；（b)為使用本發明基于格里諾型體式顯微鏡的三維顯微表面輪廓測量裝置 對該芯片在(a)中黃色虛線區域內的管腳的三維點云測量結果；（c)為(b)的三維點云結果 在另一個觀察角度下的顯示效果；（d)為(a)中綠色虛線對應的橫切面上芯片管腳的三維點 云數據。(a)中的比例尺為0.8_。芯片管腳標準兼具為0.8_。
[0031] (2)選取一標準平面作為實驗對象。測量結果如圖3所示，（a)為條紋相位分布圖； (b)為像素對應的高度分布圖；（c)為(b)中第330行像素的高度分布；（d)平面測量誤差近似 分布。
[0032]通過圖2的（d)和圖3的（d)的結果顯示，本發明基于格里諾型體式顯微鏡的三維顯 微表面輪廓測量裝置及其方法具有微米級的測量精度。
【主權項】
1. 一種基于格里諾型體式顯微鏡的三維顯微表面輪廓測量裝置，其特征在于包括相機 (1)、投影儀(2)、包含放大光路結構(8)的兩條顯微鏡光路(3、4)、數據傳輸線(5)、電腦(6)、 樣品臺（7)、連續可調光強衰減片(9)、可旋轉相機接口（10)，所述投影儀(2)固定安裝于第 一顯微鏡光路(3)之前構成投影光路，投影儀(2)的鏡頭表面距離第一顯微鏡光路(3)的鏡 頭表面0.2-0.8cm，該投影儀(2)隨第一顯微鏡光路(3)上下移動而移動，同時投影儀(2)的 光軸與第一顯微鏡光路(3)保持平行且放置于第一顯微鏡光路(3)的之前，投影儀(2)的投 影距離和成像放大率通過調節第一顯微鏡光路(3)中的放大光路結構(8)實現;光強衰減器 (9)設置在投影儀(2)與第一顯微鏡光路(3)之間，保持光強衰減器(9)的鏡面與第一顯微鏡 光路(3)的光軸垂直； 所述相機（1)通過可旋轉相機接口（10)固定安裝在第二顯微鏡光路(4)的前端與該第 二顯微鏡光路(4)組成成像光路，電腦(6)通過數據傳輸線(5)控制投影儀(2)并且獲取相機 (1)數據;測試樣品（7)擺放在成像光路的物面上下2mm內。2. -種基于格里諾型體式顯微鏡的三維顯微表面輪廓測量方法，其特征在于包括測量 裝置的系統標定和待測物體表面輪廓測量步驟，其中測量裝置的系統標定分為兩個步驟， 即 第一步，相位-高度標定非線性擬合的系數標定部分，將平面標定板在若干個不同的設 定高度Zi ··· Zn放置，通過N步相移算法和多頻(hierarchical)相位解包裹算法求得每個 高度位置平板的相位分布Φ:· ·· Φη，利用非線性擬合得到相機每個像素點(u，v)的高度 與相位關系：Cl) 其中，z代表像素點（u，V)拍攝到的物體的高度值，Φ代表使用N步相移算法和多頻 (hierarchical)相位解包裹算法求得的相位，mo, mi，no表示需要標定的非線性擬合的系數； mo,mi ,ηπ由下式求得：(2) ' + '表示求解廣義逆矩陣； 第二步，相機參數的透視模型單應性矩陣標定部分，對相機（1)的參數進行透視模型標 定:使用相機光路對若干組標定板隨機姿態進行拍攝，從拍攝到的圖像中提取特征點并利 用透視模型建模： [u,v,w]T=M[R,TjX = HX (3) 其中，H表示需要求解的單應性矩陣，其由相機內參矩陣和外參矩陣相乘得到，w表示相 機空間的縮放因子，M代表相機的內參矩陣，[R，T]表示相機的外參矩陣，X表示標定板的特 征點世界空間坐標;根據從不同姿態的標定板中提取的若干組特征點信息(u，v，w)和X求得 M，R，T，進而由式(3)得到單應性矩陣H。3. 根據權利要求2所述的基于格里諾型體式顯微鏡的三維顯微表面輪廓測量方法，其 特征在于待測物體表面輪廓測量步驟如下： 第一步，條紋投影，利用N步相移算法和多頻(hierarchical)相位解包裹算法，投影儀 (2)根據電腦(6)發出的指令投影特定的相移周期條紋，相機（1)同步拍攝被條紋照射的物 體，獲取條紋圖In; 第二步，相位求解，利用N步相移算法和多頻(hierarchical)相位解包裹算法，由In(u, v)求得被物體高度調制的相位分布Φ ; 第三步，高度映射，利用式（1)，已知標定參數mo,ηιι,ηο和上一步求得的Φ，計算得到物 體的高度ζ; 第四步，三維求解，已知像素坐標(u，v)，求得的高度ζ和相機參數Η，利用式(3)求得像 素坐標(u，V)對應物體的縱向和橫向位置，SP X。
【文檔編號】G01B11/25GK106017356SQ201610617404
【公開日】2016年10月12日
【申請日】2016年8月1日
【發明人】陳錢, 胡巖, 左超, 顧國華, 張玉珍, 馮世杰, 陶天陽
【申請人】南京理工大學