專利名稱：基于納米操作的實時力感與可視圖像人機交互方法及系統的制作方法
技術領域：
本發明涉及納米尺度下的操作與加工的納米科技，具體地說是一種基于納米操作的實時力感與可視圖像人機交互方法及系統。
背景技術：
納米科學技術是新興的科科研領域。納米尺度下的操作與加工是納米科技的重要組成部分。只有在可操作的前提下，才能研究納米尺度下物質的各種物理、化學等自然特性，才能研制納米器件，納米傳感器以及納米計算機等先進的技術裝備。因此，納米操作是當前微納米科技前沿的熱點。但是現有的用于納米技術研究的設備基本是基于SPM(隧道電流掃描或原子力掃描成像)機理的設備。這類設備(如SPM)缺乏實時力反饋信息、視覺反饋信息和人機交互能力，因而只能進行離線掃描規劃的納米現象觀察，不能進行人機交互方式的納米尺度操作。因而研究和開發具有實時的力及視覺反饋信息的人機交互式納米操作技術具有特別重要的意義。

發明內容
為了實現納米尺度下的人機交互操作，本發明提供一種基于納米操作的實時力感與可視圖像人機交互方法及系統。
本發明技術方案如下基于納米操作的實時力感與可視圖像人機交互方法將納米操作裝置與具有力感的多自由度機電裝置結合起來，實現由多自由度機電裝置控制納米操作裝置的運作；通過納米操作裝置中光電傳感器的信息及對掃描探針懸臂梁進行動力學分析，得到作用在掃描探針針尖的作用力模型，在人機交互界面中利用此力模型與被操作物體的動力學模型實時更新掃描的圖像，進而動態顯示納米操作的過程；基于UDP協議的點到點通信的工作流程，操作人員通過具有力感的多自由度機電裝置實時感覺到真實作業場景中的探針與對象間的相互作用力，并在此情況下進行操作，同時在圖形界面上觀察到人工操作的結果。
本發明方法所用系統納米操作裝置輸入為多自由度機電裝置的位置信號，輸出為掃描探針的形變信號，接至信號處理系統，信號處理系統的輸出為代表探針針尖作用力的力信號，再傳送給具有力感的多自由度機電裝置；多自由度機電裝置的輸出為位置信號，經由信號處理系統將轉化為控制納米操作裝置運作的命令信號輸入給納米操作裝置，同時，信號處理系統將通過多自由度機電裝置的位置信號及被操作物的運動模型實時更新的仿真圖像傳給圖像仿真界面。
本發明具有如下優點A、采用本發明所述方法，可以將無法感知的微觀作用力轉換為宏觀力，并通過具有力感的多自由度機電裝置輸出，使操作者可以實時感受到納米環境中的3D操作力(大小和方向)。
B、采用本發明在可視化仿真圖形指導下，操作員可以直觀的在納米環境中利用實時更新的作業圖形提示進行納米級操作。
C、采用本發明操作者可以在力反饋和視覺反饋的輔助下進行人機交互式納米操作，大大提高了操作的靈活性及效率。


圖1為本發明系統結構示意圖。
圖2為本發明一個實施例具有力感的多自由度機電裝置(Phantom)結構示意圖。
圖3為圖1所述系統的詳細結構示意圖。
圖4為本發明納米級桿狀物體的動力學建模。
圖5為本發明一個實施例基于UDP協議的點到點通信的工作流程圖。
圖6a為本發明一個實施例力反饋傳送的程序流程圖。
圖6b為本發明一個實施例位置控制及圖像更新的程序流程圖。
圖7為本發明一個實施例圖像仿真界面程序流程圖。
具體實施例方式
實施例1如圖1所示，該人機交互系統主要有納米操作裝置、信號處理系統、圖像仿真界面及多自由度機電裝置組成，納米操作裝置將其探針的形變信號傳給信號處理系統，信號處理系統將其轉化為代表探針針尖作用力的力信號，再傳送給具有力感的多自由度機電裝置；多自由度機電裝置的位置信號經由信號處理系統轉化為控制納米操作裝置運作的控制命令后，輸入給納米操作裝置，同時，信號處理系統通過多自由度機電裝置的位置信號及被操作物的運動模型實時更新仿真圖像，并將更新的圖像傳給圖像仿真界面用來顯示。
參見圖1～3，本發明所述系統具體結構為一納米操作裝置(本實施例采用市購產品如原子力顯微AFM(AtomicForce Microscope)，用來進行納米掃描及操作，并向信號處理系統傳送裝置中探針形變的信號，及接收由多自由度機電裝置傳送來的控制命令。
一信號處理系統，用于力信息及視覺信息的轉換、處理及傳輸。接收多自由度機電裝置的位置信號，并將其轉化為控制納米操作裝置運作的控制命令經網絡傳送給納米操作裝置，實現納米操作裝置與多自由度機電裝置的同步運作；同時根據多自由度機電裝置位置信號及被操作物的運動模型實時更新仿真圖像，傳給圖像仿真界面，使操作者在圖像仿真界面上實時看到操作的結果；接受納米操作裝置傳來的探針形變信號，將其轉化為代表探針所受的力信號，并由網絡傳送給多自由度機電裝置，使操作者實時感受到在操作過程中的力。
一具有力感的多自由度機電裝置，通過信號處理系統與納米操作裝置相連，以實現由多自由度機電裝置實時控制納米操作裝置與的運作。
其中所述具有力感的多自由度機電裝置，為具有三段式操作手柄1和電機系統2的機電裝置。其輸入信號為操作手柄1的位置信號，電機系統2將位置信號輸出給信號處理系統；并由信號處理系統接受納米操作裝置傳來的實時的力反饋信息。
其中所述納米操作裝置(AFM)由激光器3，光電傳感器4，掃描探針5，壓電陶瓷驅動器6構成，其中掃描探針5在壓電陶瓷上對準預進行掃描的樣品，由激光器3提供光源，光電傳感器4獲得掃描探針5形變信號，通過信號處理系統將形變信號轉變為相應的力信號，通過網絡經載體計算機A將其傳至計算機B，壓電陶瓷驅動器6接收多自由度機電裝置的傳來的控制信號，產生相對探針的運動，進而實現探針欲進行的操作。
這種由納米操作裝置、具有力感的多自由度機電裝置和圖像仿真界面構成的的人機交互式納米操作系統，為納米尺度下的人工介入作業與加工、裝配和制造提供了新的可行性技術途徑。
本發明方法及系統具有以下功能1、作用力的生成與感知功能。實時采集AFM系統在操作中光電傳感器信號，將其在力的分解模型作用下生成相應的電信號，經具有力感的多自由度機電裝置的機電系統轉換生成XYZ三個方向上的機械力，這種力作用在具有力感的多自由度機電裝置的的操作手柄上，可以使操作員感受到各向操作力的存在和大小。
2、納米操作環境的可視化圖像仿真功能。由信息處理系統根據AFM型納米操作裝置掃描圖象和對象的運動學模型生成，并根據操作動作信號實時更新，為操作員提供可視化的實時操作圖像界面。以輔助操作員進行操作，提高操作效率和操作精度。
3、交互式探針動作控制功能。操作者對多自由度機電裝置的操作手柄的操作(推、拉、刻劃、敲擊等)，經多自由度機電裝置的機電信號轉換，在線傳遞到納米操作裝置AFM，控制壓電陶瓷的運作，進而使探針產生相應的三維運動。
所述具有力感的多自由度機電裝置目前市場上多種，普遍具有一個或一個以上的自由度，并且至少在一個方向上可以提供力反饋，本實施例采用美國Sensable公司的六自由度PhantomTM機電操作裝置，它可以在X、Y、Z三個方向上提供力反饋，其結構如圖2所示，其中由第一、二、三段操作桿I、II、III構成直角坐標系X、Y、Z三個自由度，其機電系統輸出值是第三段操作桿III末端在參考系W的坐標，在W的三個方向可產生作用力。這樣即可以實現三個方向上的力反饋，又可以輸出操作位移量，以作為位置控制信號。
所述AFM可以在納米掃描過程中，提供反映掃描探針受力形變的光電信號，該信號將作為操作力在操作系統中作為力反饋信號。
所述納米操作流程為1)通過AFM對樣品進行掃描，提供作業環境和對象的基本數據，生成操作環境仿真的初始圖形；2)操作者通過觀察操作環境和對象狀態，使用六自由度PhantomTM機電操作裝置的操作手柄進行操作，輸出位移信號；3)位移信號從六自由度PhantomTM機電操作裝置輸出，由計算機B解釋并通過以太網傳輸給計算機A；4)計算機A將所述位移信號的數字量轉化為AFM位置控制量，作為壓電陶瓷(PZT)驅動器的輸入信號；5)所述位置控制量輸入到壓電陶瓷驅動器放大后加到壓電陶瓷上，控制陶瓷管的微運動；由于陶瓷管的運動，使安裝在其上的掃描探針與被操作樣品間的作用力發生改變，接至光電傳感器的輸入端；6)光電傳感器檢測到掃描探針受力產生的形變檢測信號后，將該力采集信息輸入到計算機A由其處理程序處理；7)計算機A將經處理后的該形變檢測信號通過以太網傳輸給計算機B；8)在計算機B內，根據建立的懸臂梁受力變形模型將其解釋為受力反饋信號，計算出應輸出到六自由度PhantomTM機電操作裝置電信號的大小，同時根據建立的被操作對象的動力學模型，計算出被操作物體的運動姿態，更新操作場景仿真界面；9)六自由度PhantomTM機電操作裝置將來自計算機B的電信號轉化為機械力，輸出到操作桿，反饋給操作者；10)操作者根據操作場景圖形仿真界面的視覺顯示，結合六自由度PhantomTM機電操作裝置輸出的力信息，在線規劃出下一步的操作策略，然后回到步驟1；如此反復，直到納米操作順利完成。
其中，信號處理系統由控制納米操作裝置的計算機A，控制具有力感的多自由度機電裝置的計算機B，計算機間的傳輸網絡及相應的信號處理程序組成。
信號處理程序流程圖如下如圖6a所示，力反饋傳送程序流程納米操作裝置(AFM)將掃描探針的形變信號采用FIR數字濾波器對得到的光電傳感器的電壓信號去除工頻干擾(使得到的信號真實反映光電傳感器的電壓變化情況)，傳給控制納米操作裝置的計算機A，計算機A將此形變信號經網絡傳送給控制具有力感的多自由度機電裝置的計算機B，并根據形變與力的關系將此形變信號轉化為代表探針所受的力信號，然后將此信號輸入給具有力感的多自由度機電裝置，使操作者實時感受到在操作過程中的力。這里所用的FIR數字濾波器將所得到的探針形變數字信號的序列通過運算變換成輸出序列，本FIR濾波器采用運算函數的Z變換形勢為H(z)=Σn=0N-1h(n)z-n;]]>其中，h(n)為系統的單位沖擊響應，H(z)為系統函數，該函數的差分方程表達式為y(n)=Σm=0N-1h(m)x(n-m).]]>如圖6b所示，位置控制及圖像更新程序流程為操作者運用多自由度機電裝置進行操作，當多自由度機電裝置位置改變時，多自由度機電裝置的位置信號傳給控制具有力感的多自由度機電裝置的計算機B，一方面計算機B將此位置信號經網絡傳送給控制納米操作裝置(AFM)的計算機，并轉換為控制納米操作裝置運作的電壓信號輸入給納米操作裝置，實現納米操作裝置與具有力感的多自由度機電裝置的同步運作；同時根據被操作物的運動模型及多自由度機電裝置位置信號實時更新仿真圖像，傳給圖像仿真界面，使操作者在仿真界面上實時看到操作的結果。
上述操作的信號傳遞與生成均具有實時性，因此人的操作在感覺上是與動作同步的，因而可實現具有實時力感與可視圖像的人機交互式納米操作。
本發明所述納米操作裝置(AFM)的針尖作用力模型為通過對掃描探針懸臂梁進行動力學建模，得到的作用在掃描探針針尖的作用力模型，其表達式為
Fy=klKlhSlFx=-FyctanφFz=kKnSn-hlFx;]]>其中，Fx，Fy，Fz分別為作用在掃描探針針尖上的三維力，Sn表示懸臂梁受法向力Fz作用下產生垂直變形時對應的光電傳感器輸出信號，Sl表示懸臂梁受切向力Fl所產生的扭轉量，l為懸臂梁的長度，h為針尖長度，Kl和Kn為系統光學放大系數，k為懸臂梁彈性系數，kl為懸臂梁的扭轉系數，φ為切向力Fl與Fx的夾角。
本發明被操作物體(本實施例為桿狀物體)在外力推動下的動力學模型是根據推動棒狀納米線的實驗，為了能夠實時更新人機交互界面的掃描圖像的變化，對納米線的運動進行了建模分析。納米線與基底平面的受力圖如圖4所示，首先確定它在外里作用下的旋轉點S，推導出的確定旋轉點S位置的公式為s=l+l2-lL+L2/2l<L/2l-l2-lL+L2/2l>L/2;]]>圖4中，S為旋轉點距納米線下端點的長度，1為外力F的作用點到納米線下端點的距離；針尖對納米線施加的力可表示為F=fs-f(L-s)=f(2s-L)l<L/2f(L-s)-fs=f(L-2s)l>L/2;]]>又由摩擦力的關系可知摩擦力為fL=μosFosr+vFosa;]]>進而外力F可表示為F=(2s/L-1)(μosFosr+vFosa)l<L/2(1-2s/L)(μosFosr+vFosa)l>L/2;]]>通過以上模型的建立，可以在人機交互界面中利用這些模型實時更新掃描的圖像，進而動態顯示納米操作的過程。其中Fosr為掃描基底對納米線的排斥力，Fosa為掃描基底對納米線的黏附力，μos為為針尖和納米線間的摩擦系數，v為剪切力系數。
本發明基于UDP協議的點到點通信的工作流程(參見圖5)，實現了裝有人機交互圖像仿真界面的計算機與控制掃描探針顯微鏡運動的計算機間的點到點的直接通信，無需建立連接服務器的過程，使傳輸速度得到了提高，也提高了系統的性能。其中傳向納米操作裝置的信號為多自由度機電裝置的位置信息；傳向操作界面的信號是掃描探針在操作過程中的力反饋信號。
如圖7所示，圖像仿真界面的流程為操作者在圖像仿真界面中用多自由度機電裝置(本實施例用Phantom)選中被操作物，并用Phantom進行相應操作，如推，拉，刻劃等操作。圖像仿真界面程序根據Phantom的位置信息及被操作物在納米環境中的運動模型計算出被操作物新的位置坐標，實時更新仿真圖像，并將其在圖像仿真界面上顯示出來。進而操作者可以實時看到被操作物在操作者控制下的運動情況。
本發明創新性在于1.將具有力感的多自由度機電裝置及圖像仿真界面與納米操作裝置相連，搭建了基于納米操作的人機交互系統。該交互系統為操作者提供了力覺與視覺反饋，使操作者可以通過多自由度的機電裝置實時控制納米操作裝置的運作，并感受到操作過程中納米操作裝置中的探針針尖與被操作物間的作用力，同時通過圖像仿真界面實時看到操作的狀況。該交互系統使納米操作更貼近與現實情況，大大提高了納米操作的效率。
2.實現了有效的濾波計算方法可以在光電檢測傳感器輸出的含有大量干擾噪聲的信號中有效地進行探針形變信號提取，進而可以將其轉化為探針所受的力信號，以供操作者實時感受到該探針與被操作物間的作用力。
3.設計并實現了基于納米操作裝置(AFM)掃描信息的可視化作業環境—實時圖像仿真界面。通過該圖像仿真界面，操作者可以實時地看到被操作物在操作者控制下的運動狀況。使得對微觀世界中物體的操作如同對現實宏觀世界中物體的操作一樣，而這是以往的納米操作所不具備的。通過該圖像仿真界面，使得在納米環境下的操作更加方便，更體貼近于現實，進而大大提高了操作的效率。
4.實現了操作對象的運動學建模，使圖像仿真界面中的被操作物的運動狀況與在納米操作環境中真實物體的運動狀況一致。
5.基于UDP協議，且為點對點工作方式的以太網通信軟件，解決了操作過程中操作系統信息處理計算機系統間指令信號與反饋信息的實時通訊問題。
總之，通過上述技術開發和創新工作，就可以在納米操作裝置(如AFM)、多自由度機電裝置(如Phantom)、計算機系統構成的納米作業平臺上實現既有實時視覺反饋，又有實時力反饋的納米操作。
權利要求
1.一種基于納米操作的實時力感與可視圖像人機交互方法，其特征在于將納米操作裝置與具有力感的多自由度機電裝置結合起來，實現由多自由度機電裝置控制納米操作裝置的運作；通過納米操作裝置中光電傳感器的信息及對掃描探針懸臂梁進行動力學分析，得到作用在掃描探針針尖的作用力模型，在人機交互界面中利用此力模型與被操作物體的動力學模型實時更新掃描的圖像，進而動態顯示納米操作的過程；基于UDP協議的點到點通信的工作流程，操作人員通過具有力感的多自由度機電裝置實時感覺到真實作業場景中的探針與對象間的相互作用力，并在此情況下進行操作，同時在圖形界面上觀察到人工操作的結果。
2.按照權利要求1所述基于納米操作的實時力感與可視圖像人機交互方法，其特征在于具體納米操作流程如下1)通過納米操作裝置對樣品進行掃描，提供作業環境和對象的基本數據，生成操作環境仿真的初始圖形；2)操作者通過觀察操作環境和對象狀態，使用具有力感的多自由度機電裝置的操作手柄進行操作，輸出位移信號；3)位移信號從多自由度機電裝置輸出，由計算機B解釋并通過以太網傳輸給計算機；4)計算機A將所述位移信號的數字量轉化為納米操作裝置位置控制量，作為壓電陶瓷驅動器的輸入信號；5)所述位置控制量輸入到壓電陶瓷驅動器放大后加到壓電陶瓷上，控制陶瓷管的微運動；由于陶瓷管的運動，使安裝在其上的掃描探針與被操作樣品間的作用力發生改變，接至光電傳感器的輸入端；6)光電傳感器檢測到掃描探針受力產生的形變檢測信號后，將該力采集信息輸入到計算機A中，由其處理程序處理；7)計算機A將經處理后的形變檢測信號通過以太網傳輸給計算機B；8)在計算機B內，根據建立的懸臂梁受力變形模型將其解釋為受力反饋信號，計算出應輸出到多自由度機電裝置電信號的大小，同時根據建立的被操作對象的動力學模型，計算出被操作物體的運動姿態，更新操作場景仿真界面；9)多自由度機電裝置將來自計算機B的電信號轉化為機械力，輸出到操作桿，反饋給操作者；10)操作者根據操作場景圖形仿真界面的視覺顯示，結合多自由度機電裝置輸出的力信息，在線規劃出下一步的操作策略，然后回到步驟1；如此反復，直到納米操作順利完成。
3.按照權利要求1所述基于納米操作的實時力感與可視圖像人機交互方法，其特征在于其中納米操作裝置將所述掃描探針的形變信號采用FIR數字濾波器對其進行濾波處理，將所得到的掃描探針形變數字信號的序列通過運算變換成輸出序列，所述FIR濾波器采用運算函數的Z變換形勢為H(z)=Σn=0N-1h(n)z-n;]]>其中，h(n)為系統的單位沖擊響應，H(z)為系統函數，該函數的差分方程表達式為y(n)=Σm=0N-1h(m)x(n-m).]]>
4.一種基于納米操作的實時力感與可視圖像人機交互方法所用的系統，其特征在于包括納米操作裝置、信號處理系統、圖像仿真界面及多自由度機電裝置。納米操作裝置輸入為多自由度機電裝置的位置信號，輸出為掃描探針的形變信號，輸出接至信號處理系統，信號處理系統的輸出為代表探針針尖作用力的力信號，再傳送給具有力感的多自由度機電裝置；多自由度機電裝置的輸出為位置信號，經由信號處理系統將轉化為控制納米操作裝置運作的命令信號輸入給納米操作裝置，同時，信號處理系統將通過多自由度機電裝置的位置信號及被操作物的運動模型實時更新得到的仿真圖像傳給圖像仿真界面。
全文摘要
本發明公開一種基于納米操作的實時力感與可視圖像交互方法及系統，它將具有力感的多自由度機電裝置及圖像仿真界面與納米操作裝置結合起來，為操作者提供了力覺與視覺反饋，這是以往的納米操作所不具備的。操作者不僅可以通過多自由度的機電裝置實時控制納米操作裝置的運作，而且可以感受到操作過程中納米操作裝置與被操作物間的作用力，同時通過圖像仿真界面實時看到操作的狀況。該交互系統在微觀世界與宏觀世界架設了一座橋梁，使得對微觀世界中物體的操作如同對宏觀世界中物體的操作一樣方便，靈活。使納米操作更貼近于現實情況，大大提高了納米操作的效率，為進行大規模納米操作及裝配開辟了道路。
文檔編號G12B21/00GK1757591SQ20041005056
公開日2006年4月12日 申請日期2004年10月10日 優先權日2004年10月10日
發明者席寧, 董再勵, 田孝軍, 焦念東, 劉連慶 申請人:中國科學院沈陽自動化研究所