專利名稱：用于微創外科手術系統中的手勢控制的方法和設備的制作方法
技術領域：
本發明的各方面涉及微創外科手術系統的控制，并且特別是涉及將外科醫生的手運動用于控制微創外科手術系統。
背景技術：
用于跟蹤手位置和手勢的方法和技術是已知的。例如，一些電子游戲控制器利用手跟蹤輸入。例如，Nintend o Wii 游戲平臺支持無線位置和方向感測遠程控制器(Wii是美國華盛頓州雷德蒙德市Nintendo of America Inc.的注冊商標)。利用像擺動球棒或揮動魔術棒的姿勢和其他身體運動為這種平臺提供基本的游戲元素。The SonyPlaystation Move具有類似于Nintendo Wii 游戲平臺的特征。來自CyberGlove系統的無線Cyber Glove 運動數據捕捉手套包括十八個數據傳感器，其中每個手指上的兩個彎曲傳感器、四個外展傳感器和測量拇指交叉(crossover)、手掌弓、腕關節彎曲和腕關節外展的傳感器(CyberG G'iove 是加利福尼亞州圣何塞市的CyberGlove System LLC的注冊商標)。當三維跟蹤系統與Cyber Glove 運動捕捉數據手套一起使用時，能夠得到手的X、I、z、偏擺、俯仰、滾動位置和方向信息。用于Cyber Glove 運動捕捉數據手套的運動捕捉系統已經用在數字化樣機評定、虛擬現實技術生物力學和動畫特技中。具有四十個傳感器的另一種數據捕捉手套是Measurand Inc.的Shapehand數據手套。Measurand Inc.的ShapeClaw便攜式輕量手運動捕捉系統包括在空間中沿手和前臂的位置和方向的捕捉食指和拇指運動的柔性光纖(ribbon)系統。在In-Cheol Kim 和 Sung- II Chien 的“Analysis of Using Strok-BasedComposite Hindden Markov Models，，中，Applied Intelligence, Vol. 15, No. 2, p. 131-143,September-October 2001, Kim和Chien開發了使用姿勢認知的Pollems傳感器的三維軌跡輸入的用法。Kim和Chien提出這種輸入形式是因為三維軌跡比二維姿勢提供更多識別能力，其主要用于視頻為基的方法中。為了他們的實驗，Kim和Chien利用連接于FakespacePinchGlove (Fakespace Pinch 手套)的背面的 Polhemus 磁位置跟蹤傳感器。PinchGlove為使用者提供一種裝置，其發出姿勢開始和結束的信號，同時Polhemus蹤傳感器捕捉使用者的手的三維軌跡。在Elena Sanchez-Nielsen 等人的 “Hand Gesture Recognitionfor Human-Machine Interactin’， 中，Journal of WSCG, Vol. 12, No. 1-3, Issn1213-6972，WSCG' , Februal 2-620003, Plzen Czech Republic,提出一種實時觀察系統，通過利用通用硬件和低成本傳感器的手姿勢識別(如個人計算機和攝像頭)用于可視互相作用圈境內。在 Pragati Garg 等人的 “Vision Based Hand Gesture Recognition” 中,49fforld Academy of Science, Engineering and Technilogy, 972-977(2009),提出基于圖像的手勢識別觀察(review)。提出的一種結論是大多數方法依賴于若干個基本假設，這些基本假設在控制實驗室圈境可能是合適的，但是對任意圈境不能普遍化。作者說到“用于手勢界面的計算機圖像(觀察)方法在魯棒性和速度方面必須優于當前性能，以實現交互性和實用性”。在醫學領域中，已經考慮手勢識別用于放射圖像的無菌瀏覽。參見Juan P. Wachs等人的“A Gesture-Based Tool for Sterile Browsing of Radiologgy Images，，, Journalof the American Medical Infmatics Association (2008;15:321-323D0I 10.1197/jamia. M24)。

發明內容
一方面，微創外科手術系統中的手跟蹤系統跟蹤人手部分的方位。微創外科手術系統的系統控制參數根據該人手部分的方位生成。微創外科手術系統的操作利用該系統參數控制。—方面，跟蹤安裝在人手部分上的傳感器元件以獲得人手部分的方位。控制點的位置和方向根據該位置產生。在微創外科手術系統中的裝置的遠程操作根據該控制點的位置和方向來控制。一方面，該裝置是遠程操作的副外科手術器械。另一方面，該裝置是出現在外科手術部位的視頻圖像中的虛擬代替物。虛擬代替物的示例包括虛擬副外科手術器械、虛擬手和虛擬畫標記(telestration)裝置。又一方面，除了控制點的位置和方向之外，還產生夾緊閉合參數。遠程操作的副外科手術器械的末端受動器的夾緊程度根據夾緊閉合參數來控制。另一方面，系統控制參數是用于副外科手術器械的遠程操作的控制點的位置和方向。又一方面，系統控制參數由兩只手確定。該系統參數是兩只手的其中一只的控制點的位置和方向、以及兩只手的另一只的控制點的位置和方向。控制點用于微創外科手術系統中的內窺鏡攝像機操縱器的遠程操作。又一方面，除了該人手部分上的傳感器元件之外，還跟蹤安裝在第二只人手部分上的傳感器元件。第二控制點的位置和方向根據第二人手部分的方位產生。在這方面，該控制點和第二控制點二者都用在遠程控制中。再一方面，跟蹤安裝在人手的手指上的傳感器元件。確定手指之間的運動，并且根據該運動來控制微創外科手術系統中的遠程操作的副外科手術器械的方向。當該運動是第一運動時，該控制包括繞其指向方向滾動副外科手術器械的腕關節的末端。當該運動是不同于第一運動的第二運動時，該控制包括副外科手術器械腕關節的偏擺運動。微創外科手術系統包括手跟蹤系統和連接于該手跟蹤系統的控制器。該手跟蹤系統跟蹤安裝在人手部分上的多個傳感器元件的方位。該控制器將該方位轉換成控制點的位置和方向。該控制器根據該控制點發送命令以在微創外科手術系統中移動裝置。此外，一方面，該裝置是遠程操作的副外科手術器械，而另一方面，該裝置是是出現在外科手術手術部位的視頻圖像中的虛擬代替物。一方面，該系統還包括包含多個傳感器的主手指跟蹤裝置。該主手指跟蹤裝置還包括可壓縮主體、固定于該可壓縮主體的第一手指圈、和固定于該可壓縮主體的第二手指圈。多個跟蹤傳感器中的第一跟蹤傳感器被附接至第一手指圈。第二跟蹤傳感器中的第二跟蹤傳感器被附接至第二手指圈。因此，一方面，微創外科手術系統包括主手指跟蹤裝置。該主手指跟蹤裝置包括可壓縮主體、固定于該可壓縮主體的第一手指圈、和固定于該可壓縮主體的第二手指圈。第一跟蹤傳感器被附接至該第一手指圈。第二傳感器被附接至該第二手指圈。可壓縮主體包括第一端、第二端和外部外表面。該外部外表面包括在該第一和第二端之間延伸的第一部分、和在該第一和第二端之間延伸的并且與該第一部分相對并從第一部分拆卸的第二部分。可壓縮主體還具有一定長度。該長度選擇成以限制人手的第一手指和第二手指之間的間隔。該第一手指圈固定于鄰近第二端的可壓縮主體并且圍繞該外部外表面的第一部分延伸。當第一手指圈放置在人手第一手指上時，該外部外表面的第一部分的第二部接觸弟一手指。該第二手指圈固定于鄰近第二端的可壓縮主體并且圍繞該外部外表面的第一部 分延伸。當第二手指圈放置在人手第二手指上時，該外部外表面的第一部分的第二部接觸第二手指。當第一和第二手指朝著彼此運動時，可壓縮主體位于該兩個手指之間因此可壓縮主體提供對運動的阻力。可壓縮主體的厚度選擇成使得當第一手指的末端剛好接觸到第二手指的末端時，可壓縮主體未被完全壓縮。可壓縮主體被構造成提供對應于遠程操作的副外科手術器械的末端受動器的夾緊力的觸覺反饋。 一方面，第一和第二跟蹤傳感器是無源電磁傳感器。又一方面，每個無源電磁跟蹤傳感器具有六個自由度。一種利用主手指跟蹤裝置的方法包括跟蹤安裝在人手的第一手指上的傳感器的第一方位和安裝在第二手指上的另一個傳感器的第二方位。每個方位具有N個自由度，其中N是大于零的整數。第一方位和第二方位被映射成控制點的方位。該控制點的方位具有六個自由度。該六個自由度小于或等于2*N個自由度。該第一方位和第二方位還被映射成具有單個自由度的參數。微創外科手術系統中的副外科手術器械的遠程操作根據控制點方位和該參數來控制。第一方面，該參數是夾緊閉合距離。第二方面，該參數包括方向。另一方面，N是六，而在不同的方面N是五。再一方面，跟蹤安裝在人手部分上的傳感器元件以獲得人手部分的多個方位。根據該多個方位選擇來自多個已知手勢的手勢。根據該手勢來控制微創外科手術系統的操作。該手勢可以是手勢姿態、手勢軌跡或手勢姿態和手勢軌跡的組合其中的任何之一。當手勢是手勢姿態并且多個已知的手勢包括多個已知的手勢姿態時，微創外科手術系統的用戶界面根據手勢姿態來控制。而且，一方面，當該手勢是手勢姿態時，該手勢選擇包括從跟蹤的多個方位產生被觀察到的特征組。該被觀察到的特征組與多個已知的手勢姿態進行比較。一種已知的手勢選擇為手勢姿態。該選擇的已知的手勢姿態被映射成系統命令，并且在微創外科手術系統中觸發該系統命令。再一方面，當手勢包括手勢軌跡時，微創外科手術系統的用戶界面根據該手勢軌跡來控制。在帶有手跟蹤系統和控制器的微創外科手術系統中，該控制器將方位轉換成手勢。控制器發送命令以根據該手勢修改微創外科手術系統的操作模式。

又一方面，跟蹤安裝在人手部分上的傳感器元件以獲得人手部分的方位。根據該方位，該方法確定人手部分的位置與微創外科手術系統的主工具夾緊器的位置是否在閾值距離內。根據該確定的結果來控制微創外科手術系統的操作。一方面，根據該確定結果來控制聯接于主工具夾緊器的遠程操作的副外科手術器械的遠程操作。另一方面，根據該確定的結果控制用戶界面的顯示，或代替物圖像的顯示。一方面，人手部分的位置通過控制點位置來指明。另一方面，人手部分的位置是食指位置。微創外科手術系統包括手跟蹤系統。該手跟蹤系統跟蹤人手部分的方位。控制器利用該方位確定外科醫生的手是否足夠接近主工具夾緊器以允許微創外科手術系統的特定操作。微創外科手術系統還包括聯接于手跟蹤系統的控制器。該控制器將位置轉換成系統控制參數，并且根據該系統控制參數將命令引到微創外科手術系統中。


圖I是包括手跟蹤系統的微創遠程操作外科手術系統的高級示意圖。圖2A至圖2G是用來控制圖I的微創遠程操作外科手術系統的遠程操作的副外科手術器械的手跟蹤的主工具夾緊器的各種結構的示例。圖3A至圖3D是用來控制圖I的微創遠程操作外科手術系統的系統模式的手勢姿態的示例。圖4A至4C是用來控制圖I的微創遠程操作外科手術系統的系統模式的手勢軌跡的示例。圖5是在基于攝像機的跟蹤系統中用于手跟蹤的基準標記位置的示例。圖6A和6B是圖I的外科醫生的操作臺的更詳細的示意圖，并且包括由圖I的微創遠程操作外科手術系統在手跟蹤中所使用的坐標系的示例。圖7是由圖I的微創遠程操作外科手術系統在手跟蹤中所使用的手戴的主工具夾緊器以及位置和坐標系的更詳細的示例。圖8是在跟蹤系統中跟蹤手的手指所用并且用來產生用于遠程操作圖I的微創遠程操作外科手術系統中的副外科手術器械的數據的過程流程圖。圖9是控制圖8的點和夾緊參數過程映射位置數據的更詳細的流程圖。圖10是在跟蹤系統中識別手勢姿態和手勢軌跡所用的過程的流程圖。圖11是在跟蹤系統中用于手出現檢測所用的過程的流程圖。圖12是主手指跟蹤裝置的一個示例的圖解。圖13是示出出現在顯示裝置上包括代替物圖像的視頻圖像的圖解，在這個示例中它包括虛擬幻像器械和遠程操作的副外科手術器械。圖14是示出出現在顯示裝置上包括代替物圖像的視頻圖像的圖解，在這個示例中它包括一對虛擬手和遠程操作的副外科手術器械。圖15是示出出現在顯示裝置上包括代替物圖像的視頻圖像，在這個示例中包括虛擬畫標記裝置和虛擬幻像器械以及遠程操作的副外科手術器械。
在附圖中，三位附圖標記的第一位表示該圖的圖號，在附圖中具有附圖標記的元素的首次出現，四位附圖標記的前兩位表示該圖的圖號，在附圖中具有附圖標記的元素的首次出現。
具體實施例方式正如本文所用的，方位包括位置和方向。正如本文所用的，有時叫做姿勢的手勢包括手勢姿態、手勢軌跡以及手勢姿態和手勢軌跡的組合。本發明的各方面通過在控制微創外科手術系統中利用手方位信息增大微創外科手術系統的控制能力，例如，由加利福尼亞州薩尼瓦爾市的Intuitive Surgical, Inc.商售的Vind 遠程操作的微創外科手術系統。手的一個或多個手指的測量方位用來確定系統控制參數，該系統控制參數進而用來觸發外科手術系統中的系統命令(command)。該系統命 令取決于其手方位被跟蹤的人的方位，即，這個人是否在外科醫生的操作臺上。當測量方位是人手的手指不在外科醫生的操作臺上時，該系統命令包括根據手的方向和手的兩個手指的相對運動的組合來改變遠程操作的副外科手術器械的部件的方向的命令，和移動遠程操作的副外科手術器械的末端的命令，使得末端的運動跟隨該手部分的運動。當測量方位是人的手的手指在外科醫生的操作臺上時，系統命令包括允許或阻止副外科手術器械的運動來繼續跟隨主工具夾緊器的運動的命令。當測量方位或者是人的手的手指不在外科醫生的操作臺上，或者是人手的手指在外科醫生的操作臺時，該系統命令包括根據手勢姿態命令該系統或該系統的一部分而采取動作，并且根據該手勢軌跡命令該系統或該系統的一部分而米取動作。圖I是包括手跟蹤系統的微創遠程操作外科手術系統100，例如，da Vinci 外科手術系統的聞級不意圖。還有與da Vinei 外科手術系統有關的其他部件、電纜等，但是在圖I中未示出，以免轉移本發明的重點。而且關于微創外科手術系統的其他信息可以在例如美國專利申請No. 11/762，165 (2007年6月13日公開為“微創外科手術系統(Minimally Invasive Surgical System)”)和美國專利 No. 6，331，181 (2001 年 12 月 18日授權，公開為“外科手術機器人工具，數據結構和使用(Surgical Robotic Tools, DataArchitecture, And Use)”)中找到，兩者結合于本文供參考。還參見，例如，美國專利No. 7, 155,315 (2005年12月12日提交；公開為“微創外科手術設備中的攝像基準控制(Camera Referenced Control In A Minimally Invasive Surgical Apparatus)，，)和7，574，250 (2003年2月4日提交，公開為“用于遠程機器人系統的圖像偏移設備和方法(Image Shifting Apparatus and Method for A Telerobotic System)”)，兩者結合于本文供參考。在這個示例中，系統100包括具有多個操縱器的小車110。每個操縱器和由該操縱器控制的副外科手術器械能夠聯接于外科醫生操作臺上的主工具操縱器并能夠與其脫離，此外，它們能夠聯接于機械地虛假(ungrounded)無動力主手指跟蹤夾緊器170 (有時叫做主手指跟蹤夾緊器170并且能夠與其間隔。安裝在操縱器113上的立體內窺鏡112提供在顯示器187上顯示和外科醫生操作臺185中的顯示器上顯示的病人111體內的外科手術部位103的圖像。該圖像包括立體內窺鏡的視場中的任何副外科手術裝置的圖像。外科醫生操作臺185上的主工具操縱器、副外科手術裝置和立體內窺鏡之間的相互作用與已知系統相同并且因此對于本領域中的技術人員是已知的。一方面，外科醫生181移動 外科醫生的手的至少一個手指，這又使主手指跟蹤夾緊器170中的傳感器改變方位。手跟蹤發射器175提供場以便手指的新的位置和方向由主手指跟蹤夾緊器170發送。新感測的位置和方向被提供給手跟蹤控制器130。一方面，正如下面更加全面地說明的，手跟蹤控制器130將該感測的位置和方向映射成外科醫生181的眼坐標系中的控制點位置和控制點方向。手跟蹤控制器130發送這個方位信息給系統控制器140，系統控制器又發送系統命令給聯接于主手指跟蹤夾緊器170的遠程操作的副外科手術器械。正如下面更全面地說明的，利用主手指跟蹤夾緊器170，外科醫生181能夠控制，例如，該遠程操作的副外科手術器械末端受動器的夾緊器，以及聯接于該末端受動器的腕關節的滾動和偏擺。另一方面，外科醫生181的手或外科醫生180的手的至少一部分的手跟蹤被手跟蹤控制器130用來確定手勢姿態是否由外科醫生產生，或手勢姿態和手勢軌跡的組合是否由外科醫生產生。每個手勢姿態和與手勢姿態結合的每個軌跡映射成不同的系統命令。該系統命令控制，例如，系統模式變化并控制微創外科系統100的其他方面。例如，代替在已知的微創外科系統中利用腳踏板和開關，手勢、手勢姿態或手勢軌跡被用來(i)起動在主工具夾緊器和有關的遠程操作的副外科手術器械的運動之間的跟隨，(ii)用于主離合器致動(其脫離副器械的主控制)，(iii)用于內窺鏡攝像控制(其允許主器械控制內窺鏡運動或特征，例如焦點或電子變焦)，(iv)用于機器人臂替換(其替換兩個副器械之間的具體的主控制)，以及(V)用于TILEPR0 變換(其轉換外科醫生的顯示器上的輔助視頻窗口的顯示)(TILEPR0是美國加利福尼亞州薩尼瓦爾市的Intuitive Surgeon, Inc.的商標)當系統100中只有兩個主工具夾緊器并且外科醫生180想要控制聯接于兩個主工具夾緊器的兩個遠程操作的副外科器械之外的副外科器械的運動時，外科醫生可以替代利用第一手勢將兩個遠程操作的副外科器械的其中一個或兩個鎖定在位。然后該外科醫生通過利用在這個裝置中提供主工具夾緊器對另一個副外科器械的替換聯接的不同的手勢，使該主工具夾緊器中的一個或兩個與其他由操縱器臂保持的其他副外科手術器械相關聯。當系統100中僅僅有兩個主手指跟蹤夾緊器時外科醫生181執行等同的過程。再一方面，安裝在外科醫生操作臺185中的手跟蹤單元186跟蹤外科醫生180的手的至少一部分并且將感測的方位信息發送給手跟蹤控制器130。手跟蹤控制器130確定何時外科醫生的手足夠接近主工具夾緊器以允許系統跟隨，例如，副外科器械的運動跟隨主工具夾緊器的運動。正如下面更全面地說明的，一方面，手跟蹤控制器130確定外科醫生的手的位置和對應的主工具夾緊器的位置。如果兩個位置的差值在預定的距離內，例如，小于閾值間隔，則跟隨被允許，否則禁止跟隨。因此，距離被用作外科醫生的手相對于外科醫生操作臺185上的主工具夾緊器出現的測量方法。另一方面，當外科醫生的手的位置相對于主工具夾緊器的位置小于閾值間隔時，顯示器上的用戶界面的顯示被阻止，例如，在顯示裝置上斷開。相反，當外科醫生的手的位置相對于主工具夾緊器的位置大于閾值間隔時，用戶界面被顯示在顯示裝置上，例如接通。
外科醫生的手的出現檢測已經是一個存在已久的問題。出現檢測已經多次嘗試利用不同的接觸感知技術，例如電容開關、壓力傳感器和機械開關。但是這些方法固有地存在問題，因為外科醫生在如何并且在什么地方保持主工具夾緊器具有不同的偏好。利用距離作為出現的測量是有利的，因為這種出現檢測允許外科醫生接輕輕地觸碰主工具夾緊器并且瞬間地破壞物理接觸以調節主工具夾緊器，但是不限制外科醫生如何用他的/她的手指保持主工具夾緊器。經由手跟蹤的外科手術器械控制機械地虛假的無動 力的主手指跟蹤夾緊器270，有時叫做主手指跟蹤夾緊器270的一個示例以下面更全面地描述的不同的結構示于圖2A至圖2D中。主手指跟蹤夾緊器270包括手指安裝的傳感器211、212，有時叫做手指或拇指安裝的傳感器211、212，其獨立地跟蹤食指292B的頂端和拇指292A頂端的每個的方位(在一個示例中為位置和方向)即，跟蹤外科醫生的手的兩個手指的方位。因此，與在已知的微創外科系統中跟蹤主工具夾緊器的方位相反，手本身的方位被跟蹤。一方面，傳感器為傳感器安裝在其上的手的每個手指提供六自由度跟蹤(三個移動和三個轉動)。另一方面，傳感器為傳感器安裝在其上的手的每個手指提供五自由度跟蹤(三個移動和兩個轉動)。又一方面，傳感器為傳感器安裝在其上的手的每個手指提供三自由度跟蹤(三個移動)。當兩個手指每個用三自由度跟蹤時，總共六個移動自由度足以控制不包括腕關節機構的副外科器械。填充泡沫連接器210連接在安裝傳感器211、212的手指和拇指之間。連接器限制拇指292A和食指292B (S卩，手291R的手指)處于固定距離，即，當主手指跟蹤夾緊器270被安裝時，在手291R的手指之間存在最大間隔距離。隨著拇指292A和食指292B從最大間隔(圖2A)移動到完全閉合形態(圖2D)時，該填充提供正反饋以幫助外科醫生181控制連接于主手指跟蹤夾緊器170的遠程操作的副外科器械的末端受動器的夾緊力。對于圖2A所示的位置，其中拇指292A和食指292B由允許主手指跟蹤夾緊器270隔開最大距離，該夾緊力最小。相反，在圖2D所示的位置，其中拇指292A和食指292B如由連接器210所允許的盡可能靠近，即，由主手指跟蹤夾緊器270允許的最小距離隔開，則夾緊力最大。圖2B和2C表示被映射成中間握緊力的位置。正如下面更全面地說明的，在圖2A至圖2D中拇指292A和食指292B的方位(位置和方向)被映射成夾緊閉合參數，例如，用來控制連接于主手指跟蹤夾緊器270的遠程操作的副外科手術器械的夾緊器的規范化夾緊閉合值。具體說，拇指292A和食指292B的感測方位通過手跟蹤控制器130被映射成夾緊閉合參數。因此跟蹤外科醫生181的手部分的方位。根據該跟蹤的方位，微創外科系統100的系統控制參數，即夾緊閉合參數由手跟蹤控制器130產生，并且被提供給系統控制器140。系統控制器140利用夾緊閉合參數產生發送給遠程操作的副外科手術器械的系統命令。該系統命令指示遠程操作的副外科器械配置末端效應器具有對應于該夾緊閉合參數的夾緊閉合狀態。因此微創外科系統100利用夾緊閉合參數控制微創外科系統100的遠程操作的副外科器械的操作。而且，在圖2A至圖2D中拇指292A和食指292B的方位(位置和方向)由手跟蹤控制器130被映射成控制點位置和控制點方向。該控制點位置和控制點方向被映射到外科醫生181的眼坐標系中，并且然后經通過命令信號被提供給系統控制器140。眼坐標系中的控制點位置和控制點方向由系統控制器140利用，用于連接于主手指跟蹤夾緊器170的副外科器械的遠程操作。此外，跟蹤外科醫生181的手部分的方位。根據該跟蹤的方位，微創外科系統100的另一個系統控制參數，即，控制點位置和方向由手跟蹤控制器130產生。手跟蹤控制器130傳輸具有控制點位置和方向的命令信號至系統控制器140。系統控制器140利用該控制點位置和方向產生被發送至遠程操作的副外科手術器械的系統命令。該系統命令指示該遠程操作的外科器械根據該控制點位置和方向方位該遠程操作的外科器械。因此，微創外科手術系統100利用控制點位置和方向控制微創外科手術系統100的遠程操作的副外科器械的操作。除了根據傳感器211、212的位置確定夾緊閉合狀態之外，拇指292A和食指292B 之間的其他相對運動被用來控制副外科手術器械的偏擺運動和滾動運動。拇指292A和食指292B —起摩擦的交叉好像繞主軸旋轉產生副外科器械末端的滾動，所述主軸由圖2E中的箭頭表示的一個假想的主軸293，同時在由箭頭295表示的指向方向上沿著軸線，由圖2F中的箭頭所示的彼此縱向地來回滑動食指和拇指，則產生沿著副外科手術器械的X軸線的偏擺運動。這是通過映射食指末端和拇指末端位置之間的矢量以形成控制點方向的X軸線來實現的。由于食指和拇指每個以對稱的方式沿著軸線295滑動，所以控制點的位置保持相對靜止。雖然食指和拇指的運動不是完全對稱的運動，但是該位置仍然保持足夠靜止，使使用者能夠容易修正任何可能發生的擾動。此外，跟蹤外科醫生181的手的一部分的方位。根據該跟蹤的方位，又一個系統控制參數，即，外科醫生的手291R的兩個手指之間的相對運動由手跟蹤控制器130產生。手跟蹤控制器130將該相對運動轉換成聯接于主手指跟蹤夾緊器170的遠程操作的副外科手術器械的方向。手跟蹤控制器130將具有該方向的命令信號發送給系統控制器140。當這個方向是絕對方向映射時，一方面，系統控制器140在相同事件的遠程操作期間利用具有棘輪效應(ratcheting)的這個輸入作為來自任何其他無源萬向主工具夾緊器的方向輸入。棘輪效應的一個例子在共同授予的美國專利申請No. 12/495，213 (2009年6月30提交的名稱為“用于遠程操作的外科器械的主對齊的棘輪效應”)中被描述，其整個內容結合于本文供參考。系統控制器140利用該方向產生發送給遠程操作的外科器械的系統命令。該系統命令指示遠程操作的外科器械根據該方向轉動該遠程操作的外科手術器械。因此，微創外科系統100利用兩個手指之間的運動控制微創外科系統100的遠程操作的外科器械的操作。當該運動是第一運動，即，食指292B和拇指292A的交叉摩擦好像旋轉主軸時，該方向是滾動，并且系統命令引起副外科器械腕關節沿其指向的方向的末端滾動。當該運動是不同于第一運動的第二運動時，例如，沿著彼此縱向地來回滑動該食指和拇指(圖2F)，該方向是偏擺，并且該系統命令引起副外科器械腕關節的偏擺運動。又一方面，當外科醫生將系統操作模式改變為手勢識別模式時，兩只手被跟蹤，并且用于兩只手的控制點和方向在一方面根據安裝在手上的傳感器感測的位置和方向來產生。例如，如圖2G所示，每只手的拇指和食指的末端接觸在一起以形成圓狀的形狀。每只手的感測的位置由手跟蹤控制器130映射成一對控制點位置。該對控制點對與攝像機控制系統事件一起被發送給系統控制器140。因此，在這方面，跟蹤外科醫生181的每只手的一部分的方位。根據跟蹤的方位的微創外科系統100的另一個系統控制參數，即，該對控制點位置對，由手跟蹤控制器130產生。手跟蹤控制器130將攝像機控制系統事件與該對控制點位置對一起發送給系統控制器140。響應該攝像機控制系統事件，系統控制器140根據這對控制點位置對產生攝像機控制系統命令。該攝像機控制系統命令被發送給微創外科系統100中的遠程操作的內窺鏡攝像機操縱器。因此，微創外科系統100利用這對控制點位置對控制微創外科系統100的遠程操作的內窺鏡攝像機操縱器的操作。
經由手勢姿態和手勢軌跡的系統控制在這方面，在設置在操作的手勢檢測模式之后，手跟蹤控制器130檢測手勢姿態，或手勢姿態和手勢軌跡。控制器130將手勢姿態映射成某種系統模式控制命令，并且同樣，控制器130將手勢軌跡映射成另一種系統模式控制命令。應當指出，姿態和軌跡的映射是獨立的，因此這不同于，例如，手動信號語言跟蹤。產生系統命令和控制系統100利用手勢姿態和手勢軌跡的能力，代替在已知的微創外科系統中操縱開關、各種腳踏板等，為外科醫生提供更容易使用的系統100。當外科醫生站立時，對控制系統100利用手勢姿態和手勢軌跡，使得當外科醫生想要改變系統模式時，外科醫生不必使其眼睛離開病人和/或觀察屏幕并且尋找腳踏板或開關。最后，取消各種開關和腳踏板減少微創外遠程操作科系統所需要的地面空間。用于控制微創外科手術系統100的一組特定的手勢姿態和手勢軌跡不是關鍵的只要每個手勢姿態和每個手勢軌跡是明確的。具體說，一種手勢姿態不應當被手跟蹤控制器130理解為這組姿態中的一個或多個其他的手勢姿態，并且一種手勢軌跡不被理解為這組軌跡中的多于一種手勢軌跡。因此，下面討論的手勢姿態和手勢軌跡僅僅是說明性的而不是用來限制。圖3A至圖3D分別是手勢姿態300A至300D的示例。圖4A至4C是手勢軌跡400A至400C的示例。注意，例如，圖2A中的形狀似乎類似于圖3A，但是當使用兩種形狀時微創外科手術系統100的操作模式是不同的。在圖2A中，遠程操作的微創副外科器械被聯接于主手指跟蹤夾緊器170并且系統100處于跟隨模式，這樣遠程操作的微創副外科手術器械的運動跟隨外科醫生的手的跟蹤運動。在圖3A至圖3D和圖4A至4C中，外科醫生將系統100設置在手勢識別模式中，并且然后采取所示手勢姿態和手勢軌跡之一。該手勢姿態和手勢軌跡用在系統模式控制中并且不用在操作跟隨模式中。例如，用手勢姿態控制的系統模式使得能夠圖像顯示、不能夠圖像顯示，并且在圖像顯示之間循環，以離合各種顯示，并且畫出/擦去畫標記。在手勢姿態300A中(圖3A)，拇指292A和食指292間隔超過主離合閾值，例如，手291R的兩個手指之間的伸展大于115mm。食指292B伸展以及拇指292A彎曲的手勢姿態300B (圖3B)用來向手跟蹤控制器130發信號，外科醫生正在跟蹤手勢軌跡(見圖4A和圖4B)。拇指292A向上并且食指292B彎曲的手勢姿態300C (圖3C)用來接通用戶界面并且在用戶界面中的多個模式之間循環。拇指292A向下并且食指292B彎曲的手勢姿態300D被用于斷開用戶界面。其他手勢姿態可包括“Α-OK”手勢姿態，L形手勢姿態等。一方面，手跟蹤控制器130利用多維特征矢量識別并認出手勢姿態。起初，規定多個手勢姿態。其次，規定包括多個特征的特征組。該特征組設計成獨一無二地識別多個姿勢中的每個手勢姿態
手勢姿態識別過程利用訓練數據庫來訓練。該訓練數據可包括每個手勢姿態的多個范例。該多個范例包括用于由多個不同的人產生的姿勢的特征矢量。對于訓練數據庫中每個范例生成特征組。這些特征組用來訓練多維貝葉斯分類器，正如下面更全面地說明的。當外科醫生180想要進入操作的手勢模式時，外科醫生起動開關，例如按壓腳踏板，并且然后采取至少具有一只手的手勢姿態。注意，雖然這個示例需要單個腳踏板，這使得能夠取消已知的微創外科系統中的腳底板(支架)中的其他的腳踏板，并且仍然具有上面所述的優點。手跟蹤單元186將表示外科醫生的手的拇指和食指的感測位置和方向的信號發送給手跟蹤控制器130。利用外科醫生的手的手指的跟蹤數據，手跟蹤控制器130產生觀察的特征組。然后手跟蹤控制器130利用訓練的多維貝葉斯分類器和馬氏(Mahalanobis)距離確定觀察特征組是多個姿態中的手勢姿態特征組的可能性，即，或然性。這對于多個姿態中的每個手勢姿態這樣。如果馬氏距離小于用于手勢姿態的訓練數據庫中的最大馬氏距離，作為觀察的手勢姿態，由手跟蹤控制器130選擇的多個姿態中的手勢姿態是具有最小馬氏距離的手勢姿態。選擇的手勢姿態被映射至系統事件。手跟蹤控制器130將系統事件引到系統控制器140 中。系統控制器140處理該系統事件并且發布系統命令。例如，如果檢測到手勢姿態300C (圖3C)，系統控制器140發送系統命令給顯示控制器150以接通用戶界面。作為響應，顯示控制器150執行處理器151上的至少一部分用戶界面模塊155，以產生外科醫生操作臺185的顯示器上的用戶界面。因此，在這方面，微創外科系統100跟蹤人手的部分的方位。根據該跟蹤的方位，生成系統控制參數，例如，選擇手勢姿態。該手勢姿態用來控制微創外科系統100的用戶界面，例如在外科醫生操作臺185的顯示器上顯示用戶界面。用戶界面控制僅僅是說明性的而不是用來限制。手勢能夠用來在已知微創外科系統中進行任何模式變化，例如，主離合、攝像機控制、攝像機聚焦、操縱臂替換等。如果手勢姿態識別過程確定觀察的手勢姿態是用于手勢軌跡的手勢姿態，根據姿態的識別，系統事件不被手跟蹤控制器130引入。而是起動手勢軌跡識別過程。在這個示例中，手勢姿態300B (圖3B)是用來生成手勢軌跡的姿態。圖4A和4B是利用手勢姿態300B做出的手勢軌跡400A和400B的二維示例。圖4C表示可以利用的手勢軌跡的其他二維示例。一方面,手勢軌跡識別過程利用隱馬爾柯夫模型(Hidden Markov Model) Λ。為了生成馬爾柯夫模型Λ的可能性分布，需要訓練數據庫。在獲得訓練數據庫之前，規定一組手勢軌跡。在一方面，選擇圖4C的十六個手勢軌跡。一方面，測試對象數目選擇成做出每種手勢軌跡。在一個示例中，每個測試對象執行每個手勢軌跡預定次數。用于所做的每種軌跡的每個對象的位置和方向數據存放在訓練數據庫中。一方面，正如下面更全面地說明的，訓練數據庫用于利用迭代的Baum-Welch方法訓練離散的左-右隱馬爾柯夫模型。當外科醫生做出軌跡時，該數據被手跟蹤控制器130轉換成觀察序列O。用觀察序列O和隱馬爾柯夫模型Λ，手跟蹤控制器130確定哪個手勢軌跡對應于觀察的符號序列。一方面，手跟蹤控制器130利用帶有隱馬爾柯夫模型Λ的向前遞歸算法生成觀察符號序列的總的可能性。如果這種可能性大于閾值可能性，則具有最高可能性的手勢軌跡被選擇。如果最高可能性小于閾值可能性，則沒有手勢估計被選擇并且過程結束。選擇的手勢軌跡被映射至系統事件。手跟蹤控制器130將該系統事件引到系統控制器140。系統控制器140處理該系統事件并發布命令。例如，如果選擇的手勢軌跡映射至一個事件以改變外科手術部位的照明水平，則系統控制器140將系統事件發送給照明器中 的控制器以改變照明水平。經由手跟蹤的出現檢測一方面，正如上面所指出的，跟蹤外科醫生的手291R、291L (圖6A)的方位以判斷是否允許微創外科系統100的遠程操作，并且在一些方面，判斷是否對外科醫生顯示用戶界面。此外，手跟蹤控制器130跟蹤外科醫生180B的手的至少一部分(圖6A)。手跟蹤控制器130產生主工具夾緊器的方位，例如，主工具夾緊器621 (圖6B)，其代表主工具夾緊器621L、621R (圖6A)和該手的這部分的方位。手跟蹤控制器130將這兩個方位映射到共同的坐標系中，并且然后確定該共同的坐標系中兩個方位之間的距離。該距離是根據外科醫生的手的這部分的跟蹤方位的微創外科系統的系統控制參數。如果該距離小于安全閾值，S卩小于手的這部分和主工具夾緊器之間的最大允許間隔，則微創外科系統100的遠程操作被允許，否則該遠程操作被禁止。同樣，在利用出現檢測以控制用戶界面顯示的方面，如果該距離小于安全閾值，即，小于手的這部分和主工具夾緊器之間的最大允許間隔，則禁止在微創外科系統100的顯示器上顯示用戶界面，否則允許顯示用戶界面。因此，距離用來控制微創外科系統100的遠程操作。具體說，手跟蹤控制器130將表示是否允許遠程操作的系統事件發送給系統控制器140。響應該系統事件，系統控制器140配置系統100或者允許或者禁止遠程操作。手方位跟蹤技術在更詳細地考慮上面所述的手跟蹤的各方面之前，描述跟蹤技術的一個示例。這個示例僅僅是說明性的，并且鑒于下面的描述，能夠利用提供必要的手或手指方位信息的任何跟蹤技術。一方面，如圖2A至圖2D和圖7所示，借助于安裝在手的兩個手指上，例如拇指和食指上的傳感器利用脈沖式DC電磁跟蹤。每個傳感器測量六個自由度，并且一方面具有8毫米乘2毫米乘I點5毫米的(8mmX2mmX I. 5mm)尺寸。該跟蹤系統具有O. 8m的半球的靈活工作空間和O. 5mm和O. I度的位置感測分辨率。更新率為160赫茲并且具有4毫秒的檢測延時。當結合在系統中時，由于通信和額外的濾波可以帶來額外的延遲。已經發現高至30毫秒的有效命令延遲是可以接受的。
在這方面，跟蹤系統包括電磁手跟蹤控制器、用在主手指跟蹤夾緊器中的傳感器以及手跟蹤發射器。適合用在本發明一個實施例中的跟蹤系統能夠從美國佛蒙特州伯林頓市的Ascension Technology Corporation得到，具有中等范圍的發射器的3D導向trakSTAR 系統(trakSTAR 是 Ascension Technology Corporation 的商標)。該發射器生成脈沖式DC磁場，用于在規定為78厘米(31英寸)的中等范圍內高精度跟蹤。對于每個傳感器這種系統提供每秒240至420次更新的動態跟蹤。微型的無源傳感器的輸出不受動力線噪聲源的影響。發射器和傳感器之間不要求清晰的視線。有全姿態跟蹤而無慣性漂移或光學干擾。有高度的金屬抗擾性并且沒有來自非磁性金屬的失真。雖然這里利用具有指套(cover)的電磁跟蹤系統，但是這僅僅是說明性的而不是用來限制的。例如，外科醫生可以持有鋼筆形裝置。該鋼筆形裝置是在該裝置的外表面上具有三個或更多不共線的基準標記的指形部件。通常，為了使至少三個基準標記在任何視點是可見的，由于其自身的閉合使用更多的基準標記。該基準標記足以確定該指形部件的六自由度(三個移動和三個轉動)運動，因此確定持有該鋼筆形裝置的手的六自由度運動。 該鋼筆形裝置一方面也檢測夾緊。鋼筆形裝置被兩個或兩個以上的已知參數的攝像機觀察，以在三維中方位該基準標記，并且推知該指形部件的三維姿態。該基準標記可被實施，例如，I)具有靠近攝像機的照明的反射的球；2)具有靠近攝像機的照明的凹形或凸形半球；或3)諸如(閃光的)LED的有源標記。一方面，利用該指形部件的近紅外照明，并且過濾器用來阻擋在攝像機的可見光譜，以使來自背景雜波的散射(distraction)最小化。另一方面，利用數據手套501 (圖5)或裸手502，并且基準標記511附接于外科醫生將要佩戴的手套501的拇指和食指(和/或手套的其他手指)和/或直接附接于手502的皮膚。此外，可以利用冗余標記以適應自身閉合。基準標記也可以設置在其他手指上，以能夠通過專門定義的手勢實現更多的用戶界面特征。基準標記的三維定向通過具有共同視場的多個攝像機的三角形來計算。基準標記的三維方位用來推知手的三維姿勢(移動和方向)并且也推知該夾緊尺寸。標記的方位在使用前需要校正。例如，外科醫生能夠用不同的姿勢向攝像機示出具有標記的手。然后該不同的姿態用在校正中。又一方面，利用較少標記的手跟蹤。關節的手運動可以通過利用從一個或多個攝像機觀察的圖像來跟蹤，并且通過執行計算機軟件處理這些圖像。執行計算機軟件不需要跟蹤所有有益的手的自由度。正如這里所表明的，執行軟件只需跟蹤與用于控制外科器械有益的手的兩個手指有關的部分。在基于跟蹤的攝像機中，測量精度取決于圖像中標記的方位精度；由于攝像機的幾何形狀的三維重構精度；以及諸如多于最小數目的冗余數據、例如三個基準標記、多于最小數目(一或二)的攝像機、以及瞬時平均和過濾。三維重構精度主要依賴于攝像機校正的精度。附接于外科醫生操作臺上的已知方位的一些基準標記可以用來確定多個攝像機相對于外科醫生操作臺的外部參數(旋轉和移動)。這個過程可以自動完成。由于這些標記只在校正過程期間和該過程之前才接通，有源基準標記可以用來校正基準標記。在該過程期間，校正基準標記被斷開以避免與用于方位外科醫生的手的基準準標記相混淆。有關的外部參數也可以通過觀察在攝像機的共用的視場中的移動的標記來計算。適合使用的其他跟蹤技術包括但不限于慣性跟蹤、深度攝像機跟蹤以及光纖彎曲感測。正如本文所用的，傳感器元件，有時叫做跟蹤傳感器，可以是用于上面所描述的任何手跟蹤技術的傳感器，例如，無源電磁傳感器、基準標記器、或用于任何其他技術的傳感器。
坐標系在進一步詳細考慮上面所描述的各種過程之前，先考慮外科醫生操作臺185B (圖6A)的一個示例，并且各種坐標系被定義用在下面示例中。外科醫生操作臺185B是外科醫生操作臺185的一個示例。外科醫生操作臺185B包括三維觀察器610，有時叫做觀察器610、帶有主工具夾緊器621L、621R的主工具操縱器620L、620R。主工具夾緊器621 (圖6B)是主工具夾緊器621L、621R的更詳細的示意圖。主工具操縱器620L、620R的主工具夾緊器621L、621R由外科醫生180B用拇指和食指保持，以便瞄準目標和抓握包括直覺指向和夾緊運動。與主工具夾緊器621L、621R組合的主工具操縱器620L、620R用來以與已知的遠程操作的微創外科系統中的已知的主工具操縱器相同的方式控制遠程操作的副外科手術器械、遠程操作的內窺鏡等。而且，主工具操縱器620L、620R和主工具夾緊器621L、621R的位置坐標從控制該副外科器械所用的運動學是已知的。在操作正常觀察模式中，觀察器610顯示來自立體內窺鏡112的外科手術部位103的三維圖像。觀察器610靠近外科醫生的手設置在操作臺185B上(圖6B)，這樣在觀察器610中觀察到的外科手術部位的圖像被取向成使得外科醫生180B感覺他或她真實地直接向下觀察外科手術部位103。在外科醫生的手根據他的手的位置被基本上方位并取向為外科醫生180B所期望的位置的情況下，圖像中的外科器械顯現成在被基本方位。但是，當在觀察器610中觀察顯示的外科手術部位的圖像時，外科醫生180B既不能看見他或她的手，也看不見主工具夾緊器621L、621R的位置或方向。一方面，主工具操縱器620L、620R從直接在外科醫生180B的前面并且在觀察器610下移開，以便它們位于底座630上方，并且使它們不再位于觀察器610下，即，主工具操縱器處于不會妨礙手勢的位置。這在觀察器610下提供沒有阻擋的空間，外科醫生180B能夠在該空間內做手勢，手勢姿態或手勢軌跡的任何一個或兩者。在圖6A的方面，相對于外科醫生操作臺185B定義三個坐標系觀察坐標系660、世界坐標系670和跟蹤器坐標系650。注意，對于外科醫生181 (圖I)定義等效的坐標系，因此對于來自主手指跟蹤夾緊器170，或主工具夾緊器621L、621R的跟蹤數據能夠進行下面更全面地描述的映射。例如，參見2009年11月13日提交的公開為“用于遠程操作的微創外科器械的病人側外科醫生界面(Patient-Side Surgeon Interface For a MinimallyInvasive Teleoperated Surgical Instrument)”的美國專利申請 No. 12/617，937,其整個內容結合于本文供參考。在觀察坐標系660中，外科醫生180B正在沿Z觀察的Z軸向下看，Y觀察的Y軸在該顯示器中向上指。X觀察的X軸在顯示器中向左指。在世界坐標系670中，Z世界Z軸是豎直軸。X世界的世界X軸和Y世界的世界Y軸的平面垂直于Z世界Z軸。
圖6B是主工具夾緊器621和主工具操作臺620的更詳細的視圖。下面將關于圖11的方法1100更全面地討論坐標系680、690。經由手跟蹤的外科器械控制的過程圖7是安裝在食指292B上在跟蹤坐標系750中具有方位713的傳感器212，和安裝在拇指292A上在跟蹤坐標系750中具有方位711的傳感器211的視圖。傳感器211和212是上面所述的電磁跟蹤系統的部件。姆指292A和食指292B是右手291R的手指的不例。正如前面所指出的，人手的部分包括手的至少一個手指。正如本領域的技術人員所知道的，手的手指，有時叫 做指頭或指骨是拇指(第一指)、食指(第二指)、中指(第三指)、無名指(第四指)和小指(第五指)。在這里，拇指和食指被用作人手的兩個手指的示例。這僅僅是說明性的而不是用來限制。例如拇指和中指可以用來代替拇指和食指。這里的描述可以直接應用于中指。而且，右手的使用也只是說明性的。當同樣的傳感器戴在左手上時，這里的描述也可以直接應用于左手。電纜741、742將主手指跟蹤夾緊器270的傳感器211、212連接于手跟蹤控制器130。一方面，電纜741、742將位置和方向信息從傳感器211、212運輸到手跟蹤控制器130。利用電纜將檢測的位置和方向數據傳輸給手跟蹤控制器130僅僅是說明性的而不是用來限制于這種具體的方面，考慮到本發明，本領域的技術人員能夠選擇從主手指跟蹤夾緊器或多個主手指跟蹤夾緊器向手跟蹤控制器130傳輸檢測的位置和方向數據的裝置(例如，通過利用無線連接)。電纜741、742不阻止主手指跟蹤夾緊器270的運動。由于主手指跟蹤夾緊器270是機械虛假的，每個主手指跟蹤夾緊器在外科醫生能夠達到的工作空間內和手跟蹤轉換器的工作空間內對于位置和方向運動兩者(例如，笛卡爾坐標系中的左-右、上-下、內-外、滾動、俯仰和偏擺)都不被有效地限制。一方面，如上所述，主手指跟蹤夾緊器270上的每個傳感器211、212檢測三個移動自由度和三個轉動自由度，即六個自由度。因此，從兩個傳感器檢測的數據代表十二個自由度。另一方面，主手指跟蹤夾緊器270上的每個傳感器211、212檢測三個移動自由度和兩個轉動(偏擺和俯仰)自由度，即，五個自由度。因此，從兩個傳感器檢測的數據代表十個自由度。正如下面更全面地描述的，根據跟蹤的方位利用控制點位置和控制點方向控制遠程操作的副外科器械需要六個自由度(三個移動和三個轉動)。因此，在每個傳感器具有五個或六個自由度的方面，傳感器211、212提供冗余自由度。正如上面所述和下面更全面地所述，冗余自由度被映射至用來控制遠程操作的副外科器械除位置和方向之外的其他各方面的參數。再一方面，每個傳感器211、212只檢測三個移動自由度并且因此一共代表六個自由度。這足以控制不包括腕關節的副外科手術器械的移動、滾動和夾緊閉合三個自由度。下面的描述用來利用六個自由度產生控制點方位。控制點方向當做副外科器械的方向。夾緊閉合參數如下所述利用控制點方位和控制點方向來確定。滾動如上所述利用拇指和食指的相對運動來確定。在傳感器感測六個自由度，或傳感器感測五個自由度兩方面的任何一方面，食指傳感器212產生表示在跟蹤坐標系750中的食指位置Pinte和食指方向Rintfa的信號。拇指傳感器211產生表不在跟蹤坐標系750中的拇指位置Pthumb和拇指方向Rthumb的信號。一方面，位置Pindex和Pthumb分別取作與使用者的食指292B上的食指指甲的中心和使用者拇指292A上的拇指指甲中心的對齊。在這個示例中，位置Pindex和Pthumb每個表示為跟蹤坐標系750中的三乘一矢量。位置Pind 和Pthumb在跟蹤器坐標中。方向Rindex和Rthumb每個表示為跟蹤坐標系系750中的三乘三矩陣，即
"Rindexll R— RindexI3'R index —《index21 ^index22 ^inde\23 _^index31 ^inde\31 ^index33_
Kthumbll ^thumbH ^tliumbl3^thumb 一 ^thumb21 ^thumb22 ^thumb23
_ ^thumb31 ^thumb31 ^thumb33 _控制點位置Pep在食指291B和拇指291A之間定中心。控制點位置Pep在控制點坐標系790中，但是，在跟蹤器坐標中規定。正如下面更全面地描述的，控制點坐標系790的Z軸沿著指向的方向延伸通過控制點位置而且，正如下面所說明的，食指291Β和拇指292Α映射至副外科器械的爪裝置，但是兩個手指比器械爪裝置更加靈巧。控制點坐標系790的Y軸對應于器械爪裝置閉合所用的銷。因此，如下所述，控制點坐標系790的Y軸垂直于食指291Β和拇指292Α之間的矢量。控制點位置Pep表示為跟蹤坐標系750的跟蹤器坐標中的三乘一矢量。控制點方向Rcp表示為跟蹤器坐標中的三乘三矩陣，即
j^cpll ^cpl2 Rcpl3R = R R ” R ”
cpqj21 *^cp22 *^cp23
Rcp31 Rep31 ^cp33圖8是用于將手的部分的方位映射至用來控制副外科器械(例如圖I中遠程操作的副外科器械之一)的夾緊器的夾緊閉合參數的過程流程圖。該映射也將方位的瞬時變化映射成新的夾緊閉合參數和副器械末端的對應方位以及移動到該方位的速度。開始，當進入過程800時，接收手方位數據過程810接收食指位置和方向(Pindex,Rintfa)以及拇指位置和方向(PtlMb，Rthimb),在這個例子中它們被儲存為數據811。食指位置和方向(Pind ，Rindex)以及拇指位置和方向(Pthumb，Rthumb)基于來自跟蹤系統的數據。過程810轉移到將方位數據映射至控制點和夾緊參數過程820將方位數據映射至控制點和夾緊參數過程820利用食指位置和方向(Pindex，Rindex)以及拇指位置和方向(Pthumb，Rthumb)生成控制點位置Pct和控制點方向Rf以及夾緊閉合參數gg_。控制點位置Pct和控制點方向Rf以及夾緊閉合參數gg_儲存為數據821。—方面，在過程820中執行的控制點映射被定義以模擬已知主工具操縱器控制點方位的關鍵特性。因此，對拇指和食指運動的響應對于具有類似于外科醫生操作臺180B(圖6B)的外科醫生操作臺的已知的遠程操作的微創外科系統的使用者是熟悉的并且是直觀的。
圖9是用于將方位數據映射至控制點和夾緊參數過程820的更詳細的過程流程圖。首先，在過程820中，將手位置數據映射至控制點過程910由食指位置Pindex和拇指位置Pthumb生成控制點位置Pct的方位，即Pcp=O. 5* (pthumb+pindex)控制點位置Pct是食指位置Pindex和拇指位置Pthumb的平均值。將手位置數據映射至控制點過程910轉移過程到生成控制點方向過程920。如上所述，控制點方向的Z軸與指向的方向對齊。在生成控制點方向的過程920的方面，Rodriquez軸線/角度公式用來定義用于控制點方向的Z軸指向方向矢量Zhalf
作為食指指向方向矢量iinde3^P拇指指向方向矢量$ thumb之間的半旋轉。從拇指的方向
Rthunb,拇指指向方向矢量Ihumb為^— Γ R I z thumb _ L1Nhumbn ivIhunibli 1Nhumb^ i同樣，從食指方向Rindex，食指指向方向矢量乏indexS:^index 一 [^indexl3 ^index23 Ri丨idex33]矢量ω是垂直于食指指向方向矢量iindex和拇指指向方向矢量Ithumb的矢量。矢量ω定義為食指指向方向矢量全index和拇指指向方向矢量￡thumb的叉乘，SP，ω = Zindex X Zthumb角度Θ是食指指向方向矢量^mdex和拇指指向方向矢量^thumb之間的角幅度，角度Θ定義為
sin'1 |ω||) Γ ||ω||〈 Iθ = <! >
sin"1 (l) otherwise 其中軸ω、角度θ、Ζ軸線指向方向矢量ihaif為
權利要求
1.一種方法，其包括 跟蹤安裝在人手的一部分上的傳感器元件以獲得所述人手的所述部分的多個方位； 根據所述多個方位從多個已知的手勢中選擇手勢；和 根據所述手勢控制微創外科手術系統的操作。
2.根據權利要求I所述的方法，其中所述手勢是手勢姿態并且所述多個已知的手勢包 括多個已知的手勢姿態。
3.根據權利要求2所述的方法，其中所述控制包括 根據所述手勢姿態控制所述微創外科手術系統的用戶界面。
4.根據權利要求2所述的方法，其中所述控制包括 利用所述跟蹤控制代替物圖像。
5.根據權利要求4所述的方法，其中所述代替物圖像選自包括虛擬手、虛擬外科手術器械和虛擬畫標記裝置的一組代替物圖像。
6.根據權利要求2所述的方法，其中所述選擇還包括 從所述多個方位生成被觀察到的特征組。
7.根據權利要求6所述的方法，其中所述選擇還包括 比較所述被觀察到的特征組與所述多個已知的手勢姿態的特征組。
8.根據權利要求7所述的方法，其中所述選擇還包括 根據所述比較選擇所述手勢姿態。
9.根據權利要求8所述的方法， 其中所選擇的手勢是與手勢軌跡有關的手勢姿態，并且 其中所述多個已知的手勢包括多個已知的手勢軌跡。
10.根據權利要求9所述的方法，還包括 從被跟蹤的多個方位的軌跡生成速度序列；并且將所述速度序列轉換成符號序列。
11.根據權利要求10所述的方法，還包括 分析具有多個隱馬爾柯夫模型的符號序列，其中所述多個已知的手勢軌跡中的每一個都具有在所述多個隱馬爾柯夫模型中的隱馬爾柯夫模型。
12.根據權利要求11所述的方法，還包括 根據所述分析選擇手勢軌跡，其中所述控制中所用的所述手勢是所述手勢軌跡。
13.根據權利要求12所述的方法，還包括 將所選擇的手勢軌跡映射至系統命令。
14.根據權利要求I所述的方法，其中所述控制還包括 將所選擇的手勢姿態映射成系統命令。
15.根據權利要求14所述的方法，其中所述控制還包括 在所述微創外科手術系統中引入所述系統命令。
16.根據權利要求I所述的方法， 其中所述手勢包括手勢軌跡，并且 其中所述多個已知的手勢包括多個已知的手勢軌跡。
17.根據權利要求16所述的方法，還包括 從跟蹤的多個位置的軌跡生成速度序列；并且將所述速度序列轉換成符號序列。
18.根據權利要求17所述的方法，還包括 分析具有多個隱馬爾柯夫模型的符號序列其中所述多個已知的手勢軌跡中的每一個都具有在所述多個隱馬爾柯夫模型中的隱馬爾柯夫模型。
19.根據權利要求18所述的方法，還包括 根據所述分析選擇手勢軌跡，其中所述控制中所用所述手勢是所述手勢軌跡。
20.根據權利要求19所述的方法，還包括 將所選擇的手勢軌跡映射至系統命令。
21.—種微創外科手術系統,其包括 手跟蹤系統，其中所述手跟蹤系統跟蹤安裝在人手的多部分上的多個傳感器的方位；和 連接于所述手跟蹤系統的控制器，其中所述控制器將所述方位轉換成手勢，并且其中所述控制器根據所述手勢發送命令以改變所述微創外科手術系統的操作模式。
全文摘要
本發明公開一種微創外科手術系統。在該微創外科手術系統中，手跟蹤系統跟蹤安裝在人手的一部分上的傳感器元件的位置。根據該人手的該部分的位置生成系統控制參數。利用該系統參數控制微創外科手術系統的操作。因此，微創外科手術系統包括手跟蹤系統。該手跟蹤系統跟蹤人手的一部分的位置。連接于手跟蹤系統的控制器將位置轉換成系統控制參數，并且根據該系統控制參數將命令引入到微創外科手術系統中。
文檔編號A61B17/00GK102647955SQ201080051497
公開日2012年8月22日 申請日期2010年11月11日 優先權日2009年11月13日
發明者B·D·艾特科威茲, S·蒂邁歐, T·趙 申請人:直觀外科手術操作公司