一種基于3d力反饋技術的內窺鏡微創手術三維仿真系統的制作方法
【專利摘要】本發明公開了一種基于3D力反饋技術的內窺鏡微創手術三維仿真系統，該系統以計算機虛擬現實技術原理為基礎，采用自主研發的3D底層引擎平臺，空間定位傳感器模塊化組件，利用人體系統仿真和力反饋技術，模擬臨床手術器械操作手感與手術步驟；基于國內首創專用3D底層引擎平臺及軟件開發環境，并結合臨床訓練方案，包含虛擬人體器官碰撞檢測算法、組織形變仿真計算模型等，構建了微創手術內窺鏡三維仿真系統。
【專利說明】一種基于3D力反饋技術的內窺鏡微創手術三維仿真系統
[0001]
【技術領域】
[0002]本發明涉及一種醫療【技術領域】，具體的說是涉及一種基于3D力反饋技術的內窺鏡微創手術三維仿真系統。
【背景技術】
[0003]內窺鏡微創手術三維仿真平臺系統是內窺鏡微創手術模擬訓練的核心，文件管理、網絡特性等等，3D平臺系統的核心是3D引擎，3D引擎有開源和商業的，常見的開源3D引擎有:Unreal, Quake, Lithtech, OGRE, Irrlicht等，OGRE在開源的引擎中評價最高，一個原因是作為一個圖形渲染引擎，它支持的圖形特性最多，所以渲染質量也不錯；另一個原因是設計模式的清晰；另外，速度也不錯。商業3D max引擎，還有國外商業3D引擎。目前3D引擎存在的缺點和不足主要如下:
1、大多數引擎主要針對3D仿真應用，模擬的對象主要是剛體，而內窺鏡微創手術模擬訓練針對的對象是人體組織，大部分是軟體。
[0004]2、建模方法過于單一,一般只支持3Dmax等建模工具建的模型。
[0005]3、沒法模擬手術器械的各種動作，或者模擬的效果和實際差別太大。
[0006]4、不能很好的模擬各種醫學效果，如抓取、切割、縫合、打結、上鈦夾、煙霧、流血
坐寸ο
[0007]5、一般和微軟的3D DirectX綁定，沒法支持跨平臺的開發和應用。
[0008]6、對目前主流的3D控制終端支持不夠，只能支持特定的3D控制終端。

【發明內容】

[0009]本發明要解決的技術問題在于提供了一種基于3D力反饋技術的內窺鏡微創手術三維仿真系統，該系 統以計算機虛擬現實技術原理為基礎，采用自主研發的3D底層引擎平臺，空間定位傳感器模塊化組件，利用人體系統仿真和力反饋技術，模擬臨床手術器械操作手感與手術步驟；基于國內首創專用3D底層引擎平臺及軟件開發環境，并結合臨床訓練方案，包含虛擬人體器官碰撞檢測算法、組織形變仿真計算模型等，構建了微創手術內窺鏡三維仿真系統。
[0010]為解決上述技術問題，本發明通過以下方案來實現:一種基于3D力反饋技術的內窺鏡微創手術三維仿真系統，該系統包括操作臺、支架、光學攝像系統、內窺鏡系統、圖像傳輸系統、顯示設備，所述光學攝像系統主要由棱鏡或光導纖維構成，所述支架橫向兩端設有2個并列設置的光學攝像頭，分別為攝像頭、攝像頭，2個光學攝像頭分別與圖像傳輸系統相連，2個光學攝像頭的拍攝位置相交于被攝物上，所述支架橫向中部的縱向上設置一攝像頭，該攝像頭與圖像傳輸系統相連，并與另2個橫向設置的光學攝像頭的拍攝位置相交于被攝物上；所述系統還包括數據接收處理設備、3D醫學模型處理服務器、3D平臺系統服務器、所述數據接收處理設備用于實現力反饋及虛擬觸覺，操作臺與數據接收處理設備相連接，所述數據接收處理設備與3D平臺系統服務器相連接，所述3D醫學模型處理服務器亦與3D平臺系統服務器相連接，3D平臺系統服務器與顯示設備相連接。
[0011]進一步的，所述數據接收處理設備與3D平臺系統服務器相連接，實現數據雙向傳輸過程，即正向過程，由操作臺來驅動虛擬環境中的器械運行；逆向過程，虛擬環境中的力通過力反饋作用驅動操作臺產生反饋力的作用。
[0012]進一步的，所述操作臺由左右二組操作手臂構成，每組操作手臂，包括相連接的底座、大轉輪、支撐座、螺旋輪、電機、位置傳感器、旋轉輪蓋、操作桿、自轉微調撥盤、剪刀手柄、惰輪、軸承、直線導軌及鋼絲繩張緊裝置。
[0013]進一步的,所述攝像頭al、攝像頭bl、攝像頭cl上都設有LED燈3。
[0014]進一步的,所述攝像頭al、攝像頭bl、攝像頭cl通過轉軸可作30度-120度旋轉。
[0015]本發明的有益效果是:本發明設計并實現了平臺專用的底層3D開發引擎，可以具有交互作用，集成3D力反饋技術與包圍球碰撞檢測優化算法等關鍵技術基礎上，可以實現腔內器械觸摸器官造成的逼真柔體形變效果，編寫出復雜的三維應用程序以及形體碰撞檢測功能，以3D FLASH嵌入式形式的WEB展示，進而構建了微創手術三維仿真支撐軟件環境設計出基于BIS 3D技術的在線交互。
【專利附圖】

【附圖說明】
[0016]圖1為本發明插入部光學攝像組件示意圖。
[0017]圖2為本發明外部的連接設備示意圖。
[0018]圖3為本發明實施例1中球碰撞原理示意I圖。
[0019]圖4為本發明實施例2中球碰撞原理示意II圖。
[0020]圖5為本發明實施例3中球碰撞原理示意III圖。
[0021]圖6為本發明實施例圖文報告軟件的程序框圖。
[0022]圖7為本發明內窺鏡微創手術三維仿真系統硬件結構圖。
【具體實施方式】
[0023]以下結合附圖對本發明作詳細說明。
[0024]如圖1、圖2、圖6、圖7所示，一種基于3D力反饋技術的內窺鏡微創手術三維仿真系統，該系統包括操作臺、支架4、光學攝像系統、內窺鏡系統、圖像傳輸系統、顯示設備5、掃描儀6，所述光學攝像系統主要由棱鏡或光導纖維構成，所述支架4橫向兩端設有2個并列設置的光學攝像頭，分別為攝像頭al、攝像頭bl，2個光學攝像頭分別與圖像傳輸系統相連，2個光學攝像頭的拍攝位置相交于被攝物上，其特征在于:所述支架4橫向中部的縱向上設置一攝像頭Cl，該攝像頭Cl與圖像傳輸系統相連，并與另2個橫向設置的光學攝像頭的拍攝位置相交于被攝物上；所述系統還包括數據接收處理設備、3D醫學模型處理服務器、3D平臺系統服務器、所述數據接收處理設備用于實現力反饋及虛擬觸覺，操作臺與數據接收處理設備相連接，所述數據接收處理設備與3D平臺系統服務器相連接，所述3D醫學模型處理服務器亦與3D平臺系統服務器相連接，3D平臺系統服務器與顯示設備相連接。所述數據接收處理設備與3D平臺系統服務器相連接，實現數據雙向傳輸過程，即正向過程，由操作臺來驅動虛擬環境中的器械運行；逆向過程，虛擬環境中的力通過力反饋作用驅動操作臺產生反饋力的作用。所述操作臺由左右二組操作手臂構成，每組操作手臂，包括相連接的底座、大轉輪、支撐座、螺旋輪、電機、位置傳感器、旋轉輪蓋、操作桿、自轉微調撥盤、剪刀手柄、惰輪、軸承、直線導軌及鋼絲繩張緊裝置，所述攝像頭al、攝像頭bl、攝像頭Cl上都設有LED燈3，所述攝像頭al、攝像頭bl、攝像頭cl通過轉軸可作30度-120度旋轉。根據圖2，所述光學攝像系統2主要由棱鏡或光導纖維構成，圖像傳輸系統傳輸，通過支架4上的導線被內窺鏡系統接收，并由內窺鏡系統內部的影像處理系統處理輸出，在顯示設備5上顯示。本發明支架4的3個光學攝像系統，各個光學攝像系統有一定的距離，因此3個光學攝像系統拍攝的影像具有一定相位差，從而產生距離感，當兩個光學攝像系統拍攝的圖像信號由圖像傳輸系統傳至內窺鏡系統后，再由影像處理系統處理成可顯示的圖像或視頻，通過顯示設備5顯示，即為3D立體圖像或視頻，當使用光學攝像系統中任意一個攝像頭工作時，就可作為普通內窺鏡系統使用。
[0025]內鏡微創手術實習醫生以及基層醫院醫生，非常有必要到具有衛生部內鏡考評委認定的培訓資格的內鏡培訓基地進行培訓，對內鏡微創外科器械的培養，從拿起內鏡那一亥IJ，直至最后操作結束，一步一步規范化，這些程序式的規范操作看似基礎，其實極為必要，如果不規范操作的習慣持續多年，不但影響醫療質量，對醫生自身知識技能掌握新的醫療器械的培養也有害無益。標準操作流程SOP在衛生部內鏡培訓基地急需內鏡微創仿真手術訓練、考評系統，因我國現行醫療行業自主開發能力較弱等原因，導致該類一體化的醫教高端設備幾乎依賴進口。
[0026]本發明基于3D力反饋技術的內窺鏡微創手術三維仿真系統以計算機虛擬現實技術原理為基礎，符合我國衛生部醫學臨床，采用自主研發的3D底層引擎平臺，空間定位傳感器模塊化組件，方便擴展增值新手術科室手術仿真，利用人體系統仿真和力反饋技術，模擬臨床手術器械操作手 感與手術步驟。基于國內首創專用3D底層引擎平臺及軟件開發環境，并結合臨床訓練方案，包含虛擬人體器官碰撞檢測算法、組織形變仿真計算模型等，構建了微創手術內窺鏡仿真培訓系統。
[0027]本發明主要內容包括以下部分:
1.多種腔內虛擬人體器官組織形變仿真模型軟件渲染過程設計。
[0028]人體組織通常是非均勻的、各向異性的，結合醫學實際，設計多種仿真三維顯示的基本過程，把這些不同科室手術過程分為獨立的軟件模塊進行描述。下面以普外科腹腔鏡為例，完成模型仿真三維渲染的基本過程如下:
(I;數據準備.即獲取三維可視化工作所需的基本的具體腔體、器械仿真模型數據。
[0029]虔::啟動數據模型，控制點校正，可手工或自動校驗。
[0030]透視投影變換，即建立三維圖像點間的透視關系，也同樣可以在屏幕上生成不同視角條件下的立體透視圖，具體的模型由視點，視角，三維圖形大小等參數來確定。
[0031].?':光照Camera模型。實際的研發中，為了逼真地反映腔體內仿真表面明暗，顏色
變化需要根據光照方向和結點的法向量逐點計算每個象素的顏色和灰度.然后反映到生成的普外科仿真三維模型上去，對腹腔鏡下景物中的普外科仿真表面，可以先在3DMAX獲得基礎的數據模型加工，光照模型要考慮光源的位置、光源的強度、視點的位置、腔體內器官的漫反射光，以及器械面對光的反射和吸收特性，在設置虛擬camera來手工驗證效果，并在軟件實現中進行參數校正。
[0032]消隱和裁剪。本發明采用的消隱處理是先做一次快速簡單的光線跟蹤法掃描
消隱，然后結合Z-buffer算法處理，最后當視點切換移動的時候啟用畫家算法消隱，達到快速高效的消隱效果。圖形裁剪就是根據模型視區的大小確定三維普外科仿真的不可視部分，將已經落入顯示器范圍外的部分圖形自動裁剪掉，從而使顯示屏給出一完整的三維圖形畫面。
[0033]^圖形繪制和存儲.依各種相應算法如模擬灰度，分形幾何，紋理影射等繪制并顯示各種類型的三維普外科仿真圖，并以標準圖像文件格式進行記錄。
[0034]三維圖形的后處理.在三維透視圖上添加各種材質等，進行顏色，亮度，對比
度等處理。為了增加三維普外科仿真圖的真實感使用性，在已生成三維圖的基礎上，疊加顯示實地區域內一些主要器官皮膚材質或血管和有關普外科特征是十分必要的，這需要在3DMAX建立模型材質庫支撐下實現。在三維圖成功顯示后，在三維普外科仿真圖上依據有關參數，數據庫或數據文件以及有關算法，進行普外科模型仿真可以在此基礎上實現一些基于普外科3D模型的分析功能軟件，分析功能包括可視分析和可操作性分析，這種分析的優點便是直觀，不必等軟件實現，即可獲得手術仿真過程效果提出一套模型數據質量管理方案。
[0035]2.多種腔體下基于包圍球碰撞檢測優化算法設計與實現。
[0036]虛擬手術仿真是虛擬現實技術在醫學領域中的重要應用。在虛擬手術仿真過程中，可以進行術前手術計劃制定、手術過程仿真、術后效果預測等工作。本發明運用虛擬現實技術來實現內鏡微創手術訓練系統來輔助外科手術訓練、考核過程。
[0037]而碰撞檢測是構成系統虛擬現實的基本要素，系統中碰撞檢測需要確定手術器械工具與人體器官組織是否碰撞，在確認碰撞后，通過力反饋裝置獲得反饋碰撞點的具體信息。依據這些獲取的數據，系統才能對人體組織的形變做出相應的操作。常用的碰撞檢測算法主要有包圍盒的檢測方法已經空間分割的檢測方法，有包圍球Bounding Sphere、軸包圍盒 Axis Aligned Bounding Box,簡稱 AABB、方向包圍盒 Oriented Bounding Box ,簡稱OBB等。碰撞檢測不僅要滿足手術仿真實時性的需要，還要滿足力反饋精確度的需要，力反饋裝置改變電磁線圈中電流的大小來實現真實的反饋效果，本發明采用優化精確的包圍球碰撞檢測算法，選用了計算量小、實時性高的包圍球碰撞檢測方法。
如圖3、圖4、圖5所示，下面以運動球體與碰撞球體為例，解釋采用包圍球碰撞檢測優
化算法實現碰撞檢測，設定球體BALL” BALL2i BALL3的半徑分別為R1和R2、R3,球體BALL:
球心到BALL2或到BALL3的 球心距離為d，碰撞初始狀態為“狀態I ”，碰撞發生時為“狀態2”，碰撞發生形變為“狀態3”，碰撞發生形變兩球相交區域為點集合e。
[0038]BALL1、BALL:、BALL3碰撞檢測簡述如下:
設定BALL.為運動球體，BALL:、BALL3為靜止球體，由BALL:沿著某一方向BAU^運動。在初始狀態時即“狀態1”，如圖3所示，CM1+R2沒有碰撞點；
在碰撞發生形變時即“狀態3”，如圖4所示，d < RJR2有η多個碰撞點共同構成了點
集 e ( Xd , Y,)；
如圖5所示，三球A、B、C發生碰撞，在碰撞發生形變時，D < R+R2 +R3,多個碰撞點共同構成了點集D區域(Xn，Yn，Za );這個坐標為三維坐標。
[0039]總結以上碰撞原理，通過計算3個球體的球心之間距離，與3個球的半徑之和比較大小，檢測有沒有碰撞。在具體實現代碼過程中，程序需要確認在運動初始位置處兩球體之間是否相交，程序只需要根據判定公式即可根據上面原理。
[0040]3.多種腔體交互環境器官軟組織的實時形變計算下力反饋技術實現。
[0041]在多種腔體內建立虛擬手術操作在3D環境下對器械和器官進行碰撞檢測之后，力反饋技術能將虛擬環境下手術中的數據轉化成用戶可以感覺到的效果，例如宮腔子宮、卵巢上鈦夾鉗、電凝刀灼燒或者轉動手術手柄方向盤感受到的反作用力，這些效果都是力反饋控制驅動軟件結合力反饋裝置控制電路，反饋給操作手柄，受訓者感受到力反饋“播放”出來的。力反饋技術，實質一種觸覺處理芯片電路與控制軟件，可以提供加速、優化等功能，使其虛擬現實的效果更加流暢、逼真，在傳動方面要采用的是電動機帶動齒輪，手柄機械部分前進、后退方向增加電磁線圈裝置，提供柔順的力反饋效果，進行力的線性傳動。要注意的是平常所見游戲的“振動手柄”使用的并不是力反饋技術。本發明自主研發的強力反饋技術相比要復雜得多，結合3D引擎軟件，給力反饋電路發出的指令，它可以模擬出真實的操縱感，而不是簡單的振動。比如，婦科宮腔鏡手術，在子宮、卵巢上鈦夾鉗和轉動手術手柄上完全是不同的感覺，根據力反饋力度與速度的不同，力反饋控制芯片會根據手術場景中提供的數據計算出合理上的反作用力，根據不同的碰撞檢測，體現力反饋效果，比如觸碰到腔體或管壁，有柔和的接觸感，和真實的手術觸感是一致的。
[0042]同時，基于柔體的形變計算模型和實時的力反饋計算模型，通過傳感器使機械部分系統從多種腔內虛擬器官軟組織3D模型數據中“感知”，3D定位機構還增加了一個自由度使操控模擬手柄的人機交互更具靈活性，同時引入可漸變力度的3D力反饋控制系統來控制、仿真操作持內窺鏡手術過程，通過GPU硬件加速和并行計算來解決實時計算的問題。
[0043]4.適應多種腔體治療性手術培訓的軟件架構設計與實現。
[0044]固定的案例和虛擬場景，只能用于手術技能培訓，多種腔內治療性內鏡手術醫教培訓平臺可以虛擬多種腔體下微創手術方案，系統可以提供便捷的模型升級自服務功能與可虛擬開發功能，使普遍用戶能夠根據個性化的病人影像數據，快速構造虛擬場景模型，無需編寫任何代碼，即能完成交互操作設計，并可靈活加載模型的包圍球碰撞檢測優化算法進行虛擬檢測，這樣可以加快在不同腔體下手術中的推廣應用。
[0045]5.多種腔體下基于BIS 3D設計與實現。
[0046]BIS 3D技術應用成功進行現實應用的關鍵，可以實現在軟件操作界面以flash動態效果展示3D模型，通過采用完全互動粒子處理技術，提高了微創手術腔體和手術過程的仿真效果如器械和器官的碰撞、流血、器官紋理色彩、電刀火花和煙霧和沖洗等，多自由度實時交互，最大限度的滿足醫學教學實踐，也是內鏡微創手術三維仿真訓練平臺最本質的特征和要求之一。[0047]BIS 3D又稱網絡虛擬三維，是一種在傳統虛擬現實技術的基礎上，利用3D互聯網平臺將現實世界中有形的物品通過互聯網進行虛擬的三維立體展示并可互動瀏覽操作的一種網絡虛擬現實技術。相比起目前網上主流的以圖片、FLASH、三維動畫的展示方式來說，BIS 3D技術讓用戶有了瀏覽的自主感，以自己的角度去觀察和互動操作。目前比較流行的平臺有Microsoft的微軟DirectX、BIS 3D和Build 3D等。其中Microsoft的微軟DirectX可廣泛用在三維動畫、三維游戲等領域,可利用Windows的系統級加速,可以直接調用一些軟件如ALIAS、LIGHTffARE,3DS MAX生成的形體，使形體帶有顏色、貼圖，可以產生形體的運動、變化，動態地改變觀測點的位置及視角。
[0048]多種腔內治療性內鏡手術三維仿真醫教培訓平臺引入基于Microsoft的微軟DirectX的BIS 3D驅動技術，設計并實現了平臺專用的底層3D開發引擎，可以具有交互作用，集成3D力反饋技術與包圍球碰撞檢測優化算法等關鍵技術基礎上，可以實現腔內器械觸摸器官造成的逼真柔體形變效果，編寫出復雜的三維應用程序以及形體碰撞檢測功能，以3D MAX嵌入式形式的展示，進而構建了微創手術三維仿真支撐軟件環境設計出基于BIS 3D技術的在線交互，滿足更多的訓練者在線參與訓練。
[0049]以上所述僅為本發明的優選實施方式，并非因此限制本發明的專利范圍，凡是利用本發明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其它相關的【技術領域】，均同理包括在本發明的專利保護范圍內。
【權利要求】
1.一種基于3D力反饋技術的內窺鏡微創手術三維仿真系統，該系統包括操作臺、支架(4)、光學攝像系統、內窺鏡系統、圖像傳輸系統、顯示設備(5)、掃描儀，所述光學攝像系統主要由棱鏡或光導纖維構成，所述支架(4)橫向兩端設有2個并列設置的光學攝像頭，分別為攝像頭(al )、攝像頭(bl )，2個光學攝像頭分別與圖像傳輸系統相連，2個光學攝像頭的拍攝位置相交于被攝物上，其特征在于:所述支架(4)橫向中部的縱向上設置一攝像頭(Cl)，該攝像頭(Cl)與圖像傳輸系統相連，并與另2個橫向設置的光學攝像頭的拍攝位置相交于被攝物上；所述系統還包括數據接收處理設備、3D醫學模型處理服務器、3D平臺系統服務器、所述數據接收處理設備用于實現力反饋及虛擬觸覺，操作臺與數據接收處理設備相連接，所述數據接收處理設備與3D平臺系統服務器相連接，所述3D醫學模型處理服務器亦與3D平臺系統服務器相連接，3D平臺系統服務器與顯示設備相連接。
2.根據權利要求1所述的一種基于3D力反饋技術的內窺鏡微創手術三維仿真系統，其特征在于:所述數據接收處理設備與3D平臺系統服務器相連接，實現數據雙向傳輸過程，即正向過程，由操作臺來驅動虛擬環境中的器械運行；逆向過程，虛擬環境中的力通過力反饋作用驅動操作臺產生反饋力的作用。
3.根據權利要求1所述的一種基于3D力反饋技術的內窺鏡微創手術三維仿真系統，其特征在于:所述操作臺由左右二組操作手臂構成，每組操作手臂，包括相連接的底座、大轉輪、支撐座、螺旋輪、電機、位置傳感器、旋轉輪蓋、操作桿、自轉微調撥盤、剪刀手柄、惰輪、軸承、直線導軌及鋼絲繩張緊裝置。
4.根據權利要求1所述的一種基于3D力反饋技術的內窺鏡微創手術三維仿真系統，其特征在于:所述攝像頭(al)、攝像頭(bl)、攝像頭(Cl)上都設有LED燈(3)。
5.根據權利要求1或4所述的一種基于3D力反饋技術的內窺鏡微創手術三維仿真系統，其特征在于:所述攝像頭(al)、攝像頭(bl)、攝像頭(cl)通過轉軸可作30度-120度旋轉。
【文檔編號】G09B23/28GK103903487SQ201310604682
【公開日】2014年7月2日 申請日期:2013年11月26日 優先權日:2013年11月26日
【發明者】夏春秋 申請人:深圳市唯特視科技有限公司