一種基于徑向樣條插值的軟組織三維視覺跟蹤方法
【技術領域】
[0001 ]本發明屬于視覺跟蹤技術領域，更為具體地講，涉及一種基于徑向樣條插值的軟 組織三維視覺跟蹤方法。
【背景技術】
[0002] 近年來，以內窺鏡手術為代表的微創手術越來越多的用于臨床醫療。在這類手術 中，醫生通過觀察探入內窺鏡反饋回的實時影像，操控微創手術器械完成復雜的心臟外科 手術。
[0003] 以脫栗冠脈搭橋術(off pump CABG)為例，這種心臟不停跳的手術可使患者擺脫 人工心肺機，降低體外循環對患者身體的損害，降低并發癥的風險，縮短患者的康復時間。 但是由于直接視覺的缺失，手術醫生無法準確、直觀的感知跳動心臟表面手術區域的三維 運動，這給完成復雜精細的手術操作帶來困難。
[0004] 為了給手術醫生提供實時、準確的軟組織三維運動信息，國外學者嘗試利用各種 傳感器跟蹤軟組織的三維運動。由于微創手術空間狹小，無法植入大型三維掃描設備，人體 軟組織結構復雜又含較多的非線性形變，軟組織三維跟蹤成為醫學工程領域中的難點。在 不需要額外測量設備，基于立體內窺鏡的軟組織三維視覺跟蹤逐漸受到科研和臨床界的重 視 。W.Lau等在文獻〈〈Stereo-based endoscopic tracking of cardiac surface deformation》中利用B樣條模型基于立體內窺鏡影像對心臟表面形變進行三維跟蹤， D · Stoyanov等在文獻〈〈A practical approach towards accurate dense 3-D depth recovery for robotic laparoscopic surgery》中則使用分片雙線性映射模型在機器人 輔助內窺鏡手術中對心臟表面進行三維重構和跟蹤，R.Richa等在文獻《Three-dimensional motion tracking for beating heart surgery using a thin-plate spline deformable model》中使用薄板樣條模型跟蹤跳動心臟表面的運動。
[0005] 然而，上述方法中所采用的形變模型通常較為復雜，很難實時應用；同時由于模型 較復雜，在每一幀模型參數求解時，往往無法獲得最優的參數解，甚至導致迭代求優算法無 法收斂，最終導致跟蹤失敗。而現有的簡單形變模型，如線性仿射變換模型，在用于跟蹤時 通常可以滿足實時性要求，但由于無法準確描述軟組織表面的非線性形變，因而無法獲得 精確的三維跟蹤結果。

【發明內容】

[0006] 本發明的目的在于克服現有技術的不足，提供一種基于徑向樣條插值的軟組織三 維視覺跟蹤方法，通過構造了一種低復雜度的非線性空間形變模型，可以在每一幀快速的 求解出模型參數，實現對軟組織目標區域實時、準確的三維視覺跟蹤。
[0007] 為實現上述發明目的，本發明一種基于徑向樣條插值的軟組織三維視覺跟蹤方 法，其特征在于，包括以下步驟：
[0008] (1)、將立體內窺鏡獲取的首幀k = 1左圖像記為IL1;
[0009] (2)、確定三角形目標區
[0010] 在左圖像IL1中，確定需要跟蹤的三角形目標區，其三個頂點的像素坐標分別用二 維列向量表示為:m a，mb和mc;在三角形目標區內包含的N個像素點，其坐標分別記為:nu， m2，· · ·，Ι?Ν;
[0011] (3)、保存跟蹤模板
[0012] 從左圖像IL1中提取目標區內N個點的像素值，按順序排列并保存為N維行向量，記 為：
[0013] T=[lLi(mi) lLi(m2) ... iLi(mN)]
[0014] 其中，lLi(mn)為左圖像Ili中像素點mn(n = l，2,…，N)的像素值；
[0015] (4)、根據步驟(2)確定的三角形目標區，構造徑向樣條插值三維形變模型；
[0016] (4.1)、構造模型的設計矩陣
[0018]其中，三維列向量λη(η= 1，2，. . .，N)為施在三角形目標區中的重心坐標，由下式獲 得：
[0020] λ。為三角形目標區外接圓圓心的重心坐標，由下式獲得：
[0022] 8η(η=1，2，···，Ν)為像素點施的徑向樣條插值系數，由下式計算：
[0024]其中，111。= [ma mb mc]A。為三角形目標區外接圓圓心的像素坐標；
[0025] (4.2 )、構造徑向樣條插值三維形變模型
[0026] P=[pa pb pc p0]Q
[0027]其中，模型參數口3，、口。、口。分別為三角形目標區的三個頂點1113、1111 )、111。，和外接圓圓 心m。在真實三維空間中的三維坐標列向量;3 XN維的輸出矩陣P包含了三角形目標區N個像 素點的三維坐標，即P=[P1 p2…PN]，其中pn為像素點施對應的三維坐標；
[0028] (5)、獲得第k幀的左右圖像
[0029] 將立體內窺鏡獲取的第k幀左、右圖像分別記為ILk、IRk; (6)、基于步驟⑷構造的 三維形變模型，求解最優的模型參數，使左、右圖像ILk、IRk與模板T之間最匹配，可用以下方 程表示為：
[0031] 其中，;為最優的模型參數，它們使目標函數I |Il-t| |2+| |IR-T| I2最小；
[0032] Il= [ iLkCn/l) iLkCn/2) · · · iLkCn/n) ]、Ir= [ lRk(m〃i) lRk(m〃2) · · · lRk(m%)]分 別為三角形目標區內N個點在第k幀左、右圖像中的像素值排列而成的行向量，其中π/4Pm〃n 為mn在第k幀左、右圖像中的新坐標；
[0033] (7)、輸出目標區三維形態
[0034] 將步驟(6)獲得的模型參數代入模型方程，得：
[0035] Ρ^=[? pi P* Po'lQ
[0036] 輸出矩陣P*包含了目標區N個點在第k幀時刻的三維坐標，從而獲得目標區三維形 態；
[0037] (8)、k = k+l:等待下一幀圖像到來，幀序號加1，然后返回步驟(5)。
[0038]進一步的，所述的步驟(6)中，像素點施在第k幀左、右圖像中的新坐標n/ JPm"n的 計算方法為：
[0040]其中，pn為像素點_對應的三維坐標，α和CR分別為立體內窺鏡左、右相機的投影 矩陣，Φ是從三維齊次坐標到二維像素坐標的投影函數，具體定義如下：
[0042]其中，?、F、泛代表任意的三維向量。
[0043]本發明的發明目的是這樣實現的：
[0044]本發明基于徑向樣條插值的軟組織三維視覺跟蹤方法，在基于軟組織圖像的三角 形目標區下，構造了一種低復雜度的非線性空間的三維形變模型，在每一幀圖像下通過快 速求解出三維形變模型的最優參數，實現對軟組織圖像的目標區域實時、準確的三維視覺 跟蹤，具有簡單、靈活等特點，符合當前臨床醫療發展的需要。
[0045] 同時，本發明基于徑向樣條插值的軟組織三維視覺跟蹤方法還具有以下有益效 果：
[0046] (1)、運算量低、實時性好：由于所構造的徑向樣條插值模型僅有四個控制點，即三 個頂點加外接圓圓心，共3X4個模型參數，求解簡單快速，因此可以在每一幀實時求解模型 參數，實現對目標區的實時三維跟蹤。
[0047] (2)、跟蹤準確性好:盡管所采用的形變模型較簡單，但其包含線性仿射變換和非 線性徑向三次樣條插值兩部分;在第二部分使用的三次樣條曲線可以較好的擬合軟組織表 面的非線性特性;因此可以獲得較好的跟蹤結果。
[0048] (3)、模型參數具有實際物理意義，可在每一幀直接獲得目標區三個頂點和外接圓 圓心的三維坐標，方便對跟蹤結果的直接使用。
[0049] (4)、采用三角形目標區，目標區劃定更靈活，容易避開易對跟蹤產生不利影響的 無特征或動態特征區域，以及容易被手術器械遮擋的區域。
【附圖說明】
[0050] 圖1是本發明基于徑向樣條插值的軟組織三維視覺跟蹤方法流程示意圖；
[0051] 圖2是圖1中構造徑向樣條插值模型的原理示意圖；
[0052]圖3是本發明實施例的三維跟蹤結果示意圖。
【具體實施方式】
[0053]下面結合附圖對本發明的【具體實施方式】進行描述，以便本領域的技術人員更好地 理解本發明。需要特別提醒注意的是，在以下的描述中，當已知功能和設計的詳細描述也許 會淡化本發明的主要內容時，這些描述在這里將被忽略。
[0054] 實施例
[0055] 本發明的基本思想是通過構造一種簡單的空間形變模型快速匹配軟組織目標區 在當前幀的三維形態，實現實時的三維視覺跟蹤。所構造的形變模型包含兩部分:第一部分 為線性仿射變換，第二部分為非線性的三次樣條插值。盡管模型簡單、復雜度低，僅需求解 四個(三個頂點加外接圓圓心)控制點的三維坐標(共12個模型參數），但是由于利用了三次 樣條函數匹配軟組織表面的非線性形變，因此可以實現對軟組織目標區的實時、精確三維 跟蹤。
[0056] 下面結合附圖對本發明進行詳細說明，具體如下：
[0057]圖1是本發明基于徑向樣條插值的軟組織三維視覺跟蹤方法流程示意圖。
[0058]在本實施例中，如圖1所示，本發明一種基于徑向樣條插值的軟組織三維視覺跟蹤 方法具體包括以下流程：
[0059] S1、獲取k = 1幀左圖像:將立體內窺鏡獲取的首幀(k = 1)左圖像記為IL1。
[0060] S2、確定三角形目標區：在左圖像IL1中，確定需要跟蹤的三角形目標區，其三個頂 點的像素坐標分別用二維列向量表示為:m a，mb和mc;在三角形目標區內包含的N個像素點， 其坐標分別記為:mi，m2，· . ·，mN。
[0061] S3保存跟蹤模板:從圖像Iu中提取目標區N個像素點的像素值，按其位置順序(如 從左至右或由上而下)排列并保存為N維行向量，記為：
[0062] T=[lLi(mi) lLi(m2)…iLi(mN)]
[0063] 其中，IL1(mn)為左圖像IL沖像素 Amn(n = l，2,…，N)的像素值。
[0064] S4、構造徑向樣條插值模型:根據步驟S2確定的目標區，構造徑向樣條插值三維形 變模型；
[0065]首先，構造模型的設計矩陣
[0067]其中，三維列向量λη(η= 1，2，. . .，N)為施在三角形目標區中的重心坐標，由下式獲 得：
[0069] λ。為三角形目標區外接圓圓心的重心坐標，由下式獲得：
[0071] 8η(η=1，2，···，Ν)為像素點施的徑向樣條插值系數，由下式計算：
[0073]其中，1