本發明屬于計算機視覺、數字圖像處理技術領域，具體涉及一種基于肝臟超聲造影圖像的實時跟蹤及定量分析方法。

背景技術：

目前，造影成像逐漸成為醫學診斷的重要手段。而造影圖像序列中感興趣區域觀察點的跟蹤及量化分析，可以輔助臨床醫生對肝臟疾病進行科學的判斷和決策，節約醫生的診斷時間，減少主觀判斷帶來的影響。

隨著造影成像技術和跟蹤方法的發展，對感興趣區域的客觀量化分析也逐漸發展起來，現實中造影參數的定性量化是對選取的感興趣區域觀察點進行跟蹤分析，其中時間強度曲線(tic)不僅可以提供直觀的視覺量化，而且通過分析計算還可以得到定量參數，如曲線下面積、峰值強度、達峰強度、增強時間、增強密度等等，進一步輔助醫生更客觀的進行分析。但是在超聲造影診斷中，由于跟蹤技術的不足和肝臟組織形變、甚至導致觀察點消失的問題，給造影圖像的跟蹤和定量分析帶來一定的難度和挑戰性，其中主要存在以下兩點不足：

一是目標跟蹤技術的不足，傳統的跟蹤方法對目標變形、旋轉變化、遮擋等適應性強的特點得到重視和研究，但是在描述目標的特征選擇上比較單一。趙悅等人利用超聲圖像的紋理信息訓練神經網絡，改進傳統的運動跟蹤方法，提高目標跟蹤的精確度，但是復雜背景下的感興趣區域跟蹤，尤其是非剛性的運動序列圖像，存在著遮擋、變形、漂移等不可控因素，導致跟蹤效果不佳，甚至跟蹤失敗。

二是外界不可控因素的限制，如探頭的不斷移動和人體的呼吸，以致組織運動發生形變、感興趣區域消失，進而造成參數量化指標抖動劇烈、峰值極低，使得擬合的參數曲線視覺效果不利于醫務工作者的定量分析和病情診斷。王本剛等人通過彩色編碼當前感興趣區域，獲取參數分析曲線及造影速度曲線，但是并未考慮目標區域消失的現象，所以現有的定量分析技術并未充分考慮到上述情況，不利于定性計算出平滑且穩定的時間強度曲線。

綜合上述，由于肝臟組織的形變和造影圖像的復雜性，肝臟超聲造影圖像的實時多目標跟蹤及定量分析仍面臨著挑戰。

技術實現要素：

鑒于現有技術的不足，本發明提供一個肝臟造影圖像感興趣區域跟蹤及定量分析的方法，針對造影圖像中關鍵區域跟蹤過程中組織形變導致觀察點漂移甚至消失的問題，采用深度學習模型和傳統算法相結合的方法跟蹤感興趣區域，再使用插值法準確的定量分析時間強度曲線。

本發明的技術方案是：

一種基于肝臟超聲造影圖像的實時跟蹤及定量分析方法，其特征在于，包括以下步驟：

s1、根據獲得的造影序列圖像，選擇目標區域進行跟蹤；

s2、提取選擇的目標區域的特征，通過判別分類器獲取跟蹤結果；

s3、判斷當前跟蹤結果的準確性，丟棄準確度低的圖像，獲得有效的量化參數穩定的時間強度曲線。

進一步的，所述步驟s1的具體方法為：

s11、根據獲得的造影序列圖像，輸入連續的圖像幀；

s12、在初始幀中手動選擇目標作為待跟蹤區域，首先采用方向梯度直方圖進行特征提取；

s13、計算第k-1幀中待跟蹤區域的光流分量：

在第k-1幀中待跟蹤區域附近隨機地抽取n個粒子，計算各粒子區域的光流分量；

s14、獲得當前幀的光流場：

根據目標運動在序列圖像鄰幀之間的連續性和流動性，計算光流向量場，即對第k-1幀中圖像的特征點(ux，uy)，求出其在當前幀圖像中的位置偏移，即圖像在點u處的運動速度，也就是像素點的光流；

s15、計算每個粒子的權重：

利用直方圖相似性度量計算粒子區域與目標區域的相似度，將歸一化后的值作為粒子權重；

s16、根據獲得的權重對粒子區域重新分布：

更新粒子，權值大的地方多放置粒子，其他區域少放置粒子；

s17、根據放置的粒子，確定目標候選區域。

進一步的，所述步驟s2的具體方法為：

s21、獲取候選樣本：

當新的一幀即當前幀到達時，根據步驟s17中產生的若干個候選目標的矩形區域，以這些區域作為候選樣本；

s22、對候選樣本預處理：

采取尺度歸一化的方式對獲取的候選樣本區域進行預處理，即將圖片縮放到統一的尺寸大小；

s23、利用深度神經網絡提取多個候選區域的特征，通過判別分類器獲取跟蹤結果：

s231、特征預訓練：

選擇卷積神經網絡作為學習模型，使用稀疏自動編碼機的方法，采集大量的圖片進行無監督的特征訓練，通過預訓練網絡過程來獲得卷積神經網絡使用的濾波器參數，使得后續能提取候選樣本區域的邊緣特征；

s232、選擇網絡結構：

選擇有5個卷積層和3個全連接層的網絡結構，將候選目標矩形框作為網絡的輸入端，進行特征提取計算，最后經過全連接層后，輸出特征向量；

s233、通過判別分類器獲取跟蹤結果：

采用支持向量機svm對候選區域進行分類，將步驟s232中提取得到的特征向量作為判別分類器的輸入，得到的概率p定義為跟蹤目標的置信度，選擇最高的置信度pmax作為當前幀目標跟蹤的最終結果。

進一步的，所述步驟s3的具體方法為：

s31、通過相似度匹配判定當前跟蹤結果的準確性：

s311、獲得第一幀圖像的直方圖特征和當前幀結果的直方圖特征；

s312、根據直方圖特征，用巴氏系數算法求出這兩個圖像的相似度d，其計算公式如下所示：

其中，f1和f2分別代表肝臟造影序列圖像的第1幀和第2～n幀，i為圖像像素灰度值的概率分布，d表示巴氏系數∈[0,1]，為0表示f1，f2分布完全一致，1表示完全不同；

s313、定義閾值θ，將巴氏系數值d與設定的閾值θ進行比較：

當d<θ時，表示當前跟蹤效果較好，得到的相似度最大，直接輸出目標正確的位置；反之，即d>θ時，表示當前跟蹤的效果較差，丟棄該幀圖像，然后循環下一幀繼續跟蹤；

s32、采用三次樣條插值法擬合時間強度曲線：

s321、根據步驟s313中獲得的跟蹤效果好的圖像，計算其造影圖像的灰度值，將灰度值轉換成造影強度；

s322、將當前所有幀的造影強度按照每一幀的時間順序顯示出來，形成原始時間強度曲線；

s323、采用三次樣條插值函數平滑處理，以消除周期性波動干擾帶來的參數誤差，得到平滑穩定的時間強度曲線；

s324、計算造影特征量化參數，包括曲線下面積area，峰值強度pi，增強時間te，增強密度de。

本發明的有益效果是：本發明設計了一種基于肝臟超聲造影圖像的實時多目標跟蹤及定量分析方法，通過該方法，可以達到較好的實時跟蹤效果，獲得平滑且穩定的時間強度曲線，量化分析病變特征，進而給醫生提供客觀準確的參考價值，具有臨床應用意義。

附圖說明

圖1為本發明方法的總體流程圖；

圖2為粒子濾波和光流法相結合的跟蹤流程圖；

圖3為基于深度學習框架的跟蹤流程圖；

圖4為擬合及量化時間強度曲線流程圖。

具體實施方式

下面結合附圖，詳細描述本發明的技術方案：

如圖1所示是本發明的總體方案流程圖，主要包括以下三個步驟：

步驟1、采用全局光流法和粒子濾波法，建立目標搜索策略，對候選區域進行跟蹤計算，流程見附圖2；

步驟2、利用深度神經網絡提取多個候選區域的特征，獲取跟蹤結果，確定跟蹤區域，流程見附圖3；

步驟3、根據跟蹤結果，量化觀察點區域的造影參數，擬合出穩定的時間強度曲線，流程見附圖4。

步驟1、建立目標搜索策略

采用全局光流法和粒子濾波法，建立目標搜索策略，對候選區域進行跟蹤計算。首先通過粒子濾波算法實現對觀察點區域的跟蹤，其中采用全局微分光流法計算光流向量場，通過計算粒子區域與目標區域的相似度作為粒子權重，在靠近目標區域的地方多放置粒子，遠離目標區域的地方少放置粒子，從而對候選區進行跟蹤。

因此，流程如附圖2所示。其中，關鍵步驟主要包括：

1)初始化階段；

在跟蹤感興趣區域之前，需要在初始幀圖像中手動選擇感興趣觀察點，作為待跟蹤區域。首先初始區域采用方向梯度直方圖hog特征算子計算出該目標特征。hog特征提取算法具體為：

a.采用gamma校正法對輸入的造影圖像進行顏色空間歸一化，調節圖像的對比度，抑制噪聲的干擾，這里采用gamma平方根方法進行校正；

b.對經過歸一化后的圖像，計算圖像每個像素的梯度(包括大小和方向)，分別在其水平和垂直方向進行計算，梯度算子為：水平方向[-101]，垂直方向[-101]^t；

c.將圖像劃分為若干個小細胞單元cell，初步設置為3*3的9個像素為一個cell，統計每個cell的梯度直方圖，將所有的梯度方向劃分為9個，即每個cell有9維的特征向量；

d.將多個cell組合成大的塊block，在塊內歸一化梯度直方圖，最后形成特征向量。初步選取2*2的cell組成一個block，在上一步驟中每個cell含有9維特征向量，因此每個block由4*9共36維特征向量。

上述步驟之后，已經得到指定跟蹤目標的輪廓等邊緣特征，后面幀序列中通過目標搜索策略確定跟蹤對象。

2)基于光流場的目標搜索；

在上一幀即k-1幀目標附近隨機地抽取n個粒子，計算各粒子區域的微分光流量，根據目標運動在序列圖像鄰幀之間的連續性和流動性，得到第k幀的光流場，對上一幀圖像的特征點(ux，uy)，求出其在當前幀圖像中的位置偏移，即圖像在點u處的運動速度，也就是像素點的光流；

3)權重評價階段；

利用直方圖相似性度量對預測粒子進行評價，計算當前k幀圖像粒子區域與初始目標區域的相似度，將歸一化后的值作為粒子權重，越接近于跟蹤目標的粒子，其權重越大，采用的直方圖相交法公式如下：

其中，m和n分別是含有n個bin的第k幀圖像和初始圖像的直方圖，分量分別為m(i),n(i)，其中i＝1,2,……,n。

4)重采樣階段；

a.根據權重，更新粒子，權值大的地方多放置粒子，其他區域少放置粒子。由于待跟蹤區域隨著全局光流場的流動性，由權重更新粒子區域，以此增加待跟蹤區域的準確性；

b.根據放置的粒子，確定目標候選區域r。

將確定的候選目標區域r，即[r1,r2,……,rn]作為下一步深度神經網絡模型的候選樣本。

步驟2、基于深度神經網絡的特征提取。

利用深度網絡模型提取圖像塊特征，這里采用卷積神經網絡cnn，提取上一步中候選樣本的代表性特征，該方法框架包括：選取候選樣本、樣本預處理、特征預訓練、學習模型和網絡結構的選擇、判別性分類器等部分。流程如附圖3所示。具體過程描述如下：

1)候選樣本；

當新的一幀即第k幀到達時，將上一步產生的若干個候選目標的矩形區域r，以這些區域作為樣本，作為當前卷積神經網絡的輸入。

2)樣本預處理；

采取尺度歸一化的方式對步驟1確定的候選樣本區域進行預處理，將圖片縮放到統一的尺寸大小。

3)特征預訓練；

由于少量的初始信息不能訓練出很多的模型參數，因此這一步利用輔助的數據集，使用稀疏自動編碼機的方法，采集大量的圖片進行無監督的特征訓練，通過預訓練網絡過程來獲得卷積網絡時使用的濾波器參數，使得后續能提取候選樣本區域的邊緣特征。

4)學習模型和網絡結構的選擇；

選擇卷積神經網絡cnn作為學習模型，cnn的基本結構包括特征提取層和特征映射層，其中特征提取層即卷積層，其使用的濾波器參數在步驟2中的(3)已通過預訓練調整獲得，因此能提取一定程度的邊緣特征，背景所在的冗余信息也會得到一定程度的減少。

由于考慮到算法的執行速度要達到實時性的要求，保證提取特征的同時，需達到應用的需求，所以沒有采用特別多層和復雜的結構，初步設計的網絡結構有5個卷積層和3個全連接層，同時利用relu等多種防止過擬合的技術。

將步驟1產生的若干個候選目標矩形框[r1,r2,……,rn]作為網絡的輸入端，通過卷積神經網絡的特征提取，最后經過全連接層后，輸出特征向量，作為下一步判別器的輸入。

5)判別性分類器；

為了對上述步驟中的光流法和粒子濾波采樣的候選區r進行分類評價，用于判別新的輸入是否為目標，采用支持向量機svm對候選區域進行分類，將上一步提取得到的邊緣輪廓等代表性的特征向量作為判別分類器的輸入，得到的概率p定義為跟蹤目標的置信度，選擇最高的置信度pmax作為當前幀目標跟蹤的最終結果。

步驟3、量化分析待跟蹤區域的造影參數。

由于探頭的移動、組織形變帶來的計算誤差會體現在時間強度曲線上，進而使得計算出來的時間強度曲線變化劇烈。因此需要對異常幀數據進行處理，如觀察點消失導致跟蹤失敗，則視為異常幀，直接丟棄該幀圖像，從而獲得穩定的曲線和有效的量化參數。如附圖4所示，具體過程描述如下：

步驟3.1、通過相似度匹配判定當前跟蹤結果的準確性。

構建判定標準來評估當前幀跟蹤結果與第一幀感興趣區域之間的特征相似度，將輸出得到的抽象特征，采用直方圖相似度匹配中的巴氏距離方法進行判定。主要包括：

1)獲得第一幀圖像的直方圖特征和當前幀結果的直方圖特征；

2)根據直方圖特征，用巴氏系數算法求出這兩個圖像的相似度d，其計算公式如下所示；

其中，f1和f2分別代表肝臟造影序列圖像的第1幀和第2～n幀。i為圖像像素灰度值的概率分布，d表示巴氏系數∈[0,1]，為0表示f1，f2分布完全一致，1表示完全不同。

3)定義閾值θ，將巴氏系數值d與設定的閾值θ進行比較；

當d<θ時，表示當前跟蹤效果較好，得到的相似度最大，直接輸出目標正確的位置。反之，即d>θ時，表示當前跟蹤的效果較差，丟棄該幀圖像，然后循環下一幀再利用深度學習和傳統算法相結合的方法繼續跟蹤。

步驟3.2、采用三次樣條插值法擬合時間強度曲線。

由于觀察點區域造成跟蹤不到或者跟蹤失敗的情況，造成擬合的時間強度曲線抖動劇烈、峰值極低，不利于臨床醫生直觀的診斷。因此，在匹配判定后丟棄異常幀的情況下，使用有限且有效的點得到一條平滑的時間強度曲線。鑒于高次插值不收斂又不穩定的特點，低次插值既具有收斂性又具有穩定性，但是低次插值的光滑性較差，不滿足實際應用。因此，采用三次樣條函數對造影參數進行量化。

1)計算造影圖像關鍵區域內的信號強度：

在上述步驟中，若判定出得到的跟蹤效果較差，則丟棄該幀的造影圖像；否則，計算其造影圖像的灰度值，將灰度值轉換成造影強度。

2)建立原始時間強度曲線(tic)：

將當前所有幀的造影強度按照每一幀的時間順序顯示出來，形成原始時間強度曲線。

3)三次樣條插值法擬合：

采用三次樣條插值函數平滑處理，以消除周期性波動干擾帶來的參數誤差，得到平滑穩定的時間強度曲線。

4)計算造影特征量化參數：曲線下面積area，峰值強度pi，增強時間te，增強密度de。