圖像處理裝置、圖像處理方法以及程序的制作方法
【技術領域】
[0001 ] 本發明涉及圖像處理裝置、圖像處理方法以及程序等。
【背景技術】
[0002]在處理動態圖像、或連續的龐大的圖像列時，基于在短時間內掌握整體概要的觀點，通過從這些連續的圖像列中提取有用的圖像而生成精簡后的圖像列已發展為有用的技術領域。例如，利用當前所使用的通常的膠囊型內窺鏡拍攝的被檢體內圖像在膠囊型內窺鏡從口中吞入到被排出到體外之間，每隔大約0.5秒進行拍攝，從而成為大約60，000張連續的圖像列。對于這些圖像，依次對消化管內進行拍攝，在工作站等中顯示圖像并觀察，由此進行診斷。但是，依次觀察多達大約60，000張的大量的所有圖像要耗費大量的時間，期望用于高效地進行觀察的技術。
[0003]例如通過圖像處理從這樣的圖像列檢測病變部，即使在僅要顯示檢測出病變的圖像的情況下，也較多產生連續拍攝同一病變的情況，檢測出這些病變的圖像也成為連續檢測了同一病變的圖像列。在顯示所有這些圖像時，雖然拍攝了不同的圖像，但反復觀察同一病變，從而過程冗長，因此基于省力化的觀點，期望將拍攝了同一病變的圖像列精簡為較少數的圖像列等、尚效的顯不。
[0004]公開了在時間序列的多個圖像中，判定拍攝在各圖像中的被攝體是否相同的方法。例如在專利文獻1中公開了具有以下部件的追蹤裝置:對象物檢測單元，其從所輸入的圖像信息中，檢測對象物；距離和位置測量單元，其在由所述對象物檢測單元檢測出了所述對象物的情況下，測量所述對象物相對于所述拍攝單元的距離和位置；移動范圍取得單元，其取得每1幀圖像相對于所述對象物的移動范圍；以及判定單元，其根據由所述移動范圍取得單元得到的移動范圍，判定按照每幀檢測出的對象物是否相同。
[0005]并且在專利文獻2中公開了以下的侵入物檢測追蹤裝置:在未檢測出判斷為與侵入物相同的當前侵入物的情況下，檢測從該時刻起的消失時間，在消失時間為預先設定的消失確認時間以下的情況下，維持前一侵入物的估計侵入物狀態(估計位置和估計幾何學的特征量)作為當前侵入物的估計侵入物狀態，使用這些估計位置和估計幾何學的特征量，對從下次之后的圖像數據中檢測出的侵入物進行同一性判斷。
[0006]現有技術文獻
[0007]專利文獻
[0008]專利文獻1:日本特開號公報
[0009]專利文獻2:日本特開號公報
[0010]專利文獻3:日本特開號公報
[0011]專利文獻4:日本特開號公報

【發明內容】

[0012]發明所要解決的課題
[0013]在專利文獻1中，估計作為對象的物體的移動范圍，基于在估計出的移動范圍內是否拍攝到了同樣特性的物體，進行了同一性的判定。此外，在專利文獻2中，在未檢測出對象物體的期間內，通過線性近似，根據檢測出的期間的物體區域的歷史，進行物體位置的估計，基于估計結果，進行了同一性的判定。
[0014]專利文獻1、專利文獻2均假設了以下情況:作為對象的物體、和作為該物體的背景而拍攝到的被攝體是剛體的，且獨立移動。但是，在由內窺鏡裝置拍攝的活體內圖像中，被攝體進行非剛體的(彈性的)的運動。例如，如果是拍攝腸內而得到的消化管圖像，則由于腸子的蠕動運動，被攝體的形狀較大程度地變化。因此，即使將假設了物體的移動是線性的專利文獻1或專利文獻2的方法應用到以活體內圖像為對象的圖像列，也無法以足夠的精度判定物體的同一性。其結果，在圖像精簡處理中，存在以下可能:由于刪除不應刪除的圖像而產生信息的缺失，或者由于未刪除能削除的圖像，用戶(醫生)的省力化的效果下降。
[0015]根據本發明的幾個方式，可提供一種使用基于圖像中的至少特征區域以外的區域而求出的變形信息，進行特征區域的同一性判定處理，由此能夠實現精度高的圖像精簡處理的圖像處理裝置、圖像處理方法以及程序等。
[0016]用于解決課題的手段
[0017]本發明的一個方式涉及一種圖像處理裝置，其包含:圖像列取得部，其取得具有連續的第1?第N(N為2以上(包含該值)的整數)圖像的圖像列；變形信息計算部，其在所述圖像列中求出表示兩個圖像間的變形的變形信息；特征區域檢測部，其在所述第1?第N圖像的各圖像中進行特征區域的檢測處理；同一性判定部，其基于第i圖像中的作為所述特征區域的所述檢測處理的結果的第i特征區域、第i+Ι圖像中的作為所述特征區域的所述檢測處理的結果的第i+Ι特征區域、和作為所述第i圖像與所述第i+Ι圖像之間的所述變形信息的h(i，i+Ι)，進行所述第i特征區域與所述第i+Ι特征區域的同一"性判定處理；以及精簡處理部，其基于所述同一性判定處理的結果，進行針對所述圖像列的圖像精簡處理，所述變形信息計算部基于所述第i圖像中的至少包含所述第i特征區域以外的區域的第i變形估計對象區域、和所述第i+Ι圖像中的至少包含所述第i+Ι特征區域以外的區域的第i+Ι變形估計對象區域，求出h(i，i+1)。
[0018]在本發明的一個方式中，基于包含特征區域以外的區域的變形估計對象區域，求出變形信息，并使用所求出的變形信息，進行特征區域的同一性判定處理。通過使用變形信息，即使在被攝體進行彈性的變形的情況下，也能夠高精度地進行同一性的判定，能夠提高圖像精簡處理的精度等。此外，通過在變形信息的計算中使用特征區域以外的區域的信息，能夠高精度地計算變形信息等。
[0019]此外，在本發明的一個方式中，也可以是，還包含變形估計處理部，所述變形估計處理部進行如下的變形估計處理:基于所述第i特征區域和h(i，i+1)，求出第i變形區域，所述第i變形區域是將所述第i特征區域投影到所述第i+Ι圖像而得到的區域，所述同一性判定部基于通過所述變形估計處理而得到的所述第i變形區域、和所述第i+Ι特征區域，進行所述第i特征區域與所述第i+Ι特征區域的所述同一性判定處理。
[0020]由此，通過使用變形信息求出變形區域，能夠進行特征區域的高精度的同一性判定處理等。
[0021]此外，在本發明的一個方式中，也可以是，所述圖像列取得部取得時間序列的活體內圖像，作為所述圖像列，所述特征區域檢測部檢測所述活體內圖像內的病變區域和異常粘膜區域中的至少一方的區域，作為所述特征區域。
[0022]由此，能夠執行將活體內圖像作為對象的圖像精簡處理等。
[0023]此外，在本發明的一個方式中，也可以是，所述變形信息計算部基于所述第i圖像中的至少包含正常粘膜區域的所述第i變形估計對象區域、和所述第i+Ι圖像中的至少包含所述正常粘膜區域的第i+Ι變形估計對象區域，求出所述變形信息。
[0024]由此，能夠設定包含正常粘膜區域的變形估計對象區域等。
[0025]此外，在本發明的一個方式中，也可以是，在所述同一性判定部中沒有判定為拍攝有同一所述特征區域的情況下，所述同一性判定部繼續規定張數的、基于所述變形信息的處理，在所設定的張數以內的圖像中檢測出所述特征區域的情況下，進行所述同一性判定處理。
[0026]由此，即使在未發現同一特征區域的情況下，也能夠繼續規定張數的處理等。
[0027]此外，在本發明的一個方式中，也可以是，在由于在所述第i+Ι圖像中未檢測出所述特征區域，而在所述同一性判定部中沒有判定為所述第i特征區域與所述第i+Ι特征區域相同，所述同一性判定部基于所述第i特征區域、所述第i+2圖像中的作為所述特征區域的所述檢測處理的結果的第i+2特征區域、和作為所述第i圖像與第i+2圖像之間的所述變形信息的h(i，i+2)，進行所述第i特征區域與所述第i+2特征區域的所述同一性判定處理。
[0028]由此，通過對第i特征區域累計進行變形估計處理，能夠進行第i特征區域、和不與第i圖像相鄰的第i+2圖像中的特征區域的同一性判定處理等。
[0029]此外，在本發明的一個方式中，也可以是，所述同一性判定部在沒有判定為所述第i特征區域、和所述第i+k(k為整數)圖像中的作為所述特征區域的所述檢測處理的結果的第i+k特征區域相同，且k 3 Th(Th為給定的整數)的情況下，結束與所述第i特征區域相關的所述同一性判定處理，所述同一性判定部在沒有判定為所述第i特征區域、和所述第i+k特征區域相同，且k < Th的情況下，基于所述第i特征區域、所述第i+k+Ι圖像中的作為所述特征區域的所述檢測處理的結果的第i+k+Ι特征區域、和作為所述第i圖像與第i+k+Ι圖像之間的所述變形信息的h(i，i+k+1)，進行所述第i特征區域與所述第i+k+Ι特征區域的所述同一性判定處理。
[0030]由此，通過對第i特征區域累計進行變形估計處理至規定張數，能夠進行第i特征區域、和不與第i圖像相鄰的第i+k圖像中的特征區域的同一性判定處理等。
[0031]此外，在本發明的一個方式中，也可以是，所述變形信息計算部求出圖像內的至少1個位置處的圖像間運動矢量，作為所述變形信息，所述同一性判定部基于所述第i特征區域、所述第i+ι特征區域、所述第i圖像與所述第i+ι圖像之間的所述圖像間運動矢量，進行所述第i特征區域與所述第i+ι特征區域的所述同一性判定處理。
[0032]由此，能夠將運動矢量用作變形信息等。
[0033]此外，在本發明的一個方式中，也可以是，所述同一性判定部基于第i變形區域和所述第i+Ι特征區域的形狀信息、顏色信息、紋理信息和在圖像內的位置信息中的至少1個信息，進行所述同一性判定處理，所述第i變形區域是使用h(i，i+1)將所述第i特征區域投影到所述第i+1圖像而得到的區域。
[0034]由此，能夠使用各種信息中的至少1個信息，進行同一性判定處理等。
[0035]此外，在本發明的一個方式中，也可以是，所述同一性判定部基于h(i，i+1)的可靠度，進行所述第i特征區域與所述第i+Ι特征區域之間的所述同一性判定處理。
[0036]由此，能夠基于變形信息計算的可靠度，進行同一性判定處理等。
[0037]此外，在本發明的一個方式中，也可以是，所述精簡處理部包含:圖像組設定部，其基于所述同一性判定處理的結果，設定所述第1?第N圖像中的、由被判定為拍攝了同一所述特征區域的圖像構成的同一特征區域圖像組；以及精簡圖像列生成部，其通過從所述圖像組設定部所設定的所述同一特征區域圖像組中至少選擇1張代表圖像，生成精簡圖像列。
[0038]由此，能夠通過圖像組的設定處理、和代表圖像的選擇處理來實現圖像精簡處理等。
[0039]此外，在本發明的一個方式中，也可以是，所述精簡處理部基于所述同一特征區域圖像組所包含的各圖像中的所述特征區域的面積信息、所述特征區域的顏色信息、所述特征區域的紋理信息、所述特征區域在圖像內的位置信息以及所述特征區域的所述檢測處理的可靠度信息中的至少1個信息，選擇所述代表圖像。
[0040]由此，能夠使用各種信息中的至少1個信息，進行代表圖像的選擇處理等。
[0041]并且，本發明的另一方式涉及一種圖像處理方法，其中，進行取得具有連續的第1?第N(N為2以上(包含該值)的整數)圖像的圖像列的處理，進行在所述圖像列中求出表示兩個圖像間的變形的變形信息的變形信息計算處理，在所述第1?第N圖像的各圖像中，進行特征區域的檢測處理，基于第i圖像中的作為所述特征區域的所述檢測處理的結果的第i特征區域、第i+Ι圖像中的作為所述特征區域的所述檢測處理的結果的第i+Ι特征區域、和作為所述第i圖像與所述第i+Ι圖像之間的所述變形信息的h(i，i+1)，進行所述第i特征區域與所述第i+Ι特征區域的同一"性判定處理，基于所述同一"性判定處理的結果，進行針對所述圖像列的圖像精簡處理，在所述變形信息計算處理中，基于所述第i圖像中的至少包含所述第i特征區域以外的區域的第i變形估計對象區域、和所述第i+Ι圖像中的至少包含所述第i+Ι特征區域以外的區域的第i+Ι變形估計對象區域，求出h (i，i+Ι)。
[0042]此外，本發明的另一方式涉及使計算機作為上述各部件發揮功能的程序。
【附圖說明】
[0043]圖1是本實施方式的圖像處理裝置的系統結構例。
[0044]圖2是本實施方式的圖像處理裝置的詳細的系統結構例。
[0045]圖3的㈧?圖3的(C)是說明使用特征區域以外的區域求出變形信息的方法的圖。
[0046]圖4是第1實施方式的方法的說明圖。
[0047]圖5是第1實施方式的方法的另一說明圖。