內窺鏡系統的制作方法
【專利摘要】本發明提供一種內窺鏡系統，具備：照明部，其對于觀察對象照射普通光，并且能夠分別照射具有互不相同的峰值的多個窄頻帶光；圖像處理部，其基于從窺鏡前端部的圖像傳感器以規定時間間隔讀出的1幀/半幀量的像素信號生成觀察圖像，并且根據多個窄頻帶光照射生成多個光譜圖像；檢測部，其至少相對于多個光譜圖像檢測操作員照準部位；設定部，其決定包含檢測出的照準部位的診斷對象區域；光譜圖像處理部，其在相對于多個光譜圖像決定的多個診斷對象區域中提取光譜特性與其他不同的病變部，圖像處理部生成識別病變部的診斷圖像。
【專利說明】
內窺鏡系統
技術領域
[0001] 本發明涉及對體內器官等的被攝體進行拍攝并進行處置、手術等的內窺鏡系統， 特別涉及光譜圖像中的病變部提取。
【背景技術】
[0002] 在具備光譜圖像顯示功能的內窺鏡系統中，能夠將峰值不同的窄頻帶的光朝向觀 察對象照射，將與觀察目的相對應的圖像作為光譜圖像進行顯示。例如，在光路上配置具有 縮小了 R、G、B的光透射頻帶的離散的峰值光譜特性的（無重疊部分的）窄頻帶過濾器(例如 參照專利文獻1)。
[0003] 對病變部照射窄頻帶光時的反射光的光譜特性與對健康部照射時的光譜特性不 同。這是因為，血管中所含的氧合血紅蛋白、還原血紅蛋白濃度或病變部的生物體組織中所 含的物質與健康部不同。
[0004] 因此，將不同的窄頻帶的光依次照射觀察對象，生成多個光譜圖像數據，如果能夠 相對于一定波長域的光檢測光譜特性不同的區域，則就能夠確定病變部。這能夠通過使用 多元回歸分析等統計分析來實現。
[0005] 例如，考慮到病變部與健康部的氧合血紅蛋白、還原血紅蛋白的光譜特性存在差 異，依次照射處于5nm~800nm的范圍的窄頻帶的光，對得到的多個光譜圖像進行多元回歸 分析。通過多元回歸分析對每個像素確定氧合血紅蛋白、還原血紅蛋白的成分比例（貢獻 率），由此能夠顯示強調了病變部的觀察圖像(參照專利文獻2)。
[0006] 現有技術文獻
[0007] 專利文獻
[0008] 專利文獻1:日本特許第3607857號公報 [0009] 專利文獻2:日本特開2013 - 240401號公報

【發明內容】

[0010](發明要解決的技術問題）
[0011]在取得多個光譜圖像數據而確定病變部的情況下，如果使拍攝區域留在同一部 位，則不能正確地檢測各像素的光譜特性的差異。但是，在操作員持續保持窺鏡的內窺鏡作 業中，難以總是拍攝同一部位，并且在光譜圖像間于拍攝區域產生錯位。因此，可能會錯誤 地提取病變部。
[0012]因此，尋求即使在內窺鏡作業中拍攝區域發生變動，也能夠基于多個光譜圖像高 精度地提取病變部。
[0013](解決技術問題的技術方案）
[0014]本發明的內窺鏡系統具備對于觀察對象照射普通光的照明部、和基于從窺鏡前端 部的圖像傳感器以規定時間間隔讀出的1幀/半幀量的像素信號生成觀察圖像的圖像處理 部。照明部能夠將具有不同的峰值的多個窄頻帶光與普通光一同分別進行照射。例如，能夠 根據觀察模式的切換來切換普通光照射和多個窄頻帶光的連續照射。另外，圖像處理部能 夠從根據多個窄頻帶光照射而生成的圖像信號生成多個觀察圖像(以下稱為光譜圖像）。
[0015] 進而，本發明的內窺鏡系統具備至少相對于多個光譜圖像檢測操作員照準部位的 檢測部、決定包含檢測出的照準部位的診斷對象區域的設定部、在相對于多個光譜圖像決 定的多個診斷對象區域中提取光譜特性與其他不同的病變部的光譜圖像處理部。
[0016] 在此，"操作員照準部位"是指內窺鏡作業者在作為觀察對象的被攝體中注意、注 視的部位，表示成為診斷對象的場所。例如，認為是病變部的部位、組織成為照準部位。操作 員照準部位為操作員在觀察圖像中的視線位置、相對于觀察對象附著于確定部位的染料等 各種部位。
[0017] 能夠對診斷對象區域設定觀察圖像的一部分任意的區域，例如，能夠設定以操作 員照準部位為中心的診斷對象區域，并在各光譜圖像中設定同一尺寸的診斷對象區域。
[0018] 光譜圖像處理部能夠適宜進行頻譜分析等而提取病變部。例如，能夠使用多元回 歸分析等。圖像處理部生成識別了提取出的病變部的診斷圖像。例如，圖像處理部能夠以在 基于普通光的觀察圖像中識別病變部和其他部分的方式進行顯示，另外，也能夠生成合成 了光譜圖像的圖像作為診斷圖像。
[0019] 本發明中，通過以操作員照準部位為基準決定觀察圖像中決定的診斷對象區域， 各光譜圖像的診斷對象區域成為作為觀察對象的被攝體的同一部分的圖像區域。因此，BP 使拍攝范圍在窄頻帶光照射的期間錯位，也能夠生成同一區域的光譜圖像，能夠進行適當 的病變部提取。
[0020] 圖像處理部能夠將表示操作員照準部位的像與觀察圖像重疊，操作員能夠在畫面 中所顯示的光譜圖像中同時識別視線位置以及照準部位。另外，圖像處理部能夠將表示診 斷對象區域的像與觀察圖像重疊，能夠識別各光譜圖像中的診斷對象區域。
[0021] 檢測部能夠將各光譜圖像中的染料附著部位作為操作員照準部位進行檢測，通過 觀察圖像的圖像分析能夠容易地檢測染料附著部位。檢測部不僅對于光譜圖像，而且對于 基于觀察模式切換前的普通光的觀察圖像也能夠檢測染料附著部位。通過將表示染料附著 部位的像顯示出來，操作員能夠在向光譜圖像切換之前確認是否能夠正確地檢測染料附著 部位。例如，檢測部根據觀察模式切換前的操作員的操作來檢測染料附著部位。另外，在使 用基于普通光的觀察圖像生成診斷圖像的情況下，檢測部只要對基于在多個窄頻帶光照射 后生成的普通光的觀察圖像也檢測染料附著部位即可。
[0022] 另一方面，在將視線位置作為操作員照準部位進行檢測的情況下，檢測部具備拍 攝部、和基于由拍攝部生成的操作員的面部圖像將相對于所顯示的光譜圖像的視線位置作 為操作員照準部位進行檢測的視線位置檢測部。也能夠從觀察圖像的顯示畫面上檢測視線 位置，另外，也能夠在操作員的兩眼附近安裝標識，對其進行檢測。例如，檢測部能夠從面部 圖像檢測處于遠離操作員的兩眼的場所的標識的像，能夠基于標識的位置和兩眼位置檢測 視線位置。
[0023] 照明部能夠根據觀察模式的切換來切換普通光照射和多個窄頻帶光照射，但在視 線位置檢測的情況下，優選的是，檢測部不僅對于光譜圖像，還對于觀察模式切換前的觀察 圖像、或基于多個窄頻帶光照射后的普通光的觀察圖像檢測視線位置。
[0024]本發明其他方式的圖像處理裝置具備:檢測部，其相對于基于具有互不相同的峰 值的多個窄頻帶光得到的多個光譜圖像檢測操作員照準部位;設定部，其相對于多個光譜 圖像決定包含檢測出的照準部位的診斷對象區域;光譜圖像處理部，其生成在相對于多個 光譜圖像決定的多個診斷對象區域中識別了光譜特性與其他不同的病變部的診斷圖像。
[0025] 另外，本發明的內窺鏡系統的光譜圖像處理方法中，相對于依次放射具有互不相 同的峰值的多個窄頻帶光時得到的多個光譜圖像檢測操作員照準部位，進行相對于多個光 譜圖像決定包含檢測到的照準部位的診斷對象區域的設定，生成在相對于多個光譜圖像決 定的多個診斷對象區域中識別了光譜特性與其他不同的病變部的診斷圖像。進而，在內窺 鏡系統中，還能夠提供一種程序，其執行如下步驟:相對于基于具有互不相同的峰值的多個 窄頻帶光得到的多個光譜圖像檢測操作員照準部位的步驟;相對于多個光譜圖像決定包含 檢測出的照準部位的診斷對象區域的步驟;生成在相對于多個光譜圖像決定的多個診斷對 象區域中識別了光譜特性與其他不同的病變部的診斷圖像的步驟。
[0026] 另一方面，本發明其他方式的內窺鏡裝置具備:照明部，其能夠將具有不同的峰值 的多個窄頻帶光與普通光一同對觀察對象進行照明；圖像處理部，其基于從設于窺鏡前端 部的圖像傳感器依次讀出的1半幀/幀量的像素信號生成觀察圖像;視線檢測部，其檢測顯 示有觀察圖像的顯示裝置的畫面上的操作員的視線位置;光譜圖像處理部，其在基于多個 窄頻帶光生成的多個光譜圖像的每一個中決定包含檢測到的視線位置的診斷對象區域，并 且執行在其中提取光譜特性與其他不同的病變部的光譜圖像處理，圖像處理部生成識別了 病變部的顯示用診斷圖像。
[0027] 光譜圖像處理部能夠將在各光譜圖像中與診斷對象區域相對應的像素數據暫時 保存于存儲器中，并對所保存的像素數據執行光譜圖像處理。光譜圖像處理部能夠將視線 位置周邊的區域決定為診斷對象區域。
[0028] 本發明其他方式的內窺鏡裝置的處理器具備：照明部，其能夠將具有不同的峰值 的多個窄頻帶光與普通光一同對觀察對象進行照明；圖像處理部，其基于從設于窺鏡前端 部的圖像傳感器依次讀出的1半幀/幀量的像素信號生成觀察圖像;光譜圖像處理部，其在 基于多個窄頻帶光生成的多個光譜圖像的每一個中決定包含通過檢測操作員在顯示有觀 察圖像的顯示裝置的畫面上的視線位置的視線檢測部檢測到的視線位置的診斷對象區域， 并且執行在其中提取光譜特性與其他不同的病變部的光譜圖像處理，圖像處理部生成識別 了病變部的顯示用診斷圖像。
[0029] (發明的效果）
[0030] 這樣，根據本發明，在利用內窺鏡系統中的光譜圖像的病變部診斷中，能夠正確地 提取病變部。
【附圖說明】
[0031] 圖1是本實施方式的電子內窺鏡系統的框圖。
[0032] 圖2是在光譜圖像模式下執行的光譜圖像處理的流程圖。
[0033]圖3是表示視線追隨時的光譜圖像的畫面顯示的圖。
[0034]圖4是表示拍攝部的安裝位置的圖。
[0035]圖5是表示安裝于操作員的頭部的標識的圖。
[0036]圖6是表示通過視線檢測裝置執行的校準處理的流程圖。
[0037] 圖7是表示校準處理過程中的顯示畫面的圖。
[0038] 圖8是第二實施方式的光譜圖像處理的流程圖。
[0039]圖9是第三實施方式的內窺鏡系統的框圖。
[0040] 圖10是表示確定染料噴出部位的處理的流程圖。
[0041] 圖11是表示確定了染料噴出位置的畫面的圖。
[0042]圖12是第三實施方式的光譜圖像處理的流程圖。
[0043] 符號說明
[0044] 10視頻窺鏡
[0045] 20處理器
[0046] 26前級圖像信號處理電路（圖像處理部）
[0047] 27光譜圖像處理電路(光譜圖像處理部、設定部）
[0048] 28后級圖像信號處理電路（圖像處理部、光譜圖像處理部）
[0049] 29圖像存儲器
[0050] 40系統控制電路 [0051 ] 50光譜過濾器
[0052] 70視線檢測裝置(檢測部、視線位置檢測部）
[0053] 71照相機(拍攝部）
[0054] BR診斷對象區域 [0055] C 視線位置。
【具體實施方式】
[0056]以下，參照【附圖說明】本實施方式的電子內窺鏡裝置。
[0057]圖1是第一實施方式的電子內窺鏡系統的框圖。
[0058]電子內窺鏡系統具備電子內窺鏡裝置，并且具備視線檢測裝置70,所述電子內窺 鏡裝置具備視頻窺鏡10和處理器20,所述視線檢測裝置70具備照相機71。視頻窺鏡10可裝 卸自如地連接于處理器20，另外，監視器60連接于處理器20。
[0059] 處理器20具備氙燈等燈48，燈48通過燈驅動電路(未圖示）驅動。從燈48放射的寬 頻帶的白色光(普通光)經由聚光透鏡45向設于視頻窺鏡10內的光導件11的入射端IlA入 射。通過了光導件11的光經由配光透鏡13從窺鏡前端部IOT朝向被攝體(觀察對象)照射。在 燈48和光導件11之間設有光圈（未圖示），通過光圈的開閉來調整照明光量。
[0060] 由被攝體反射的光通過設于窺鏡前端部IOT的物鏡14在圖像傳感器12上成像，在 圖像傳感器12的受光面上形成被攝體像。圖像傳感器12由驅動電路17驅動，以規定的時間 間隔(例如1/60秒或者1/30秒間隔)從圖像傳感器12讀出1半幀量或1幀量的像素信號。
[0061] 在此，圖像傳感器12由CCD、CM0S等拍攝元件構成，在圖像傳感器12的受光面上配 設有矩陣排列〇7、￥6、6、1%、或1?、6、8等色彩要素而成的濾色器陣列(未圖示）。
[0062] 由圖像傳感器12讀出的1半幀/幀量的像素信號在初始電路(未圖示）中被放大并 數字化后，送入處理器20。在處理器20的前級圖像信號處理電路26中，對一連串的數字像素 信號實施白平衡處理、伽瑪修正處理等圖像信號處理。由此，生成基于普通光的彩色圖像信 號，即觀察圖像。
[0063]所生成的彩色圖像信號經由光譜圖像處理電路27被送入后級圖像信號處理電路 28。在后級圖像信號處理電路28中，對圖像信號實施輪廓強調處理、疊加處理等。通過將圖 像信號從后級圖像信號處理電路28輸出到監視器60,在監視器60上顯示觀察圖像。
[0064]包含CPU、ROM(均未圖示）等的系統控制電路40向時序控制器38、前級圖像信號處 理電路26等輸出控制信號，在處理器20處于電源接通狀態期間控制處理器20的動作。動作 控制程序預先存儲于ROM中。
[0065] 設于處理器20的時序控制器38向前級圖像信號處理電路26、驅動電路17等處理器 20、以及設于視頻窺鏡10的電路輸出時鐘脈沖信號，控制并調整各電路的輸入/輸出時序。 [0066] 在燈48和光導件11之間設有盤狀的光譜過濾器50。光譜過濾器50僅使從燈48發射 的光中峰值相互分開并且沒有重疊部分的窄頻帶的光通過。在此，由等間隔配置有峰值分 別為540nm、555nm、570nm的濾色器的盤構成光譜過濾器50。光譜過濾器50能夠通過過濾器 驅動部(未圖示)從光路上向光路外、或其反方向移動。
[0067]電機54基于來自驅動器52的控制信號使光譜過濾器50旋轉規定角度。光譜過濾器 50根據旋轉角度使白色光或確定的窄頻帶光選擇性地向光導件11入射。系統控制電路40經 由驅動器52驅動控制電機54,調整光譜過濾器50的旋轉角度以及旋轉移動的時序。
[0068]在處理器20的前面板22上設有模式設定按鈕(未圖示），該模式設定按鈕切換將普 通的寬頻帶的白色光作為照明光設定的通常圖像觀察模式、和將窄頻帶光切換為照明光而 顯示確定病變部的診斷圖像的光譜圖像觀察模式。而且，能夠設定檢測操作員的監視器畫 面上的視線位置并顯示視線位置的視線追隨模式。在基于視線追隨進行病變部診斷時，在 操作員設定了視線追隨模式后，切換為光譜圖像觀察模式。此外，也可以利用設于視頻窺鏡 10的操作按鈕(未圖示)進行模式切換。
[0069] 在由操作員或共同作業者切換為光譜圖像觀察模式時，配置于光路外的退避位置 的光譜過濾器50通過過濾器驅動部（未圖示)在光路上移動。而且，根據來自時序控制器38 的同步信號，利用電機54使光譜過濾器50每隔規定角度旋轉。由此，三個窄頻帶光依次向光 導件11入射。
[0070] 前級圖像信號處理電路26對基于各窄頻帶光的1半幀/幀量的像素信號實施圖像 處理，生成基于窄頻帶光的觀察圖像（以下，稱為光譜圖像）。在設定了光譜圖像觀察模式的 情況下，光譜圖像處理電路27基于光譜圖像執行提取病變部的光譜圖像處理。即，基于三個 光譜圖像分析各像素數據的光譜特性。而且，將光譜特性與其他像素不同的部分作為病變 部提取。在此，通過對各像素進行多元回歸分析，確定病變部。
[0071] 依次照射了三個窄頻帶光后，再次以照射普通光的方式使光譜過濾器50退避到光 路外。后級圖像信號處理電路28對彩色圖像信號執行圖像處理，以識別基于普通光生成的 觀察圖像中被確定的病變部。
[0072]視線檢測裝置70檢測保持著視頻窺鏡10的操作員的視線位置，向處理器20的系統 控制電路40發送監視器畫面上的位置坐標數據。在此，與從圖像傳感器12讀出的像素信號 的幀期間同步地發送位置坐標數據。設于監視器60的畫面上部的照相機71拍攝操作員的面 部，視線檢測位置70基于生成的面部圖像檢測視線位置。
[0073]視線位置的檢測能夠應用各種眾所周知的視線檢測方式。例如，通過檢測成為眼 的特征點的瞳孔部分的位置、以及眼朝向的方向，能夠確定視線位置。或者也可以在操作員 的頭部佩戴頭部佩戴型的視線檢測器。
[0074]處理器20的時序控制器38經由系統控制電路40向視線檢測裝置70輸出同步信號。 視線檢測裝置70在設定光譜圖像模式時，按照其同步信號、即1半幀/幀期間發送視線位置 的位置坐標數據。
[0075]以下，使用圖2、3說明基于光譜圖像的病變部診斷處理。
[0076]圖2是在光譜圖像觀察模式時執行的光譜圖像處理的流程圖。圖3是表示視線追隨 模式設定時的照明光的切換以及顯示圖像的圖。此外，以下，說明按照1幀期間生成采用普 通光的觀察圖像、采用窄頻帶光的光譜圖像。
[0077] 在通常觀察模式下，光譜過濾器50向光路外退避，以向觀察對象照射普通光 (SlOl)。在未設定視線追隨模式的狀態下切換為光譜觀察模式時，執行通常的光譜圖像處 理（S113、S114)。系統控制電路40使光譜過濾器50在光路上移動并進行旋轉控制，在每1幀 期間依次照亮三個窄頻帶光。
[0078]光譜圖像處理電路27基于在前級圖像信號處理電路26生成的3幀量的光譜圖像數 據進行頻譜分析，并執行提取病變部的光譜圖像處理。以下，詳述光譜圖像處理。
[0079] 成為觀察對象的生物體組織具有各種光的吸收特性不同的多種物質，另外，在病 變部和健康部之間，根據光的吸收特性的差異(特別是540nm~570nm)，氧合血紅蛋白和還 原血紅蛋白的構成比率不同。因此，如果以各光譜圖像的像素值(亮度值)為目的變量，以氧 合血紅蛋白、還原血紅蛋白的每波長域的光的吸收特性為解釋變量，以像素值為解釋變量 的總和，則能夠通過多元回歸分析算出各解釋變量的系數的值(鑒別參數），能夠對各像素 求出氧合血紅蛋白、還原血紅蛋白的構成比率。
[0080] 但是，在通過照射三個窄頻帶光而得到的光譜圖像中，不僅含有生物體組織的反 射光，還含有在生物體組織內散射的光的像素信息。另外，圖像傳感器12的信號特性、觀察 對象的周圍的亮度等引起的裝置固有的噪聲也包含在光譜圖像中。因此，進一步確定加入 了散亂光成分以及裝置固有的偏移成分作為解釋變量的以下的數學式。
[0081] 【數學式1】
[0085] 通過將光譜圖像的像素值代入上述數學式I，像素數據被分解成吸收特性的光譜、 散射系數的光譜、固有偏移值。系數Pl~P4表示各光譜成分的貢獻率、即像素值的構成比 例，因此，如果對每個像素進行計算系數Pl~P4的多元回歸分析，則能夠求出表示氧合血紅 蛋白、還原血紅蛋白的貢獻率的系數Pl、P2、
[0086] 如上述，在病變部，由于氧合血紅蛋白和還原血紅蛋白的構成比率(貢獻率）與健 康部不同，所以，如果能夠求出通過多元回歸分析求出的系數P1、P2的比、即系數P1、P2的相 對的值，則就能夠確定病變部。因此，通過根據上述數學式1對各系數算出以系數Pl~P4的 任一個系數為基準的相對值，能夠求出系數Pl、P2的構成比率。
[0087] 在基于各像素的系數比的病變部的判斷中，能夠使用各種方法。例如，能夠求出全 像素的系數比的直方圖，將閾值以上的像素確定為病變部。關于閾值，只要預先將根據通過 拍攝健康部和病變部而得到的光譜圖像數據的光譜分布特性求出的閾值存儲于ROM等存儲 器中即可。
[0088] 如果在光譜圖像中確定病變部的像素，則在后級圖像信號處理電路28中執行圖像 編輯處理，以能夠識別病變部。具體而言，對從窄頻帶光切換為普通光之后生成的觀察圖像 執行圖像處理，以通過與健康部不同的確定的顏色來表示相當于病變部的像素。在此，用紅 色表示與病變部相對應的像素。
[0089] 另一方面，如果在向光譜圖像觀察模式進行切換之前設定視線追隨模式，則對各 幀的觀察圖像檢測視線位置，并且設定包圍視線位置的診斷對象區域，并且執行疊加顯示 視線位置以及診斷對象區域的處理(S103)。
[0090] 具體地進行說明時，系統控制電路40接收在每1幀期間接收的監視器畫面上的視 線位置坐標數據，設定以視線位置為中心的診斷對象區域。在后級圖像信號處理電路28中， 在系統控制電路40的控制下，實施在監視器60的畫面上顯示視線位置以及診斷對象區域的 疊加處理。
[0091] 如圖3所示，視線C在畫面上的位置在操作員注視著疑為病變部的部分的狀態下表 示視線與畫面交叉的點的位置（以下，也通過符號C表示視線位置）。另一方面，診斷對象區 域BR具有相應于包圍視線位置C的區域、即包含病變部的區域的尺寸，表示應通過光譜圖像 進行診斷處理的區域。再次，通過以視線C的位置為中心的矩形區域來規定診斷對象區域 BR0
[0092] 而且，通過疊加處理，在觀察圖像上重疊顯示表示視線C的位置的微小圓的像R、和 表示診斷對象區域BR的虛線狀幀的像FB。診斷對象區域BR設定于觀察圖像的一部分區域。 例如，診斷對象區域BR被決定為觀察圖像(畫面)尺寸的一半以下、1/4以下等。在操作員觀 察監視器60的畫面期間，系統控制電路40在每1幀期間更新視線位置C以及診斷對象區域BR 的顯示位置。此外，也可以任意地設定診斷對象區域BR的尺寸或形狀。
[0093]在這樣設定了視線追隨模式的狀態下切換為光譜圖像觀察模式時(S104)，系統控 制電路40旋轉控制光譜過濾器50,對觀察對象依次照射窄頻帶光(S105)。所生成的光譜圖 像數據經由光譜圖像處理電路27被依次送入后級圖像信號處理電路28。由此，在監視器60 上依次顯示三個光譜圖像(參照圖3)。
[0094]在依次照射窄頻帶光的期間，也對各光譜圖像執行視線C的位置檢測和診斷對象 區域BR的設定、以及表示視線C的像R和表示診斷對象區域BR的幀像FB的疊加處理。而且，將 位于相對于各光譜圖像決定的診斷對象區域BR內的像素的像素數據從前級圖像信號處理 電路26輸出并保存于圖像存儲器29中（S106~S109)。
[0095]在依次照射頻帶光的期間，由窺鏡前端部IOT捕捉的拍攝區域不總是為同一區域， 即使操作員保持視頻窺鏡10的姿勢發生細微變化，拍攝區域也會發生變動(其中，圖3中夸 張描繪該變動）。另一方面，如果在操作員注視著病變部的期間拍攝區域發生變動，則注視 位置伴隨該變動而移動。其結果，操作員的視線C的位置以及診斷對象區域BR的位置也按照 視線C的動作進行移動。
[0096]圖3中表示顯示基于最初的窄頻帶光的光譜圖像(A)、基于下一窄頻帶光的光譜圖 像(B)、基于最后的窄頻帶光的光譜圖像(C)時的診斷對象區域BR的顯示位置。根據在顯示 表示視線位置的像R的狀態下，操作員持續關注診斷對象的點，則以視線位置C為中心的診 斷對象區域BR內的圖像能夠與各光譜圖像一同實質上看作是同一部位的圖像。
[0097] 即，在相對于三個光譜圖像決定的三個診斷對象區域BR之間，其相對的位置相同 的像素數據能夠看作是基于同一被攝體的數據。另外，即使像素間稍有差別，如果考慮病變 部在一定程度的區域內遍及產生，則也能夠在一定程度上正確地確定病變部的位置。
[0098]如果將與3幀量的診斷對象區域BR相對應的像素數據保存于圖像存儲器29,則在 光譜圖像處理電路27中，對與診斷對象區域BR相對應的像素數據執行多元回歸分析處理 (S110、Slll)。通過執行多元回歸分析處理，確定在診斷對象區域BR內被看作是病變部的像 素。另一方面，診斷對象區域BR以外的像素數據未進行光譜圖像處理而被直接送入后級圖 像信號處理電路28。
[0099] 如果病變部被確定，則光譜過濾器50退避到光路外，照射普通的白色光。隨之，在 前級圖像信號處理電路26中，生成通常的彩色圖像信號。后級圖像信號處理電路28基于從 視線檢測裝置70送來的視線位置坐標的數據來執行疊加處理，將視線C的像R以及診斷對象 區域BR的幀像FB重疊顯示在基于普通光的觀察圖像上。
[0100]進而，后級圖像信號處理電路28基于從系統控制電路40送來的病變部的像素位置 信息實施圖像處理，以在診斷對象區域BR內識別病變部(S112)。在此，以用紅色顯示與病變 部相對應的像素的方式實施圖像處理。圖3中，用陰影線表示與病變部ST相當的紅色圖像部 分。識別了病變部的圖像處理持續規定期間（例如數秒）。重復執行步驟SlOl~S115,直至電 源斷開為止。
[0101] 這樣，根據本實施方式，在具備視線檢測裝置70的內窺鏡系統中，通過光譜過濾器 50使峰值不同的窄頻帶光從窺鏡前端部IOT射出。另一方面，如果設定視線追隨模式，則相 對于基于普通光、窄頻帶光生成的各幀的觀察圖像(包含光譜圖像)檢測視線C的位置，并決 定診斷對象區域BR。而且，對診斷對象區域BR內的像素數據進行多元回歸分析，確定病變 部，并實施圖像處理，以識別病變部的像素。
[0102] 通過根據視線C的位置決定診斷對象區域BR，即使拍攝區域在光譜觀察模式期間 中變動，也能夠使被攝體的同一部位的圖像部分匹配，能夠防止錯誤的病變部確定。另外， 為了以1半幀/幀間隔檢測視線位置坐標數據，能夠持續掌握各光譜圖像中的診斷對象區域 BR。進而，由于僅對診斷對象區域BR的圖像進行光譜圖像處理，因此能夠提高計算處理速 度。
[0103] 由于在從通常圖像觀察模式向光譜圖像觀察模式進行切換的前后，繼續顯示視線 C的像R和診斷對象區域BR的像FB，因此，在光譜觀察模式切換之后，操作員容易固定拍攝區 域，另外，即使拍攝區域在窄頻帶光的照射中稍微錯位，操作員也能夠瞬間對應地調整視線 位置。
[0104] 另一方面，即使在從光譜圖像觀察模式自動地向通常觀察模式切換的情況下，通 過對基于普通光的觀察圖像實施病變部確定圖像處理而不對光譜圖像實施，能夠在自然的 色調的觀察圖像上診斷病變部。
[0105] 關于診斷對象區域BR的顯示，可以僅在模式切換之前顯示表示區域的像，或者也 可以在返回通常圖像觀察模式后消除顯示。另外，也可以是在模式切換前后均不進行顯示 而僅顯示表示視線位置的像的結構。關于視線位置的顯示，可以在進行了模式切換操作后 開始顯示，或者也可以在窄頻帶光的照射期間一直顯示，而在診斷圖像顯示時不進行顯示。
[0106] 即使不執行通過頻譜分析求與病變部相應的像素的圖像處理，也能夠在通過上述 數學式1對每個吸收特性、散亂特性成分分解了像素值后，僅通過吸收特性的成分合成光譜 圖像，在診斷對象區域顯示該合成圖像。在該診斷圖像中，由于各像素的值為光譜值的合 成，所以操作員能夠在畫面上識別病變部。
[0107] 光譜圖像也可以在比1幀期間長的期間依次顯示，視線位置檢測時序也可以按照 光譜圖像顯示期間進行調整。通知診斷結果的診斷圖像也可以作為靜態圖像(凍結圖像)進 行顯示。例如，也可以將上述的診斷對象區域的合成圖像與作為動態圖像的觀察圖像一同 作為靜止圖像同時顯示于畫面上。進而，也可以在照射期間中交互照射普通光和窄頻帶光， 并在窄頻帶光的間歇的依次照射期間中僅顯示通常觀察圖像。
[0108] 關于光譜圖像處理，也可以通過上述的多元回歸分析以外的方法來確定病變部。 例如，能夠應用非負載高速值的多元回歸分析、最小二乘法等線性回歸分析、或者牛頓法、 類牛頓法、共輒梯度法、衰減最小二乘法等。
[0109] 關于窄頻帶光相對于觀察部位的照射，也可以為使設有開口部的光譜過濾器在光 路上旋轉來應對模式切換的結構。另外，也可以通過光譜過濾器以外的結構實現。例如，也 可以使用法布里珀羅型光學元件，并且也可以使用激光來投射窄頻帶光。
[0110]接著，使用圖4~圖8說明第二實施方式的內窺鏡系統。第二實施方式中，代替直接 檢測視線位置而在操作員頭部安裝視線位置檢測的標識。
[0111] 圖4是表示拍攝部的安裝位置的圖。圖5是表示佩戴于操作員的頭部的標識的圖。
[0112] 與第一實施方式相同，照相機71以屏幕中心位置SC和照相機71的光軸OX的位置沿 著同一軸線的方式被安裝于監視器60的上部中央。另一方面，在纏繞于操作員的頭部的帶 BD上涂布有熒光物質RM。熒光物質RM的涂布范圍對應于操作員的兩眼寬度，并且，沿著兩眼 平行地涂布。
[0113] 視線檢測裝置70從拍攝操作員的面部而得到的面部圖像檢測該熒光物質RM的位 置并運算視線位置。在此，操作員從使畫面上的確定位置中止時得到的面部圖像中檢測熒 光物質RM的位置，根據熒光物質RM與兩眼的距離間隔來算出視線位置。因此，在通過光譜圖 像進行病變部診斷前進行校準處理。
[0114] 圖6是表示通過視線檢測裝置執行的校準處理的圖。圖7是表示校準處理過程中的 顯示畫面的圖。
[0115] 如果處理器20為電源接通狀態，則如圖7(A)所示，進行催促操作員執行校準處理 的消息顯示(S201)。如果未佩戴帶BD的其他作業者操作設于處理器20的前面板22的校準用 按鈕(未圖示），則如圖7(B)所示，系統控制電路40控制后級圖像信號處理電路28,在畫面上 疊加顯示格柵G以及畫面中心點B(S202、S203)。
[0116] 如果在確認了佩戴有帶BD的操作員的面部的朝向后操作前面板22的執行按鈕 (S204)，則基于此時的熒光物質RM的畫面上算出視線C的位置，并以該位置為基準點進行決 定(S205)。而且，如圖7(C)所示，疊加顯示表示該基準點的像C(S206)。
[0117] 另一方面，在步驟S202、S204中即使操作員進行的輸入操作經過規定時間也未檢 測到的情況下，顯示錯誤消息并結束處理(S207)。如果一旦檢測到基準點，則視線檢測裝置 70在每1幀期間繼續進行基準位置的檢測。
[0118] 圖8是第二實施方式的光譜圖像處理的流程圖。第二實施方式中，為在光譜圖像觀 察模式下自動地進行視線追隨的設定的結構。設定光譜圖像觀察模式后，開始處理。
[0119] 在未進行校準處理的情況下，執行圖6所示的校準處理（S301、S302)。在已進行了 校準處理的情況下，與第一實施方式同樣地執行光譜圖像處理。但是，在第二實施方式中， 執行疊加處理，僅畫面顯示基準點(視線位置）。
[0120]因此，在從通常觀察模式向光譜圖像觀察模式的切換、依次照射窄頻帶光后至普 通光照射的期間，僅顯示基準點的像R。關于視線位置以及診斷對象區域的其他顯示，步驟 S303~S310的執行與圖2的步驟S105~S112的執行相同。
[0121]這樣，根據第二實施方式，通過使用熒光物質RM，能夠容易地檢測視線位置。另外， 可通過簡易的圖像處理電路來檢測視線位置。特別是，通過在模式切換前進行校準處理，能 夠檢測正確的視線位置。此外，也可以以熒光物質以外的物質作為標識。
[0122] 第一、第二實施方式中，將視線檢測裝置作為與處理器獨立開的設備構成，但也可 以在內窺鏡裝置處理器內檢測視線位置。該情況下，在內窺鏡系統中拍攝操作員的面部的 照相機與處理器連接。
[0123] 其次，使用圖9~圖12說明第三實施方式的電子內窺鏡系統。第三實施方式中，代 替檢測視線位置而檢測染料附著位置。
[0124] 圖9是第三實施方式的內窺鏡系統的框圖。
[0125] 內窺鏡系統具備視頻窺鏡10和處理器20,視頻窺鏡10具備水射流送水功能，送水 管路19從窺鏡操作部IOP貫穿至窺鏡前端部IOT而設置。操作員將可注入水之類的液體的注 射器80插入連接口 19T，通過按下注射器80的推桿，能夠將液體噴射到觀察對象的確定部 位。
[0126] 本實施方式中，在通過光譜圖像進行病變部診斷的情況下，操作員將用于胃粘膜 診斷等的偏藍的靛藍染料或其他容易識別的染料注入注射器80,向診斷對象部分噴射。系 統控制電路40在通過前級圖像信號處理電路26生成的觀察圖像中檢測藍色的染料附著部 分，并根據該附著部分設定診斷對象區域。而且，在從通常圖像觀察模式向光譜圖像觀察模 式切換時，基于診斷對象區域進行病變部診斷。
[0127] 圖10是表示確定染料噴射部位的處理的流程圖。圖11是表示確定了染料噴出位置 的畫面的圖。
[0128] 在步驟S401中，在監視器60上顯示促進染料噴霧的消息。操作員根據消息，使用水 射流噴嘴功能將染料向診斷對象部位噴出。此時，調整按下注射器80的力，以使染料僅附著 于診斷對象部位。
[0129]在步驟S402中，判斷操作員是否進行了染料噴出，即判斷觀察圖像中是否包含藍 色的染料。如果判斷為進行了染料噴出，則將觀察圖像中的染料附著部位的像素確定為基 準點BC(S403)。由于染料噴出部位的像(藍色像）的范圍大多遍及多個像素的區域，所以只 要將處于該區域中心或重心位置的像素確定為基準點即可。而且，設定以基準點BC為中心 的診斷對象區域BR。
[0130]而且，將表示基準點BC的像WC以及表示診斷對象區域BR的幀像FB與觀察圖像重疊 顯示（S404)。在進行了規定期間的顯示處理后，消除像WC、FB的顯示。在步驟S402中未檢測 到染料的情況下，顯示錯誤消息并結束(S405)。
[0131]圖12是第三實施方式的光譜圖像處理的流程圖。
[0132] 在從通常觀察模式切換為光譜圖像模式時未確定基準點（染料附著位置）的情況 下，即染料尚未噴出的情況下，執行對圖10所示的基準點進行確定的處理(S501、S502)。在 確定了基準點的情況下，與第一、第二實施方式同樣地，通過依次照射窄頻帶光而生成三個 光譜圖像，并對各光譜圖像確定基準點，設定診斷對象區域BR(S503~S507)。
[0133] 由于在光譜圖像中也能夠將偏藍的染料與其他識別開，所以基準點BD的像素得到 同一部位的像素數據。基準點確定的方法只要與模式切換前同樣地進行即可，但進行考慮 到染料噴出的光譜圖像處理。此外，在第三實施方式中，在光譜圖像模式切換前后未顯示基 準點、診斷對象區域的像WC、FB。如果進行基準點的確定以及設定診斷對象區域，則執行光 譜圖像處理。如果病變部被提取，則顯示識別出病變部的診斷圖像(S508~S511)。
[0134] 這樣，根據第三實施方式，根據在模式切換前進行的作業將染料附著部位的像確 定為基準點，決定中心診斷對象區域，并且對于光譜圖像也同樣地進行基準點確定、診斷對 象區域設定。由此，與視線檢測相比，能夠將診斷對象區域更可靠地設為同一部位的像。
[0135] 關于視線位置或基準點的確定方法，也能夠不使用染料而進行確定，只要在觀察 圖像中從觀察圖像檢測操作員注視、著眼的位置(照準位置）即可。例如，能夠將光強度相對 高的部分、觀察圖像的中心位置、距窺鏡前端部的距離最短的部位等作為基準點進行檢測。
[0136] 在第一~第三實施方式中，在內窺鏡作業中進行病變部診斷，但也可以在非易失 性存儲器中存儲診斷對象區域的圖像數據，并在內窺鏡作業結束后執行光譜圖像處理。另 外，也可以在內窺鏡處理器的局部或另外準備診斷光譜圖像的圖像處理裝置。
【主權項】
1. 一種內窺鏡系統，其特征在于，具備： 照明部，其對于觀察對象照射普通光，并且能夠分別照射具有互不相同的峰值的多個 窄頻帶光； 圖像處理部，其基于從窺鏡前端部的圖像傳感器以規定時間間隔讀出的1幀/半幀量的 像素信號生成觀察圖像，并且根據多個窄頻帶光照射生成多個光譜圖像； 檢測部，其至少相對于多個光譜圖像檢測操作員照準部位； 設定部，其決定包含檢測出的照準部位的診斷對象區域； 光譜圖像處理部，其在相對于多個光譜圖像決定的多個診斷對象區域中提取光譜特性 與其他不同的病變部， 所述圖像處理部生成識別了病變部的診斷圖像。2. 根據權利要求1所述的內窺鏡系統，其特征在于， 所述檢測部將各光譜圖像中的染料附著部位作為操作員照準部位進行檢測。3. 根據權利要求2所述的內窺鏡系統，其特征在于， 所述照明部能夠根據觀察模式的切換來切換普通光照射和多個窄頻帶光照射， 所述檢測部相對于在觀察模式切換前以及多個窄頻帶光照射后的至少一方生成的觀 察圖像檢測染料附著部位。4. 根據權利要求3所述的內窺鏡系統，其特征在于， 所述檢測部根據操作員在觀察模式切換前的操作來檢測染料附著部位。5. 根據權利要求1所述的內窺鏡系統，其特征在于， 所述檢測部具備： 拍攝部； 視線位置檢測部，其基于由所述拍攝部生成的操作員的面部圖像將相對于所顯示的光 譜圖像的視線位置作為操作員照準部位進行檢測。6. 根據權利要求5所述的內窺鏡系統，其特征在于， 所述檢測部從所述面部圖像檢測處于遠離操作員的兩眼的部位的標識的像，并且基于 標識的位置和兩眼位置檢測視線位置。7. 根據權利要求5~6中任一項所述的內窺鏡系統，其特征在于， 所述照明部能夠根據觀察模式的切換來切換普通光照射和多個窄頻帶光照射， 所述檢測部相對于觀察模式切換前的觀察圖像以及多個窄頻帶光照射后的觀察圖像 的至少一方檢測視線位置。8. 根據權利要求1~7中任一項所述的內窺鏡系統，其特征在于， 所述圖像處理部將表示操作員照準部位的像與觀察圖像重疊。9. 根據權利要求1~8中任一項所述的內窺鏡系統，其特征在于， 所述圖像處理部將表示診斷對象區域的像與觀察圖像重疊。10. 根據權利要求1~9中任一項所述的內窺鏡系統，其特征在于， 所述設定部設定以操作員照準部位為中心的診斷對象區域。11. 一種圖像處理裝置，其特征在于，具備： 檢測部，其相對于基于具有互不相同的峰值的多個窄頻帶光得到的多個光譜圖像檢測 操作員照準部位； 設定部，其相對于多個光譜圖像決定包含檢測出的照準部位的診斷對象區域； 光譜圖像處理部，其生成在相對于多個光譜圖像決定的多個診斷對象區域中識別了光 譜特性與其他不同的病變部的診斷圖像。12. -種內窺鏡系統的光譜圖像處理方法，其特征在于， 相對于依次放射具有互不相同的峰值的多個窄頻帶光時得到的多個光譜圖像檢測操 作員照準部位， 進行相對于多個光譜圖像決定包含檢測到的照準部位的診斷對象區域的設定， 生成在相對于多個光譜圖像決定的多個診斷對象區域中識別了光譜特性與其他不同 的病變部的診斷圖像。13. 根據權利要求12所述的內窺鏡系統的光譜圖像處理方法，其特征在于， 在普通光的照射得到的觀察圖像中，將染料的附著部位作為操作員照準部位進行檢 測。14. 一種內窺鏡系統，其特征在于，具備： 照明部，其能夠將具有不同的峰值的多個窄頻帶光與普通光一同對觀察對象進行照 明； 圖像處理部，其基于從設于窺鏡前端部的圖像傳感器依次讀出的1半幀/幀量的像素信 號生成觀察圖像； 視線檢測部，其檢測顯示有觀察圖像的顯示裝置的畫面上的操作員的視線位置； 光譜圖像處理部，其在基于多個窄頻帶光生成的多個光譜圖像的每一個中決定包含檢 測到的視線位置的診斷對象區域，并且執行在其中提取光譜特性與其他不同的病變部的光 譜圖像處理， 所述圖像處理部生成識別了病變部的顯示用診斷圖像。15. 根據權利要求14所述的內窺鏡系統，其特征在于， 所述光譜圖像處理部將在各光譜圖像中與診斷對象區域相對應的像素數據暫時保存 于存儲器中，并對所保存的像素數據執行光譜圖像處理。16. 根據權利要求15所述的內窺鏡系統，其特征在于， 所述光譜圖像處理部將以視線位置為中心的其周邊的區域決定為診斷對象區域。17. 根據權利要求14~16中任一項所述的內窺鏡系統，其特征在于， 所述視線檢測部與1半幀/幀期間同步地檢測視線位置。18. -種內窺鏡裝置的處理器，其特征在于，具備： 照明部，其能夠將具有不同的峰值的多個窄頻帶光與普通光一同對觀察對象進行照 明； 圖像處理部，其基于從設于窺鏡前端部的圖像傳感器依次讀出的1半幀/幀量的像素信 號生成觀察圖像； 光譜圖像處理部，其在基于多個窄頻帶光生成的多個光譜圖像的每一個中決定包含通 過檢測操作員在顯示有觀察圖像的顯示裝置的畫面上的視線位置的視線檢測部檢測到的 視線位置的診斷對象區域，并且執行在其中提取光譜特性與其他不同的病變部的光譜圖像 處理， 所述圖像處理部生成識別了病變部的顯示用診斷圖像。
【文檔編號】A61B1/00GK105992546SQ201580003276
【公開日】2016年10月5日
【申請日】2015年12月25日
【發明人】東海林孝明
【申請人】Hoya株式會社