內窺鏡系統、內窺鏡系統的工作方法
【專利摘要】本發明的內窺鏡系統具有：第一存儲部(21)，其對預先取得的被檢體圖像進行存儲；管腔器官提取部(22)，其根據被檢體圖像而構建三維圖像并提取管腔器官圖像；對位部(26)，其將取得的物鏡光學系統的位置與管腔器官圖像對位；視角顯示信息生成部(27)，其生成攝像圖像的視角顯示，該攝像圖像是由包含物鏡光學系統在內的攝像系統拍攝得到的；以及圖像處理部(23)，其制成在規定的管腔器官圖像中的對位后的位置上重疊了視角顯示的重疊圖像。
【專利說明】
內窺鏡系統、內窺鏡系統的工作方法
技術領域
[0001]本發明涉及能夠以所構建的三維圖像信息內的管腔器官圖像信息為參考來觀察管腔器官的內窺鏡系統、內窺鏡系統的工作方法。
【背景技術】
[0002]內窺鏡裝置例如作為觀察體腔內器官或根據需要使用處置器具進行治療處置的醫療用內窺鏡被廣泛使用。在利用這樣的內窺鏡裝置進行觀察或治療處置的情況下，需要將內窺鏡的插入部插入到管腔內，使插入部的前端部迅速且準確地到達病變部等目的地。
[0003]因此，為了使內窺鏡的插入部到達目的地，以往提出了通過顯示導航圖像來進行引導的導航技術。
[0004]例如，在日本特開號公報中記載了如下的技術:根據例如與觀察路徑的端點的距離來確定假想內窺鏡圖像與實際內窺鏡圖像的視點位置的對應關系，對于假想內窺鏡圖像和實際內窺鏡圖像，按照并列或者以中心位置重疊的方式進行重疊等同時地對它們進行顯示。
[0005]并且，在日本特開號公報中記載了如下的技術:一邊考慮關注結構物的位置一邊根據內窺鏡位置、中心視線矢量以及內窺鏡的視角來決定假想內窺鏡的視點、中心視線矢量、視角，根據三維醫用圖像生成假想內窺鏡圖像。
[0006]在現有的導航系統中，能夠對作為視點的內窺鏡前端是否插入到期望的位置進行判斷，此時根據導航圖像不僅能夠判斷視點的位置還能夠判斷來自視點的視線方向。
[0007]但是，在體腔內器官中具有支氣管和腎臟等管腔器官，這些管腔器官具有分支成多個的管腔。
[0008]有時在這些管腔器官中的例如腎臟中產生結石，去除這樣的結石的處置是一邊利用內窺鏡對腎盂、腎盞內進行觀察一邊使用從內窺鏡的前端突出的處置器具等進行的。
[0009]具體而言，結石首先被粉碎而被細化。此時，為了確認有無粉碎后的殘渣，優選使用內窺鏡徹底觀察腎盂、腎盞內。
[0010]然而，由于腎盂尿管用的內窺鏡是細徑的，因此對于物鏡光學系統的結構上的限制較大，采用寬視角的物鏡光學系統在技術上難度較高。而且，觀察是在例如生理鹽水中進行的，由于生理鹽水的折射率比空氣大，因此與在空氣中進行觀察的情況相比，視角會變得更窄。因此，不能因為內窺鏡前端處于某個位置，就認為比該位置靠前端側的整體都能被觀察到。
[0011]此外，由于腎盞形成為入口較窄而里部較寬闊的圓錐狀的情況較多，因此，不能因為內窺鏡前端進入小腎盞而能夠對與內窺鏡前端的正面相對的圓錐的底面部分進行觀察，就認為能夠觀察到整個側面部分，即不能斷言觀察到了腎盞內的整個表面粘膜。
[0012]而且，即使在管腔器官的俯瞰圖像上顯示了視點位置和視線方向，手術人員也很難直觀地掌握俯瞰圖像中的觀察范圍。
[0013]并且，當為了在病歷等中進行記錄而拍攝了記錄照片的情況下，在現有的導航系統中，也很難容易地掌握記錄照片的攝像范圍。
[0014]本發明是鑒于上述情況而完成的，其目的在于，提供能夠以易于理解的方式提示管腔器官中的觀察范圍的內窺鏡系統、內窺鏡系統的工作方法。
【發明內容】
[0015]用于解決課題的手段
[0016]本發明的某個方式的內窺鏡系統具有:第一存儲部，其對用于構建三維圖像信息的、預先取得的與被檢體有關的圖像信息進行存儲;管腔器官提取部，其根據所述圖像信息而構建所述三維圖像信息，并提取存在于該三維圖像信息內的規定的管腔器官圖像信息；位置信息取得部，其取得使所述被檢體內的光學像成像的物鏡光學系統的位置信息;對位部，其將所述位置信息取得部所取得的位置信息與所述規定的管腔器官圖像信息對位;視角顯示信息生成部，其生成表示攝像圖像的視角信息的視角顯示信息，其中，所述攝像圖像是由包含所述物鏡光學系統在內的攝像系統拍攝得到的；以及圖像處理部，其制成重疊圖像，該重疊圖像是在所述規定的管腔器官圖像信息中的由所述對位部對位后的所述位置信息所表示的位置上重疊了所述視角顯示信息而得到的。
[0017]在本發明的某個方式的內窺鏡系統的工作方法中，該內窺鏡系統具有第一存儲部、管腔器官提取部、位置信息取得部、對位部、視角顯示信息生成部以及圖像處理部，其中，所述第一存儲部對用于構建三維圖像信息的、預先取得的與被檢體有關的圖像信息進行存儲，所述管腔器官提取部根據所述圖像信息而構建所述三維圖像信息，并提取存在于該三維圖像信息內的規定的管腔器官圖像信息，所述位置信息取得部取得使所述被檢體內的光學像成像的物鏡光學系統的位置信息，所述對位部將所述位置信息取得部所取得的位置信息與所述規定的管腔器官圖像信息對位，所述視角顯示信息生成部生成表示攝像圖像的視角信息的視角顯示信息，其中，所述攝像圖像是由包含所述物鏡光學系統在內的攝像系統拍攝得到的，所述圖像處理部制成重疊圖像，該重疊圖像是在所述規定的管腔器官圖像信息中的由所述對位部對位后的所述位置信息所表示的位置上重疊了所述視角顯示信息而得到的。
【附圖說明】
[0018]圖1是示出本發明的實施方式I中的內窺鏡系統的結構的圖。
[0019]圖2是示出上述實施方式I的圖像處理裝置的結構的框圖。
[0020]圖3是示出上述實施方式I中的內窺鏡系統的作用的流程圖。
[0021]圖4是示出上述實施方式I中的顯示裝置的顯示畫面的顯示例的圖。
[0022]圖5是示出在上述實施方式I中重疊有視角顯示信息的俯瞰圖像的一例的圖。
[0023]圖6是示出在上述實施方式I中在俯瞰圖像上與視角顯示信息一同標注了能夠/不能觀察標記的例子的圖。
[0024]圖7是示出在上述實施方式I中重疊有視角顯示信息的俯瞰圖像的另一例的圖。
[0025]圖8是示出在上述實施方式I中在從多個不同的方向觀察到的多個俯瞰圖像上顯示視角顯示信息的例子的圖。
[0026]圖9是示出在上述實施方式I中在凍結視角顯示按鈕被操作時所顯示的視角顯示信息的例子的圖。
[0027]圖10是示出在上述實施方式I中在累積視角顯示按鈕被操作時在俯瞰圖像上顯示的視角顯示信息的例子的圖。
[0028]圖11是示出在上述實施方式I中在累積視角顯示按鈕被操作時在從不同的方向觀察到的俯瞰圖像上顯示的視角顯示信息的例子的圖。
[0029]圖12是示出本發明的實施方式2的內窺鏡系統中的自動重疊圖像顯示處理的流程圖。
【具體實施方式】
[0030]以下，參照附圖對本發明的實施方式進行說明。
[0031][實施方式I]
[0032]圖1至圖11是示出本發明的實施方式I的圖，圖1是示出內窺鏡系統I的結構的圖。
[0033]如圖1所示，內窺鏡系統I具有內窺鏡裝置4、位置檢測裝置5、服務器6、圖像處理裝置7以及顯示裝置8，其中，該內窺鏡裝置4具有內窺鏡2和攝像機控制單元(CCU)3。
[0034]內窺鏡2具有:具有撓性的細長的插入部11，其被插入到被檢體內；操作部12，其連接設置于該插入部11的基端部；以及線纜13，其從該操作部12的側面延伸設置。
[0035]在操作部12上設置有:作為攝像指示部的釋放按鈕12a，其產生攝像指示數據(輸入攝像指示)，該攝像指示數據用于取得記錄用的攝像圖像;視角顯示按鈕12b，其產生視角顯示指示數據(輸入視角顯示指示)，該視角顯示指示數據用于顯示觀察被檢體的圖像的視角；作為取得指示部的凍結視角顯示按鈕12c，其產生凍結視角顯示指示數據(輸入凍結視角顯示指示)，該凍結視角顯示指示數據用于顯示在有效期間中被操作的時刻的視角；以及作為累積顯示指示部的累積視角顯示按鈕12d，其產生累積視角顯示指示數據(輸入累積視角顯示指示)，該累積視角顯示指示數據用于累積顯示過去的視角顯示信息。這里，視角顯示按鈕12b是輸入選擇指示的重疊圖像選擇指示部，該選擇指示用于選擇重疊圖像生成接通/斷開。
[0036]另外，上述的各按鈕12a?12d不限于設置在內窺鏡2的操作部12上，例如可以設置為腳踏開關，也可以設置為其他結構的開關等。
[0037]在插入部11的前端部設置有用于拍攝被檢體內的攝像系統10。具體而言，該攝像系統10具有:物鏡光學系統，其對被檢體內的光學像進行成像；以及CCD等攝像元件，其對由該物鏡光學系統成像出的光學像進行光電轉換而生成攝像信號。內窺鏡2經由線纜13與CCU3連接，由攝像系統10拍攝到的攝像信號被發送給CCU 3。
[0038]CCU 3對從內窺鏡2發送來的攝像信號實施規定的圖像處理，生成內窺鏡圖像數據。并且，CCU 3根據所連接的內窺鏡2的型號等或內窺鏡裝置4的動作狀態等，生成包含視角信息在內的內窺鏡規格數據。這里，例如在通過CCU 3的圖像處理進行電子變焦的情況下，觀察圖像的視角范圍改變，并且在內窺鏡2具有能夠變焦的物鏡光學系統的情況下視角范圍也會改變，因此視角信息使用發送時的實時數據。
[0039]并且，在從插入部11的前端部到基端部的范圍內以規定的間隔設置有未圖示的多個接收線圈。這些多個接收線圈根據位置檢測裝置5所產生的磁場而分別輸出電信號。內窺鏡2經由線纜14與位置檢測裝置5連接，從接收線圈輸出的各電信號被發送給位置檢測裝置 5。
[0040]作為位置信息取得部的位置檢測裝置5根據來自多個接收線圈中的設置于插入部11的前端部的接收線圈的電信號，運算并取得插入部11的前端、更具體而言是攝像系統10中的物鏡光學系統(或者，也可以稱作視點)的位置信息(該位置信息包含物鏡光學系統的三維位置和物鏡光學系統的光軸方向的各信息)。基于該位置檢測裝置5的位置信息的取得例如每經過一定的時間間隔而重復進行。
[0041]而且，位置檢測裝置5根據來自上述的多個接收線圈的電信號，運算并取得表示插入部11的插入形狀的插入形狀數據。另外，這里利用接收線圈來取得彎曲形狀數據，但不限于此，也可以使用例如FBG(光纖布拉格光柵:Fiber Bragg Grating)傳感器等來取得彎曲形狀數據。
[0042]上述的CCU3、位置檢測裝置5以及服務器6與圖像處理裝置7連接。其中的服務器6例如經由醫院內的LAN等通信線路與圖像處理裝置7連接。
[0043]CCU 3將內窺鏡圖像數據、內窺鏡規格數據以及上述的攝像指示數據、視角顯示指示數據、凍結視角顯示指示數據、累積視角顯示指示數據等各指示數據發送給圖像處理裝置7。
[0044]位置檢測裝置5將物鏡光學系統的位置信息(位置和方向數據)和插入部11的插入形狀數據發送給圖像處理裝置7。
[0045]另一方面，服務器6例如保存有術前多切片圖像數據16a?16η，該術前多切片圖像數據16a?16η在由該內窺鏡系統I進行檢查前通過CT、MRI或PET等預先取得。而且，服務器6將這些術前多切片圖像數據16a?16η發送給圖像處理裝置7。另外，這里，圖像處理裝置7從服務器6讀入術前多切片圖像數據16a?16η，但也可以取而代之，從存儲有術前多切片圖像數據16a?16η的⑶-ROM等便攜式記錄介質中讀入術前多切片圖像數據16a?16η。
[0046]圖像處理裝置7根據從CCU3、位置檢測裝置5以及服務器6取入的各數據進行后述的處理，制成圖像數據。
[0047]圖像處理裝置7與顯示裝置8連接，顯示裝置8接收由圖像處理裝置7制成的圖像數據并進行顯示。該顯示裝置8是像后述那樣對圖像處理裝置7所制成的重疊圖像進行顯示的顯示部。
[0048]接下來，圖2是示出圖像處理裝置7的結構的框圖。
[0049]圖像處理裝置7具有第一存儲部21、管腔器官提取部22、圖像處理部23以及第二存儲部24。
[0050]第一存儲部21存儲作為預先取得的與被檢體有關的圖像信息的術前多切片圖像數據16a?16η，該術前多切片圖像數據16a?16η用于構建三維圖像信息。
[0051 ]管腔器官提取部22讀出存儲在第一存儲部21中的圖像信息來構建三維圖像信息，而且提取存在于三維圖像信息內的規定的管腔器官圖像信息。這里，假設要提取的管腔器官圖像信息是表示腎臟的管腔結構的圖像信息。此時，管腔器官提取部22提取包含例如尿管42、腎盂43、大腎盞44、小腎盞45、腎乳頭46(或者進一步根據需要，膀胱或尿道)在內的規定的管腔器官作為管腔器官41 (參照圖4)。
[0052]圖像處理部23具有對位部26、視角顯示信息生成部27、重疊圖像制成部28以及圖像讀出部29。
[0053]對位部26使位置檢測裝置5所取得的位置信息(包含物鏡光學系統的位置信息)與管腔器官提取部22所提取的作為三維圖像信息的規定的管腔器官圖像信息對位。該對位部26的對位例如是通過從位置檢測裝置5所取得的實際空間坐標向構建三維圖像信息的三維圖像坐標轉換的轉換式的計算而進行的。
[0054]另外，對位的方法不限于使用上述的轉換式的方法，例如也可以采用日本特開號公報中公開的基于患者的體表的特征點的位置檢測和在三維圖像數據上的特征點指定的對位方法、或日本特開號公報中公開的基于內窺鏡圖像與假想內窺鏡圖像的匹配的對位方法等。
[0055]視角顯示信息生成部27根據從CCU3接收到的內窺鏡規格數據中的視角信息，生成表示攝像圖像的視角信息的視角顯示信息，該攝像圖像由包含物鏡光學系統在內的攝像系統10拍攝。具體而言，視角顯示信息生成部27所生成的視角顯示信息包含以一點為起點而延伸的表示視角范圍的邊界線，作為具體例子列舉出扇形、圓錐形、四棱錐形等。這里，扇形例如適用于與根據三維圖像信息制成的二維圖像信息進行重疊的情況，圓錐形適用于與三維圖像信息進行重疊的情況，四棱錐形適用于考慮攝像元件的攝像面的形狀(一般的情況為四邊形狀)而與三維圖像信息進行重疊的情況。
[0056]圖像處理部23將視角顯示信息中的邊界線的起點設定在由對位部26進行對位后的位置信息所表示的物鏡光學系統的位置。
[0057]圖像處理部23的重疊圖像制成部28在規定的管腔器官圖像信息中的由對位部26對位后的位置信息所表示的位置上重疊視角顯示信息生成部27所生成的視角顯示信息，制成重疊圖像。
[0058]當通過視角顯示按鈕12b選擇了重疊圖像生成接通時，該重疊圖像制成部28的重疊圖像的制成與位置檢測裝置5的位置信息的取得對應地進行，直到選擇重疊圖像生成斷開，其中，該位置檢測裝置5的位置信息的取得像上述那樣每經過一定的時間間隔而重復地進行。此時，顯示裝置8在選擇指示是重疊圖像生成接通的期間對重疊圖像進行顯示。由此，視角顯示信息被實時顯示。并且，當通過視角顯示按鈕12b選擇了重疊圖像生成斷開時，重疊圖像制成部28例如不生成重疊圖像(但是，當像后述那樣將重疊圖像存儲于第二存儲部24而進行下述的累積視角顯示的情況下，也可以與視角顯示按鈕12b的操作狀態無關地制成重疊圖像)。
[0059]而且，為了對累積視角顯示按鈕12d被操作的情況做出準備，重疊圖像制成部28與位置檢測裝置5的位置信息的取得對應地進行重疊圖像的制成，其中，該位置檢測裝置5的位置信息的取得每經過一定的時間間隔而重復地進行。
[0060]另一方面，在凍結視角顯示按鈕12c被操作的情況下，重疊圖像制成部28只要在被操作的時刻制成重疊圖像即可。
[0061]并且，重疊圖像制成部28的重疊處理存在如下的情況:將視角顯示信息與由管腔器官提取部22提取出的作為三維圖像信息的規定的管腔器官圖像信息重疊、以及根據作為三維圖像信息的規定的管腔器官圖像信息將作為二維圖像信息的規定的管腔器官圖像信息制成俯瞰圖像或切出圖像等之后重疊視角顯示信息。
[0062]在所制成的重疊圖像是二維圖像的情況下，該二維重疊圖像成為輸出給顯示裝置8的圖像數據，但在所制成的重疊圖像是三維圖像的情況下，圖像處理部23根據重疊圖像而制成俯瞰圖像或切出圖像等二維重疊圖像并使該二維重疊圖像成為輸出給顯示裝置8的圖像數據。
[0063]第二存儲部24對位置信息和視角信息(具體而言，作為用于根據存儲于服務器6的術前多切片圖像數據16a?16η來制成二維重疊圖像的數據的物鏡光學系統的位置信息(位置和方向數據)和攝像圖像的視角信息)、與所制成的二維重疊圖像中的至少一方進行存儲。
[0064]這里，為了之后容易掌握記錄在病歷等中的記錄照片被拍攝的位置和方向，第二存儲部24只要與由攝像系統10拍攝的攝像圖像相關聯地進行位置信息和視角信息、與二維重疊圖像中的至少一方的存儲即可。此時，只要使從作為攝像指示部的釋放按鈕12a輸入攝像指示的時機包含于進行相關聯的存儲的時機中即可。
[0065]圖像讀出部29將從第二存儲部24讀出的二維重疊圖像或者根據從第二存儲部24讀出的位置信息和視角信息而制成的二維重疊圖像輸出給顯示裝置8以用于顯示。上述的作為取得指示部的凍結視角顯示按鈕12c所產生的凍結視角顯示指示數據是用于從第二存儲部24取得信息的取得指示。
[0066]因此，圖像讀出部29根據取得指示而從第二存儲部24讀出取得指示的輸入開始時刻的二維重疊圖像。
[0067]或者，圖像讀出部29根據取得指示而從第二存儲部24讀出取得指示的輸入開始時刻的位置信息和視角信息，根據讀出的位置信息和視角信息而使圖像處理部23制成二維重置圖像。
[0068]而且，圖像讀出部29在取得指示有效的期間持續輸出二維重疊圖像以用于顯示。由此，在取得指示有效的期間中，凍結視角顯示按鈕12c被操作的時刻的視角被持續顯示。
[0069]接下來，圖3是示出內窺鏡系統I的作用的流程圖，圖4是示出顯示裝置8的顯示畫面8a的顯不例的圖。
[0070]另外，顯示在圖4的顯示畫面8a上的圖像是由圖像處理裝置7處理后的最終的二維圖像數據，以下，適當使用圖4所示的二維圖像數據的標號進行說明。
[007?] 如圖4所示，在顯示裝置8的顯示畫面8a上顯示有例如俯瞰圖像31、假想內窺鏡圖像32以及內窺鏡圖像33。這里，俯瞰圖像31是對構建成三維圖像數據的管腔器官進行俯瞰時的被立體觀察的管腔器官的二維圖像。并且，假想內窺鏡圖像32是從物鏡光學系統的視點對構建成三維圖像數據的管腔器官進行了觀察時的二維圖像。而且，內窺鏡圖像33是攝像系統10所拍攝的攝像圖像。另外，圖4所示的顯示例只是一例，也可以顯示其他信息或者省略一些信息的顯示等。
[0072]在圖4所示的俯瞰圖像31中顯示有管腔器官41中的尿管42、腎盂43、大腎盞44、小腎盞45、腎乳頭46，還顯示有作為導航的表示當前的插入部11的插入形狀的插入部圖像51。該插入部圖像51的前端是當前的物鏡光學系統的位置50。在圖4的俯瞰圖像31所示的例中，當前的物鏡光學系統的位置50位于大腎盞44內。
[0073]與插入部11的物鏡光學系統位于大腎盞44內對應地，在圖4所示的內窺鏡圖像33中顯示有從大腎盞44觀察到的多個小腎盞45的開口。
[0074]并且，在假想內窺鏡圖像32中顯示有從當前的物鏡光學系統的位置50應該能觀察到的多個小腎盞45的開口。
[0075]接著，以如下的情況為例進行說明:例如在粉碎腎臟結石而進行細化后，在檢查是否殘留有結石的碎片時，使用內窺鏡系統I。在這樣的檢查中，需要徹底地檢查腎臟的管腔內以使得不漏看結石的碎片。
[0076]此時，手術人員首先使用與以往相同的導航進行插入直到目標的小腎盞45。而且，進行使用內窺鏡徹底地環視目標的小腎盞45內的檢查。在這樣的檢查中，手術人員在期望的時機對操作部12的視角顯示按鈕12b進行操作，由此進行視角顯示。
[0077]并且，一邊參照視角顯示一邊進行小腎盞45的觀察，在手術人員判斷為對于一個小腎盞45內全部進行了觀察的情況下，再次利用與以往相同的導航，移動到下一個小腎盞45進行觀察。在該小腎盞45間移動時，在不需要視角顯示的情況下，手術人員還可以操作視角顯示按鈕12b來斷開視角顯示。
[0078]接下來，參照圖3對內窺鏡系統I的作用的詳細內容進行說明。
[0079]當開始進行圖3所示的處理時，管腔器官提取部22像上述那樣讀出術前多切片圖像數據16a?16η來構建三維圖像信息，而且提取存在于所構建的三維圖像信息內的規定的管腔器官圖像信息(步驟SI)。
[0080]另一方面，對位部26從位置檢測裝置5取得物鏡光學系統的位置信息(位置和方向數據)(步驟S2)。
[0081]而且，對位部26對取得的位置信息所表示的實際空間坐標與構建三維圖像信息的三維圖像坐標進行對位(步驟S3)。
[0082]并且，視角顯示信息生成部27從CCU3取得內窺鏡規格數據，根據包含于內窺鏡規格數據中的視角信息而生成包含表示視角范圍的邊界線在內的視角顯示信息(步驟S4)。
[0083]然后，圖像處理部23對是否操作了視角顯示按鈕12b而從CXU 3輸入了視角顯示指示數據進行判斷(步驟S5)。
[0084]這里，在判斷為輸入了視角顯示指示數據的情況下，重疊圖像制成部28根據由對位部26對位后的位置信息而制成在由管腔器官提取部22提取出的管腔器官的三維圖像上重疊了插入部圖像51和由視角顯示信息生成部27生成的視角顯示信息后的重疊圖像(步驟S6)。
[0085]另一方面，在判斷為未輸入視角顯示指示數據的情況下，重疊圖像制成部28根據由對位部26對位后的位置信息，制成在由管腔器官提取部22提取出的管腔器官的三維圖像上重疊了插入部圖像51后的重疊圖像(步驟S7)。
[0086]圖像處理部23根據所制成的重疊圖像來制成俯瞰圖像31，并與假想內窺鏡圖像32和內窺鏡圖像33—同構成顯示用的圖像數據，然后將圖像數據輸出給顯示裝置8。由此，在顯示裝置8上顯示有作為重疊圖像的包含俯瞰圖像31在內的圖像(步驟S8)。
[0087]然后，對是否結束該處理進行判斷(步驟S9)，在判斷為還未結束的情況下，返回步驟S2，重復進行上述那樣的處理，在判斷為結束的情況下，結束該處理。
[0088]圖5是示出重疊有視角顯示信息52的俯瞰圖像31的一例的圖。
[0089]由以俯瞰圖像31的插入部圖像51的前端的物鏡光學系統的位置50為起點而生成為表示視角范圍的角度的呈扇形的邊界線的視角顯示信息52被顯示為將與物鏡光學系統的光軸方向一致的方向作為中心進行擴展。
[0090]當將這樣顯示的視角顯示信息52與內窺鏡圖像33和假想內窺鏡圖像32組合使用時，能夠判別出被觀察的小腎盞45的開口和未被觀察的小腎盞45的開口。即，當在內窺鏡圖像33和假想內窺鏡圖像32中顯示的小腎盞45的開口在圖4所示的例子中是三個而在圖5所示的俯瞰圖像31中存在四個的情況下，判別為一個小腎盞45的開口沒有被觀察到。
[0091]該判別可以由手術人員通過觀察比較圖5所示的俯瞰圖像31與內窺鏡圖像33或者假想內窺鏡圖像32來進行，但也可以通過圖像處理部23進行判別處理并將判別結果作為導航信息之一進行顯示等。
[0092]圖6是示出在俯瞰圖像31上與視角顯示信息52—同標注了能夠/不能觀察標記的例子的圖。
[0093]S卩，如圖6所示，可以在處于俯瞰圖像31中的管腔器官41的視角顯示信息52所表示的范圍內的小腎盞45的開口處顯示例如能夠觀察標記53和不能觀察標記54。但是，圖6所示的顯示是一例，可以采用其他的顯示方式，也可以與顯示一同或者取代顯示而通過語音或其他方法進行導航。
[0094]并且，圖7是示出重疊有視角顯示信息52的俯瞰圖像31的其他例子的圖。
[0095]圖5所示的視角顯示信息52可以僅是扇形的邊界線，但由于實際的觀察范圍是立體角，因此在該圖7所示的例子中使視角顯示信息55為圓錐形的顯示信息。但是，如上所述，也可以考慮攝像元件的攝像面的形狀而采用例如四棱錐形的顯示信息。
[0096]接下來，圖8是示出在從不同的多個方向觀察到的多個俯瞰圖像31、34上顯示視角顯示信息的例子的圖。
[0097]圖像處理部23能夠制成從不同的多個方向觀察到的多個二維重疊圖像。
[0098]在該情況下，在顯示裝置8的顯示畫面8a上顯示有內窺鏡圖像33、俯瞰圖像31以及第二俯瞰圖像34，該第二俯瞰圖像34是從與該俯瞰圖像31不同的角度觀察到的。另外，在該圖8所示的例子中，取代假想內窺鏡圖像32而顯示第二俯瞰圖像34，但也可以在俯瞰圖像31、假想內窺鏡圖像32以及內窺鏡圖像33的基礎上進一步追加顯示第二俯瞰圖像34等。
[0099]這里，第二俯瞰圖像34是從圖8中箭頭A的方向俯瞰時的圖像，是圖像處理部23在三維圖像坐標內使被構建成三維圖像信息的管腔器官旋轉而生成的。
[0100]而且，在俯瞰圖像31上與圖5同樣地顯示有由規定的長度的扇形的邊界線構成的視角顯示信息52，在第二俯瞰圖像34上顯示有表示作為從箭頭A的方向觀察邊界線的前端時的形狀的例如圓形的視角范圍的視角顯示信息52a。另外，與上述同樣地，也可以考慮攝像元件的攝像面的形狀而使該視角顯示信息52a為例如四邊形。
[0101]這樣，通過在從不同的多個方向觀察到的多個俯瞰圖像31、34上對視角顯示信息52、52a進行顯示也能夠立體地掌握觀察范圍。
[0102]接下來，圖9是示出在凍結視角顯示按鈕12c被操作時所顯示的視角顯示信息的例子的圖。
[0103]如上所述，在視角顯示按鈕12b被操作時，以當前的物鏡光學系統的位置50為起點對視角顯示信息進行實時顯示。
[0104]與此相對，在作為取得指示部的凍結視角顯示按鈕12c被操作時，在凍結視角顯示指示有效的期間持續顯示被操作的時刻的視角顯示信息。
[0105]S卩，當凍結視角顯示指示數據被輸入到圖像處理部23時，圖像讀出部29從第二存儲部24讀出取得指示的輸入開始時刻的二維重疊圖像或位置信息和視角信息。因此，凍結視角顯示按鈕12c輸入取得指示的取得指示部，該取得指示用于從第二存儲部24取得信息。
[0106]這里，在所讀出的數據是位置信息和視角信息的情況下，圖像處理裝置7從服務器6讀出術前多切片圖像數據16a?16η，通過對位部26對從第二存儲部24讀出的位置信息和視角信息進行對位，然后制成取得指示的輸入開始時刻的二維重疊圖像。
[0107]圖像讀出部29在取得指示有效的期間將所讀出的取得指示的輸入開始時刻的二維重疊圖像或者根據所讀出的信息而制成的取得指示的輸入開始時刻的二維重疊圖像持續輸出給顯示裝置8以用于顯示。
[0108]由此，如圖9所示，即使在凍結視角顯示按鈕12c被操作后物鏡光學系統的位置50改變，視角顯示信息62也以凍結視角顯示按鈕12c被操作的時刻的物鏡光學系統的位置61為起點持續進行凍結顯示。
[0109]之后在凍結視角顯示按鈕12c被操作而凍結視角顯示指示被取消的時刻，該凍結顯示從畫面上被刪去。
[0110]接下來，圖10是示出在累積視角顯示按鈕12d被操作時在俯瞰圖像上顯示的視角顯示信息的例子的圖，圖11是示出在累積視角顯示按鈕12d被操作時從不同的方向觀察到的俯瞰圖像上顯示的視角顯示信息的例子的圖。這里，圖11是從圖10中箭頭B的方向觀察時的圖像。
[0111]當作為累積顯示指示部的累積視角顯示按鈕12d被操作而輸入累積視角顯示指示時，累積過去的視角顯示信息進行顯示。
[0112]首先，第二存儲部24對過去的多個時刻的位置信息和視角信息、與二維重疊圖像中的至少一方進行存儲。另外，由于也可以對累積視角顯示進行復位，因此在進行了復位操作的情況下，可以刪去在復位操作以前的時刻所取得的二維重疊圖像和在復位操作以前的時刻所取得的位置信息和視角信息。
[0113]而且，圖像處理部23在被輸入了累積視角顯示指示的情況下，從第二存儲部24讀出過去的多個時刻的位置信息和視角信息、與累積二維重疊圖像中的至少一方，該累積二維重疊圖像是對過去的多個時刻的二維重疊圖像進行累積重疊而得到的。
[0114]這里，在從第二存儲部24讀出的是過去的多個時刻的位置信息和視角信息的情況下，圖像處理裝置7從服務器6讀出術前多切片圖像數據16a?16η，通過對位部26對從第二存儲部24讀出的過去的多個時刻的位置信息和視角信息進行對位，然后制成過去的多個時刻的二維重疊圖像。
[0115]然后，圖像處理部23對從第二存儲部24讀出的過去的多個時刻的二維重疊圖像或根據從第二存儲部24讀出的位置信息和視角信息而制成的過去的多個時刻的二維重疊圖像進行累積重疊，制成累積顯示了過去的視角的累積二維重疊圖像。
[0116]這樣，在顯示裝置8上顯示有例如圖10或圖11所示的累積二維重疊圖像。
[0117]首先，圖10和圖11示出從小腎盞45的開口45a對小腎盞45的內部進行觀察時的情況。在該例子中，小腎盞45的內部45b比開口 45a寬闊。
[0118]而且，標注了陰影進行表示的累積視角顯示信息71表示小腎盞45的內部45b的完成了觀察的視角范圍。
[0119]并且，視角顯示信息52、52a表示從當前的物鏡光學系統的位置50觀察到的小腎盞45的內部45b的范圍。
[0120]另一方面，區域72表示小腎盞45中的未觀察的區域。
[0121]另外，在想要徹底地觀察這樣特定的小區域(這里為小腎盞45)的情況下，可以放大顯示包含特定的小區域在內的區域、即圖10中雙點劃線所示的放大對象區域73。例如，也可以在累積視角顯示按鈕12d被操作而使得累積視角顯示指示有效的期間，自動地放大顯示放大對象區域73等。
[0122]根據這樣的實施方式I，制成了在管腔器官圖像中的由對位部26對位后的位置上重疊視角顯示信息的重疊圖像，因此能夠以易于理解的方式提示管腔器官中的觀察范圍。
[0123]并且，由于設置了存儲有位置信息和視角信息、與二維重疊圖像中的至少一方的第二存儲部24，因此能夠在某時刻以后的時刻確認某時刻的觀察范圍。尤其是，與存儲了二維重疊圖像的情況相比，在存儲了位置信息和視角信息的情況下能夠削減存儲容量。
[0124]而且，由于第二存儲部24將位置信息和視角信息、與二維重疊圖像中的至少一方的存儲與攝像系統10所拍攝的攝像圖像相關聯地進行，因此在作為用于記錄于病歷等中的記錄照片而拍攝攝像圖像的情況下，只要參照相關聯的二維重疊圖像或者根據相關聯的位置信息和視角信息而制成的二維重疊圖像，就能夠容易地掌握記錄照片的攝像范圍。
[0125]此時，只要在從攝像指示部輸入了攝像指示的情況下，第二存儲部24對位置信息和視角信息、與二維重疊圖像中的至少一方與攝像圖像進行相關聯的存儲(即，只要使從作為攝像指示部的釋放按鈕12a輸入攝像指示的時機包含于進行相關聯的存儲的時機)，就能夠可靠地掌握取得攝像圖像的時刻的攝像范圍。
[0126]而且，由于圖像讀出部29在取得指示有效的期間持續輸出如下的二維重疊圖像以用于顯示:根據取得指示而從第二存儲部24讀出的取得指示的輸入開始時刻的二維重疊圖像、或基于根據取得指示而從第二存儲部24讀出的取得指示的輸入開始時刻的位置信息和視角信息而制成的二維重疊圖像，因此能夠在凍結顯示有效的期間中持續觀察進行了凍結視角顯示指示的時刻的觀察范圍。由此，即使當前的物鏡光學系統的位置50例如細微地改變，也能夠穩定地觀察凍結視角顯示指示時刻的觀察范圍。
[0127]此外，在與通過位置檢測裝置5取得位置信息對應地由圖像處理部23制成重疊圖像的情況下，能夠實時地顯示視角顯示信息。并且，也能夠預先蓄積用于進行累積視角顯示的重疊圖像。
[0128]由于圖像處理部23在通過視角顯示按鈕12b選擇了重疊圖像生成接通的情況下生成重疊圖像，在選擇了重疊圖像生成斷開的情況下不生成重疊圖像，因此能夠僅在需要實時顯示的情況下生成重疊圖像，在不需要實時顯示的情況下減輕處理負荷。
[0129]而且，當在選擇指示是重疊圖像生成接通期間使顯示裝置8顯示重疊圖像的情況下，能夠觀察實時顯示的視角顯示信息。并且，在手術人員不喜歡始終重疊顯示視角顯示信息的情況下，通過選擇重疊圖像生成接通/斷開，也能夠按照期望地切換視角顯示信息的顯示的接通/斷開。
[0130]并且，在制成圖8所示的從多個不同的方向觀察到的多個二維重疊圖像并進行顯示的情況下，能夠立體地掌握觀察范圍。
[0131]而且，由于視角顯示信息包含表示以位置信息所示的物鏡光學系統的位置為起點而延伸的視角范圍的邊界線，因此能夠容易地掌握從物鏡光學系統的位置觀察到的范圍。
[0132]由于圖像處理部23在被輸入累積視角顯示指示的情況下，制成累積二維重疊圖像，該累積二維重疊圖像是累積重疊過去的多個時刻的二維重疊圖像而得到的，因此能夠容易地確認過去已觀察的區域和還未觀察的區域。
[0133][實施方式2]
[0134]圖12是示出本發明的實施方式2的圖，是示出內窺鏡系統I的自動重疊圖像顯示處理的流程圖。在該實施方式2中，通過對與上述的實施方式I相同的部分標注相同的標號等而適當省略說明，主要對不同的點進行說明。
[0135]在上述的實施方式I中，根據來自手術人員的按鈕操作而進行重疊圖像的顯示即視角顯示信息的顯示，但本實施方式是通過自動處理而進行的。
[0136]S卩，當開始進行圖12所示的處理時，對物鏡光學系統是否存在于規定的區域內(如果列舉具體例子為小腎盞45內)進行判斷(步驟S11)。
[0137]這里，在判斷為存在于規定的區域內的情況下，對存在于規定的區域的持續時間是否為第一閾值以上進行判斷(步驟S12)。
[0138]這里，在判斷為在第一閾值以上的情況下，接通自動重疊圖像顯示(步驟S13)，然后返回步驟Sll的判斷，并且在判斷為小于第一閾值的情況下，不進行步驟S13的處理，返回步驟Sll的判斷。這里，當在步驟S13中接通自動重疊圖像顯示時，進行如下處理:實時制成在上述的實施方式I中說明的重疊圖像并進行顯示。
[0139]并且，在步驟Sll中，在判斷為物鏡光學系統不存在于規定的區域內的情況下，對當前自動重疊圖像顯示是否接通進行判斷(步驟S14)。
[0140]這里，在判斷為自動重疊圖像顯示接通的情況下，對不存在于規定的區域內的持續時間是否為第二閾值以上進行判斷(步驟S15)。
[0141]這里，在判斷為在第二閾值以上的情況下，斷開自動重疊圖像顯示(步驟S16)，然后返回步驟Sll的處理，并且，當在步驟S14中判斷為自動重疊圖像顯示斷開的情況下和在步驟S15中判斷為小于第二閾值的情況下直接返回步驟Sll的處理。
[0142]根據這樣的實施方式2，實現了與上述的實施方式I幾乎相同的效果，并且由于在物鏡光學系統存在于規定的區域內的持續時間在第一閾值以上的情況下自動制成重疊圖像，因此在觀察小腎盞45等特定區域時，不需要進行手動操作就能夠掌握觀察的范圍。
[0143]而且，由于在物鏡光學系統不存在于規定的區域內的持續時間小于第二閾值的期間，持續自動制成重疊圖像，因此能夠防止在小腎盞45等特定區域的入口附近不穩定地切換視角顯示信息的顯示接通/斷開，一邊觀察穩定的顯示畫面一邊進行觀察。
[0144]而且，在物鏡光學系統不存在于規定的區域內的持續時間在第二閾值以上的情況下，重疊圖像的顯示斷開，因此能夠在不需要進行手動操作的情況下，一邊觀察未顯示視角顯示信息的畫面一邊進行插入位置的移動等。
[0145]另外，在上述內容中主要對內窺鏡系統進行了說明，但也可以采用使內窺鏡系統像上述那樣工作的內窺鏡系統的工作方法，還可以是用于使計算機執行該工作方法的程序、記錄該程序且能夠由計算機讀取的非暫時性的記錄介質等。
[0146]并且，本發明不限于上述的實施方式，能夠在實施階段在不脫離該主旨的范圍內對結構要素進行變形并將其具體化。并且，通過適當組合上述實施方式中公開的多個結構要素，能夠形成各種發明方式。例如，也可以從實施方式所示的所有結構要素中刪除幾個結構要素。而且，也可以適當組合不同的實施方式中的結構要素。這樣，當然可以在不脫離發明的主旨的范圍內進行各種變形和應用。
[0147]本申請是以2014年6月10日在日本申請的日本特愿號為優先權主張的基礎進行申請的，上述的公開內容被引用于本申請說明書、權利要求書以及附圖。
【主權項】
1.一種內窺鏡系統，其特征在于，該內窺鏡系統具有: 第一存儲部，其對用于構建三維圖像信息的、預先取得的與被檢體有關的圖像信息進行存儲； 管腔器官提取部，其根據所述圖像信息而構建所述三維圖像信息，并提取存在于該三維圖像信息內的規定的管腔器官圖像信息； 位置信息取得部，其取得使所述被檢體內的光學像成像的物鏡光學系統的位置信息；對位部，其將所述位置信息取得部所取得的位置信息與所述規定的管腔器官圖像信息對位； 視角顯示信息生成部，其生成表示攝像圖像的視角信息的視角顯示信息，其中，所述攝像圖像是由包含所述物鏡光學系統在內的攝像系統拍攝得到的；以及 圖像處理部，其制成重疊圖像，該重疊圖像是在所述規定的管腔器官圖像信息中的由所述對位部對位后的所述位置信息所表示的位置上重疊了所述視角顯示信息而得到的。2.根據權利要求1所述的內窺鏡系統，其特征在于， 所述圖像處理部還能夠根據所述重疊圖像制成二維重疊圖像， 所述內窺鏡系統還具有第二存儲部，該第二存儲部對所述位置信息和所述視角信息、與所述二維重疊圖像中的至少一方進行存儲。3.根據權利要求2所述的內窺鏡系統，其特征在于， 所述第二存儲部將所述位置信息和所述視角信息、與所述二維重疊圖像中的至少一方與所述攝像圖像相關聯地存儲。4.根據權利要求3所述的內窺鏡系統，其特征在于， 所述內窺鏡系統還具有輸入攝像指示的攝像指示部，該攝像指示用于取得所述攝像圖像， 所述第二存儲部在從所述攝像指示部輸入了所述攝像指示的情況下，將所述位置信息和所述視角信息、與所述二維重疊圖像中的至少一方與所述攝像圖像相關聯地存儲。5.根據權利要求2所述的內窺鏡系統，其特征在于， 所述內窺鏡系統還具有: 取得指示部，其輸入取得指示，該取得指示用于從所述第二存儲部取得信息；以及圖像讀出部，其在該取得指示有效的期間，持續輸出根據所述取得指示而從所述第二存儲部讀出的該取得指示的輸入開始時刻的所述二維重疊圖像、或者基于根據所述取得指示而從所述第二存儲部讀出的該取得指示的輸入開始時刻的所述位置信息和所述視角信息而制成的二維重疊圖像以用于顯示。6.根據權利要求1所述的內窺鏡系統，其特征在于， 所述圖像處理部與通過所述位置信息取得部而取得所述位置信息對應地制成所述重置圖像。7.根據權利要求1所述的內窺鏡系統，其特征在于， 所述內窺鏡系統還具有輸入選擇指示的重疊圖像選擇指示部，該選擇指示用于選擇重疊圖像生成接通/斷開， 所述圖像處理部在所述選擇指示是重疊圖像生成接通時生成所述重疊圖像，在所述選擇指示是重疊圖像生成斷開時不生成所述重疊圖像。8.根據權利要求7所述的內窺鏡系統，其特征在于， 所述內窺鏡系統還具有顯示部，該顯示部對所述重疊圖像進行顯示， 所述顯示部在所述選擇指示是重疊圖像生成接通的期間對所述重疊圖像進行顯示。9.根據權利要求1所述的內窺鏡系統，其特征在于， 所述圖像處理部還根據所述重疊圖像而制成從多個不同的方向觀察到的多個二維重置圖像。10.根據權利要求1所述的內窺鏡系統，其特征在于， 所述視角顯示信息包含表示以所述位置信息所示的所述物鏡光學系統的位置為起點而延伸的視角范圍的邊界線。11.根據權利要求2所述的內窺鏡系統，其特征在于， 所述內窺鏡系統還具有輸入累積視角顯示指示的累積顯示指示部，該累積視角顯示指示用于累積顯示過去的視角顯示信息， 所述第二存儲部對過去的多個時刻的所述位置信息和所述視角信息、與所述二維重疊圖像中的至少一方進行存儲， 所述圖像處理部進一步在被輸入了所述累積視角顯示指示的情況下，制成累積重疊了過去的多個時刻的所述二維重疊圖像而得到的累積二維重疊圖像和基于過去的多個時刻的所述位置信息和所述視角信息而制成的累積二維重疊圖像中的至少一方。12.根據權利要求1所述的內窺鏡系統，其特征在于， 所述圖像處理部在根據所述位置信息而判斷為所述物鏡光學系統存在于規定的區域內的持續時間在第一閾值以上的情況下，自動制成重疊圖像直到之后判斷為所述物鏡光學系統不存在于該規定的區域內的持續時間達到第二閾值以上為止。13.一種內窺鏡系統的工作方法，該內窺鏡系統具有第一存儲部、管腔器官提取部、位置信息取得部、對位部、視角顯示信息生成部以及圖像處理部，該內窺鏡系統的工作方法的特征在于， 所述第一存儲部對用于構建三維圖像信息的、預先取得的與被檢體有關的圖像信息進行存儲， 所述管腔器官提取部根據所述圖像信息而構建所述三維圖像信息，并提取存在于該三維圖像信息內的規定的管腔器官圖像信息， 所述位置信息取得部取得使所述被檢體內的光學像成像的物鏡光學系統的位置信息， 所述對位部將所述位置信息取得部所取得的位置信息與所述規定的管腔器官圖像信息對位， 所述視角顯示信息生成部生成表示攝像圖像的視角信息的視角顯示信息，其中，所述攝像圖像是由包含所述物鏡光學系統在內的攝像系統拍攝得到的， 所述圖像處理部制成重疊圖像，該重疊圖像是在所述規定的管腔器官圖像信息中的由所述對位部對位后的所述位置信息所表示的位置上重疊了所述視角顯示信息而得到的。
【文檔編號】G02B23/24GK106028903SQ201580009481
【公開日】2016年10月12日
【申請日】2015年4月28日
【發明人】生熊聰, 生熊聰一, 山本達郎
【申請人】奧林巴斯株式會社