內窺鏡手術系統的制作方法
【專利摘要】在內窺鏡手術系統(3)中，存儲部(50)按每個內窺鏡手術的手術操作者以及手法，對應關聯地存儲用于控制外圍設備的命令以及命令是否分別有效或者無效。顯示I/F(51)接收對手術操作者以及手法的指定。輸入聲音信號變換部(62)識別所輸入的聲音來進行字符串化。聲音識別判斷部(59)參照存儲部(50)來判斷在輸入聲音信號變換部(62)中得到的字符串是否與關于通過顯示I/F(51)指定的手術操作者以及手法而被設定為有效的命令一致。控制部(41)停止將由聲音識別判斷部(59)判斷為無效的命令發送到對應的外圍設備的發送處理。
【專利說明】內窺鏡手術系統【技術領域】
[0001]本發明涉及具有通過聲音識別對所連接的外圍設備進行控制的功能的內窺鏡手術系統。
【背景技術】
[0002]在使用內窺鏡裝置的內窺鏡手術中，通常手術操作者兩手持握著插入到體腔內的處置用具來進行處置。在手術操作者在手術過程中要變更外圍設備的參數等的情況下，還有時委托助手等操作處于非滅菌區域的操作面板等或者按壓設置在手術操作者的跟前處(滅菌區域)的開關等來能夠進行操作。但是，存在無法委托其他人操作而手術操作者自己要進行微妙的調整的情況、由于處置用具的位置或朝向而難以進行操作的情況。
[0003]作為解決這種問題的方法，存在以下技術，即在內窺鏡手術系統中具備聲音識別功能，根據手術操作者以聲音輸入的命令，來實現對外圍設備的參數變更等(例如，專利文獻I)。
[0004]例如在專利文獻I所公開的技術中，以模式識別為基礎進行聲音識別。即，預先將聲音命令登記到系統，將手術操作者發出的聲音命令與所登記的聲音命令進行比較。在由手術操作者輸入的聲音命令與所登記的聲音命令相互一致的情況下，識別該聲音命令。
[0005]關于聲音識別技術，例如公開了以下技術:算出所輸入的聲音的水平數據(levelData)(聲音的大小)與前一次獲取到的等級數據的差，進行基于差與基準值的比較結果的處理(例如，專利文獻2)。另外，還公開了以下技術:對音素識別后的數據進行識別試驗，計測識別率(例如，專利文獻3)。關于對通過聲音輸入的內容進行聲音識別處理的技術，還公開了以下技術:根據初始字符和字符數來確定使用者進行聲音輸入得到的名詞(例如，專利文獻4)。
[0006]專利文獻1:日本特開號公報
[0007]專利文獻2:日本特開號公報
[0008]專利文獻3:日本特開平07-146696號公報
[0009]專利文獻4:日本特開號公報

【發明內容】

[0010]發明要解決的問題
[0011]根據以往的聲音識別技術，如果手術操作者不按照所登記的方式發出命令，則導致產生命令的不識別、誤識別。也就是說，存在以下問題:由于發出聲音命令的手術操作者不同而在系統中難以識別命令，或者根據命令的種類不同，由于聲音與其它命令類似，因此識別到與手術操作者期望的命令不同的命令。但是，在手術現場進行聲音操作時，由誤識別導致的誤操作的影響非常大，因此必須避免。
[0012]用于解決問題的方案
[0013]本發明的方式之一的內窺鏡手術系統具有通過聲音識別對所連接的外圍設備進行控制的功能，其特征在于，具備:存儲部，其按每個內窺鏡手術的手術操作者以及手法來對應關聯地存儲用于控制上述外圍設備的命令以及上述命令各自是有效還是無效；指定部，其接收對上述手術操作者以及手法的指定；變換部，其識別所輸入的聲音并將輸入的聲音字符串化；判斷部，其參照上述存儲部，判斷在上述變換部中得到的字符串是否與通過上述指定部指定的手術操作者以及手法的被設定為有效的命令一致；以及發送部，其停止將由上述判斷部判斷為無效的命令發送到對應的外圍設備的發送處理。
[0014]另外，本發明的另一方式之一的內窺鏡手術系統具有通過聲音識別對所連接的外圍設備進行控制的功能，其特征在于，具備:存儲部，其按每個內窺鏡手術的手術操作者以及手法，來對應關聯地存儲用于控制上述外圍設備的命令以及上述命令各自是有效還是無效；指定部，其接收對上述手術操作者以及手法的指定；變換部，其識別所輸入的聲音并將所輸入的聲音字符串化；判斷部，其參照上述存儲部，來判斷在上述變換部中得到的字符串是否與通過上述指定部指定的手術操作者以及手法的被設定為有效的命令一致；以及發送部，其將由上述判斷部判斷為一致的命令發送到對應的外圍設備。
[0015]另外，本發明的另一方式之一的內窺鏡手術系統具有通過聲音識別對所連接的外圍設備進行控制的功能，其特征在于，具備:存儲部，其按每個內窺鏡手術的手術操作者以及手法，來對應關聯地存儲用于控制上述外圍設備的命令以及上述命令各自是有效還是無效；指定部，其接收用于識別進行內窺鏡手術的房間的信息；變換部，其識別所輸入的聲音并將所輸入的聲音字符串化；判斷部，其參照上述存儲部，來判斷在上述變換部中得到的字符串是否與通過上述指定部指定的房間的被設定為有效的命令一致；以及發送部，其將由上述判斷部判斷為一致的命令發送到對應的外圍設備。
[0016]發明的效果
[0017]根據本發明，在具有通過聲音識別來對所連接的外圍設備進行控制的功能的內窺鏡手術系統中，通過將不使用的命令設為無效，避免檢測錯誤輸入的聲音命令，能夠有效地防止由命令的誤識別而導致的設備的誤操作。
【專利附圖】

【附圖說明】
[0018]圖1是第一實施方式所涉及的內窺鏡手術系統的整體結構圖。
[0019]圖2是第一實施方式所涉及的系統控制器的框圖。
[0020]圖3是第一實施方式所涉及的控制部的功能框圖。
[0021]圖4是說明登記聲音識別命令的有效或無效的方法的圖。
[0022]圖5是例示按每個手術操作者信息以及手法信息來設定的聲音操作設定信息的圖。
[0023]圖6是例示按每個手術操作者信息、手法信息和場景來設定的聲音操作設定信息的圖。
[0024]圖7是表示第一實施方式所涉及的系統控制器的控制部通過聲音識別來對外圍設備進行控制的處理的流程圖。
[0025]圖8是表示操作面板所顯示的畫面例的圖(其I)。
[0026]圖9是表示操作面板21所顯示的畫面例的圖(其2)。
[0027]圖10是說明第二實施方式所涉及的對根據聲音信號的波形而得到的字符串進行聲音識別判斷的方法的圖。
[0028]圖11是表示第二實施方式所涉及的系統控制器的控制部通過聲音識別對外圍設備進行控制的處理的流程圖。
[0029]圖12是第三實施方式所涉及的控制部的功能框圖。
[0030]圖13是表示第三實施方式所涉及的系統控制器的控制部通過聲音識別對外圍設備進行控制的處理的流程圖。
[0031]圖14是表示第四實施方式所涉及的系統控制器的控制部通過聲音識別對外圍設備進行控制的處理的流程圖。
【具體實施方式】
[0032]下面，參照附圖詳細說明本發明的實施方式。
[0033]<第一實施方式>
[0034]圖1是本實施方式所涉及的內窺鏡手術系統的整體結構圖。圖1示出的內窺鏡手術系統3在手術室2內與患者48躺臥的病床10 —起配置。內窺鏡手術系統3具有第一手推車11和第二手推車12，分別搭載了使用于內窺鏡手術的設備等。
[0035]第一手推車11載置電手術刀裝置13、氣腹裝置14、內窺鏡用攝像裝置15、光源裝置16和磁帶錄像機(以下稱為VTR) 17等裝置類以及儲氣罐18。
[0036]內窺鏡用攝像裝置15經由攝像機線纜31a與第一內窺鏡31相連接。
[0037]光源裝置16經由光導31b與第一內窺鏡相連接。
[0038]VTR17對在第一內窺鏡31等中獲取到的內窺鏡圖像進行記錄等。
[0039]儲氣罐18填充了使用于內窺鏡手術的二氧化碳等氣體。
[0040]電手術刀裝置13、氣腹裝置14是使用于內窺鏡手術的醫療設備，這些設備構成為能夠按照來自所連接的系統控制器22的操作命令來進行控制參數的變更等。
[0041]另外，第一手推車裝置11載置顯示裝置19、(第一)集中顯示面板20、操作面板21等。
[0042]顯示裝置19是用于顯示內窺鏡圖像等的裝置，例如使用電視監視器。集中顯示面板20是能夠將在內窺鏡手術系統3中處理的所有數據選擇性地進行顯示的顯示單元。操作面板21例如由液晶顯示器等顯示部和在顯示部上一體地設置的觸摸傳感器等構成，是處于非滅菌區域(不清潔區域)的護士等對內窺鏡手術系統3的各外圍設備等進行操作的集中操作裝置。
[0043]并且，第一手推車裝置11載置系統控制器22。如上所述，系統控制器22對與內窺鏡手術系統3相連接的各種外圍設備進行控制。在圖1的結構例中，系統控制器22經由未圖示的通信線路與電手術刀13、氣腹裝置14、內窺鏡用攝像裝置15、光源裝置16和VTR17相連接。系統控制器22能夠連接頭戴型的麥克風33。系統控制器22對由從麥克風33輸入的手術操作者的聲音得到的命令的輸入進行識別，按照所識別的命令，對所連接的各種外圍設備發送操作命令，從而控制外圍設備。
[0044]另外，RFID(Radio Frequency IDentif ication:射頻識別)終端 35 設置在第一手推車11，根據嵌入于第一內窺鏡31、電手術刀13等處置用具等的ID(IDentification:識別)標簽以無線方式對個體識別信息進行讀取和寫入。[0045]第二手推車12載置內窺鏡用攝像裝置23、光源裝置24、圖像處理裝置25、顯示裝置26以及(第二)集中顯示面板27。
[0046]內窺鏡用攝像裝置23經由攝像機線纜32a與第二內窺鏡32相連接。
[0047]光源裝置24經由光導32b與第二內窺鏡32相連接。
[0048]顯示裝置26是用于顯示由內窺鏡用照相機23捕捉到的內窺鏡圖像的裝置，例如使用電視監視器。集中顯示面板27是能夠將在內窺鏡手術系統3中處理的所有數據選擇性地進行顯示的顯示單元。
[0049]內窺鏡用攝像裝置23、光源裝置24以及圖像處理裝置25經由未圖示的通信線路與載置在第二手推車12的中繼部件28相連接。中繼部件28經由中繼線纜29與上述系統控制器22相連接。
[0050]這樣，系統控制器22對載置在第一手推車11的電手術刀裝置13、氣腹裝置14、內窺鏡用攝像裝置15、光源裝置16以及VTR17、載置在第二手推車12的內窺鏡用攝像裝置
23、光源裝置24以及圖像處理裝置25進行集中控制。因此，在系統控制器22與這些裝置之間進行通信時，系統控制器22構成為在操作面板21的液晶顯示器中能夠顯示連接中的裝置的設定狀態、操作開關等的設定畫面。系統控制器22構成為，通過期望的操作開關被觸摸而對規定區域的觸摸傳感器進行操作由此能夠進行變更設定值等操作輸入。
[0051]遠程控制器30是由處于滅菌區域的手術操作者即主刀醫師等進行操作的第二集中操作裝置。遠程控制器30經由系統控制器22對與系統控制器22通信中的其它裝置的操作進行控制。
[0052]此外，系統控制器22經由線纜9與患者監視系統4相連接。系統控制器22對在患者監視系統4中保持的生物體信息進行分析，能夠將分析結果顯示在期望的顯示裝置。
[0053]另外，系統控制器22設置有在圖1中未圖示的紅外線通信端口等通信單元。紅外線通信端口等通信單元例如設置在顯示裝置19等的附近即容易照射紅外線的位置，在與系統控制器22之間通過線纜進行連接。
[0054]圖1示出的內窺鏡手術系統3的系統控制器22當判斷為根據手術操作者經由麥克風33輸入的聲音輸入了用于控制規定的外圍設備的聲音命令時，將對應的操作命令發送至外圍設備。在判斷對所輸入的聲音是否輸入了聲音命令時，僅對預先作為聲音命令被設定為“有效”的聲音命令進行聲音識別，將對應的操作命令發送至外圍設備。
[0055]下面，具體說明本實施方式所涉及的內窺鏡手術系統3的系統控制器22對所輸入的聲音進行聲音識別而對外圍設備發送操作命令并進行控制的方法。
[0056]此外，在以下說明中，針對所輸入的聲音，將識別為用于操作外圍設備的聲音命令的聲音設為“聲音識別命令”，將經由通信線路發送至外圍設備的命令設為“操作命令”。
[0057]圖2是本實施方式所涉及的系統控制器22的框圖。圖2示出的系統控制器22具有通信接口(以下稱為通信I/F)40、A/D變換部45、顯示接口(以下稱為顯示I/F) 51、存儲部50以及控制部41。
[0058]A/D變換部45將從與系統控制器相連接的麥克風33輸入的模擬的聲音信號變換為數字信號。
[0059]顯不I/F51是使操作面板21顯不GUI (Graphical User Interface:圖形用戶接口 )并將來自操作面板21的由使用者的觸摸操作產生的信號傳輸到控制部41時的接口。顯示I/F51例如接收利用內窺鏡手術系統3的手術操作者、手術操作者所使用的手法等的指定。
[0060]通信I/F40是與內窺鏡用攝像裝置15、光源裝置16、氣腹裝置14以及電手術刀裝置13等外圍設備之間的通信接口。在圖2中僅記載了在圖1中與系統控制器22直接進行連接的裝置，省略記載了經由中繼線纜29、中繼部件28進行連接的裝置。
[0061]控制部41經由通信I/F40獲取內窺鏡用攝像裝置15等所連接的裝置(外圍設備)的參數，經由顯示I/F51顯示在操作面板21。另外，控制部41根據在顯示I/F51中接收到的對操作面板21的觸摸操作的信號、從A/D變換部45輸入的聲音信號，經由通信I/F40發送操作命令，控制外圍設備。在識別到從麥克風33輸入了聲音識別命令的情況下，控制部41使對應的操作命令經由顯示I/F51顯示在操作面板21。而且，控制部41根據操作命令，經由通信I/F40對外圍設備進行控制。
[0062]存儲部50存儲控制部41執行外圍設備的控制等所需的信息。具體地說，存儲有如下等信息:表示與用于與根據經由A/D變換部45輸入的聲音信號得到的字符串進行比較的聲音識別命令、用于識別手術操作者或手法的信息以及聲音識別命令對應地將聲音識別命令被設定為有效或無效。參照圖5、圖6等詳細說明存儲在存儲部50的這些信息。
[0063]圖3是本實施方式所涉及的控制部41的功能框圖。如圖3所示，在本實施方式中，控制部41具有聲音識別控制部58，聲音識別控制部58具有輸入聲音信號變換部62和聲音識別判斷部59。
[0064]聲音識別控制部58使從圖2的A/D變換部45輸入的聲音信號在輸入聲音信號變換部62中字符串化。而且，聲音識別判斷部59根據圖2的存儲部50所存儲的信息，判斷通過聲音識別變換部62的變換處理得到的字符串是否與被設定為有效的聲音識別命令一致。以下還將聲音識別判斷部59的判斷稱為聲音識別判斷。
[0065]在本實施方式所涉及的內窺鏡手術系統3中，在存儲部50中預先登記按每個手術操作者以及手法能夠控制外圍設備的聲音識別命令為有效或無效。在聲音識別控制部58中，將根據所輸入的聲音信號得到的字符串與登記在存儲部50的信息進行比較，在判斷為字符串與作為聲音識別命令被設定為有效的命令一致的情況下，控制部41將對應的操作命令發送至外圍設備。在判斷為字符串與作為聲音識別命令被設定為有效的命令不一致的情況下，在操作命令與作為聲音識別命令被設定為無效的命令一致的情況下，控制部41停止將對應的操作命令發送至外圍設備的處理。
[0066]圖4是說明登記聲音識別命令的有效或無效的方法的圖。在圖4中，通過系統控制器22預先準備的GUI，在操作面板21的顯示部中例示如下的畫面:用于由使用者設定規定的手術操作者以規定的手法使用的聲音識別命令是否分別有效或無效。
[0067]圖4示出將與手術操作者等經由操作面板21指定的手術操作者信息52和手法信息53相對應的聲音命令的設定畫面打開的樣子。手術操作者信息52是指對進行內窺鏡手術的手術操作者進行識別的信息，手法信息53是指對在內窺鏡手術中使用的手法進行識別的信息。通過圖4示出的操作面板21的畫面等，在手術操作者信息52所表示的手術操作者“醫生A”進行手法信息53所表示的“腹腔鏡膽囊切除術(LaparoscopicCholecystectomy) ”的手術時,關于能夠從系統控制器22發送至外圍設備的各個操作命令，將聲音識別設定為有效或無效。[0068]由此，例如在手術操作者進行規定的手法時將希望使用聲音識別功能來進行外圍設備的控制的聲音識別命令設定為有效，將必要性低的聲音識別命令設定為無效。在圖4的例子中，在手術操作者醫生A進行腹腔鏡膽囊切除術時，將聲音識別命令55中的“釋放”設定為有效，另一方面，將“定格”設定為無效。由此，在手術操作者醫生A在腹腔鏡膽囊切除術的過程中使用“釋放”的聲音識別命令的情況下，防止在系統控制器22中將該“釋放”誤識別為“定格”這一情況。
[0069]將通過圖4例示的畫面來設定的信息存儲到存儲部50。在以下說明中，將通過圖4例示的畫面來設定的信息中的聲音識別命令55和與該聲音識別命令55對應的有效或無效狀態56設為“聲音操作設定信息”。如上所述，聲音操作設定信息是指按每個能夠通過聲音識別而發送至外圍設備的操作命令和對應的聲音識別命令來對應地設定在系統控制器22中是否根據聲音識別進行外圍設備的控制(有效或者無效)的信息。
[0070]圖5是例示按每個手術操作者信息52和手法信息53設定的聲音操作設定信息的圖。
[0071]例如，即使在手術操作者信息52中設定表示同一手術操作者的“醫生A”，也如果在手法信息53中設定分別不同的手法“腹腔鏡膽囊切除術”和“LADG(腹腔鏡輔助遠端胃大部切除早期胃癌)”，則即使是同一聲音識別命令55，也能夠分別按每個手法來設定有效或無效狀態56。如果手術操作者信息52設定了相互不同的手術操作者“醫生A”、“醫生B”，則即使是同一聲音識別命令55，也能夠分別對手術操作者設定有效或無效狀態56。
[0072]關于聲音操作設定信息，不僅構成為按每個手術操作者信息52和手法信息53來設定，并且也可以構成為按每個手術的進行階段來設定聲音識別命令55的有效或無效。在以后的說明中，將手術的進行階段設為“場景”。
[0073]圖6是例示按每個手術操作者信息52、手法信息53以及場景來設定的聲音操作設定信息的圖。圖6示出在手術操作者醫生A進行腹腔鏡膽囊切除術時根據其階段、具體地說對“開腹”的場景和“縫合”的場景分別設定聲音識別命令55的有效或無效狀態56的例子。圖6的場景信息54是用于識別場景的信息。
[0074]例如，在開腹場景中，有效地設定用于對所使用的電手術刀裝置13進行控制的聲音識別命令55。在圖6的例子中，在場景信息54 “開腹”的聲音操作設定信息中，將聲音識別命令55中的、在開腹場景中利用的“電手術刀輸出上升”、“電手術刀輸出下降”設定為“有效”。其另一方面，在之后的縫合場景中，不需要電手術刀裝置13的控制。因此，在圖6的例子中，在場景信息54 “縫合”的聲音操作設定信息中，將同一聲音識別命令55 “電手術刀輸出上升”、“電手術刀輸出下降”設定為“無效”。
[0075]這樣，按每個場景信息54，將該場景所需的聲音識別命令55設定為有效，并且將不需要的聲音識別命令55設定為無效，由此有效地防止所輸入的聲音命令被誤識別為不需要的聲音識別命令55這一情況。
[0076]圖7是表示本實施方式所涉及的系統控制器22的控制部41通過聲音識別進行外圍設備的控制的處理的流程圖。控制部41以系統控制器22被啟動的情況為契機開始圖7示出的處理。
[0077]首先，在步驟SI中，根據手術操作者登錄時輸入的信息來確定手術操作者信息52。圖8的畫面80A是在步驟SI中操作面板21所顯示的畫面例。顯示在系統控制器22中登記的一個以上的手術操作者信息52的列表81。當對從列表81中選擇的手術操作者信息52的登錄進行識別時，控制部41判斷為登錄的識別的手術操作者信息52得到了確定。
[0078]在步驟S2中確定手法信息。圖8的畫面80B是在步驟S2中操作面板21所顯示的畫面例。關于在步驟SI中指定的手術操作者信息52，在存儲部50顯示登記有聲音操作設定信息的一個以上的手法信息53的列表82。當從列表82中選擇表不在內窺鏡手術使用的手法的手法信息53時，判斷為所選擇的手法信息53得到了確定。
[0079]在步驟S3中，決定與在步驟SI和步驟S2中指定的手術操作者信息52和手法信息53對應的有效的聲音識別命令55。為了決定有效的聲音識別命令55，首先從存儲部50讀出與手術操作者信息52和手法信息53對應的聲音操作設定信息。
[0080]圖8的畫面80C是在步驟S3中操作面板21所顯示的畫面例。顯示從存儲部50讀出的、與所指定的手術操作者信息52和手法信息53對應的聲音操作設定信息。在畫面中的聲音識別命令列表83中顯不存儲部50所登記的聲音識別命令55的一部分以及對應的有效或無效狀態56。
[0081]當手術操作者等使用者按下設定按鈕84時，控制部41決定有效的聲音識別命令55。即，控制部41在以后的處理中根據畫面80C中所顯示的聲音操作設定信息來判斷聲音識別命令55的有效或無效。
[0082]在步驟S4中，判斷是否設定場景。圖8的畫面80D是在步驟S4中操作面板21所顯示的畫面例。在手術操作者等使用者按下畫面80D的設定按鈕85的情況下，判斷為進行場景設定。在不進行場景設定的情況下，不特別進行處理，使處理轉移到步驟S7。在進行場景設定的情況下，進入到步驟S5。
[0083]在步驟S5中，從作為聲音操作設定信息設定的場景中接收一個場景的選擇。圖9是表示在步驟S5中操作面板21所顯示的畫面例的圖。畫面80E顯示與在步驟SI和步驟S2中指定的手術操作者信息52和手法信息53有關的、在存儲部30中登記過的每個場景的聲音操作設定信息的列表91。當通過操作面板21從列表91中選擇一個場景并按下設定按鈕92時，進入到步驟S6。
[0084]在步驟S6中，決定與在步驟S5選擇的場景對應的有效的聲音識別命令55。即，控制在以后的處理中根據與所選擇的場景信息54對應的聲音操作設定信息來判斷聲音識別命令55的有效或無效。在步驟S6中，去除在步驟S3等中上述設定的聲音操作設定信息。
[0085]在步驟S7中，判斷是否存在聲音輸入。在不存在聲音輸入的情況下，返回到步驟S4。在存在聲音輸入的情況下，進入到步驟S8。
[0086]在步驟S8中，將輸入的聲音信號的信號波形進行字符串化。關于將數字聲音信號波形進行字符串化的技術使用公知的技術。
[0087]在步驟S9中，將在步驟S8中得到的字符串與在步驟S3或者步驟S6中設定的聲音操作設定信息的聲音識別命令55進行比較，判斷字符串是否與在有效或無效狀態56中設定為“有效”的聲音識別命令55 —致。在是聲音識別命令55中不存在的字符串的情況下，使處理轉移到步驟S11，同樣地，在是被設定為“無效”的聲音識別命令55的情況下，也不將命令信號發送至設備，使處理轉移到步驟S11。在有效的聲音識別命令55中存在一致的命令的情況下，進入到步驟S10。
[0088]在步驟SlO中，將與字符串對應的操作命令發送至對應的外圍設備。在接收到操作命令的外圍設備中執行與操作命令相應的控制處理。
[0089]在步驟Sll中，判斷內窺鏡手術是否結束。在手術過程中的情況下，返回到步驟S4。在由手術操作者等使用者對操作面板21進行操作而識別到手術結束這一情況的情況下，結束處理。
[0090]如上所述，根據本實施方式所涉及的內窺鏡手術系統3，按每個手術操作者、手法(和場景)，來預先設定表示按通過聲音識別來控制外圍設備的每個聲音識別命令55為有效或者無效的信息。在將所輸入的聲音信號進行字符串化來進行聲音識別時，在字符串與被設定為有效的聲音識別命令55 —致的情況下，發送與外圍設備對應的操作命令。能夠將對于手術操作者、手法、場景來說必要性高的聲音識別命令設定為有效，將必要性低的聲音識別命令設定為無效。由此，即使在存在聲音類似的聲音識別命令的情況下，也由于在必要性低的情況下設定為無效而無視成為無效的聲音識別命令55，使得將操作命令發送至外圍設備的處理停止，因此有效地防止聲音識別命令的誤識別。而且，通過防止聲音識別命令的誤識別，能夠有效地防止對外圍設備發送錯誤的操作命令。
[0091]〈第二實施方式〉
[0092]在上述實施方式中，根據通過所輸的聲音得到的字符串是否與在聲音操作設定信息中被設定為有效的聲音識別命令55 —致,來進行聲音識別判斷。與之相比，在本實施方式中不同點在于，即使通過所輸入的聲音得到的字符串與聲音識別命令55不完全一致，也以滿足規定的條件這一情況為條件進行聲音識別判斷。
[0093]下面，以與第一實施方式不同的點為中心，說明本實施方式所涉及的內窺鏡手術系統3通過聲音識別進行外圍設備的控制的方法。
[0094]在本實施方式中，內窺鏡手術系統3的結構、系統控制器22和控制部41的結構與上述實施方式相同，與圖1?圖3相同，因此在此省略說明。
[0095]在本實施方式中，與在上述實施方式中說明的圖5、圖6示出的聲音操作設定信息分開地，為了進行聲音識別判斷處理而存儲表示聲音識別命令55的一部分和將聲音識別命令55進行字符串化的情況下的字符數的信息。而且，根據從輸入到系統控制器22的聲音信號的波形得到的字符串中的、規定部位的字符和字符串整體的字符數與所存儲的信息一致到什么程度，來進行聲音識別。在以下說明中，將在與基于波形得到的字符串進行比較中使用的信息、即按每個聲音識別命令55而將聲音識別命令55的一部分字符以及命令整體的字符數對應得到的信息設為部分比較用信息。
[0096]圖10是說明參照聲音識別命令的部分比較用信息對基于聲音信號的波形得到的字符串進行聲音識別判斷的方法的圖。
[0097]如圖10所不,在部分比較用信息95中，與聲音識別命令68對應地,按每個聲音識別命令設定有初始字符69、最后字符70、字符數71以及字符數閾值72。
[0098]對部分比較用信息95中的初始字符69和最后字符70分別設定以字符串表示聲音識別命令68的情況下的第一個字符和最后字符。將字符數71設定為以字符串表示聲音識別命令68的情況下的字符數。將字符數閾值72設定為相對于字符數71占規定比例的字符數。在圖10示出的實施例中，將字符數71中的二分之一的字符數設定為字符數閾值71。在聲音識別判斷中為了與將聲音信息進行字符串化而得到的命令的字符數進行比較而使用字符數閾值72。[0099]在圖10中的輸入聲音64中保存基于聲音信號波形得到的字符串。關于輸入聲音64，也求出字符串的初始字符、最后字符以及字符數，保存到圖10的初始字符65、最后字符66以及字符數67。在以下本實施方式的說明中將輸入聲音64、初始字符65、最后字符66以及字符數67設為輸入信息94。
[0100]具體地說明使用圖10示出的信息來如何進行聲音識別判斷。
[0101]圖11是表示本實施方式所涉及的系統控制器22的控制部41通過聲音識別進行外圍設備的控制的處理的流程圖。參照圖11，具體說明根據圖10示出的輸入信息94和部分比較用信息95來基于輸入聲音64對操作命令進行聲音識別而控制外圍設備的方法。此夕卜，控制部41開始進行圖11的處理與上述實施方式同樣地以系統控制器22的啟動為契機。在圖11中進行了省略，但是啟動系統控制器22而執行圖7的步驟SI?步驟S6的處理之后，轉移到圖11的步驟S21的處理。即，讀出與手術操作者信息52、手法信息53等對應的聲音操作設定信息，決定有效的聲音識別命令55之后執行圖11的處理。
[0102]首先，在步驟S21中，判斷是否存在聲音的輸入。在不存在聲音的輸入的情況下，待機到聲音輸入到系統控制器22的控制部41為止。在存在聲音的輸入的情況下，進入到步驟S22。
[0103]在步驟S22中，將所輸入的聲音信號的信號波形進行字符串化。
[0104]在步驟S23中，根據在步驟S22中得到的字符串算出字符數。然后，在步驟S24中從字符串提取初始字符和最后字符。將在步驟S23和步驟S24中得到的字符數、最初和最后字符作為圖10的輸入信息94的字符數67、初始字符65以及最后字符66，來與基于輸入聲音(得到的字符串)64對應關聯地存儲。
[0105]在步驟S25中，判斷在部分比較用信息95所保存的信息中是否存在與輸入信息94的初始字符65 —致的初始字符69。在不存在一致的初始字符69的情況下，使處理轉移到步驟S29。在存在一致的初始字符69的情況下，進入到步驟S26。
[0106]在步驟S26中，判斷在部分比較用信息95所保存的信息中是否存在與提取的最后字符66 —致的最后字符70。在此，參照與在步驟S25中判斷為與初始字符65 —致的初始字符69對應的聲音識別命令68的最后字符70，判斷輸入信息94的最后字符66與最后字符70是否相互一致。在輸入信息94中的最后字符66與比較對象的最后字符70彼此一致的情況下，使處理轉移到步驟S29。在輸入信息94中的最后字符66與比較對象的最后字符70彼此一致的情況下，進入到步驟S27。
[0107]在步驟S27中，將輸入信息94中的字符數67與在步驟S26中最后字符70與輸入信息94中的最后字符67 —致的聲音識別命令68的字符數閾值72進行比較。在字符數67低于字符數閾值72的情況下，使處理轉移到步驟S29。在字符數67為字符數閾值72以上的情況下，進入到步驟S28。
[0108]步驟S28和步驟S29與圖7的步驟SlO和步驟Sll的處理分別相同。
[0109]此外，在圖11的步驟S27中，判斷輸入聲音64的字符數67是否超過部分比較用信息95中的比較對象的聲音識別命令68的字符數閾值72、即輸入聲音64的字符數67是否超過字符數71的二分之一。在輸入聲音64的字符數67占聲音識別命令68的字符數的固定比例以上的情況下，即使輸入聲音64與聲音識別命令68不完全一致,也在聲音識別判斷中判斷聲音識別命令的有效或無效判斷。例如參照圖5、圖6的聲音操作設定信息來進行聲音識別命令的有效或無效的判斷。聲音識別命令的有效或無效的判斷方法的詳細情況與上述實施方式的說明中說明的情況相同。
[0110]圖10中的、(I)表不輸入聲音64與聲音識別命令68—致的情況，(2)表不輸入聲音64與聲音識別命令68不一致的情況。參照圖10說明通過本實施方式判斷與輸入聲音對應的聲音識別命令的處理的效果。
[0111]如(1)所示，如果輸入聲音64的字符串與聲音識別命令68—致，則即使通過圖7示出的上述實施方式所涉及的方法來進行聲音識別判斷，手術操作者等使用者也能夠通過聲音輸入進行期望的外圍設備的控制。但是，如(2)所示，在輸入聲音64無法如手術操作者等使用者期望的那樣被識別的情況下，通過本實施方式所涉及的方法進行聲音識別判斷來能夠進行外圍設備的控制。
[0112]具體地說，如(2)所示，即使在輸入聲音64的字符串被識別為“ T A — >9J: (電手術刀出上升)”的情況下，初始字符65 和最后字符66 “X”也分別與聲音識別命令68“電気> 7出力7 〃:/ (電手術刀輸出上升)”的初始字符69和最后字符70一致。另外，輸入聲音64的字符數67被識別為10字符，與“電気> 7出力7 〃 7° (電手術刀輸出提高)”的字符數“12字符”不同。即使在這種情況下，超過聲音識別命令68 “電手術刀輸出提高”的字符數閾值72 即“6字符”。因此，即使輸入聲音64的字符串與聲音識別命令不完全一致，通過輸入聲音64也能夠判斷為輸入了聲音識別命令“電気^ 7出力7 7I (電手術刀輸出提高)”。
[0113]關于字符數多的聲音識別命令68等，由于噪聲等無法正確地收集中途的聲音，有時被識別為錯誤的字符或者漏掉字符。即使在這種情況下，例如如果是如最初和最后字符那樣的部分字符一致且字符數接近固定以上聲音識別命令，則該聲音識別命令被判斷為聲音輸入而進行聲音識別判斷，由此聲音識別命令被判斷為不識別的頻率降低。
[0114]這樣，在本實施方式所涉及的內窺鏡手術系統3中，在進行聲音識別將操作命令發送至外圍設備時，不需要輸入聲音64全部與聲音識別命令68 —致。判斷是否存在輸入聲音64的一部分(在上述例子中最初和最后的各一個字符)與聲音識別命令68中的對應的部位彼此一致且輸入聲音64的字符數占聲音識別命令68的字符數的固定比例以上的聲音識別命令68。在滿足條件的聲音識別命令68被包含在部分比較用信息的情況下，對滿足條件的聲音識別命令68進行聲音識別判斷。即使輸入聲音64的全部字符不是與聲音識別命令68完全一致，也能夠進行聲音識別判斷，將對應的操作命令發送至外圍設備。由此，除了上述實施方式所涉及的聲音識別判斷處理的效果以外，能夠進一步提高聲音識別命令的識別率。
[0115]此外，在上述實施例中，將字符串中的初始字符以及最后字符與聲音識別命令的初始字符以及最后字符進行比較，但是并不限定于此。另外，要比較的字符并不限定于字符串中的每一個字符。并且，在上述實施例中，作為字符數閾值72設定了聲音識別命令68的字符數的二分之一，但是作為閾值并不限定于聲音識別命令68的字符數的二分之一。另外，在上述實施例中，將輸入聲音64的字符數與閾值進行比較，但是，例如如果是在系統控制器22中能夠識別輸入聲音的聲音數的結構,貝U也可以將輸入聲音64的聲音數與根據聲音識別命令68的聲音數設定的閾值進行比較。
[0116]〈第三實施方式〉[0117]在上述實施方式中，對從圖1等的麥克風33輸入的聲音直接進行處理而在聲音識別判斷處理中利用。與之相比，在本實施方式中的不同點在于，系統控制器22在將從麥克風33輸入的聲音調整為適當的音量之后進行聲音識別判斷處理。
[0118]下面，以與第一實施方式不同的點為中心，說明本實施方式所涉及的內窺鏡手術系統3通過聲音識別進行外圍設備的控制的方法。
[0119]在本實施方式中，內窺鏡手術系統3的結構、系統控制器22的結構與上述實施方式相同，與圖1和圖2相同，因此在此省略說明。
[0120]圖12是控制部41的功能框圖。圖12示出的控制部41在聲音識別控制部58中除了具備輸入聲音信號變換部62和聲音識別判斷部59以外還具備輸入音量調整部63，這一點與上述實施方式不同。
[0121]輸入音量調整部63根據從圖2的A/D變換部45輸入的數字聲音信號的波形來測量音量，調整音量以使測量得到的音量在規定的范圍內。調整音量得到的聲音信號被輸入到輸入聲音信號變換部62。輸入聲音信號變換部62和聲音識別判斷部59的動作與上述實施方式相同。
[0122]參照流程圖進一步詳細說明本實施方式所涉及的聲音識別判斷方法。
[0123]圖13是表示本實施方式所涉及的系統控制器22的控制部41通過聲音識別進行外圍設備的控制的處理的流程圖。參照圖13，具體說明調整聲音信號的音量之后進行聲音識別判斷的方法。此外，控制部41開始進行圖13的處理與上述實施方式同樣地以系統控制器22的啟動為契機。另外，在圖13中進行了省略，但是在啟動系統控制器22而執行圖7的步驟SI?步驟S6的處理之后，轉移到圖13的步驟S31的處理。即，在讀出與手術操作者信息52、手法信息53等對應的聲音操作設定信息并決定有效的聲音識別命令55之后執行圖13的處理。
[0124]首先，在步驟S31中，判斷是否存在聲音的輸入。與圖11的步驟S21同樣地，在不存在聲音的輸入的情況下，待機到聲音被輸入到系統控制器22的控制部41為止,在存在聲音的輸入的情況下，進入到下一個步驟。
[0125]在步驟S32中，根據從A/D變換部45輸入到控制部41的數字聲音信號波形來測量輸入音量。關于輸入音量的測量技術使用公知的技術。
[0126]在步驟S33中，判斷測量得到的音量是否滿足預先存儲在存儲部50中的音量基準值。音量基準值例如包含適合于聲音識別的音量的上限值和下限值。在音量滿足音量基準值的情況下，不特別進行處理，進入到步驟S35。在音量不滿足音量基準值的情況下，進入到步驟S34。
[0127]在步驟S34中，增減輸入聲音信號以使輸入聲音數據的音量滿足音量基準值。
[0128]步驟S35以后的處理與圖7的步驟8以后的處理相同。
[0129]這樣，根據本實施方式所涉及的內窺鏡手術系統3，在需要的情況下進行調整以使所輸入的聲音信號的音量滿足音量基準值之后，執行聲音識別判斷處理，通過聲音識別進行外圍設備的控制。例如在輸入音量小的情況下，維持原有的音量難以使輸入聲音字符串化，有時被判斷為不識別，但是本實施方式有效地防止該情況。另外，即使在輸入音量大的情況下，也能夠將輸入音量調整為適合于聲音識別的軟件的范圍內。由此，除了上述實施方式所涉及的聲音識別判斷處理的效果以外，還能夠有效地防止被判斷為不識別的概率下降。
[0130]此外，在上述實施例中，對第一實施方式所涉及的聲音識別判斷處理應用調整音量的處理，但是并不限定于此。例如，也可以對第二實施方式所涉及的聲音判斷處理應用音量調整處理。
[0131]〈第四實施方式〉
[0132]在第一實施方式中，按每個手術操作者、手法、場景來能夠設定聲音識別命令的有效或無效。與之相比，在本實施方式中不同點在于，按每個手術室能夠設定聲音識別命令的有效或無效。
[0133]下面，與第一實施方式不同的點為中心，說明本實施方式所涉及的內窺鏡手術系統3通過聲音識別進行外圍設備的控制的方法。
[0134]在本實施方式中，內窺鏡手術系統3的結構、系統控制器22和控制部41的結構與上述實施方式相同，與圖1?圖3相同，因此在此省略說明。
[0135]但是，在本實施方式中，預先登記在存儲部50的聲音操作設定信息構成為能夠按識別手術室的每個手術室信息來設定每個聲音識別命令55的有效或無效狀態56。例如，手術所需的外圍設備等根據內窺鏡手術的種類不同而不同，因此有時按每個手術室分別設置適合于特定的手術的設備。在這種情況下，按每個手術室、即內窺鏡手術的種類來將必要性高的聲音識別命令55設定為有效，將不需要的命令設定為無效，由此更有效地防止誤識別。
[0136]在實施例中,還構成能夠設定每個場景的聲音識別命令55的有效或無效狀態56。下面，參照流程圖具體地說明在適合于特定的手術的手術室中按每個場景決定有效的聲音識別命令55而進行聲音識別判斷而進行外圍設備的控制的方法。
[0137]圖14是表示本實施方式所涉及的系統控制器22的控制部41通過聲音識別進行外圍設備的控制的處理的流程圖。控制部41經由顯示I/F51等以對手術操作者進入到規定的手術室的情況、設置于規定的手術室內的系統控制器22被啟動的情況進行檢測這一情況為契機開始進行圖14示出的處理。當讀出與手術室對應的聲音操作信息時，系統控制器22的控制部41執行步驟S41的處理。
[0138]在步驟S41中，決定有效的聲音識別命令55。有效的聲音識別命令55的決定方法與圖7的步驟S3的說明相同。
[0139]在步驟S42中，判斷是否進行場景設定。如上所述，按每個手術室或者每個場景來設定聲音操作設定信息。在不進行場景設定的情況下，不特別進行處理，使處理轉移到步驟S45。在進行場景設定的情況下，進入到步驟S43。
[0140]步驟S43以后的處理與圖7的步驟S5以后的處理相同。
[0141]這樣，根據本實施方式所涉及的內窺鏡手術系統3，能夠使用每個手術室的聲音操作信息來判斷聲音識別命令55的有效或無效。將在特定的手術中常使用的聲音識別命令設定為有效，將幾乎不使用的聲音識別命令設定為無效，由此得到與第一實施方式所涉及的內窺鏡手術系統3相同的效果。
[0142]除此以外，本發明在不脫離本發明的宗旨的范圍內還能夠進行各種改進和變更。例如，可以從上述各實施方式示出的整體結構刪除幾個結構要素，也可以進一步適當地組合各實施方式的不同的結構要素。[0143]并且，在上述第一?第四內窺鏡手術系統3中，例如也可以具備以下結構:具備檢測或測量手術操作者的視線的單元以及聲音操作用的監視器，在手術操作者進行聲音操作時，通過觀察聲音操作用監視器而聲音操作變為有效。有效地防止由于手術操作者的聲音通過圖1的麥克風33在未考慮基于外圍設備的操作的情況下的對話等而錯誤地進行聲音識別判斷并對外圍設備發送錯誤的操作命令而進行錯誤動作這一情況。
【權利要求】
1.一種內窺鏡手術系統，具有通過聲音識別對所連接的外圍設備進行控制的功能，其特征在于，具備: 存儲部，其按每個內窺鏡手術的手術操作者以及手法來對應關聯地存儲用于控制上述外圍設備的命令以及上述命令各自是有效還是無效； 指定部，其接收對上述手術操作者以及手法的指定； 變換部，其識別所輸入的聲音并將輸入的聲音字符串化； 判斷部，其參照上述存儲部，判斷在上述變換部中得到的字符串是否與通過上述指定部指定的手術操作者以及手法的被設定為有效的命令一致；以及 發送部，其停止將由上述判斷部判斷為無效的命令發送到對應的外圍設備的發送處理。
2.根據權利要求1所述的內窺鏡手術系統，其特征在于， 還具備場景指定部，該場景指定部接收對上述內窺鏡手術的場景的指定， 上述存儲部按每個上述手術操作者以及手法來存儲每個上述場景中的上述命令各自是有效還是無效， 在上述場景指定部中接收到場景的情況下，上述判斷部判斷上述字符串是否與通過上述指定部接收到的手術操作者以及手法的、所接收到的該場景的、在上述存儲部中被設定為有效的命令一致。
3.根據權利要求1或2所述的內窺鏡手術系統，其特征在于，` 上述判斷部根據在上述變換部中得到的字符串是否與在上述存儲部中存儲的命令部分一致以及該字符串的字符數或者聲音數是否占該存儲部中存儲的命令的字符數或者聲音數的規定比例以上，來判斷該字符串是否與在該存儲部中被設定為有效的命令一致。
4.根據權利要求1或2所述的內窺鏡手術系統，其特征在于， 還具備調整部，該調整部測量所輸入的聲音的音量，并調整音量以使測量得到的該音量在規定的范圍內， 上述變換部對由上述調整部調整音量后得到的聲音進行字符串化的處理。
5.一種內窺鏡手術系統，具有通過聲音識別對所連接的外圍設備進行控制的功能，其特征在于，具備: 存儲部，其按每個內窺鏡手術的手術操作者以及手法，來對應關聯地存儲用于控制上述外圍設備的命令以及上述命令各自是有效還是無效; 指定部，其接收對上述手術操作者以及手法的指定； 變換部，其識別所輸入的聲音并將所輸入的聲音字符串化； 判斷部，其參照上述存儲部，來判斷在上述變換部中得到的字符串是否與通過上述指定部指定的手術操作者以及手法的被設定為有效的命令一致；以及 發送部，其將由上述判斷部判斷為一致的命令發送到對應的外圍設備。
6.一種內窺鏡手術系統，具有通過聲音識別對所連接的外圍設備進行控制的功能，其特征在于，具備: 存儲部，其按每個窺鏡手術的手術操作者以及手法，來對應關聯地存儲用于控制上述外圍設備的命令以及上述命令各自是有效還是無效； 指定部，其接收用于識別進行內窺鏡手術的房間的信息；變換部，其識別所輸入的聲音并將所輸入的聲音字符串化； 判斷部，其參照上述存儲部，來判斷通過上述變換部得到的字符串是否與通過上述指定部指定的房間的被設定為有效的命令一致；以及 發送部，其將由上 述判斷部判斷為一致的命令發送到對應的外圍設備。
【文檔編號】G10L15/00GK103460281SQ201280014971
【公開日】2013年12月18日 申請日期:2012年10月18日 優先權日:2011年10月25日
【發明者】前田賴人 申請人:奧林巴斯醫療株式會社