用于檢測可聽輸入中的中止的裝置、設備及方法
【技術領域】
[0001] 本申請總體上涉及檢測裝置的可聽輸入中的中止。
【背景技術】
[0002] 當對于諸如計算機的裝置輸入諸如命令的可聽輸入序列時，可聽輸入序列中的中 止可能導致計算機停止"接聽"該可聽輸入序列，這是因為例如裝置停止處理序列和/或超 時，從而不能完全地處理命令。
[0003] 此外，在一些實例中，被裝置確定為可聽輸入序列中的中止的可能實際上為用戶 結束了提供可聽輸入序列之后、等待裝置處理該可聽輸入序列的空白（silence)。在這樣的 實例中，這可能導致裝置處理并非要輸入至該裝置的音頻并且甚至可能例如不必要地消耗 該裝置的電池。

【發明內容】

[0004] 因此，在第一方面中，一種裝置包括：處理器；存儲器，所述存儲器能夠被所述處 理器訪問并且承載有能夠被所述處理器執行以實現如下操作的指令：處理可聽輸入序列， 所述可聽輸入序列由所述裝置的用戶提供；至少部分地基于來自與所述裝置通信的至少一 個攝像頭的第一信號來確定在提供所述可聽輸入序列期間發生了中止；響應于確定發生了 所述中止，停止處理所述可聽輸入序列；至少部分地基于來自所述攝像頭的第二信號來確 定已恢復提供所述可聽輸入序列；以及響應于確定已恢復提供所述可聽輸入序列，恢復對 所述可聽輸入序列的處理。
[0005] 在一些實施方式中，中止可以包括裝置不能理解的可聽序列分隔符。此外，可以至 少部分地基于對至少第一信號執行讀唇軟件，將可聽序列分隔符確定為是不能理解的，其 中，可以響應于采集用戶的面部的至少一部分的至少一個圖像的攝像頭，由攝像頭生成第 一信號。
[0006] 此外，在一些實施方式中，指令還能夠由所述處理器執行，從而除非還在對來自所 述裝置上的加速度計的信號進行處理時至少基本上同時接收到所述可聽序列分隔符，則響 應于處理來自所述裝置上的加速度計的信號而確定停止處理所述可聽輸入序列。
[0007] 另外，如果需要，則中止包括在用戶向裝置提供可聽輸入期間的中止。因此，至少 部分地基于第一信號確定發生了中止可以包括：確定用戶的當前面部表情表示不是將要提 供可聽輸入。在一些實施方式中，確定用戶的當前面部表情表示不是將要提供可聽輸入可 以包括：確定用戶的嘴至少大部分是閉合的。
[0008] 此外，如果需要，則至少部分地基于第二信號確定已恢復提供可聽輸入序列包括： 確定用戶的嘴是張開的。
[0009] 在另一方面中，一種方法包括：在裝置處接收可聽輸入序列，所述可聽輸入序列由 所述裝置的用戶提供；響應于接收到來自與所述裝置通信的至少一個攝像頭的第一信號以 及響應于接收到來自與所述裝置至少通信的觸控顯示器的輸入，而確定所述用戶已經停止 提供所述可聽輸入序列；以及確定所述用戶已經恢復提供所述可聽輸入序列。
[0010] 在又一方面中，一種設備包括：第一處理器；網絡適配器；存儲裝置，所述存儲裝 置承載有經由所述網絡適配器通過網絡傳輸的、以通過第二處理器實現如下操作的指令： 處理可聽輸入命令，所述可聽輸入命令由與所述第二處理器關聯的裝置的用戶提供，對所 述可聽輸入命令的處理響應于如下操作：基于來自與所述第二處理器通信的至少一個攝像 頭的至少一個信號確定在所述用戶正沿所述裝置的方向看的同時所述用戶的嘴正在活動； 以及執行所述可聽輸入命令。
[0011] 參照附圖可以最好地理解本原理關于其結構和操作的細節，在附圖中，相同的附 圖標記指代相同的部件，以及在附圖中：
【附圖說明】
[0012] 圖1是根據本原理的示例性裝置的框圖；
[0013] 圖2是由根據本原理的裝置執行的邏輯的示例流程圖；以及
[0014] 圖3至圖6是在根據本原理的裝置上可呈現的示例用戶界面（UI)。
【具體實施方式】
[0015] 本公開內容總體上涉及基于用戶信息的裝置（例如，消費電子產品（CE))。對于本 文所描述的任何計算機系統，系統可以包括服務器部件和客戶端部件，服務器部件和客戶 端部件通過網絡相連接以使得數據可以在服務器部件和客戶端部件之間進行交換。客戶端 部件可以包括一個或更多個計算裝置，包括電視（例如，智能TV，連網TV)、計算機（諸如膝 上型計算機和平板計算機）以及包括智能電話的其它移動裝置。作為非限定性示例，這些 客戶端裝置可以采用來自蘋果、谷歌或微軟的操作系統。可以使用UNIX操作系統。這些操 作系統可以執行一個或更多個瀏覽器（諸如由微軟或谷歌或摩斯拉或其它瀏覽器程序制 成的瀏覽器），所述瀏覽器可以通過諸如因特網、本地內聯網或虛擬個人網絡的網絡來訪問 由因特網服務器提供的網絡應用。
[0016] 本文所使用的指令是指用于處理系統中的信息的計算機實現的步驟。可以以軟 件、固件或硬件來實施指令，因此，按照它們的功能來闡述示例性的部件、塊、模塊、電路和 步驟。
[0017] 處理器可以是能夠憑借各種線（諸如地址線、數據線和控制線）以及寄存器和移 位寄存器執行邏輯的任何常規的通用的單片處理器或多片處理器。此外，除了通用的處理 器之外，本文所描述的任何邏輯塊、模塊和電路可以在下述裝置中或者由下述裝置實現或 執行：數字信號處理器（DSP)、現場可編程門陣列（FPGA)或其它可編程邏輯裝置，諸如專用 集成電路（ASIC)、分立門或晶體管邏輯、分立硬件部件、或被設計為執行本文所描述的功能 的前述的任何組合。處理器可以通過控制器或狀態機或計算裝置的組合來實現。
[0018] 本文中以流程圖和/或用戶界面的形式所描述的軟件和/或應用可以包括各種子 例程、過程等。應該理解，被公開為由例如模塊執行的邏輯可以被重新分配給其它軟件模塊 和/或被合并到單個模塊中和/或變得在共享庫中可獲得。
[0019] 當以軟件實現邏輯時，可以使用適合的語言（例如C#或C++，但不限于此）編寫 邏輯，并且可以將邏輯存儲在計算機可讀存儲介質上或通過計算機可讀存儲介質傳輸（例 如，其可以不是載波），計算機可讀存儲介質例如為隨機存取存儲器（RAM)、只讀存儲器 (ROM)、電可擦可編程只讀存儲器（EEPROM)、致密盤只讀存儲器（CD-ROM)或其它光學盤存 儲裝置（如數字多功能光盤（DVD))、磁盤存儲裝置或其它磁存儲裝置（包括可移動拇指驅 動器）等。連接可以建立計算機可讀介質。作為示例，這樣的連接可以包括包含光學光纖和 同軸線以及雙絞線的硬線電纜。這樣的連接可以包括包含紅外和無線電的無線通信連接。
[0020] 在一個示例中，處理器可以通過其輸入線從諸如計算機可讀存儲介質的數據存儲 裝置存取信息，和/或處理器可以通過激活用于發送數據和接收數據的無線收發器來從因 特網服務器無線地存取信息。數據通常在被接收時通過天線與處理器的寄存器之間的電路 系統從模擬信號轉換成數字信號，并且在被發射時從數字信號轉換為模擬信號。然后，處理 器通過其移位寄存器處理數據以在輸出線上輸出計算出的數據，以在裝置上呈現計算出的 數據。
[0021] 包括在一個實施方式中的部件可以以任何適合的組合形式用在其它實施方式中。 例如，可以對本文所描述的和/或在附圖中所描繪的各種部件中的任何部件進行組合、交 換或將其從其它實施方式中排除。
[0022] "具有A、B和C中的至少一個的系統"（同樣地"具有A、B或C中的至少一個的系 統"以及"具有A、B、C中的至少一個的系統"）包括僅具有A、僅具有B、僅具有C、具有A和 B兩者、具有A和C兩者、具有B和C兩者、和/或具有A、B和C三者的系統等。
[0023] 在摘要、說明書和/或權利要求書中使用了術語"電路"或"電路系統"。如本領域 的技術人員已知的，術語"電路系統"包括所有層級的可用的集成電路（例如，從分立的邏 輯電路到諸如超大規模集成電路（VLSI)的最高層級的電路集成），并且包括被編程用以執 行實施方式的功能的可編程邏輯部件以及被編程有用于執行這些功能的指令的通用處理 器或專用處理器。
[0024] 現在，具體地參照圖1，圖1示出了計算機系統100的示例性框圖，例如，計算機系 統100諸如為聯網的計算機控制的電話（例如，智能電話）、平板計算機、筆記本或臺式計算 機、諸如智能手表的聯網的計算機控制的可穿戴式裝置、諸如智能電視（TV)的計算機控制 的TV等。因此，在一些實施方式中，系統100可以是臺式計算機系統（例如由位于北卡羅 來納州莫里斯維爾市的聯想（美國）公司銷售的ThinkCentre'?系列或ThinkPad?系列之一的個人計算機）或工作站計算機（例如，由位于北卡羅來納州莫里斯維爾市的聯 想（美國）公司銷售的ThinkStation?)。然而，根據本文的描述明顯可知，根據本