用于分類觸敏表面上的觸摸事件的方法和設備的制作方法
【專利摘要】一種分類觸摸事件的設備。該設備包括觸敏表面，其配置成在物體觸摸該觸敏表面時生成觸摸事件。觸摸事件在與表面接觸時需要機械振動。該設備包括：觸摸事件檢測器，配置成檢測觸摸的開始；以及觸摸事件分類器，配置成分類觸摸事件，以識別用于觸摸事件的物體。機械振動經由包括指尖、指墊、指甲和指節的任一個手指部分來創建，其各具有相互不同的唯一特征。
【專利說明】用于分類觸敏表面上的觸摸事件的方法和設備
[0001] 本申請要求2011年10月18日提交的美國臨時專利申請No. 61/627831的權益， 通過引用將其結合于此，如同本文中完全提出一樣。

【技術領域】
[0002] 本發明涉及對觸摸交互的增強；以及更具體來說，涉及用于分類觸敏表面上的觸 摸事件的設備和方法。

【背景技術】
[0003] 計算機越來越多地包含直接觸摸界面，其見于包括從售貨亭和互動桌面到平板計 算機和手持移動裝置在內的形式。當前，觸摸屏上的手指輸入以過分簡單化方式來操控，常 常簡化為X/Y坐標。存在許多技術，其具有數字化不同類型的輸入的能力。存在兩種主要 觸摸感測方式：有源和無源。有源方式的主要不利方面在于，必須使用顯式物體（例如特殊 筆），其采用電子器件（以及電池（若沒有附連的話））來實現。例如，采用筆尖上的紅外光 發射器所擴充的筆能夠在市場銷售的Microsoft Surface上使用。還致力于使用筆以外的 工具，包括例如用于繪畫應用的紅外光發射刷。當前系統一般沒有嘗試區分不同的筆（也 許只是區分筆與手指輸入）。可變調制紅外光實現識別，但是要求專門硬件。另外，超聲波 能夠用于輸入定位，并且也能夠提供筆ID。電容耦合允許用戶或物體被定位和識別，但是這 要求接地板或物理連接起作用。
[0004] 另一種方法、即基于電磁諧振的感測在有源與無源之間進行操作。雖然工具和實 物無需加電，但是它們包含諧振線圈，其由它們在其上進行操作的專門平板所生成的接近 EM場來激勵。雖然具有極高能力、包括提供ID的能力，但是桌面大小的裝備在當前是極昂 貴的。還有可能支持經過RFID和視覺處理的組合的物體標識，其提供更大的可縮放性。
[0005] 基準標記是真正的無源方式。它們經過唯一建模標簽一常常按照貼簽形狀因數一 來提供物體的ID。這種方法已經表明是極高能力的一唯一主要缺點是標記的大小，其一般 阻止放置于小表面、例如筆尖上。基準標記還能夠按照電容感測方式進行工作，從而允許標 簽嵌入物體中。另外，物體的形狀能夠以光學方式來捕獲，并且用于分類（例如鼠標和鍵 盤）。
[0006] -般來說，上述技術要求提供輸入的物體的儀表，這對手指是成問題的（即，人們 不喜歡在其手指或手上佩戴東西）。研究人員還著眼于手腕戴的聲傳感器，其能夠分類手指 配合（finger on finger)的動作、例如收聚或彈開。手指輕叩也能夠經過聲指紋在人體上定 位。但是，后一類系統要求傳感器放置于用戶。
[0007] 沒有儀表，手指的某些區域能夠經過計算機視覺（例如墊和尖）來確定。使用加 速計，能夠區分軟和硬輕叩。最后，飛行時間分析能夠用來定位物體表面的觸摸事件。
[0008] 當代互動表面一般將手指觸摸看作是單類輸入（這個方面的部分例外是指紋掃 描系統，其能夠捕獲高分辨率指紋圖像，以推斷手指的3D "手勢";另外，經由光或電容感測 的接觸區域能夠被認為是額外輸入維）。但是，這是粗略簡化一手指在其運動能力和解剖組 成方面均是不同附屬物。在很大程度上忽略支持手指輸入的附加維，因為為用戶裝備有源 或無源組件是有創的。


【發明內容】

[0009] 當前，為了讓手指在空間的單個點執行不同操作，它必須被超載（overload)、通常 通過手指的輕叩-保持周期或調弦（例如，雙指輕叩表示右擊）來觸發。這能夠觸發臨時 上下文菜單，其允許用戶選擇若干動作之一。手指超載的一個備選方案是使功能性進入一 個或多個按鈕。例如，存在一種方案，其中按鈕用于使窗口為最小，以及另一個用于將它關 閉。但是，這對于具有有限屏幕不動產的移動裝置是成問題的。
[0010] 鑒于以上所述，本發明提供用于分類觸敏表面上的觸摸事件的設備和方法。
[0011] 按照本發明的一個方面，提供一種用于分類觸摸事件的設備，其包括：觸敏表面， 配置成在物體觸摸觸敏表面時生成觸摸事件，其中觸摸事件在與表面接觸時需要機械振 動；觸摸事件檢測器，配置成檢測觸摸的開始；以及觸摸事件分類器，配置成分類觸摸事 件，以識別用于觸摸事件的物體。
[0012] 在一個示范實施例中，觸摸事件分類器包括：轉換單元，配置成將機械振動信號轉 換為電信號；提取單元，配置成從電信號來得出表示觸摸事件的一系列特征；以及分類單 元，配置成使用特征來分類觸摸輸入，以識別用于觸摸事件的物體。
[0013] 在一個示范實施例中，觸摸事件檢測器嵌入設備中，以檢測觸摸事件。
[0014] 在一個示范實施例中，觸摸事件檢測器附連到觸敏表面，以檢測觸摸事件。
[0015] 在一個不范實施例中，機械振動包括聲信號。
[0016] 在一個示范實施例中，機械振動經由任一個手指部分（包括指尖、指墊、指甲和指 節）來創建，或者機械振動通過使用碰撞觸敏表面的無源工具來創建。
[0017] 在一個示范實施例中，手指部分的每個用來向基于觸摸的界面提供輸入，以及手 指部分的每個能夠綁定到不同的用戶界面動作。
[0018] 按照本發明的另一方面，提供一種用于分類觸摸事件的方法，其包括：檢測觸摸事 件，其中觸摸事件通過物體觸摸/擊打觸敏表面進行，并且因碰撞觸敏表面而需要生成聲 信號；從聲信號來得出表示觸摸事件的一組特征；以及使用特征來分類觸摸事件，以識別 用于觸摸事件的物體。
[0019] 在一個示范實施例中，檢測觸摸事件包括捕獲機械振動信號。
[0020] 在一個示范實施例中，分類觸摸事件包括：將機械振動信號轉換為電信號；從電 信號中提取表示觸摸事件的一系列特征；以及使用特征來分類觸摸事件，以識別用于觸摸 事件的物體。
[0021] 在一個示范實施例中，機械振動經由手指的多個部分的任一個（包括指尖、指墊、 指甲和指節）來創建，或者機械振動通過使用碰撞觸敏表面的無源工具來創建。
[0022] 在一個示范實施例中，手指部分的每個用來提供基于觸摸的界面，以及手指部分 的每個用來輸入輔助動作。

【專利附圖】

【附圖說明】
[0023] 通過以下結合附圖提供的實施例的說明，本發明的以上及其它目的和特征將變得 非常明顯，附圖包括：
[0024] 圖1是按照本發明的第一實施例、用于分類觸敏表面上的觸摸事件的設備的框 圖；
[0025] 圖2示出按照本發明的實施例、用于產生不同觸摸事件的手指的不同部分；
[0026] 圖3示出按照本發明的實施例的四種手指輸入類型的譜圖；
[0027] 圖4示出手指和具有附于其尖部的不同材料的六個無源工具（S卩，不要求電力的 物體），由左至右例如聚碳酸酯塊、木旋鈕、丙烯酸球、金屬螺桿、乒乓球和泡沫；
[0028] 圖5A示出表示不同的"刷"顏色、從而允許若干用戶在無需顏色或模式切換的情 況下同時繪畫的無源工具（即，不要求電力的物體）；以及
[0029] 圖5B、示出無源筆（S卩，不要求電力的固體材料），從而允許觸敏表面識別哪一個 用戶正執行哪一個動作。

【具體實施方式】
[0030] 此后，將參照附圖詳細描述本發明的實施例，附圖中，相似參考標號和相似組件表 示相似元件。
[0031] 圖1示出按照本發明的第一實施例、用于分類觸敏表面上的觸摸事件的設備的框 圖。
[0032] 第一實施例的設備包括觸敏表面100、觸摸事件檢測器110和觸摸事件分類器 120。
[0033] 觸敏表面100是電子可視顯示器，其能夠檢測和跟蹤在其上采用手指或其它無源 物體、例如觸控筆所執行的觸摸事件的存在和位置。觸敏表面100包括互動用戶界面102， 由用戶在其上生成多種觸摸事件。觸摸事件可包括使用手指觸摸的觸摸事件、使用如圖2 所示的手指的不同部分的觸摸事件以及使用如圖4所示的無源工具的觸摸事件。可使用多 種技術，包括光、電阻和電容觸摸屏，以檢測和跟蹤觸摸事件的存在和位置。例如，觸敏表面 100可用于便攜裝置、例如移動電話、PDA、智能電話等中，但是并不局限于此。
[0034] 觸敏表面100可提供用戶界面、例如其上的虛擬軟鍵盤104。虛擬鍵盤104具有在 按鍵或按鈕上用來鍵入文本的字母字符集。為了鍵入主字符，用戶可如常使用其指墊。便 攜裝置上的這種軟鍵盤特別成問題一存在需要在極小空間上提供的許多按鍵。作為響應， 鍵盤通常可分解為采用形態按鈕所切換的按鍵的若干"頁"。這不僅增加鍵入交互的額外點 擊，而且還進一步使小屏幕擁擠。
[0035] 這個實施例的設備針對通過采用經由物體（包括手指部分或無源工具）的觸摸事 件來減輕這些問題的一部分。它還包含并行操作的兩個按鍵集。
[0036] 手指在其運動能力和解剖組成方面均是不同附屬物。單指包含不同部分，例如一 個或多個指節、指尖、指墊和指甲，如圖2所示。這些手指可用來生成觸摸事件。此外，如圖 4所示，不要求電力的一組無源物體也可用來生成觸摸事件。無源物體可包括具有附于其尖 部的不同材料的六個工具，由左至右例如聚碳酸酯塊、木旋鈕、丙烯酸球、金屬螺桿、乒乓球 和泡沫。這些無源物體只是膠合到干擦標記的頭部的不同材料。
[0037] 當物體擊打表面時，機械振動的總體經過材料向外傳播。通常，互動表面使用剛性 材料、例如塑料或玻璃，其均快速分配并且如實地保存信號。因此，使用相應手指部分或者 相應無源工具的物理碰撞事件在與觸敏表面100接觸時引起機械振動。機械振動需要各手 指部分或無源工具的不同特征。例如，圖3示出四種類型的觸摸輸入的譜圖。如從圖3已 知，手指的不同部分產生不同的機械振動（即，聲）簽名。
[0038] 按照一個示范實施例，該設備設計成識別無源工具的小集合以及基于不同特征來 區分手指的不同部分。識別哪一個物體用于觸摸事件的這種能力通過特征分類來實現。它 依靠如下物理原理：不同材料產生不同特征，并且具有如圖3所示的不同諧振頻率。
[0039] 在一個示范實施例中，當手指的觸摸事件如常用來提供常規的基于觸摸的界面 時，物體的觸摸事件可用來表示改變手指的另一按壓按鍵的功能或觸摸事件的輔助動作。 例如，"ALT"輸入可通過使用手指的指節在觸敏表面100上的物理碰撞事件（其可對應于 臺式計算系統上的"右擊"）來實現，"BACKSPACE"輸入可通過使用指甲在觸敏表面100上 的物理碰撞來實現，等等。碰撞的強度無需很大。實際上，用戶需要不強于在鍵盤上進行鍵 入所需的輕叩。這種方式的按鍵性質在于，碰撞觸敏表面100的物品不要求有源組件。輸 入物體只是由不同材料組成，并且完全是無源的。因此，用戶有權訪問整個字符集，而無需 切換頁。
[0040] 再次參照圖1，觸摸事件檢測器110設置成檢測由使用如圖2所示的手指部分或者 如圖5所示的無源工具的觸摸事件所引起的機械振動。
[0041] 觸摸事件檢測器110能夠由觸敏表面100或者通過產生于物體觸摸屏幕的適當 機械振動的開始來觸發。為了捕獲事件和隨后的機械振動，觸摸事件檢測器110可包括一 個或多個碰撞傳感器、振動傳感器、加速計、應變儀或聲傳感器、例如電容話筒、壓電話筒、 MHMS話筒等。
[0042] -旦由觸摸事件檢測器110捕獲到觸摸事件的機械振動信號，觸摸事件分類器 120處理機械振動信號以分類觸摸事件，使得能夠分類用于觸摸事件的物體。
[0043] 觸摸事件分類器120包括：分段單元122,配置成按照數字表示對機械振動信號進 行分段；轉換單元124,配置成將數字化振動信號轉換為電信號；特征提取單元126,配置成 從電信號來得出一系列特征；以及分類單元128,配置成使用特征來分類觸摸事件，以識別 手指或無源工具的哪一部分用于觸摸輸入。
[0044] 分段單元122使用4096的滑動窗口（其包含機械振動信號的43ms段）、例如以取 樣率96kHz對機械振動信號進行取樣。
[0045] 然后，轉換單元124對所取樣時間關振動信號執行例如傅立葉變換，以產生具有 頻域表示的電信號。例如，這個窗口的傅立葉變換可產生頻率功率的2048頻帶。在它們之 間，表示從0至10kHz的聲（S卩，機械振動）功率的較低的500頻帶可選擇用于對其的進一 步處理。備選地，可選擇例如低于1kHz的其它頻帶，其如圖3所示可表達。
[0046] 觸摸事件分類器120還可將這個數據縮減取樣為附加向量（S卩，十桶（buckets of ten))，從而提供不同的混疊。另外，附加特征可從機械振動信號（例如平均絕對幅度、總絕 對幅度、絕對幅度的標準偏差以及分段輸入信號和傅立葉變換信號的質心）來計算。
[0047] 特征提取單元126還可從機械振動的頻域表示、例如碰撞波形的基頻來計算一系 列特征。
[0048] 分類單元128使用特征來分類觸摸事件，以識別哪一個物體用來生成觸摸事件。
[0049] 為了幫助分類，用戶能夠向分類器提供補充訓練樣本。
[0050] 在一個示范實施例中，分類單元128可采用特征分類的支持向量機（SVM)來實現。 SVM是具有關聯學習算法（其分析數據并且識別用于分類和回歸分析的模式）的監控學習 模型。
[0051] 一旦進行了分類，所產生的類型用來標記未指配輸入點，其通過許多觸摸感測技 術之一來數字化。這個匹配過程可按照若干方式進行。在一個示范實施例中，這能夠通過選 擇具有最接近開始時間戳的輸入事件進行。開始于碰撞開始的整個分類過程能夠在100ms 或更少發生，從而允許實時交互。
[0052] 實際上，這種方法看來相當適用，并且使具有多個輸入物體的若干用戶在共同表 面上同時工作。但是，存在一種特殊情況，其中這個過程中止，并且對其不存在直接解決方 案一定時沖突。具體來說，如果兩個物體在充分靠近的時間接近性中擊打觸敏表面，則其振 動信號將不會單獨分段，并且因此不允許準確分類。這個周期的時長通過四個因素來定義： 1)分段器的進取性（分類可能潛在地使用例如機械振動信號的前l〇ms)，2)碰撞材料的諧 振頻率（較低頻率花費較長時間進行耗散），3)觸敏表面的阻尼（以耗散先前碰撞），以及 4)觸敏表面的大小（較大質量花費較長時間進行阻尼）。
[0053] -種備選解決方案是采用復雜算法（例如波束形成），其能夠定位碰撞聲音并且 將它們分離為不同的聲波形。雖然這一般適用于環境噪聲、例如話音，但是原理也可適用于 觸摸表面。但是，這個問題對于移動裝置（因其小尺寸和輕重量而快速減少聲能）多半是 不必要的。輕叩能夠在本實施例的設備上接近?50ms分離處發生。此外，移動裝置通常具 有單個用戶。這降低同時碰撞的可能性。
[0054] 本發明的實施例示出和描述成對觸摸交互的增強，其允許觸敏表面識別用于觸摸 輸入的物體的類型。本實施例還可用于大量應用域中，并且使用諸如如下所述的簡單繪畫 界面之類的上下文。
[0055] 例如，為了徒手繪制，用戶可以只使用指墊、例如刷子。為了繪制線段，指尖輕叩觸 敏表面，并且然后拖曳到預期位置。為了撤消上一筆，用戶能夠用指甲輕叩互動觸摸屏上的 任何位置。與第一實施例的鍵盤演示相似，這示出從交互中去除形態按鈕并且將這個復雜 度推送到極靈巧手指的簡單方式。其它交互可涉及工具（例如填充工具、擦除工具）與模 式（例如刷厚度、不透明性、顏色）之間的快速切換。
[0056] 感興趣的是要注意，人們按照不同方式使用其手指的不同部分一撓癢、鍵盤上鍵 入、拍同伴的肩膀或者敲門。通過仔細設計，也許有可能的是平衡這些規范，使得現有手指 行為可移植到數字域并且使其在數字域中相關。
[0057] 例如，考慮其中指節"敲擊"用來開啟文件或應用的系統。采用指尖的輕叩（即， 戳）可能用來使某個事物引起關注、也許是最大或給定焦點，而指甲"彈開"可能用來使物 品最小化或刪除。這種功能性可與常規手指驅動界面（其趨向于依靠用于指向和"點擊"的 指墊）一致地進行操作。
[0058] 人們對手持工具具有顯著靈巧性，以及許多研究項目對互動系統引入了物理操縱 器。這些常常以筆、指針裝置、戳記（例如用于例示）和各種工具（例如撥號盤、滑塊、導 桿）的形式出現。
[0059] 這類物品可能易于結合聲學上相異的材料，并且使其較小和很尖，例如實際的筆 和鉛筆。這些是極為耐用的，并且對批量生產是低成本的。
[0060] 此外，例如，常規互動表面上的繪畫應用通常使用基于調色板的顏色模式選擇。當 選擇顏色時，迫使所有用戶切換到這種顏色。但是，如圖5A所示，第二實施例的設備允許多 個用戶采用圖4所示的六個工具來揀選若干顏色"刷"其中之一，并且同時使用它們。此外， 在各端具有不同材料的工具可用來繪制并且然后翻轉以進行擦除，像鉛筆一樣。
[0061] 另一種可能性是指配唯一識別的輸入工具。這允許系統上的動作被分配給特定的 人、例如Greg、Bill或Eileen,如圖5B所示。這個實施例還可用于例如協作文檔編輯、個 性化撤消棧和讀/寫準許。
[0062] 雖然針對優選實施例來示出和描述了本發明，但是本發明并不局限于此。本領域 的技術人員會理解，可進行各種變更和修改，而沒有背離以下附權利要求書所限定的本發 明的范圍。
【權利要求】
1. 一種用于分類觸摸事件的設備，所述設備包括： 觸敏表面，配置成在物體或手指觸摸所述觸敏表面時生成觸摸事件，其中所述觸摸事 件需要在與所述表面接觸時生成的機械振動； 觸摸事件檢測器，配置成檢測觸摸的開始；以及 觸摸事件分類器，配置成分類所述觸摸事件，以識別用于所述觸摸事件的所述物體。
2. 如權利要求1所述的設備，其中，所述觸摸事件分類器包括： 轉換單元，配置成將機械振動信號轉換為電信號； 提取單元，配置成從所述電信號來得出表示所述觸摸事件的一系列特征；以及 分類單元，配置成使用所述特征來分類所述觸摸輸入，以識別用于所述觸摸事件的所 述物體。
3. 如權利要求1所述的設備，其中，所述機械振動包括聲信號。
4. 如權利要求1所述的設備，其中，所述觸摸事件檢測器嵌入所述設備中，以檢測所述 觸摸事件。
5. 如權利要求1所述的設備，其中，所述觸摸事件檢測器附連到所述觸敏表面，以檢測 所述觸摸事件。
6. 如權利要求1所述的設備，其中，所述機械振動經由包括指尖、指墊、指甲和指節的 任一個手指部分來創建。
7. 如權利要求6所述的設備，其中，每個所述手指部分用來提供基于觸摸的界面。
8. 如權利要求6所述的設備，其中，每個所述手指部分綁定到不同的用戶界面動作。
9. 如權利要求2所述的設備，其中，所述聲信號通過使用碰撞所述觸敏表面的無源工 具來創建。
10. -種用于分類觸摸事件的方法，所述方法包括： 檢測觸摸事件，其中所述觸摸事件通過物體觸摸或擊打觸敏表面進行，并且因碰撞觸 敏表面而需要聲信號； 從所述聲信號來得出表示所述觸摸事件的一組特征；以及 使用所述特征來分類所述觸摸事件，以識別用于所述觸摸事件的所述物體。
11. 如權利要求10所述的方法，其中，所述檢測觸摸事件包括捕獲機械振動信號。
12. 如權利要求11所述的方法，其中，所述觸摸事件的所述分類包括： 將所述機械振動信號轉換為電信號； 從所述電信號中提取表示所述觸摸事件的一系列特征；以及 使用所述特征來分類所述觸摸事件，以識別用于所述觸摸事件的所述物體。
13. 如權利要求10所述的方法，其中，所述機械振動經由包括指尖、指墊、指甲和指節 的任一個手指部分來創建。
14. 如權利要求13所述的方法，其中，每個所述手指部分用來向基于觸摸的界面提供 輸入。
15. 如權利要求13所述的方法，其中，每個所述手指部分用來輸入不同的用戶界面動 作。
16. 如權利要求10所述的設備，其中，所述機械振動通過使用碰撞所述觸敏表面的無 源工具來創建。
【文檔編號】G06F3/041GK104160364SQ201280062500
【公開日】2014年11月19日 申請日期:2012年10月18日 優先權日:2011年10月18日
【發明者】克里斯·哈里森, 朱莉婭·施華茲, 斯科特·E·哈德森 申請人:卡內基梅隆大學