一種多模態非植入式腦機接口技術支撐下的人機交互方法
【專利摘要】本發明公開了一種多模態非植入式腦機接口技術支撐下的人機交互方法，包括以下步驟：1)用戶根據提示信號進行所有運動想象及所有眼睛運動，采集用戶的EOG信號及EEG信號，再對EOG信號及EEG信號分別進行預處理，并根據EOG信號及EEG信號得腦電分類結果及眼電分類結果；控制外接設備時，用戶根據提示信號進行相應運動想象及眼睛運動，采集用戶當前的EOG信號及EEG信號，并對用戶當前的EOG信號及用戶當前的EEG信號分別進行預處理；然后根據預處理后的用戶當前的EOG信號、用戶當前的EEG信號、腦電分類結果及眼電分類結果進行電腦的控制。本發明可以實現非植入式腦機接口的復雜命令輸出，并且對外接設備的控制能力強。
【專利說明】一種多模態非植入式腦機接口技術支撐下的人機交互方法

【技術領域】
[0001] 本發明屬于多模態腦機接口【技術領域】，涉及一種多模態非植入式腦機接口技術支 撐下的人機交互方法。

【背景技術】
[0002] 腦機接口研究腦與外界的直接信息交流，在獲悉人腦信息表達的基礎上，建立新 的革命性的信息與通訊手段，其最初和最主要的研究動機是為神經和運動疾病患者提供輔 助康復和生活自理的手段。然而隨著這種技術逐漸步入成熟階段，以基本腦機接口系統為 原型，拓展出多種針對更加特性化應用需求的新興范式。同時，將人機交互理念更大程度的 融入腦機接口系統設計，讓這種獨立于骨骼、肌肉等生理組織的腦信息使用方式超出可行 性測試范疇，逐步證明了其在現實環境中的應用前景。
[0003] 交互方式靈活、多樣、簡捷的人機系統，可以有效提高使用者的參與積極性和使用 效率。腦機接口作為一種以輔助康復為初衷的人機系統，除幫助病患完善基本生活技能外， 同樣應在滿足病患娛樂、文化等精神需求上做出努力，做到生理和心理的雙重輔助。基于腦 機接口技術的游戲系統是近年來興起的一項實用類研究，主要面向健康人群。這樣圈定消 費群體，除了看中健康人群數量巨大所蘊含的商業潛質，更有可能是源于這類系統目前尚 存在控制形式單一、固定化的問題，無法滿足殘疾人的需要。
[0004] 目前按照動作-反應交互形式可以將游戲腦機接口系統分為三類。"精神狀態調 整"類型，即在區分放松和集中注意力兩種腦狀態的基礎上生成控制命令，出現在讓玩家利 用意念移動物體等游戲形式中。"誘發反應生成"類，利用穩態視覺誘發電位（SSVEP)的產 生機理，完成虛擬目標運動方向控制，如強/弱SSVEP分別控制虛擬飛機向左/右飛行。據 研究穩態視覺誘發刺激可以提高人的注意力，所以SSVEP同樣適用于注意力提升類游戲的 開發。"運動想象"類，使用者利用想象不同肢體部位運動，自發產生各種腦電狀態，并轉變 為外部輸出命令，用于目標導航或選擇命令。為使用者制造一種直觀感受就是被控目標以 某種形式，即時響應其意識狀態，形成較為真實的操控感。并且得益于運動想象模式的快速 識別，形式上更適合于快速響應類游戲，如虛擬駕駛、輪椅移動控制。然而，由于游戲使用者 完成運動想象自發電位生成的能力限制，使得系統輸出的控制命令數量有限，無法體驗更 豐富的游戲內容。常用的彌補方式是引入其他的非腦控命令，如語音、手動按鈕，這種方法 不僅會給腦電信號帶入大量的偽跡干擾，更不符合為本身就缺少運動能力的殘疾人服務的 理念。


【發明內容】

[0005] 本發明的目的在于克服上述現有技術的缺點，提供了一種多模態非植入式腦機接 口技術支撐下的人機交互方法，該方法可以實現非植入式腦機接口的復雜命令輸出，并且 對外接設備的控制能力強。
[0006] 為達到上述目的，本發明所述的多模態非植入式腦機接口技術支撐下的人機交互 方法，其特征在于，包括以下步驟：
[0007] 1)用戶根據提示信號進行所有運動想象及所有眼睛運動，采集用戶的EOG信號 及EEG信號，然后對所述EOG信號及EEG信號分別依次進行放大及數模轉換；
[0008] 2)存儲步驟1)得到的EOG信號及EEG信號，并對EOG信號及EEG信號分別進行預 處理；
[0009] 3)根據步驟2)得到的EEG信號確定針對用戶的特征導聯和特征節律，再采用共空 間模式算法從用戶的特征導聯和特征節律提取腦電空間特征，并訓練共空間模式特征提取 濾波器，然后采用小世界神經網絡算法對提取的腦電空間特征進行運動想象分類，得分類 結果，然后根據分類結果訓練獲得運動想象模式分類器；
[0010] 4)對步驟2)得到的EOG信號中的水平EOG信號及垂直EOG信號進行中值濾波去 噪，消除EOG信號中垂直EOG信號內的無意識眨眼信號，并對EOG信號中的垂直EOG信號進 行有意識單眨眼分量及雙眨眼分量的提取分離，得眨眼模式識別結果；
[0011] 5)控制外接設備時，用戶根據提示信號進行相應運動想象及眼睛運動，采集用戶 當前的EOG信號及EEG信號，并對用戶當前的EOG信號及EEG信號分別依次進行放大及數 模轉換，再對用戶當前的EOG信號及用戶當前的EEG信號分別進行預處理；
[0012] 6)通過用戶的特征導聯和特征節律篩選出用戶當前EEG信號的頻帶分量，再通 過共空間模式特征提取濾波器對用戶當前EEG信號的頻帶分量進行空間特征提取，并根據 所述空間特征通過小世界神經網絡分類器進行模式判別，得到用戶當前EEG信號的識別結 果，然后根據用戶當前EEG信號的識別結果對電腦進行控制；同時，對用戶當前的EOG信號 進行峰值分析，得用戶當前EOG信號的識別結果，然后根據用戶當前EOG信號的識別結果 對電腦進行控制。
[0013] 步驟1)中所述所有運動想象包括左手運動想象、右手運動想象、雙腳運動想象及 舌部運動想象；
[0014] 步驟1)中所述所有眼睛運動包括單次眨眼、雙刺眨眼、眼睛縱向掃視及眼睛橫向 掃視；
[0015] 步驟1)中通過25個電極采集EEG信號及4個眼電電極采集用戶的EOG信號，所 述25個電極及眼電電極均為銀/氯化銀（Ag/AgCl)合金電極，且所述25個電極及眼電電 極的阻抗均小于5k Ω ;
[0016] 步驟1)中通過信號放大器對EOG信號及EEG信號分別依次進行放大，其中，所述 信號放大器為NeuroScan，Inc.提供的NuAmps40導放大器，配套上位機系統為scan 4. 5 ;
[0017] 步驟1)中通過16位數模轉換器對EOG信號及EEG信號進行數模轉換。
[0018] 步驟2)中對EOG信號進行預處理的具體操作為：先采用截止頻率為25Hz的四 階Butterworth低通濾波器對EOG信號進行低通濾波，然后采用截止頻率為0. IHz的四階 Butterworth高通濾波器對EOG信號進行高通濾波；
[0019] 步驟5)中對用戶當前的EOG信號進行預處理的具體操作為：先采用截止頻率為 25Hz的四階Butterworth低通濾波器對用戶當前的EOG信號進行低通濾波，然后采用截止 頻率為〇. IHz的四階Butterworth高通濾波器對用戶當前的EOG信號進行高通濾波。
[0020] 步驟2)中對EEG信號進行預處理的具體操作為：對EEG信號依次進行合并眼電、 直流偏移校正、合并行為數據、去除基線漂移及去除眼電偽跡；
[0021] 步驟5)中對用戶當前的EEG信號進行預處理的具體操作為：對用戶當前的EEG信 號依次進行合并眼電、直流偏移校正、合并行為數據、去除基線漂移及去除眼電偽跡。
[0022] 步驟6)中根據用戶當前EOG信號的識別結果對電腦進行控制的具體過程為：先將 用戶當前EOG信號的識別結果進行格式化輸出，使用戶當前EOG信號的識別結果轉化為電 腦的控制命令，然后通過所述電腦的控制命令對電腦進行控制。
[0023] 步驟6)中根據用戶當前EEG信號的識別結果對電腦進行控制的具體過程為：先將 用戶當前EEG信號的識別結果進行格式化輸出，使用戶當前EEG信號的識別結果轉化為電 腦的控制命令，然后通過所述電腦的控制命令對電腦進行控制。
[0024] 本發明具有以下有益效果：
[0025] 本發明所述的多模態非植入式腦機接口技術支撐下的人機交互方法在對電腦進 行控制的過程中，用戶先根據提示信號進行所有運動想象及所有眼睛運動，采集用戶的EOG 信號及EEG信號，然后對EOG信號及EEG信號得到腦電分類結果及眼電分類結果，當需要對 電腦進行控制的過程時，用戶根據提示信號進行相應的運動想象及眼動，并獲取用戶當前 的EOG信號及EEG信號，再從用戶當前的EOG信號中篩選出頻帶分量，從而實現非植入式腦 機接口的復雜命令輸出，并且對外接設備的控制能力強，同時適用于游戲、娛樂等領域。

【專利附圖】

【附圖說明】
[0026] 圖1為本發明實施例一的工作原理圖；
[0027] 圖2為本發明中電極的分布圖。

【具體實施方式】
[0028] 下面結合附圖對本發明做進一步詳細描述：
[0029] 參考圖1及圖2,本發明所述的多模態非植入式腦機接口技術支撐下的人機交互 方法，其特征在于，包括以下步驟：
[0030] 1)用戶根據提示信號進行所有運動想象及所有眼睛運動，采集用戶的EOG信號及 EEG信號，然后對所述EOG信號及EEG信號分別依次進行放大及數模轉換，其中，所述所有運 動想象包括左手運動想象、右手運動想象、雙腳運動想象及舌部運動想象；所述所有眼睛運 動包括單次眨眼、雙刺眨眼、眼睛縱向掃視及眼睛橫向掃視。
[0031] 需要說明的是，通過25個電極采集EEG信號及4個眼電電極采集用戶的EOG信號， 25個電極及眼電電極均為銀/氯化銀（Ag/AgCl)合金電極，其中，接地電極至于前額，參考 電極設在左耳A1，所述25個電極及眼電電極的阻抗均小于5k Ω。另外，步驟1)中通過信號 放大器對EOG信號及EEG信號分別依次進行放大，其中，所述信號放大器為NeuroScan，Inc. 提供的NuAmps40導放大器，配套上位機系統為scan 4. 5,采集頻率為1000Hz，Scan 4. 5提 供TCP/IP網絡接口，可以實現軟件本身和自主開發程序之間的數據聯通。步驟1)中通過 16位數模轉換器對EOG信號及EEG信號進行數模轉換。
[0032] 2)存儲步驟1)得到的EOG信號及EEG信號，并對EOG信號及EEG信號分別進行預 處理；
[0033] 需要說明的是，對EOG信號進行預處理的具體操作為：先采用截止頻率為25Hz的 四階Butterworth低通濾波器對EOG信號進行低通濾波，然后采用截止頻率為0. IHz的四 階Butterworth高通濾波器對EOG信號進行高通濾波；步驟2)中對EEG信號進行預處理的 具體操作為：對EEG信號依次進行合并眼電、直流偏移校正、合并行為數據、去除基線漂移 及去除眼電偽跡。
[0034] 3)根據步驟2)得到的EEG信號確定針對用戶的特征導聯和特征節律，再采用共空 間模式算法從用戶的特征導聯和特征節律提取腦電空間特征，并訓練共空間模式特征提取 濾波器，然后采用小世界神經網絡算法對提取的腦電空間特征進行運動想象分類，得分類 結果，然后根據分類結果訓練獲得運動想象模式分類器；
[0035] 需要說明的是，EEG信號的特征節律與導聯選擇分析中，首先對所有EEG信號進行 平均參考（Common Average Reference，CAR)空間濾波，然后以2Hz為帶寬，將0. l_60Hz的 頻帶等份劃分，形成30個10階切比雪夫I帶通濾波器，在四中運動想象中兩兩取對，獲得 /、項對比（右手Vs左手，雙腳Vs舌，左手Vs雙腳，左手Vs舌，右手Vs雙腳，右手Vs舌），并 計算各對比條件下，以導聯為行標度，以頻帶為列標度的確定系數R2矩陣，最終根據確定 系數值分布，結合運動想象事件相關同步/去同步（event-related desynchronizaiton， ERD/event-related synchronization, ERS)先驗知識，確定針對用戶的特征導聯和特征節 律。
[0036] 采用共空間模式算法（One Versus the Rest CSP，0VR)從用戶的特征導聯和特征 節律進行特征提取，并訓練共空間模式特征提取濾波器。
[0037] 以下對小世界神經網絡算法進行介紹
[0038] 運動想象分類采用小世界神經網絡算法，其結構上是處于規則型和隨機型神經 網絡之間的網絡模型-多層前向小世界神經網絡MFSWNN(Multi layer Forward Smal 1-World Neural Network)，并以反向傳播為學習規則。基于Watts-Strogatz網絡模型的 構造思想，對多層規則神經網絡中的連接依重連概率P進行重連，構建一種多層前向小世 界神經網絡模型，有關該模型特征參數的分析表明，當0 < P < 1時，該網絡模型是一種有 別于Watts-Strogatz模型的小世界網絡模型。將網絡模型進行六元組建模，經驗證一定量 的重連有助于提高網絡的搜索性能，且與規則連接的網絡相比，具有更優的時間復雜性。
[0039] MFSWNN模型中各個神經元為圖的節點，神經元之間的連接為圖的邊，一個多層前 向小世界神經網絡可用下式所示的六元組模型來描述：
[0040] MFSWNNan = <V, ff, X, Y, Z, A>
[0041] 其中，V為節點集合，W為連接矩陣，X為輸入向量，Y為輸出向量，A為實現算法。
[0042] 實現算法A :輸入向量前向傳輸，每個神經元的激活函數采用非線性Sigmoid函 數，得到輸出向量，然后根據誤差對權值的偏導信息，調節神經元間的連接權重，實現輸入 到輸出的映射：χ - γ。反向傳播（Back-Propagation)權值修正算法的學習的目是使誤差 能量函數值趨近于〇,從而實現復雜問題的網絡表達，算法包括前向計算和反向傳播兩個 過程。其中隱層神經元激活函數采用單極性Sigmoid函數( · ) (0 < ( · ) < 1)，輸出 層神經元取雙極性Sigmoid函數f2 ( · ) (-1 < f2 ( · ) < 1)，則該神經元的輸出為 「 ^ ,,、?)) 1<I<L
[0043] J;(")= ,
[./"、+(?)) I = L
[0044] 反向誤差傳播過程中權值的修改量為

【權利要求】
1. 一種多模態非植入式腦機接口技術支撐下的人機交互方法，其特征在于，包括以下 步驟： 1) 用戶根據提示信號進行所有運動想象及所有眼睛運動，采集用戶的EOG信號及EEG 信號，然后對所述EOG信號及EEG信號分別依次進行放大及數模轉換； 2) 存儲步驟1)得到的EOG信號及EEG信號，并對EOG信號及EEG信號分別進行預處 理； 3) 根據步驟2)得到的EEG信號確定針對用戶的特征導聯和特征節律，再采用共空間模 式算法從用戶的特征導聯和特征節律提取腦電空間特征，并訓練共空間模式特征提取濾波 器，然后采用小世界神經網絡算法對提取的腦電空間特征進行運動想象分類，得分類結果， 然后根據分類結果訓練獲得運動想象模式分類器； 4) 對步驟2)得到的EOG信號中的水平EOG信號及垂直EOG信號進行中值濾波去噪，消 除EOG信號中垂直EOG信號內的無意識眨眼信號，并對EOG信號中的垂直EOG信號進行有 意識單眨眼分量及雙眨眼分量的提取分離，得眨眼模式識別結果； 5) 控制外接設備時，用戶根據提示信號進行相應運動想象及眼睛運動，采集用戶當前 的EOG信號及EEG信號，并對用戶當前的EOG信號及EEG信號分別依次進行放大及數模轉 換，再對用戶當前的EOG信號及用戶當前的EEG信號分別進行預處理； 6) 通過用戶的特征導聯和特征節律篩選出用戶當前EEG信號的頻帶分量，再通過共空 間模式特征提取濾波器對用戶當前EEG信號的頻帶分量進行空間特征提取，并根據所述空 間特征通過小世界神經網絡分類器進行模式判別，得到用戶當前EEG信號的識別結果，然 后根據用戶當前EEG信號的識別結果對電腦進行控制；同時，對用戶當前的EOG信號進行峰 值分析，得用戶當前EOG信號的識別結果，然后根據用戶當前EOG信號的識別結果對電腦進 行控制。
2. 根據權利要求1所述的多模態非植入式腦機接口技術支撐下的人機交互方法，其特 征在于， 步驟1)中所述所有運動想象包括左手運動想象、右手運動想象、雙腳運動想象及舌部 運動想象； 步驟1)中所述所有眼睛運動包括單次眨眼、雙刺眨眼、眼睛縱向掃視及眼睛橫向掃 視； 步驟1)中通過25個電極采集EEG信號，通過4個眼電電極采集用戶的EOG信號，所述 25個電極及眼電電極均為銀/氯化銀（Ag/AgCl)合金電極，且所述25個電極及眼電電極的 阻抗均小于5k Q ; 步驟1)中通過信號放大器對EOG信號及EEG信號分別依次進行放大，其中，所述信號 放大器為NeuroScan，Inc.提供的NuAmps40導放大器，配套上位機系統為scan 4. 5 ; 步驟1)中通過16位數模轉換器對EOG信號及EEG信號進行數模轉換。
3. 根據權利要求1所述的多模態非植入式腦機接口技術支撐下的人機交互方法，其特 征在于， 步驟2)中對E0G信號進行預處理的具體操作為：先采用截止頻率為25Hz的四階 Butterworth低通濾波器對E0G信號進行低通濾波，然后采用截止頻率為0. 1Hz的四階 Butterworth高通濾波器對E0G信號進行高通濾波； 步驟5)中對用戶當前的EOG信號進行預處理的具體操作為：先采用截止頻率為25Hz 的四階Butterworth低通濾波器對用戶當前的E0G信號進行低通濾波，然后采用截止頻率 為0. 1Hz的四階Butterworth高通濾波器對用戶當前的E0G信號進行高通濾波。
4. 根據權利要求1所述的多模態非植入式腦機接口技術支撐下的人機交互方法，其特 征在于， 步驟2)中對EEG信號進行預處理的具體操作為：對EEG信號依次進行合并眼電、直流 偏移校正、合并行為數據、去除基線漂移及去除眼電偽跡； 步驟5)中對用戶當前的EEG信號進行預處理的具體操作為：對用戶當前的EEG信號依 次進行合并眼電、直流偏移校正、合并行為數據、去除基線漂移及去除眼電偽跡。
5. 根據權利要求1所述的多模態非植入式腦機接口技術支撐下的人機交互方法，其特 征在于，步驟6)中根據用戶當前E0G信號的識別結果對電腦進行控制的具體過程為：先將 用戶當前E0G信號的識別結果進行格式化輸出，使用戶當前E0G信號的識別結果轉化為電 腦的控制命令，然后通過所述電腦的控制命令對電腦進行控制。
6. 根據權利要求1所述的多模態非植入式腦機接口技術支撐下的人機交互方法，其特 征在于，步驟6)中根據用戶當前EEG信號的識別結果對電腦進行控制的具體過程為：先將 用戶當前EEG信號的識別結果進行格式化輸出，使用戶當前EEG信號的識別結果轉化為電 腦的控制命令，然后通過所述電腦的控制命令對電腦進行控制。
【文檔編號】G06F3/01GK104360730SQ201410408877
【公開日】2015年2月18日 申請日期:2014年8月19日 優先權日:2014年8月19日
【發明者】張進華, 洪軍, 李婷, 王寶增, 蔚炯堅 申請人:西安交通大學