一種聾啞人交流智能輔助系統及交流的方法
【專利摘要】本發明公開了一種聾啞人交流智能輔助系統，包括左手采集傳輸層和右手采集傳輸層，左手采集傳輸層和右手采集傳輸層均與應用層連接，應用層與云管理層連接。還公開了利用上述聾啞人交流智能輔助系統交流的方法。本發明的一種聾啞人交流智能輔助系統，能夠有效促進聾啞人與健聽人之間的溝通交流，還為聾啞人提供個性化手語定制、手語字典查詢、課堂同步學習等擴展功能。本發明的一種聾啞人交流智能輔助系統，結構簡單、佩戴方便、使用人性化。
【專利說明】
一種聾啞人交流智能輔助系統及交流的方法
技術領域
[0001]本發明屬于通信系統技術領域，具體涉及一種聾啞人交流智能輔助系統，還涉及利用上述輔助系統交流的方法。
【背景技術】
[0002]中國是世界人口數量最大的國家，相對應的聾啞人等具有聽力語言障礙的人員數量也是相當巨大的，他們需要國家及全社會的關心和幫助的。而手語是聽力語言障礙者最重要的交際手段，但是由于健聽人不懂手語，導致聾啞人無法與健聽人進行交流，縮小了聾啞人的交流圈子，使他們更難融入社會。因此，有必要對聾啞人等語言障礙人士使用的手語進行相關智能化處理，讓他們更方便地與健聽人進行交流，從而幫助他們更好地融入社會。
[0003]目前現有的數據手套大致歸為兩類，一類是通過手部或腰部等其他部位同時佩戴設備，進行數據采集，一定程度上提高了手語識別精度和詞匯量，但是要求用戶佩戴設備過多，過于繁瑣影響舒適度，造成用戶體驗感差；另一類是只在手部布設傳感器設備，這樣減少了佩戴設備，但同時只集中在對手部動作的采集，而忽略手部位置的采集，造成采集數據不完整，影響手語識別精度。如果要提高識別率，就必須增加額外的設備，無疑增加了成本，降低了用戶體驗度。因此，本發明針對手語手勢特點進行精確分析，減少不必要的設備，科學合理布設傳感器，通過自主訓練建立自定義規則，提高手語的識別效率，以及通過個性化手語定制功能提高交流效率，并采用WiFi自組網方式進行無線數據傳輸，克服了藍牙一對一傳輸速度慢的問題。同時能夠將健聽者的話語實時轉換為文字顯示輸出，實現了聾啞人與健聽人之間的雙向交流。此外，本發明還為聾啞用戶提供了手語字典查詢以及課堂同步學習等增值服務。

【發明內容】

[0004]本發明的目的是提供一種聾啞人交流智能輔助系統，解決了現有手語識別設備結構繁瑣、識別精度低的問題。
[0005]本發明的目的還在于提供利用上述輔助系統交流的方法。
[0006]本發明所采用的第一種技術方案是，一種聾啞人交流智能輔助系統，包括左手采集傳輸層和右手采集傳輸層，左手采集傳輸層和右手采集傳輸層均與應用層連接，應用層與云管理層連接。
[0007]本發明的特點還在于:
[0008]左手采集傳輸層包括依次連接的數據采集傳感器組A、轉換電路組A、A/D模數采集模塊A、串口轉WiFi模塊A，串口轉WiFi模塊A與應用層通過WiFi局域網連接；
[0009]右手采集傳輸層包括依次連接的數據采集傳感器組a、轉換電路組a、A/D模數采集模塊a、串口轉WiFi模塊a，串口轉WiFi模塊a與應用層通過WiFi局域網連接。
[0010]數據采集傳感器組A包括位于左手手套的大拇指背部的第一彎曲傳感器A、位于左手手套的食指背部的第二彎曲傳感器A、位于左手手套的中指背部的第三彎曲傳感器A、位于左手手套的無名指背部的第四彎曲傳感器A、位于左手手套的小拇指背部的第五彎曲傳感器A，以及位于左手手套的大拇指指腹部的第一壓力傳感器A、位于左手手套的食指靠近中指一側的側面的第二壓力傳感器A、位于左手手套的中指靠近無名指一側的側面的第三壓力傳感器A、位于左手手套的無名指靠近小拇指一側的側面的第四壓力傳感器A、位于左手手背靠近手腕處的加速度傳感器A ；
[0011]轉換電路組A包括與第一彎曲傳感器A連接的第一轉換電路A、與第二彎曲傳感器A連接的第二轉換電路A、與第三彎曲傳感器A連接的第三轉換電路A、與第四彎曲傳感器A連接的第四轉換電路A、與第五彎曲傳感器A連接的第五轉換電路A、與第一壓力傳感器A連接的第六轉換電路A、與第二壓力傳感器A連接的第七轉換電路A、與第三壓力傳感器A連接的第八轉換電路A、與第四壓力傳感器A連接的第九轉換電路A，第一轉換電路A、第二轉換電路A、第三轉換電路A、第四轉換電路A、第五轉換電路A、第六轉換電路A、第七轉換電路A、第八轉換電路A、第九轉換電路A、加速度傳感器A的XYZ軸3個輸出通道均與A/D模數采集模塊A的采集通道對應連接。
[0012]數據采集傳感器組a包括位于右手手套的大拇指背部的第一彎曲傳感器a、位于右手手套的食指背部的第二彎曲傳感器a、位于右手手套的中指背部的第三彎曲傳感器a、位于右手手套的無名指背部的第四彎曲傳感器a、位于右手手套的小拇指背部的第五彎曲傳感器a，以及位于右手手套的大拇指指腹部的第一壓力傳感器a、位于右手手套的食指靠近中指一側的側面的第二壓力傳感器a、位于右手手套的中指靠近無名指一側的側面的第三壓力傳感器a、位于右手手套的無名指靠近小拇指一側的側面的第四壓力傳感器a、位于右手手背靠近手腕處的加速度傳感器a;
[0013]轉換電路組a包括與第一彎曲傳感器a連接的第一轉換電路a、與第二彎曲傳感器a連接的第二轉換電路a、與第三彎曲傳感器a連接的第三轉換電路a、與第四彎曲傳感器a連接的第四轉換電路a、與第五彎曲傳感器a連接的第五轉換電路a、與第一壓力傳感器a連接的第六轉換電路a、與第二壓力傳感器a連接的第七轉換電路a、與第三壓力傳感器a連接的第八轉換電路a、與第四壓力傳感器a連接的第九轉換電路a，第一轉換電路a、第二轉換電路
a、第三轉換電路a、第四轉換電路a、第五轉換電路a、第六轉換電路a、第七轉換電路a、第八轉換電路a、第九轉換電路a、加速度傳感器a的XYZ軸3個輸出通道均與A/D模數采集模塊a的采集通道對應連接。
[0014]本發明所采用的第二種技術方案是，利用上述一種聾啞人交流智能輔助系統交流的方法，具體按照以下步驟實施:
[0015]步驟1:數據采集傳感器組A和數據采集傳感器組a分別測量左手和右手手指的彎曲程度、手指之間的并攏分散狀態及手部位置空間坐標的數據信息；
[0016]步驟2:將步驟I測量到的數據信息分別經過轉換電路組A和轉換電路組a之后，經A/D模數采集模塊A和A/D模數采集模塊a進行數據采集，對采集到的模擬量數據進行轉換或換算，分別得到各個彎曲傳感器和各個壓力傳感器的數字量電壓值，及得到加速度傳感器A及加速度傳感器a的XYZ軸的坐標數據；
[0017]步驟3:將步驟2得到的數據信息發送至串口轉WiFi模塊A和串口轉WiFi模塊a的串口，再通過socket通信連接將串口轉WiFi模塊A和串口轉WiFi模塊a的串口得到的數據均通過WiFi局域網發送到應用層并進行解析；
[0018]步驟4:應用層將步驟3解析后的數據進行手語智能識別，形成手勢動作對應的編碼值，根據該編碼值在云管理層中的手語字典表或應用層中的本地離線手語字典表進行檢索，獲得對應編碼值代表的手語語義文本，并將該文本轉成語音進行播放。
[0019]本發明所采用的第二種技術方案的特點還在于:
[0020]步驟I中手指的彎曲程度及手指之間的并攏分散狀態具體為:
[0021]根據《中國手語》對手指手形狀態進行分檔，建立本地狀態規則表，主要用于存儲對手指手形狀態的量化值以及傳感器在對應手指手形狀態下的基準電壓值范圍:
[0022]左手及右手的大拇指彎曲程度進行量化，均分為3種狀態:O、1、2;
[0023]左手及右手的食指彎曲程度進行量化，均分為4種狀態:O、1、2、3;
[0024]左手及右手的中指彎曲程度進行量化，均分為4種狀態:O、1、2、3;
[0025]左手及右手的無名指彎曲程度進行量化，均分為4種狀態:0、1、2、3;
[0026]左手及右手的小拇指彎曲程度進行量化，均分為4種狀態:O、1、2、3;
[0027]其中，大拇指彎曲傳感器的O表示手指處于伸直或放松狀態，I表示手指處于伸直與全部彎曲之間的彎曲狀態，2表示手指全部彎曲的狀態;其余手指彎曲傳感器的O均表示手指處于伸直或放松狀態，I均表示手指如手勢“9”時食指的彎曲程度，2均表示該手指與大拇指接觸時的彎曲狀態如手勢“7”中的中指的彎曲程度，3表示手指全部彎曲的狀態；
[0028]左手的大拇指指腹第一壓力傳感器A、食指側面第二壓力傳感器A、中指側面第三壓力傳感器A、無名指側面第四壓力傳感器A、及右手的大拇指指腹第一壓力傳感器a、食指側面第二壓力傳感器a、中指側面第三壓力傳感器a、無名指側面第四壓力傳感器a均分為2種狀態:O、I，其中所有壓力傳感器的O表示分散不接觸的狀態，I表示手指并攏相接觸的狀態；
[0029]數據采集傳感器組A和數據采集傳感器組a采集左手和右手上所有手指的彎曲程度、手指之間的并攏分散狀態的實時數據值及手部位置空間坐標數據，在本地建立實時數據表。
[0030]步驟3中串口轉WiFi模塊A和串口轉WiFi模塊a通過WiFi熱點與應用層建立連接具體為:
[0031]設置左手采集傳輸層的A/D模數采集模塊A和右手采集傳輸層的A/D模數采集模塊a的串口通信參數的波特率為9600、數據位為8、停止位為1、無校驗，串口轉WiFi模塊A和串口轉WiFi模塊a的串口通信參數的波特率為9600、數據位為8、停止位為1、無校驗，設置串口轉WiFi模塊A和串口轉WiFi模塊a為透明傳輸模式，網絡工作模式為TCP/client，并設置所要連接的WiFi熱點的SSID、密碼以及服務端IP地址和端口號，同時在應用層的移動終端建立WiFi熱點，將該熱點的SSID和密碼設置為與串口轉WiFi模塊A和串口轉WiFi模塊a中的相同，WiFi熱點建立之后串口轉WiFi模塊A和串口轉WiFi模塊a將自動與該熱點建立連接，左手采集傳輸層和右手采集傳輸層與應用層的移動終端之間就組成了一個WiFi無線局域網；
[0032]步驟3中在應用層進行解析數據具體為:
[0033]將應用層得到的流數據包轉換成字符串格式，對字符包進行分割，通過字符串提取獲得每個通道對應的傳感器電壓數據的字符串，最后將該字符串轉成float類型的浮點數，這樣就將每個A/D模數采集模塊A和A/D模數采集模塊a各個通道采集到的數據提取出來了。
[0034]步驟4中云管理層中的手語字典表具體為:
[0035]包括字段手語編碼值、語義、圖片、描述、分類，將《中國手語》的所有詞匯通過語義、圖片、描述、分類等字段存儲到表中，根據狀態規則表對手語手勢進行編碼，形成手語編碼值，按照拇指、中指、無名指、小拇指彎曲程度，拇指、食指與中指、中指與無名指、無名指與小拇指之間的壓力傳感器是否接觸依次進行手語語義的編碼；
[0036]應用層中的本地離線手語字典表字段包括手語編碼值、語義、分類，本地離線手語字典表能夠同步云管理層上的手語字典表，通過離線手語字典表能夠提高手語詞匯搜索速度。
[0037]步驟4中手語智能識別具體為:
[0038]將應用層的移動終端掛在用戶的胸前，實時采集移動終端中的加速度傳感器的XYZ軸坐標數據，將移動終端的加速度傳感器的XYZ軸坐標數據作為位置原點，將步驟2中得到的加速度傳感器A及加速度傳感器a的XYZ軸的坐標數據與位置原點坐標數據進行比較，當加速度傳感器A及加速度傳感器a的實時Z軸數據與移動終端的實時Z軸數據誤差大于0.5時，判定為未進行手語表達，繼續進行實時采集;否則，判定為處于手語表達狀態，則對手勢進行識別，具體為:將步驟3中應用層解析出的各個彎曲傳感器、壓力傳感器電壓數據與狀態規則表中的對應的基準電壓值進行匹配，依次輸出各個彎曲傳感器和各個壓力傳感器對應每個手指手形的狀態量化值，并將這些狀態量化值進行編碼，獲取該手形對應的編碼值，將得到的手形對應的編碼值作為手語語義檢索的關鍵字，在建立的手語字典表中進行查詢，查找到該編碼值所代表的手語含義，并獲取該含義的文本信息，實現了手語的智能識別；
[0039]步驟4中轉成語音進行輸出具體為:將手語智能識別之后得到的手語語義文本信息合成語音并輸出。
[0040]還包括語音識別:將健聽人表達的話語進行實時錄音監聽，并將監聽到的語音快速翻譯成文本并顯示在應用層的移動終端的界面上，提供給聾啞用戶，方便聾啞用戶快速理解健聽人表達的內容；
[0041]還包括手語字典及課堂同步學習的增值服務，手語字典具體為:用戶通過查詢云管理層中的手語字典表，獲得手語的語義信息、手勢圖片以及手勢做法描述信息進行學習，通過手語字典查詢提高用戶對手語的掌握程度；
[0042]課堂同步學習，具體為:通過語音識別方法，對課堂上老師講課內容進行錄音并實時轉換為文字，同時保存在課堂信息表中，方便用戶課堂學習及課后復習；
[0043]還包括自主訓練建立規則，具體為:引導用戶按照用戶自己的手勢動作習慣建立個人的狀態規則表，即采集并記錄用戶動作所對應的各個彎曲傳感器及各個壓力傳感器實時電壓數據范圍，將該數據范圍作為用戶該手指狀態下的基準電壓數據范圍存入對應的狀態規則表中，形成新的狀態規則表，用戶在以后做手語時就以新的狀態規則表作為手語手勢量化的標準；
[0044]還包括個性化手語定制，具體為:用戶自己設計手勢，定義手勢含義，將常用的復雜語句快速用手語表達，采集該手勢下的傳感器數據，同時與狀態規則表中的基準電壓值范圍匹配，匹配后依次輸出該事實電壓數據所對應的狀態量化值，由這些狀態量化值生成一個新的手語編碼值，生成手語編碼值后，用戶輸入該編碼值所代表的語義的文本信息，并保存到本地手語字典表中，形成一條新的手語語義記錄。
[0045]本發明的有益效果是:本發明一種聾啞人交流智能輔助系統，是針對聾啞人與健聽人交流溝通困難的問題，設計實現了一套用于輔助聾啞人與健聽人溝通的軟件及相應外設。聾啞人可以通過佩戴無線數據手套進行手語實時表達，通過WiFi局域網與移動終端進行實時無線通信，將采集到的手勢數據信息通過客戶端軟件智能識別轉換為對應的語音信息，并由移動終端輸出，這樣健聽人就能夠理解聾啞人所要表達的內容。同時，通過移動終端的客戶端軟件把健聽人的語音表達實時的轉化為文本文字，顯示在智能手機屏幕上，便于聾啞人快速理解，實現雙向交流。通過該系統的實現，解決了健聽人與聾啞人交流時因不懂手語含義而導致溝通不暢的問題，有效地促進了聾啞人與健聽人之間的溝通交流。同時，本發明對傳統的手語轉換設備進行了創造性的改造，使得結構更加簡單、佩戴更加方便、使用更加人性化，此外本發明還提供個性化手語定制、手語字典查詢、課堂同步學習等擴展功能，提高了聾啞人的參與程度，為聾啞人更好的融入社會提供了一種新的途徑。
【附圖說明】
[0046]圖1是本發明一種聾啞人交流智能輔助系統的結構示意圖；
[0047]圖2是本發明一種聾啞人交流智能輔助系統中各個傳感器在左手手套上的位置布設圖；
[0048]圖3是本發明一種聾啞人交流智能輔助系統中各個傳感器在右手手套上的位置布設圖；
[0049]圖4是本發明一種聾啞人交流智能輔助系統中各個傳感器的外圍轉換電路圖。
[0050]圖中，100.左手采集傳輸層，101.第一彎曲傳感器A，102.第二彎曲傳感器A，103.第三彎曲傳感器A，104.第四彎曲傳感器A,105.第五彎曲傳感器A,106.第一壓力傳感器A，107.第二壓力傳感器A,108.第三壓力傳感器A，109?第四壓力傳感器A,110.加速度傳感器A，111.第一轉換電路A，112.第二轉換電路A，113.第三轉換電路A，114.第四轉換電路A，115.第五轉換電路A，116.第六轉換電路A，117.第七轉換電路A，118.第八轉換電路A，119.第九轉換電路A，120.A/D模數采集模塊A，121.串口轉WiFi模塊A;
[0051 ] 200.左手采集傳輸層，201.第一彎曲傳感器a，202.第二彎曲傳感器a，203.第三彎曲傳感器a，204.第四彎曲傳感器a，205.第五彎曲傳感器a，206.第一壓力傳感器a，207.第二壓力傳感器a，208.第三壓力傳感器a，209 ?第四壓力傳感器a ,210.加速度傳感器a ,211.第一轉換電路a，212.第二轉換電路a，213.第三轉換電路a，214.第四轉換電路a，215.第五轉換電路a，216.第六轉換電路a，217.第七轉換電路a，218.第八轉換電路a，219.第九轉換電路a，220.A/D模數采集模塊a，221.串口轉WiFi模塊a;
[0052]300.應用層，400.云管理層，401.通信服務器，402.數據服務器，403.Web服務器。
【具體實施方式】
[0053]下面結合附圖和【具體實施方式】對本發明進行詳細說明。
[0054]本發明一種聾啞人交流智能輔助系統，結構如圖1所示，包括左手采集傳輸層100和右手采集傳輸層200，左手采集傳輸層100和右手采集傳輸層200均與應用層300連接，應用層300與云管理層400連接。
[0055]其中，左手采集傳輸層100包括依次連接的數據采集傳感器組A、轉換電路組A、A/D模數采集模塊A120、串口轉WiFi模塊A121，串口轉WiFi模塊A121與應用層300通過WiFi局域網連接;右手采集傳輸層200包括依次連接的數據采集傳感器組a、轉換電路組a、A/D模數采集模塊a220、串口轉WiFi模塊a221，串口轉WiFi模塊a221與應用層300通過WiFi局域網連接。
[0056]如圖2所示，數據采集傳感器組A包括位于左手手套的大拇指背部的第一彎曲傳感器A101、位于左手手套的食指背部的第二彎曲傳感器A102、位于左手手套的中指背部的第三彎曲傳感器A103、位于左手手套的無名指背部的第四彎曲傳感器A104、位于左手手套的小拇指背部的第五彎曲傳感器A105，以及位于左手手套的大拇指指腹部的第一壓力傳感器A106、位于左手手套的食指靠近中指一側的側面的第二壓力傳感器A107、位于左手手套的中指靠近無名指一側的側面的第三壓力傳感器A108、位于左手手套的無名指靠近小拇指一側的側面的第四壓力傳感器A109、位于左手手背靠近手腕處的加速度傳感器A110;轉換電路組A包括與第一彎曲傳感器AlOl連接的第一轉換電路Alll、與第二彎曲傳感器A102連接的第二轉換電路Al 12、與第三彎曲傳感器A103連接的第三轉換電路Al 13、與第四彎曲傳感器A104連接的第四轉換電路A114、與第五彎曲傳感器A105連接的第五轉換電路A115、與第一壓力傳感器A106連接的第六轉換電路A116、與第二壓力傳感器A107連接的第七轉換電路A117、與第三壓力傳感器A108連接的第八轉換電路A118、與第四壓力傳感器A109連接的第九轉換電路A119，第一轉換電路A111、第二轉換電路A112、第三轉換電路A113、第四轉換電路A114、第五轉換電路A115、第六轉換電路A116、第七轉換電路A117、第八轉換電路A118、第九轉換電路A119、加速度傳感器AllO的XYZ軸3個輸出通道均與A/D模數采集模塊A120的采集通道對應連接。
[0057]如圖3所示，數據采集傳感器組a包括位于右手手套的大拇指背部的第一彎曲傳感器a201、位于右手手套的食指背部的第二彎曲傳感器a202、位于右手手套的中指背部的第三彎曲傳感器a203、位于右手手套的無名指背部的第四彎曲傳感器a204、位于右手手套的小拇指背部的第五彎曲傳感器a205，以及位于右手手套的大拇指指腹部的第一壓力傳感器a206、位于右手手套的食指靠近中指一側的側面的第二壓力傳感器a207、位于右手手套的中指靠近無名指一側的側面的第三壓力傳感器a208、位于右手手套的無名指靠近小拇指一側的側面的第四壓力傳感器a209、位于右手手背靠近手腕處的加速度傳感器a210;轉換電路組a包括與第一彎曲傳感器a201連接的第一轉換電路a211、與第二彎曲傳感器a202連接的第二轉換電路a212、與第三彎曲傳感器a203連接的第三轉換電路a213、與第四彎曲傳感器a204連接的第四轉換電路a214、與第五彎曲傳感器a205連接的第五轉換電路a215、與第一壓力傳感器a206連接的第六轉換電路a216、與第二壓力傳感器a207連接的第七轉換電路a217、與第三壓力傳感器a208連接的第八轉換電路a218、與第四壓力傳感器a209連接的第九轉換電路a219，第一轉換電路a211、第二轉換電路a212、第三轉換電路a213、第四轉換電路a214、第五轉換電路a215、第六轉換電路a216、第七轉換電路a217、第八轉換電路a218、第九轉換電路a219、加速度傳感器a210的XYZ軸3個輸出通道均與A/D模數采集模塊a220的采集通道對應連接。
[0058]上述所有彎曲傳感器均主要測量手指的彎曲程度，而第一壓力傳感器A106、第一壓力傳感器a206主要判斷兩個拇指是否與其他部位接觸以及兩個拇指分別與兩個食指的并攏分散狀態，其他六個壓力傳感器主要用于判斷食指、中指、無名指、小拇指相鄰的兩兩之間的并攏分散狀態。
[0059]本發明所述的彎曲傳感器與壓力傳感器均屬于柔性電阻型傳感器，必須通過轉換電路組A及轉換電路組a將傳感器因擠壓形變或彎曲形變導致的電阻值變化轉換為電壓值的變化，接法如圖4所示，圖中Ti(i = l，-_，9)分別對應左手的第一彎曲傳感器AlOl?第五彎曲傳感器A105、第一壓力傳感器A106?第四壓力傳感器A109及右手的第一彎曲傳感器a201?第五彎曲傳感器a205、第一壓力傳感器a206?第四壓力傳感器a209，Ri可選用9ΚΩ?15K Ω之間的定值電阻，則通過測量Ri兩端輸出電壓來度量傳感器的實時電壓值。
[0060]第一彎曲傳感器AlOl?第五彎曲傳感器A105、第一壓力傳感器A106?第四壓力傳感器A109及第一彎曲傳感器a201?第五彎曲傳感器a205、第一壓力傳感器a206?第四壓力傳感器a209經轉換電路組A及轉換電路組a之后與A/D模數采集模塊A120、A/D模數采集模塊a220連接，A/D模數采集模塊A120、A/D模數采集模塊a220將模擬量的電壓值轉換成對應的數字量數據，為后續處理提供數據，加速度傳感器Al 10、加速度傳感器a210分別與A/D模數采集模塊A120、A/D模數采集模塊a220連接，通過A/D模數采集模塊A120、A/D模數采集模塊a220將XYZ軸的模擬量電壓值轉換成數字量數據并換算成實際的XYZ軸坐標數據。A/D模數采集模塊A120、A/D模數采集模塊a220均通過RS232串口分別與串口轉WiFi模塊A121、串口轉WiFi模塊a221連接。串口轉WiFi模塊A121、串口轉WiFi模塊a221均設置為透明傳輸、TCP客戶端的工作模式，串口轉WiFi模塊A121、串口轉WiFi模塊a221再分別與應用層300中的移動終端自建的WiFi熱點連接，組成一個自適應的局域網A/D模數采集模塊A120、A/D模數采集模塊a220采集到的數據采用socket通信方式通過無線局域網傳輸，傳輸到應用層300的移動終端客戶端軟件中處理解析，將手勢動作實時轉換成語音輸出。
[0061]應用層300的移動終端能夠實現手語識別、手語字典、課堂同步等功能。
[0062]云管理層400包括通信服務器401、數據服務器402和Web服務器403。用于手語字典表、用戶表、設備信息表、課堂信息表等數據的更新，以及移動終端客戶端軟件的更新與維護，從而為聾啞用戶提供個性化定制服務。
[0063]建立數據庫:狀態規則表、實時數據表、手語字典表、用戶表、設備信息表、課堂信息表
[0064]根據《中國手語》對手指手形狀態進行分檔，建立本地狀態規則表，主要用于存儲對手指手形狀態的量化值以及傳感器在對應手指手形狀態下的基準電壓值范圍:
[0065]左手及右手的大拇指彎曲程度進行量化，均分為3種狀態:O、1、2，對應基準電壓值范圍分別為:2.01 ?2.17、2.3?2.68、2.7?2.9;
[0066]左手及右手的食指彎曲程度進行量化，均分為4種狀態:0、1、2、3，對應基準電壓值范圍分別為:1.87 ?2.2、2.47?2.5、2.6?2.7、2.98?3.1;
[0067]左手及右手的中指彎曲程度進行量化，均分為4種狀態:O、1、2、3，對應基準電壓值范圍分別為:1.87 ?2.48、2.5?2.76、2.86?3.0、3.1?3.24;
[0068]左手及右手的無名指彎曲程度進行量化，均分為4種狀態:0、1、2、3，對應基準電壓值范圍分別為:1.82 ?2.13、2.2?2.53、2.64?2.84、2.81?3.0;
[0069]左手及右手的小拇指彎曲程度進行量化，均分為4種狀態:O、1、2、3，對應基準電壓值范圍分別為:2.0?1.3、2.7?2.8、2.9?3.15、3.3?3.55;
[0070]其中，大拇指彎曲傳感器的O表示手指處于伸直或放松狀態，I表示手指處于伸直與全部彎曲之間的彎曲狀態，2表示手指全部彎曲的狀態;其余手指彎曲傳感器的O均表示手指處于伸直或放松狀態，I均表示手指如手勢“9”時食指的彎曲程度，2均表示該手指與大拇指接觸時的彎曲狀態如手勢“7”中的中指的彎曲程度，3表示手指全部彎曲的狀態；
[0071]左手的大拇指指腹第一壓力傳感器A106、食指側面第二壓力傳感器A107、中指側面第三壓力傳感器A108、無名指側面第四壓力傳感器A109、及右手的大拇指指腹第一壓力傳感器a206、食指側面第二壓力傳感器a207、中指側面第三壓力傳感器a208、無名指側面第四壓力傳感器a209均分為2種狀態:O、I，對應基準電壓值范圍分別為:0.5?4.9、5，其中所有壓力傳感器的O表示分散不接觸的狀態，I表示手指并攏相接觸的狀態;根據這些對手指手形狀態進行離散量化，為后續編碼準備。
[0072]數據采集傳感器組A和數據采集傳感器組a測量左手和右手上所有手指的彎曲程度及手指之間的并攏分散狀態的實時數據值和手部位置空間坐標數據，在本地建立實時數據表，主要用于存儲左手和右手上所有傳感器的實時數據值，為后續的手語智能識別提供數據基礎。
[0073]根據《中國手語》以及狀態規則表，在云服務器400的數據服務器402的數據庫中建立手語字典表，主要字段有手語編碼值、語義、圖片、描述、分類等。將《中國手語》的所有詞匯通過語義、圖片、描述、分類等字段存儲到表中，根據狀態規則表對手語手勢進行編碼，形成手語編碼值。按照拇指、中指、無名指、小拇指彎曲程度，拇指、食指與中指、中指與無名指、無名指與小拇指之間的壓力傳感器是否接觸依次進行手語語義的編碼。例如，手勢字母“A”的編碼值為033330111，手勢字母“B”的編碼值為200000111。同時在客戶端軟件中建立本地離線手語字典表，主要字段有手語編碼值、語義、分類等，該表能夠同步云服務器上的手語字典表，通過離線手語字典表能夠提高手語詞匯搜索速度。
[0074]在云服務器400的數據服務器402的數據庫中建立用戶表、設備信息表、課堂信息表等數據表，用戶表主要用于存儲用戶的基本信息，如用戶名、密碼、性別、年齡等，方便后期針對不同用戶需求提供不同服務以及對用戶進行管理;設備信息表主要用于存儲手套設備的基本信息，如設備ID、編號、工作狀態等，方便實現對設備的管理維護;課堂信息表主要用于存儲用戶課堂錄音以及轉換后的文本信息，方便用戶課堂學習及課后復習。
[0075]設置左手采集傳輸層100的A/D模數采集模塊A120和右手采集傳輸層200的A/D模數采集模塊a220的串口通信參數的波特率為9600、數據位為8、停止位為1、無校驗，串口轉WiFi模塊A121和串口轉WiFi模塊a221的串口通信參數的波特率為9600、數據位為8、停止位為1、無校驗，設置串口轉WiFi模塊Al 21和串口轉WiFi模塊a221為透明傳輸模式，網絡工作模式為TCP/client，并設置所要連接的WiFi熱點的SSID(Service Set Identifier，服務集標識)、密碼以及服務端IP地址和端口號，即設定為這個WiFi局域網中手機的地址和端口號，比如IP地址192.168.43.1，端口6553。同時在應用層300的移動終端建立WiFi熱點，將該熱點的SSID和密碼設置為與串口轉WiFi模塊Al21和串口轉WiFi模塊a221中的相同，WiFi熱點建立之后串口轉WiFi模塊A121和串口轉WiFi模塊a221將自動與該熱點建立連接，左手采集傳輸層100和右手采集傳輸層200與應用層300的移動終端之間就組成了一個WiFi無線局域網。
[0076]利用一種聾啞人交流智能輔助系統交流的方法，具體按照以下步驟實施:
[0077]步驟I:左手采集傳輸層100的A/D模數采集模塊A120和右手采集傳輸層200的A/D模數采集模塊a220分別發送采集命令，數據采集傳感器組A和數據采集傳感器組a分別測量左手和右手手指的彎曲程度、手指之間的并攏分散狀態及手部位置空間坐標的數據信息；
[0078]步驟2:將步驟I測量到的數據信息分別經過轉換電路組A和轉換電路組a之后，經A/D模數采集模塊A120和A/D模數采集模塊a220進行數據采集，對采集到的模擬量數據進行轉換或換算，分別得到各個彎曲傳感器和各個壓力傳感器的數字量電壓值，及得到加速度傳感器Al 1及加速度傳感器a210的XYZ軸的坐標數據；
[0079]步驟3:將步驟2得到的數據信息輪詢發送至串口轉WiFi模塊A121和串口轉WiFi模塊a221的串口，再通過socket通信連接將串口轉WiFi模塊A121和串口轉WiFi模塊a221的串口得到的數據均通過WiFi局域網發送到應用層300。其中，socket通信連接的實現過程為:在移動終端的客戶端軟件中建立socket服務端通信子程序，新建ServerSocket對象并且指定端口號如6553，通過偵聽方式等待接收客戶端發送數據，在程序的配置文件中將該子程序設置為service工作模式，該服務將隨著客戶端軟件的啟動自動執行，生命周期將隨著程序的結束而終止。通過該子程序實現對連接客戶端實時偵聽，并將通過無線傳輸獲取的數據包存入手機的緩存區，等待進一步的處理。
[0080]對上述采集傳輸到緩存區的傳感器數據包進行實時解析，將應用層300得到的流數據包轉換成字符串格式，對字符包進行分割，通過字符串提取獲得每個通道對應的傳感器電壓數據的字符串，最后將該字符串轉成float類型的浮點數，這樣就將每個A/D模數采集模塊A120和A/D模數采集模塊a220各個通道采集到的數據提取出來了，數據解析成功后將各個通道的數據存儲到建立在本地實時數據表中的對應字段中。
[0081]步驟4:應用層300將步驟3解析后的數據進行手語智能識別，形成手勢動作對應的編碼值，根據該編碼值在云管理層400中的手語字典表或應用層300中的本地離線手語字典表進行檢索，獲得對應編碼值代表的手語語義文本，并將該文本轉成語音進行播放。
[0082]其中，手語智能識別具體為:將應用層300的移動終端掛在用戶的胸前，實時采集移動終端中內置的加速度傳感器的XYZ軸坐標數據，將移動終端的加速度傳感器的XYZ軸坐標數據作為位置原點，將步驟2中得到的加速度傳感器AllO及加速度傳感器a210的XYZ軸坐標數據與位置原點坐標數據進行比較，當加速度傳感器AllO及加速度傳感器a210的實時Z軸數據與移動終端的實時Z軸數據誤差大于0.5時，判定為未進行手語表達，繼續進行實時采集;否則，判定為處于手語表達狀態，則對手勢進行識別，具體為:將步驟3中應用層300解析出的各個彎曲傳感器、壓力傳感器的電壓數據與狀態規則表中的對應的基準電壓值進行匹配，依次輸出各個彎曲傳感器和各個壓力傳感器對應每個手指手形的狀態量化值，并將這些狀態量化值進行編碼，獲取該手形對應的編碼值，例如使用左手輸入字母“A”時，各傳感器的狀態量化值和對應采集到實時電壓數據依次為:0，2.1;3，3.2;3，3.1;3，3.17;3，3.26;0，5;1，3.6;1，4.5;1，2.3。通過程序自動生成1”的編碼為033330111。將得到的手形對應的編碼值作為手語語義檢索的關鍵字，在建立的手語字典表中進行查詢，查找到該編碼值所代表的手語含義，并獲取該含義的文本信息，實現了手語的智能識別；例如，使用上述“A”的編碼033330111作為關鍵字在手語字典表中進行查詢，便可查到一條記錄，該記錄中包含了該手勢對應的字母“A”的信息。
[0083]對上述智能識別后獲得的語義文本信息，進行語音輸出:調用語音識別引擎的SDK進行語音合成，首先創建SpeechSynthesizer對象，再采用StartSpeakingO方法進行合成，最后將上述獲取的文本信息合成語音并輸出，模擬健全人開口說話。同時，聾啞用戶也可直接在程序中輸入想要表達的文字，通過調用該子程序將文字合成為語音并且輸出，進行語音播報，實現與健聽人的交流。
[0084]本發明還可以進行語音識別，即對輸入的語音信息進行識別，以文字形式顯示出來:調用語音識別引擎的SDK進行語音聽寫，首先創建SpeechRecognizer對象，再建立監聽器RecognizerListener對象，通過startListening()方法進行聽寫，實現對健聽人表達的話語進行實時錄音監聽，并將監聽到的語音快速翻譯成文本并顯示在應用層300的移動終端的界面上，提供給聾啞用戶，方便聾啞用戶快速理解健聽人表達的內容。
[0085]本發明還設計了手語字典及課堂同步學習等增值服務。實現手語字典查詢，具體在客戶端軟件中設計手語字典查詢子程序，該子程序向用戶提供手語搜索功能，用戶可以通過查詢云管理層400中云服務器端的手語字典表，可以獲得手語的語義信息、手勢圖片以及手勢做法描述等信息進行學習，通過手語字典查詢能夠提高用戶對手語的掌握程度。實現課堂同步學習，具體在客戶端軟件中設計課堂同步學習子程序，可以通過上述的語音識別方法，對課堂上老師講課內容進行錄音并實時轉換為文字，同時保存在課堂信息表中，方便用戶課堂學習及課后復習，為聾啞用戶提供一種走出特殊教育融入正常社會，與健聽人一起進行學習的方法。
[0086]該設備的具體工作模式如下:首先佩戴手套設備，將手機掛于胸前位置，設備上電工作后與移動終端客戶端軟件通過WiFi局域網建立socket連接，然后通過A/D模數采集模±夬八120和A/D模數采集模塊a220進行數據采集，再對采集到的數據進行解析，然后通過手語智能識別得到所做手形對應的編碼值，并檢索到該編碼值所代表的手語含義，再將手語含義的文本信息轉換成語音并進行語音播報，至此就實現了對手語的翻譯，這樣健聽人就能夠理解聾啞人所要表達的意思。同時，移動終端客戶端軟件可以將健聽人所說的話語實時轉換成文字并在軟件界面顯示，從而實現了雙向溝通。
[0087]本發明的一大亮點是用戶可以根據自己的手形通過自主訓練建立自定義規則，實現對狀態規則表中手語手形狀態量化值的校正。上述狀態規則表是根據多數人的手形習慣建立的普遍性規則，為了提高手語的識別準確率，聾啞用戶可以根據自己的手勢動作習慣建立個人的狀態規則表。具體是在客戶端軟件中設計自定義規則的子程序實現，該子程序能夠引導用戶按照上述的狀態規則表規定的手指狀態做出對應的手勢動作，采集并記錄該動作所對應的彎曲傳感器及壓力傳感器實時電壓數據范圍，最后將該數據范圍作為用戶該手指狀態下的基準電壓數據范圍存入對應的狀態規則表中，形成新的狀態規則表，用戶在以后做手語時就以新的狀態規則表作為手語手勢量化的標準。通過用戶自主訓練可以根據個人手部動作的特點實現規則的自主定制，最終提高手語翻譯精度。
[0088]本發明的另一大亮點是可以針對不同用戶實現個性化手語定制，用戶可自己設計手勢，定義手勢含義，將常用的復雜語句快速用手語表達，有效地提高手語交流效率。具體是在客戶端軟件中設計自定義手語子程序，該子程序能夠引導用戶通過手套自定義一個手勢，并采集該手勢下的傳感器數據，同時與狀態規則表中的基準電壓值范圍匹配，匹配后依次輸出該實時電壓數據所對應的狀態量化值，由這些狀態量化值生成一個新的手語編碼值。生成手語編碼值后，用戶輸入該編碼值所代表的語義的文本信息，并保存到本地手語字典表中，形成一條新的手語語義記錄。用戶再次做該動作時，就可以直接進行識別并輸出語音。這樣可以將復雜語義信息所代表的手語手勢簡化，減少手勢動作的時間，實現快速播報自定義的常用語，節省交流時間，使雙方交流更加通暢。
【主權項】
1.一種聾啞人交流智能輔助系統，其特征在于，包括左手采集傳輸層(100)和右手采集傳輸層(200)，左手采集傳輸層(100)和右手采集傳輸層(200)均與應用層(300)連接，應用層(300)與云管理層(400)連接。2.根據權利要求1所述的一種聾啞人交流智能輔助系統，其特征在于，所述左手采集傳輸層(100)包括依次連接的數據采集傳感器組A、轉換電路組A、A/D模數采集模塊A (120)、串口轉WiFi模塊A(121)，串口轉WiFi模塊A(121)與所述應用層(300)通過WiFi局域網連接； 所述右手采集傳輸層(200)包括依次連接的數據采集傳感器組a、轉換電路組a、A/D模數采集模塊a(220)、串口轉WiFi模塊a(221)，串口轉WiFi模塊a(221)與所述應用層(300)通過WiFi局域網連接。3.根據權利要求2所述的一種聾啞人交流智能輔助系統，其特征在于，所述數據采集傳感器組A包括位于左手手套的大拇指背部的第一彎曲傳感器A(1l)、位于左手手套的食指背部的第二彎曲傳感器A(102)、位于左手手套的中指背部的第三彎曲傳感器A(103)、位于左手手套的無名指背部的第四彎曲傳感器A(104)、位于左手手套的小拇指背部的第五彎曲傳感器A(105)，以及位于左手手套的大拇指指腹部的第一壓力傳感器A(106)、位于左手手套的食指靠近中指一側的側面的第二壓力傳感器A(107)、位于左手手套的中指靠近無名指一側的側面的第三壓力傳感器A(1S)、位于左手手套的無名指靠近小拇指一側的側面的第四壓力傳感器A(109)、位于左手手背靠近手腕處的加速度傳感器A(IlO); 轉換電路組A包括與第一彎曲傳感器A (I OI)連接的第一轉換電路A (111 )、與第二彎曲傳感器A(102)連接的第二轉換電路A(112)、與第三彎曲傳感器A(103)連接的第三轉換電路A(113)、與第四彎曲傳感器A(104)連接的第四轉換電路A(114)、與第五彎曲傳感器A(105)連接的第五轉換電路A(115)、與第一壓力傳感器A(106)連接的第六轉換電路A(116)、與第二壓力傳感器A(107)連接的第七轉換電路A(117)、與第三壓力傳感器A(108)連接的第八轉換電路A( 118)、與第四壓力傳感器A( 109)連接的第九轉換電路A( 119)，第一轉換電路A(111)、第二轉換電路A(112)、第三轉換電路A(113)、第四轉換電路A(114)、第五轉換電路A(115)、第六轉換電路A(116)、第七轉換電路A(117)、第八轉換電路A(118)、第九轉換電路A(119)、所述加速度傳感器A( 110)的XYZ軸3個輸出通道均與所述A/D模數采集模塊A( 120)的采集通道對應連接。4.根據權利要求3所述的一種聾啞人交流智能輔助系統，其特征在于，所述數據采集傳感器組a包括位于右手手套的大拇指背部的第一彎曲傳感器a(201)、位于右手手套的食指背部的第二彎曲傳感器a(202)、位于右手手套的中指背部的第三彎曲傳感器a(203)、位于右手手套的無名指背部的第四彎曲傳感器a(204)、位于右手手套的小拇指背部的第五彎曲傳感器a(205)，以及位于右手手套的大拇指指腹部的第一壓力傳感器a(206)、位于右手手套的食指靠近中指一側的側面的第二壓力傳感器a(207)、位于右手手套的中指靠近無名指一側的側面的第三壓力傳感器a(208)、位于右手手套的無名指靠近小拇指一側的側面的第四壓力傳感器a(209)、位于右手手背靠近手腕處的加速度傳感器a(210); 轉換電路組a包括與第一彎曲傳感器a (201)連接的第一轉換電路a (211 )、與第二彎曲傳感器a (20 2)連接的第二轉換電路a (212 )、與第三彎曲傳感器a (203)連接的第三轉換電路a(213)、與第四彎曲傳感器a(204)連接的第四轉換電路a(214)、與第五彎曲傳感器a(205)連接的第五轉換電路a(215)、與第一壓力傳感器a(206)連接的第六轉換電路a(216)、與第二壓力傳感器a(207)連接的第七轉換電路a(217)、與第三壓力傳感器a(208)連接的第八轉換電路a(218)、與第四壓力傳感器a(209)連接的第九轉換電路a(219)，第一轉換電路a(211)、第二轉換電路a(212)、第三轉換電路a(213)、第四轉換電路a(214)、第五轉換電路a(215)、第六轉換電路a(216)、第七轉換電路a(217)、第八轉換電路a(218)、第九轉換電路a(219)、所述加速度傳感器a (210)的XYZ軸3個輸出通道均與所述A/D模數采集模塊a (220)的采集通道對應連接。5.利用如權利要求4所述的一種聾啞人交流智能輔助系統交流的方法，其特征在于，具體按照以下步驟實施: 步驟1:數據采集傳感器組A和數據采集傳感器組a分別測量左手和右手手指的彎曲程度、手指之間的并攏分散狀態及手部位置空間坐標的數據信息； 步驟2:將步驟I測量到的數據信息分別經過轉換電路組A和轉換電路組a之后，經A/D模數采集模塊A (120)和A/D模數采集模塊a (220)進行數據采集，對采集到的模擬量數據進行轉換或換算，分別得到各個彎曲傳感器和各個壓力傳感器的數字量電壓值，及得到加速度傳感器A (110)及加速度傳感器a (210)的XYZ軸的坐標數據； 步驟3:將步驟2得到的數據信息發送至串口轉WiFi模塊A( 121)和串口轉WiFi模塊a(221)的串口，再通過socket通信連接將串口轉WiFi模塊A(121)和串口轉WiFi模塊a(221)的串口得到的數據均通過WiFi局域網發送到應用層(300)并進行解析； 步驟4:應用層(300)將步驟3解析后的數據進行手語智能識別，形成手勢動作對應的編碼值，根據該編碼值在云管理層(400)中的手語字典表或應用層(300)中的本地離線手語字典表進行檢索，獲得對應編碼值代表的手語語義文本，并將該文本轉成語音進行播放。6.利用如權利要求5所述的一種聾啞人交流智能輔助系統交流的方法，其特征在于，所述步驟I中手指的彎曲程度及手指之間的并攏分散狀態具體為: 根據《中國手語》對手指手形狀態進行分檔，建立本地狀態規則表，主要用于存儲對手指手形狀態的量化值以及傳感器在對應手指手形狀態下的基準電壓值范圍: 左手及右手的大拇指彎曲程度進行量化，均分為3種狀態:O、1、2; 左手及右手的食指彎曲程度進行量化，均分為4種狀態:O、1、2、3; 左手及右手的中指彎曲程度進行量化，均分為4種狀態:O、1、2、3; 左手及右手的無名指彎曲程度進行量化，均分為4種狀態:O、1、2、3; 左手及右手的小拇指彎曲程度進行量化，均分為4種狀態:O、1、2、3; 其中，大拇指彎曲傳感器的O表示手指處于伸直或放松狀態，I表示手指處于伸直與全部彎曲之間的彎曲狀態，2表示手指全部彎曲的狀態;其余手指彎曲傳感器的O均表示手指處于伸直或放松狀態，I均表示手指如手勢“9”時食指的彎曲程度，2均表示該手指與大拇指接觸時的彎曲狀態如手勢“7”中的中指的彎曲程度，3表示手指全部彎曲的狀態； 左手的大拇指指腹第一壓力傳感器A(106)、食指側面第二壓力傳感器A(107)、中指側面第三壓力傳感器A(1S)、無名指側面第四壓力傳感器A(109)、及右手的大拇指指腹第一壓力傳感器a(206)、食指側面第二壓力傳感器a(207)、中指側面第三壓力傳感器a(208)、無名指側面第四壓力傳感器a(209)均分為2種狀態:0、1，其中所有壓力傳感器的O表示分散不接觸的狀態，I表示手指并攏相接觸的狀態； 數據采集傳感器組A和數據采集傳感器組a采集左手和右手上所有手指的彎曲程度、手指之間的并攏分散狀態的實時數據值及手部位置空間坐標數據，在本地建立實時數據表。7.利用如權利要求6所述的一種聾啞人交流智能輔助系統交流的方法，其特征在于，所述步驟3中串口轉WiFi模塊A(121)和串口轉WiFi模塊a(221)通過WiFi熱點與應用層(300)建立連接具體為: 設置左手采集傳輸層(100)的A/D模數采集模塊A (120)和右手采集傳輸層(200)的A/D模數采集模塊a(220)的串口通信參數的波特率為9600、數據位為8、停止位為1、無校驗，串口轉WiFi模塊A( 121)和串口轉WiFi模塊a(221)的串口通信參數的波特率為9600、數據位為8、停止位為1、無校驗，設置串口轉WiFi模塊A(121)和串口轉WiFi模塊a (221)為透明傳輸模式，網絡工作模式為TCP/client，并設置所要連接的WiFi熱點的SSID、密碼以及服務端IP地址和端口號，同時在應用層(300)的移動終端建立WiFi熱點，將該熱點的SSID和密碼設置為與串口轉WiFi模塊A( 121)和串口轉WiFi模塊a(221)中的相同，WiFi熱點建立之后串口轉WiFi模塊A(121)和串口轉WiFi模塊a(221)將自動與該熱點建立連接，左手采集傳輸層(100)和右手采集傳輸層(200)與應用層(300)的移動終端之間就組成了一個WiFi無線局域網； 步驟3中在應用層(300)進行解析數據具體為: 將應用層(300)得到的流數據包轉換成字符串格式，對字符包進行分割，通過字符串提取獲得每個通道對應的傳感器電壓數據的字符串，最后將該字符串轉成float類型的浮點數，這樣就將每個A/D模數采集模塊A (120)和A/D模數采集模塊a (220)各個通道采集到的數據提取出來了。8.利用如權利要求6所述的一種聾啞人交流智能輔助系統交流的方法，其特征在于，所述步驟4中云管理層(400)中的手語字典表具體為: 包括字段手語編碼值、語義、圖片、描述、分類，將《中國手語》的所有詞匯通過語義、圖片、描述、分類等字段存儲到表中，根據狀態規則表對手語手勢進行編碼，形成手語編碼值，按照拇指、中指、無名指、小拇指彎曲程度，拇指、食指與中指、中指與無名指、無名指與小拇指之間的壓力傳感器是否接觸依次進行手語語義的編碼； 應用層(300)中的本地離線手語字典表字段包括手語編碼值、語義、分類，本地離線手語字典表能夠同步云管理層(400)上的手語字典表，通過離線手語字典表能夠提高手語詞匯搜索速度。9.利用如權利要求6所述的一種聾啞人交流智能輔助系統交流的方法，其特征在于，所述步驟4中手語智能識別具體為: 將應用層(300)的移動終端掛在用戶的胸前，實時采集移動終端中的加速度傳感器的XYZ軸坐標數據，將移動終端的加速度傳感器的XYZ軸坐標數據作為位置原點，將步驟2中得到的加速度傳感器A(IlO)及加速度傳感器a(210)的XYZ軸的坐標數據與位置原點坐標數據進行比較，當加速度傳感器A(IlO)及加速度傳感器a( 210)的實時Z軸數據與移動終端的實時Z軸數據誤差大于0.5時，判定為未進行手語表達，繼續進行實時采集;否則，判定為處于手語表達狀態，則對手勢進行識別，具體為:將步驟3中應用層(300)解析出的各個彎曲傳感器、壓力傳感器電壓數據與狀態規則表中的對應的基準電壓值進行匹配，依次輸出各個彎曲傳感器和各個壓力傳感器對應每個手指手形的狀態量化值，并將這些狀態量化值進行編碼，獲取該手形對應的編碼值，將得到的手形對應的編碼值作為手語語義檢索的關鍵字，在建立的手語字典表中進行查詢，查找到該編碼值所代表的手語含義，并獲取該含義的文本信息，實現了手語的智能識別； 步驟4中轉成語音進行輸出具體為:將手語智能識別之后得到的手語語義文本信息合成語音并輸出。10.利用如根據權利要求6所述的一種聾啞人交流智能輔助系統交流的方法，其特征在于，還包括語音識別:將健聽人表達的話語進行實時錄音監聽，并將監聽到的語音快速翻譯成文本并顯示在應用層(300)的移動終端的界面上，提供給聾啞用戶，方便聾啞用戶快速理解健聽人表達的內容； 還包括手語字典及課堂同步學習的增值服務，手語字典具體為:用戶通過查詢云管理層(400)中的手語字典表，獲得手語的語義信息、手勢圖片以及手勢做法描述信息進行學習，通過手語字典查詢提高用戶對手語的掌握程度； 課堂同步學習，具體為:通過語音識別方法，對課堂上老師講課內容進行錄音并實時轉換為文字，同時保存在課堂信息表中，方便用戶課堂學習及課后復習； 還包括自主訓練建立規則，具體為:引導用戶按照用戶自己的手勢動作習慣建立個人的狀態規則表，即采集并記錄用戶動作所對應的各個彎曲傳感器及各個壓力傳感器實時電壓數據范圍，將該數據范圍作為用戶該手指狀態下的基準電壓數據范圍存入對應的狀態規則表中，形成新的狀態規則表，用戶在以后做手語時就以新的狀態規則表作為手語手勢量化的標準； 還包括個性化手語定制，具體為:用戶自己設計手勢，定義手勢含義，將常用的復雜語句快速用手語表達，采集該手勢下的傳感器數據，同時與狀態規則表中的基準電壓值范圍匹配，匹配后依次輸出該事實電壓數據所對應的狀態量化值，由這些狀態量化值生成一個新的手語編碼值，生成手語編碼值后，用戶輸入該編碼值所代表的語義的文本信息，并保存到本地手語字典表中，形成一條新的手語語義記錄。
【文檔編號】G09B21/00GK106097835SQ201610393525
【公開日】2016年11月9日
【申請日】2016年6月3日 公開號201610393525.5, CN 106097835 A, CN 106097835A, CN 201610393525, CN-A-106097835, CN106097835 A, CN106097835A, CN201610393525, CN201610393525.5
【發明人】繆亞林, 肖倩, 曹雪茹, 譚偉浩, 儀孝展
【申請人】西安理工大學