多通道增強現實系統的制作方法
【專利摘要】本發明提供了一種多通道增強現實系統，相應的傳感輸入子系統包括用于獲取語音信號的語音傳感器、用于獲取溫濕度信號的溫濕度傳感器和用于獲取風力信號的風力傳感器；體感控制子系統包括用于識別用戶手部動作的體感控制器；所述信息融合處理子系統；所述氣味發生子系統包括用于根據人體感應傳感器獲取的信號發出預定氣味的芳香發生機；所述虛擬現實圖形顯示子系統包括用于通過二維標記點識別、三維注冊、三維動畫控制進行互動演示的投影儀和顯示屏；所述振動及聲音反饋子系統用于所述虛擬現實圖形顯示子系統進行互動演示的內容為用戶提供震動及聲音的觸感輸出。本發明建構了一個模型，將用戶完全置身于增強現實的環境中，通過與視覺、聽覺、觸覺、嗅覺等身體的各個部位進行互動系統。
【專利說明】多通道增強現實系統
【技術領域】
[0001]本發明屬于虛擬現實【技術領域】，具體涉及一種能夠讓用戶進行多感官多通道交互的增強現實系統。
【背景技術】
[0002]增強現實(augmented reality , AR)技術可以將虛擬的物體合并到現實場景中，并能支持用戶與其進行交互，該技術已經成為虛擬現實研究中的一個重要領域，同時也是人機界面技術發展的一個重要方向。目前，很多研究結果已經運用到了工作和生活當中，例如Kinect體感設備，通過相應的游戲及應用，把操作的體驗提高到一個新的層次，使用者無須控制任何外界物體，身體可以用來當作控制器直接進行控制，深受廣大游戲愛好者的喜愛，通過增強現實帶去了娛樂領域的一場變革與創新。又例如，Leap Motion體感控制器，通過揮舞手指或拳頭來和計算機進行交互，能夠同時追蹤十根手指，精度在百分之一毫米之內，延遲比顯示器的刷新率還要低。
[0003]信息融合技術是關于如何協同利用多源信息，以獲得對同一事物或目標更客觀、更本質認識的綜合信息處理技術。多傳感器信息融合技術是指利用計算機技術對時序獲得的若干傳感器的觀測信息在一定準則下加以分析、綜合，以完成所需的決策和估計任務而進行的信息處理過程。實際上它是對人腦綜合處理復雜問題的一種功能模擬，通過把多個傳感器獲得的信息按照一定的規則組合、歸納、演繹，得到對觀測對象的一致解釋和描述。截止目前為止，信息融和廣泛應用于軍事上，包括從單兵作戰、單平臺武器系統到C4 ISR領域。在非軍事領域，多傳感器融合技術也有很大的發展，比如在醫療衛生中，用于手術監護、重癥監護病房、創傷評估與創傷監護、醫學圖像信息融合來改善圖像的質量。再如在智能交通系統中，用于交通流量統計、智能交通調控、自動違章處理、車輛跟蹤處理、交通實時查詢以及車輛統計等功能。
[0004]但是，現有的增強現實技術，都是從用戶輸入的方式入手，且輸出的大多是視覺圖像和聲音，而沒有調動用戶觸覺嗅覺等其他器官。另外，現有的信息融合注重的是對客觀世界中的信息處理，無法關注由用戶多通道輸入的信息。

【發明內容】

[0005]本發明為解決現有的增強現實技術存在的都是從用戶輸入的方式入手，且輸出的大多是視覺圖像和聲音，而沒有調動用戶觸覺嗅覺等其他器官以及現現有的信息融合注重的是對客觀世界中的信息處理，無法關注由用戶多通道輸入的信息的問題，進而提供一種多通道增強現實系統。
[0006]本發明是通過以下技術方案實現的:
一種多通道增強現實系統，包括:傳感輸入子系統、體感控制子系統、信息融合處理子系統、氣味發生子系統、虛擬現實圖形顯示子系統和振動及聲音反饋子系統；
所述傳感輸入子系統包括用于獲取語音信號的語音傳感器、用于獲取溫濕度信號的溫濕度傳感器和用于獲取風力信號的風力傳感器；
所述體感控制子系統包括用于識別用戶手部動作的體感控制器；
所述信息融合處理子系統將從溫濕度傳感器輸入、體感輸入和人體感應獲取的信號進行融合處理，并相應的轉化為聲音，三維圖像，氣味，震動等輸出指令傳遞到各個輸出子系統中；
所述氣味發生子系統包括用于根據人體感應傳感器獲取的信號發出預定氣味的芳香發生機；
所述虛擬現實圖形顯示子系統包括用于通過二維標記點識別、三維注冊、三維動畫控制進行互動演示的投影儀和顯示屏；
所述振動及聲音反饋子系統用于所述虛擬現實圖形顯示子系統進行互動演示的內容為用戶提供震動及聲音的觸感輸出。
[0007]本發明的有益效果:解決了增強現實技術與人各個感官交互的統一和融合，在多通道交互的同時，更加注重來自于系統對于用戶感官最直接的刺激和反饋。它建構了一個模型，將用戶完全置身于增強現實的環境中，通過與視覺、聽覺、觸覺、嗅覺等身體的各個部位進行互動，使得用戶全身心投入在其中，達到很好的用戶體驗。
[0008]【專利附圖】

【附圖說明】
圖1為本發明提供的多通道增強現實系統的結構示意圖。
【具體實施方式】
[0009]為了能夠更清晰地闡明本發明的特點和工作基本原理，以下結合附圖及實施例，對本發明進行說明。
[0010]本【具體實施方式】提供了一種多通道增強現實系統，如圖1所示，包括:傳感輸入子系統、體感控制子系統、信息融合處理子系統、氣味發生子系統、虛擬現實圖形顯示子系統和振動及聲首反饋子系統；
所述傳感輸入子系統包括用于獲取語音信號的語音傳感器、用于獲取溫濕度信號的溫濕度傳感器和用于獲取風力信號的風力傳感器；
所述體感控制子系統包括用于識別用戶手部動作的體感控制器；
所述信息融合處理子系統將從溫濕度傳感器輸入、體感輸入和人體感應獲取的信號進行融合處理，并相應的轉化為聲音，三維圖像，氣味，震動等輸出指令傳遞到各個輸出子系統中；
所述氣味發生子系統包括用于根據人體感應傳感器獲取的信號發出預定氣味的芳香發生機；
所述虛擬現實圖形顯示子系統包括用于通過二維標記點識別、三維注冊、三維動畫控制進行互動演示的投影儀和顯示屏；
所述振動及聲音反饋子系統用于所述虛擬現實圖形顯示子系統進行互動演示的內容為用戶提供震動及聲音的觸感輸出。
[0011]具體的，本【具體實施方式】提供的多通道增強現實系統中各子系統實現的功能包括:1)傳感輸入子系統傳感輸入子系統主要由各類傳感器(如溫濕度傳感器)和移動設備組成，提供用戶較為多樣的交互方式。例如，溫度傳感器:接受溫度數據，控制種子發芽；濕度傳感器:濕度數據，控制芽兒開花；風力傳感器:接受吹氣數據方向，控制玫瑰花運動。
[0012]2)體感控制子系統
體感控制子系統是用戶手勢輸入通道，可以通過體感控制器來與虛擬世界進行交互，用戶的手以及手上的工具都可以綁定為操作虛擬世界的工具。體感控制子系統可通過識別手部動作，模擬用戶觸摸到玫瑰花，從而使玫瑰花掉落。
[0013]3)信息融合處理子系統
信息融合處理子系統將從溫濕度傳感器輸入、體感輸入和人體感應獲取的信號進行融合處理，并相應的轉化為聲音，三維圖像，氣味，震動等輸出指令傳遞到各個輸出子系統中，且該子系統所謂的“融合處理”強調的是:一、符合所表現的植物生長過程的自然規律；二、符合人體感知外界信息的協同規律；即輸入和輸出過程為多線程并行運行處理，并非單一信號的輸入和輸出；三、將輸入的傳感器信號轉化為可被感知的聲音圖像氣味等輸出指令。
[0014]4)氣味發生子系統
氣味發生子系統主要由氣味發生器組成，是嗅覺反饋的核心，通過更新虛擬現實的畫面反饋出相應的氣味，刺激用戶的嗅覺，加深其對畫面的感受。氣味發生子系統在用戶操作溫濕度傳感器的同時，在用戶手的下方安裝人體感應傳感器，一旦用戶將手向前伸，傳感器就會接受紅外信號控制芳香發生機工作，從而發散玫瑰花的香味。
[0015]5)虛擬現實圖形顯示子 系統
虛擬現實圖形顯示子系統是視覺反饋的基礎，根據用戶輸入的信息生成真實感的計算機圖形圖像，反饋給用戶視覺上的直觀感受，同時該系統并可以響應控制系統的控制命令。虛擬現實圖形顯示子系統通過投影儀配合PC端的相應軟件采用二維標記點的識別技術，三維注冊技術，三維動畫控制技術實現增強現實的玫瑰花生長互動演示。
[0016]具體的，虛擬現實圖像顯示子系統執行的操作包括:首先根據預先設計的紙質平面標記板的圖案，生成三維模型I (以玫瑰為例，則為玫瑰花種子的三維模型)；其次，根據外部傳入的溫度濕度的數據的變化，控制播放模型I的動畫I (種子發芽動畫)動畫2 (開花動畫)；第三、根據風向傳感器傳入的風向數據，控制播放動畫3 (花朵隨風擺動動畫)?’最后，根據體感傳入的體感數據，控制播放動畫4 (花朵凋零動畫)。這個系統的關鍵在于，虛擬現實圖像的生成和變化是由外部數據的傳入進行控制播放的。
[0017]6)振動及聲音反饋子系統
振動及聲音反饋子系統主要是提供用戶觸覺和感覺的輸出，比如讓用戶身體雙手感受到震動，或者聽到相應的聲音等。
[0018]以培養玫瑰花的互動過程為例，本【具體實施方式】提供的多通道增強現實系統的工作過程包括:首先通過制作帶有標記點的紙質標記板，將三維的玫瑰花植物模型進行注冊，通過攝像頭對準標記板在大屏幕上顯示出玫瑰花的種子躺在花盆里，通過用戶將手放到溫度傳感器上，溫度傳感器感受到溫度的升高，將溫度數據傳入到arduino平臺中，使畫面上三維的花盆中的種子花芽，即控制模型播放發芽動畫；之后用戶通過灑水在濕度傳感器上，由濕度傳感器接收濕度數據傳入arduino中，從而控制已經發芽的種子播放開花的動畫；此時用戶在灑水的同時，系統中的人體感應式傳感器接受紅外信號，控制系統中的芳香氣味發生器運作，釋放玫瑰花的香味，待用戶觀看到玫瑰花開放的同時嗅覺也同時聞到花的香味。之后用戶對著系統進行東西南北四個方向做吹起動作，由系統中的風力傳感器感應風的方向，將數據傳入arduino中，控制三維的玫瑰花向相應的方向運動。最后，用戶用手去觸摸玫瑰花，由體感控制設備接受手勢數據，最終控制玫瑰花的掉落。
[0019]采用本【具體實施方式】提供的技術方案，解決了增強現實技術與人各個感官交互的統一和融合，在多通道交互的同時，更加注重來自于系統對于用戶感官最直接的刺激和反饋。它建構了一個模型，將用戶完全置身于增強現實的環境中，通過與視覺、聽覺、觸覺、嗅覺等身體的各個部位進行互動，使得用戶全身心投入在其中，達到很好的用戶體驗。
[0020]以上所述，僅為本發明較佳的【具體實施方式】，這些【具體實施方式】都是基于本發明整體構思下的不同實現方式，而且本發明的保護范圍并不局限于此，任何熟悉本【技術領域】的技術人員在本發明揭露的技術范圍內，可輕易想到的變化或替換，都應涵蓋在本發明的保護范圍之內。因此，本發明的保護范圍應該以權利要求書的保護范圍為準。
【權利要求】
1.一種多通道增強現實系統，其特征在于，包括:傳感輸入子系統、體感控制子系統、信息融合處理子系統、氣味發生子系統、虛擬現實圖形顯示子系統和振動及聲音反饋子系統； 所述傳感輸入子系統包括用于獲取語音信號的語音傳感器、用于獲取溫濕度信號的溫濕度傳感器和用于獲取風力信號的風力傳感器； 所述體感控制子系統包括用于識別用戶手部動作的體感控制器； 所述信息融合處理子系統將從溫濕度傳感器輸入、體感輸入和人體感應獲取的信號進行融合處理，并相應的轉化為聲音，三維圖像，氣味，震動等輸出指令傳遞到各個輸出子系統中: 所述氣味發生子系統包括用于根據人體感應傳感器獲取的信號發出預定氣味的芳香發生機； 所述虛擬現實圖形顯示子系統包括用于通過二維標記點識別、三維注冊、三維動畫控制進行互動演示的投影儀和顯示屏； 所述振動及聲音反饋子系統用于所述虛擬現實圖形顯示子系統進行互動演示的內容為用戶提供震動及聲音的觸感輸出。
【文檔編號】G06F3/01GK103793063SQ201410087073
【公開日】2014年5月14日 申請日期:2014年3月11日 優先權日:2014年3月11日
【發明者】歐劍, 沈志鵬, 王妍, 劉雨東, 張夢陽, 于靜瀟, 余艾琪 申請人:哈爾濱工業大學