增強現實實時交互系統及方法
【專利摘要】一種增強現實實時交互系統及其方法，其特征在于，該交互系統包括遠程采集端和控制終端，遠程采集端實時采集現實世界的視頻信息，形成可用于與虛擬世界對象進行組合以輸出增強現實圖像的源信息，并將該源信息遠程傳送給所述控制終端，控制終端接收由遠程采集端發送過來的源信息，其將接收到的源信息與相對應的虛擬世界對象的詳細信息組合而形成增強現實圖像，并在增強現實中輸出所形成的增強現實圖像。此外，遠程采集端設有驅動器，控制終端設有控制器，控制器可通過無線向驅動器發出運動控制信號以控制驅動器運動，使得控制終端可遠程控制所述遠程采集端進行運動，使遠程采集端被控運動而可按用戶需要實時的連續的采集所需視角狀態下的現實世界的視頻信息。
【專利說明】
増強現實實時交互系統及方法
【技術領域】
[0001]本發明涉及增強現實技術，特別涉及一種關于遠程的增強現實實時交互系統及方法。
【【背景技術】】
[0002]增強現實(AR)是將用戶眼中示出的現實世界與帶有附加信息的虛擬世界組合在一起并且將組合后的世界作為一個圖像示出的一種虛擬現實。盡管這樣的增強現實與虛擬現實有部分相似，但虛擬現實僅向用戶提供虛擬的空間和對象，而增強現實則在現實世界輸入的基礎上合成虛擬信息，并且提供通過僅從顯示現實世界難以獲得的附加信息所加強的合成信息。與基于完美的虛擬世界的虛擬現實不同，增強現實可以通過向現實世界的環境添加虛擬世界對象來為用戶提供更加生動的現實感。現有的增強現實技術通常都是以用戶當前所處位置的眼前的現實世界為基礎而與虛擬世界對象進行合成的，其只能使用戶體驗到用戶當前所能到達的位置的基于當前眼前現實世界的增強現實圖像，而對于用戶無法親自到達的位置，則無法實現增強現實的體驗；而實際中，很多場所是用戶無法親自到達的。
【
【發明內容】
】
[0003]本發明旨在解決上述問題，而提供一種基于非眼前現實世界的增強現實實時交互系統及方法。
[0004]為實現上述目的，本發明提供了一種增強現實實時交互系統，其特征在于，其包括遠程采集端和控制終端，所述遠程采集端其實時采集現實世界的視頻信息，形成可用于與虛擬世界對象進行組合以輸出增強現實圖像的源信息，并將該源信息遠程傳送給控制終端;所述控制終端接收由遠程采集端發送過來的源信息，其根據接收到的源信息查詢出存儲于控制終端內的與該源信息相匹配的虛擬世界對象的詳細信息，并將該詳細信息與所述源信息組合，形成由現實世界的視頻信息和虛擬世界對象組合而成的增強現實圖像，并在增強現實中輸出所形成的增強現實圖像。
[0005]進一步地，所述控制終端設有控制器，所述遠程采集端設有驅動器，所述控制器和所述驅動器通過無線連接，所述控制器可通過無線向所述驅動器發出運動控制信號以控制驅動器運動，從而使得所述控制終端可遠程控制所述遠程采集端進行運動。
[0006]進一步地，所述遠程采集端實時接收由所述控制終端發送過來的運動控制信號，其根據所述運動控制信號按預定的運動模式運動，并在運動過程中不間斷的實時的采集現實世界的視頻信息及實時的傳送經采集而形成的源信息。
[0007]進一步地，所述遠程采集端包括第一無線傳輸單元、視頻采集單元，所述視頻采集單元實時采集現實世界中的視頻信息并形成所述源信息，所述第一無線傳輸單元分別與所述視頻采集單元及驅動器連接，該第一無線傳送單元實時地將視頻采集單元實時采集的源信息無線發送至所述控制終端，并實時地接收由所述控制終端發送過來的運動控制信號。
[0008]進一步地，所述控制終端包括增強現實數據庫、第二無線傳輸單元、匹配單元及顯示單元，所述增強現實數據庫存儲虛擬世界對象的詳細信息，所述匹配單元根據控制終端接收到的源信息查詢出存儲于增強現實數據庫中的與該源信息相匹配的虛擬世界對象的詳細信息，所述顯示單元將存儲于所述增強現實數據庫中的詳細信息與控制終端接收到的源信息組合而形成增強現實圖像，并在增強現實中輸出所形成的增強現實圖像，所述第二無線傳輸單元分別與所述匹配單元及控制器連接，該第二無線傳輸單元實時的接收由遠程采集端發送的采集于現實世界的源信息，并實時的向所述遠程采集端發送運動控制信號以控制遠程采集端運動。
[0009]進一步地，所述第一無線傳輸單元和第二無線傳輸單元包括wifi無線傳輸單元、射頻無線傳輸單元、藍牙無線傳輸單元、3G無線傳輸單元、4G無線傳輸單元。
[0010]進一步地，所述遠程采集端根據所述控制終端發送的運動控制信號可進行包括前進、后退、上升、下降、轉彎、轉動、變換形狀、發出聲音、變焦、打開補光燈在內的運動。
[0011]本發明還旨在提供一種增強現實實時交互方法，其特征在于，該方法包括以下步驟:
[0012]A、由遠程采集端實時采集現實世界的視頻信息，并形成可用于與虛擬世界對象進行組合以輸出增強現實圖像的源信息；
[0013]B、遠程采集端實時的發送所述源信息；
[0014]C、控制終端實時的接收所述源信息；
[0015]D、根據接收到的源信息查詢出與該源信息相匹配的虛擬世界對象的詳細信息；
[0016]E、將所述詳細信息與所述源信息組合，形成由現實世界的視頻信息和虛擬世界對象組合而成的增強現實圖像；
[0017]F、在增強現實中輸出并顯示所述形成的增強現實圖像。
[0018]進一步地，步驟A還包括以下步驟:
[0019]遠程采集端實時接收由控制終端發送過來的運動控制信號；
[0020]遠程采集端在實時采集過程中實時的根據運動控制信號進行運動；
[0021]遠程采集端在運動過程中不間斷的實時的采集現實世界的視頻信息。
[0022]進一步地，所述遠程采集端根據所述控制終端發送的運動控制信號可進行包括前進、后退、上升、下降、轉彎、轉動、變換形狀、發出聲音、變焦、打開補光燈在內的運動
[0023]本發明的有益貢獻在于，其有效解決了上述問題。本發明利用遠程采集端實時的采集遠方的現實世界的視頻信息，并通過無線技術無線傳輸給用戶當前所使用的控制終端，使得控制終端可實時的輸出由非眼前的現實世界的視頻信息和虛擬世界對象組合而成的增強現實圖像，使得用戶不需到達遠程采集端所處的位置便可真實的體驗遠程采集端周圍的場景。此外，本發明通過在遠程采集端設置驅動器，在控制終端設置控制器，從而使得用戶可通過控制終端實時的控制遠程采集端的運動，使得遠程采集端采集到用戶所希望看到的遠方的現實世界的場景，進而使增強現實與現實世界之間達到實時交互，達到通過遠程實時而準確的采集到所需的遠方現實世界的視頻信息的目的。由于遠程采集端不與控制終端集成在一個設備上，因而遠程采集端可設置在離控制終端很遠的距離或用戶無法到達的地方，且遠程采集端可受控運動而按需采集，從而使得增強現實圖像中的現實世界不局限于用戶眼前所見的現實世界，進而大大擴大增強現實技術的應用范圍。【【附圖說明】】
[0024]圖1是本發明的結構框圖。
[0025]圖2是本發明的方法流程圖。
【【具體實施方式】】
[0026]下列實施例是對本發明的進一步解釋和補充，對本發明不構成任何限制。
[0027]如圖1所示，本發明的增強現實實時交互系統包括遠程采集端I和控制終端2。
[0028]所述遠程采集端I用于實時采集現實世界的視頻信息，并將該信息遠程傳送給所述控制終端2;所述控制終端2用于根據接收到的現實世界的視頻信息而將其與虛擬世界對象進行組合，以形成增強現實圖像，并在增強現實中輸出該增強現實圖像，使用戶切實的感受到由遠方的現實世界和虛擬世界對象組合而形成的增強現實感。
[0029]具體地，本發明的遠程采集端I包括驅動器11、第一無線傳輸單元12、視頻采集單元13。所述控制終端2包括控制器21、增強現實數據庫22、第二無線傳輸單元23、匹配單元24及顯示單元25。
[0030]所述視頻采集單元13用于實時的采集該遠程采集端I所處位置的現實世界中的視頻信息，并將該視頻信息形成可以傳輸的、并可與虛擬世界對象進行組合而形成增強現實圖像的源信息。該源信息所包含的具體內容信息及存儲格式或傳輸格式，可根據需要或場景情況而設定，其不應被限制。所述視頻采集單元13可選用公知的攝像頭、麥克風等部件。
[0031]所述第一無線傳輸單元12用于與控制終端2進行無線通訊，所述第二無線傳輸單元23用于與遠程采集端I進行無線通信。所述遠程采集端I和控制終端2通過第一無線傳輸單元12和第二無線傳輸單元23建立連接而使得遠程采集端I可接收由控制終端2發送過來的運動控制信號及向控制終端2發送由視頻采集單元13所采集的視頻信息，使得控制終端2可接收由遠程采集端I發送的源信息及向遠程采集端I發送運動控制信號。
[0032]所述第一無線傳輸單元12分別與所述驅動器11及視頻采集單元13連接。所述驅動器11用于驅動所述遠程采集端I運動，其通過第一無線傳輸單元12接收由控制終端2發送過來的運動控制信號，其根據運動控制信號而實時的驅動遠程采集端I按照指令進行運動。所述驅動器11可采用公知的驅動器11，如電機類的驅動等。
[0033]所述控制器21用于遠程控制所述遠程采集端I運動，其與所述第二無線傳輸單元23連接，其通過所述第二無線傳輸單元23與遠程采集端I進行無線連接，從而向所述遠程采集端I的驅動器11發送運動控制信號，控制遠程采集端I運動。通過所述控制器21可遠程控制遠程采集端I進行如下但不局限于如下的運動:使遠程采集端I前進、后退、加速、轉彎、轉動、上升、下降、打開補光燈、發出聲音、變換形狀、變焦等運動。用戶可通過所述控制器21，在任意需要的時間點對遠程米集端I進行運動控制，當遠程米集端I在運動時，其視頻米集單元13不間斷的工作，從而使得視頻采集單元13可采集到連續的現實世界場景。
[0034]所述增強現實數據庫22用于存儲虛擬世界對象的詳細信息。所述虛擬世界對象可以包括人物對象、產品對象或特定位置對象等。所述虛擬世界對象可以是一個或多個。在一些實施例中，所述增強現實數據庫22可以將所述虛擬世界對象的詳細信息映射到該增強現實數據庫22中的對應字段名中，根據該增強現實數據庫22的字段值的格式來轉換數據類型和格式，并存儲所轉換的數據類型和格式。
[0035]所述匹配單元24用于根據控制終端2接收到的源信息而查詢出存儲在增強現實數據庫22中的與該源信息相匹配的虛擬世界對象的詳細信息。例如，在汽車維修的增強現實應用實例中，現實世界場景為待維修的汽車，虛擬世界對象為各部件的維修演示，那么，在增強現實數據庫22中便存儲有與每個汽車部件相對應的維修演示，如部件I對應維修演示I，部件2對應維修演示2……等；當視頻采集單元13在采集現實世界場景時采集到當前的部件為部件3時，所述匹配單元24則從增強現實數據庫22中的維修演示詳細信息中查找出與部件3相對應的維修演示3的詳細信息。
[0036]所述顯示單元25用于將存儲于所述增強現實數據庫22中的詳細信息與控制終端2接收到的源信息組合而形成增強現實圖像，并在增強現實中輸出所形成的增強現實圖像。例如，當匹配單元24查找出與部件3相對應的維修演示3時，所述顯示單元25則將維修演示3的詳細信息與部件3的源信息進行組合，從而形成部件3的維修演示結果，并最終顯示出該部件的維修演示過程的圖像，使用戶切實而直觀的體驗到該部件3是如何進行維修的。所述顯示單元25在現實世界中的形態，可以是多樣的，例如可以是智能手機的顯示屏，平板電腦的顯示屏，頭戴式頭盔的投影裝置等。
[0037]藉此，便構成了本發明的增強現實實時交互系統。遠程采集端I在控制終端2的控制下按要求調整方位，并實時的采集現實世界的視頻信息，然后通過第一無線傳輸單元12發送至控制終端2，控制終端2實時接收現實世界的視頻信息，并將其與存儲在控制終端2內的與之相對應的虛擬世界對象進行合成，從而形成由現實世界和虛擬世界對象組成的增強現實圖像，并在增強現實中輸出所形成的增強現實圖像，從而使用戶感受到更加生動的現實感。本發明的增強現實實時交互系統不僅遠程采集顯示世界的內容，而且遠程采集端I可通過無線而由用戶通過控制終端2進行控制，從而可實時的準確的獲取所需的視頻信息。本發明的增強現實實時交互系統可應用于多種場景，其不局限于本發明所示出的具體的實施例。
[0038]圖2示出了本發明的增強現實實時交互方法的流程圖:
[0039]先使遠程采集端I和控制終端2建立無線通信連接;該過程中，可使用任何公知的技術來實現，如可通過wifi無線連接、3G無線連接、4G無線連接而使遠程采集端I和控制終端2建立連接，使之可以進行數據通信。
[0040]控制終端2向遠程采集端I發送運動控制信號，要求遠程采集端I開始采集現實世界的視頻數據。遠程采集端I在控制終端2的控制下進行運動，并在運動過程中實時采集現實世界的視頻信息，形成可用于與虛擬世界對象進行組合以輸出增強現實圖像的源信息。遠程采集端I實時地向控制終端2發送所采集到的源信息，控制終端2實時的接收所述源信息。當遠程采集端I在控制終端2的控制下進行運動時，所述遠程采集端I的運動使得用戶可更準確而實時的獲取所需的遠方現實世界的視頻信息。所述遠程采集端I在控制終端2的控制下，可以進行如下但不局限于如下的運動:使遠程采集端I前進、后退、加速、轉彎、轉動、上升、下降、打開補光燈、發出聲音、變換形狀、變焦等運動。
[0041]控制終端2接收到現實世界的源信息后，查詢出存儲于其數據庫內的與該源信息相匹配的虛擬世界對象的詳細信息，并將該詳細信息與所述源信息進行組合，從而形成由現實世界的視頻信息和虛擬世界對象組合而成的增強現實圖像，然后在增強現實中輸出并顯示所形成的增強現實圖像，使用戶感受到由現實世界和虛擬世界對象疊加形成的現實感。
[0042]盡管通過以上實施例對本發明進行了揭示，但是本發明的范圍并不局限于此，在不偏離本發明構思的條件下，以上各構件可用所屬技術領域人員了解的相似或等同元件來替換。
【主權項】
1.一種增強現實實時交互系統，其特征在于，其包括: 遠程采集端(I )，其實時采集現實世界的視頻信息，形成可用于與虛擬世界對象進行組合以輸出增強現實圖像的源信息，并將該源信息遠程傳送給控制終端(2); 控制終端(2)，其接收由遠程采集端(I)發送過來的源信息，其根據接收到的源信息查詢出存儲于控制終端(2)內的與該源信息相匹配的虛擬世界對象的詳細信息，并將該詳細信息與所述源信息組合，形成由現實世界的視頻信息和虛擬世界對象組合而成的增強現實圖像，并在增強現實中輸出所形成的增強現實圖像。2.如權利要求1所述的增強現實實時交互系統，其特征在于，所述控制終端(2)設有控制器(21)，所述遠程采集端(I)設有驅動器(11)，所述控制器(21)和所述驅動器(11)通過無線連接，所述控制器(21)可通過無線向所述驅動器(11)發出運動控制信號以控制驅動器(11)運動，從而使得所述控制終端(2)可遠程控制所述遠程采集端(I)進行運動。3.如權利要求2所述的增強現實實時交互系統，其特征在于，所述遠程采集端(I)實時接收由所述控制終端(2)發送過來的運動控制信號，其根據所述運動控制信號按預定的運動模式運動，并在運動過程中不間斷的實時的采集現實世界的視頻信息及實時的傳送經采集而形成的源信息。4.如權利要求2所述的增強現實實時交互系統，其特征在于，所述遠程采集端(I)包括第一無線傳輸單元(12)、視頻采集單元(13)，所述視頻采集單元(13)實時采集現實世界中的視頻信息并形成所述源信息，所述第一無線傳輸單元(12)分別與所述視頻采集單元(13)及驅動器(11)連接，該第一無線傳送單元實時地將視頻采集單元(13)實時采集的源信息無線發送至所述控制終端(2)，并實時地接收由所述控制終端(2)發送過來的運動控制信號。5.如權利要求3所述的增強現實實時交互系統，其特征在于，所述控制終端(2)包括增強現實數據庫(22)、第二無線傳輸單元(23)、匹配單元(24)及顯示單元(25)，所述增強現實數據庫(22)存儲虛擬世界對象的詳細信息，所述匹配單元(24)根據控制終端(2)接收到的源信息查詢出存儲于增強現實數據庫(22)中的與該源信息相匹配的虛擬世界對象的詳細信息，所述顯示單元(25)將存儲于所述增強現實數據庫(22)中的詳細信息與控制終端(2)接收到的源信息組合而形成增強現實圖像，并在增強現實中輸出所形成的增強現實圖像，所述第二無線傳輸單元(23)分別與所述匹配單元(24)及控制器(21)連接，該第二無線傳輸單元(23)實時的接收由遠程采集端(I)發送的采集于現實世界的源信息，并實時的向所述遠程采集端(I)發送運動控制信號以控制遠程采集端(I)運動。6.如權利要求5所述的增強現實實時交互系統，其特征在于，所述第一無線傳輸單元(12)和第二無線傳輸單元(23)包括wifi無線傳輸單元、射頻無線傳輸單元、藍牙無線傳輸單元、3G無線傳輸單元、4G無線傳輸單元。7.如權利要求6所述的增強現實實時交互系統，其特征在于，所述遠程采集端(I)根據所述控制終端(2)發送的運動控制信號可進行包括前進、后退、上升、下降、轉彎、轉動、變換形狀、發出聲音、變焦、打開補光燈在內的運動。8.一種增強現實實時交互方法，其特征在于，該方法包括以下步驟: A、由遠程采集端(I)實時采集現實世界的視頻信息，并形成可用于與虛擬世界對象進行組合以輸出增強現實圖像的源信息； B、遠程采集端(I)實時的發送所述源信息； C、控制終端(2)實時的接收所述源信息； D、根據接收到的源信息查詢出與該源信息相匹配的虛擬世界對象的詳細信息； E、將所述詳細信息與所述源信息組合，形成由現實世界的視頻信息和虛擬世界對象組合而成的增強現實圖像； F、在增強現實中輸出并顯示所述形成的增強現實圖像。9.如權利要求8所述的增強現實實時交互方法，其特征在于，步驟A還包括以下步驟: 遠程采集端(I)實時接收由控制終端(2)發送過來的運動控制信號； 遠程采集端(I)在實時采集過程中實時的根據運動控制信號進行運動； 遠程采集端(I)在運動過程中不間斷的實時的采集現實世界的視頻信息。10.如權利要求9所述的增強現實實時交互方法，其特征在于，所述遠程采集端(I)根據所述控制終端(2)發送的運動控制信號可進行包括前進、后退、上升、下降、轉彎、轉動、變換形狀、發出聲音、變焦、打開補光燈在內的運動。
【文檔編號】H04N7/18GK105975232SQ201610296789
【公開日】2016年9月28日
【申請日】2016年5月6日
【發明人】陳仔俊
【申請人】深圳市吾悅科技有限公司