機器人及其遠程控制設備和方法
【專利摘要】本申請公開了一種機器人及其遠程控制設備和方法。該機器人包括：指令輸入模塊，用于接收輸入的控制指令并轉換成動作指令；運動模塊，用于執行所述動作指令；實景采集模塊，用于采集機器人現場環境的實景圖像；傳感模塊，用于采集機器人現場環境中的物理參數，形成傳感信息；通信模塊，用于將所述實景圖像和所述傳感信息通信輸出。根據本申請實施例的機器人，能夠減少通過圖像分析現場環境的工作負荷，有效降低機器人的工作量，同時將所述實景圖像和所述傳感信息一起通信輸出，能夠使操控設備方便地獲得更豐富的現場環境信息。
【專利說明】
機器人及其遠程控制設備和方法
技術領域
[0001 ]本公開一般涉及機器人技術領域，具體涉及機器人控制技術領域，尤其涉及機器人、機器人遠程控制設備以及遠程控制機器人的方法。
【背景技術】
[0002]如今增強現實(AR)/虛擬現實(VR)技術正在成為控制技術發展的熱點，各種增強現實(AR)/虛擬現實(VR)設備開始逐漸流行起來。在虛擬現實/增強現實場景中用戶可以與虛擬的場景互動，而機器人作為媒介，實現人利用智能穿戴設備與現實場景的操作交互。同時機器人能夠在多種對人體不利或不便環境下工作的特點，使得機器人在遠程控制應用方面獲得廣泛關注。
[0003]以人型態機器人為例，現有的機器人遠程控制方案大多根據機器人現場采集的圖像分析需要機器人作出的人體動作為前提，這需要十分成熟的圖形處理技術，同時運算量巨大驚人。
[0004]另一方面，現有機器人遠程控制方案中，機器人僅實現單純地模仿人的動作，整體上技術方案效果比較單調而粗淺。

【發明內容】

[0005]鑒于現有技術中的上述缺陷或不足，期望提供一種能夠降低圖像分析的難度和復雜度，減小機器人的運算消耗，高效遠程控制機器人的方法，同時，期望在呈現效果上也更為豐富而形象。
[0006]在本申請的第一方面，本申請提供一種機器人，包括:指令輸入模塊，用于接收輸入的控制指令并轉換成動作指令;運動模塊，用于執行所述動作指令;實景采集模塊，用于采集機器人現場環境的實景圖像;傳感模塊，用于采集機器人現場環境中的物理參數，形成傳感信息;通信模塊，用于將所述實景圖像和所述傳感信息通信輸出。
[0007]優選地，所述實景圖像包括全景實景圖像。
[0008]進一步地，所述全景實景圖像包括全景實景靜止圖像或全景實景視頻。
[0009]優選地，所述物理參數包括以下中的至少一種:現場環境的溫度、現場環境的壓力、現場環境氣體的濃度。
[0010]進一步地，所述氣體包括有害氣體和/或氧氣。
[0011 ]優選地，所述機器人現場環境包括災情現場。
[0012]根據本申請第一方面的實施例提供的技術方案，通過用傳感模塊采集機器人現場環境的多種物理參數，能夠減少通過圖像分析現場環境的工作負荷，有效降低機器人的工作量，同時將所述實景圖像和所述傳感信息一起通信輸出，能夠使操控設備方便地獲得更豐富的現場環境信息。
[0013]根據本申請的一些實施例，通過以全景實景圖像輸出，能夠使操控者獲得的現場環境信息更富有立體感和現場感，有利于操控者發出更精確的控制指令。
[0014]在本申請的第二方面，本申請還提供一種機器人遠程控制設備，包括:智能眼鏡，用于從機器人接收并顯示包含機器人活動現場實景的實景圖像和機器人現場環境的物理參數;可穿戴設備，用于感測所述遠程控制設備的操作者的身體參數，并將操作者的身體參數傳遞給智能眼鏡;其中，所述智能眼鏡包括通信單元，用于基于所述操作者的身體參數形成并向機器人發出控制指令。
[0015]優選地，所述操作者的身體參數基于所述操作者在觀看所述實景圖像時作出的反應。
[0016]優選地，所述操作者的身體參數包括以下中的至少一個:動作、姿態、施加壓力。
[0017]優選地，所述可穿戴設備包括以下中的至少一個:指環、手環、臂環、腿環。
[0018]優選地，所述可穿戴設備包括有線或無線通信模塊，所述無線或有線通信模塊將操作者的身體參數傳遞給智能眼鏡。
[0019]優選地，所述智能眼鏡包括3D顯示模塊，用于以3D方式顯示接收的實景圖像。
[0020]優選地，所述實景圖像為全景實景圖像。
[0021]優選地，所述智能眼鏡還用于根據操作者的輸入參數形成向機器人的控制指令。
[0022]根據本申請第二方面的實施例提供的技術方案，機器人遠程控制設備通過用智能眼鏡觀察獲取機器人現場環境的實景圖像和多種物理參數，能夠使操控者方便地獲得更豐富的現場環境信息，并且利用操控者的身體參數自然地形成控制指令，降低圖像分析的工作量。
[0023]根據本申請的一些實施例，通過觀察全景實景圖像的現場環境，操控者獲得的現場環境信息更富有立體感和現場感，從而能夠使操控者發出更精確的控制指令。
[0024]在本申請的第三方面，本申請還提供一種遠程控制機器人的方法，包括以下步驟:從機器人接收并顯示包含機器人活動現場實景的實景圖像;感測遠程操作者的身體參數，并根據遠程操作者的身體參數形成控制機器人的控制指令;發出控制指令。
[0025]優選地，其中所述機器人活動現場實景的實景圖像是全景實景圖像。
[0026]優選地，所述操作者的身體參數基于所述操作者在觀看所述實景圖像時作出的反應。
[0027]優選地，所述操作者的身體參數包括以下中的至少一個:動作、姿態、施加壓力。
[0028]優選地，以3D方式向操作者顯示包含機器人活動現場實景的實景圖像。
[0029]根據本申請第三方面的實施例提供的技術方案，通過觀察獲取機器人現場環境的實景圖像和多種物理參數，操控者能夠方便地獲得更豐富的現場環境信息，并且基于操控者的身體參數自然地形成控制指令，降低圖像分析的工作量。
【附圖說明】
[0030]通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本申請的其它特征、目的和優點將會變得更明顯:
[0031 ]圖1示出根據本發明的一個實施例的機器人遠程控制的連接框圖；
[0032]圖2示出根據本發明的一個實施例的機器人遠程控制設備的方框圖；
[0033]圖3示出根據本發明的一個實施例的機器人的方框圖；
[0034]圖4示出根據本發明的一個實施例的機器人遠程控制的流程圖。
【具體實施方式】
[0035]下面結合附圖和實施例對本申請作進一步的詳細說明。可以理解的是，此處所描述的具體實施例僅僅用于解釋相關發明，而非對該發明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與發明相關的部分。
[0036]需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。下面將參考附圖并結合實施例來詳細說明本申請。
[0037]請參考圖1，圖1示出根據本發明的一個實施例的機器人遠程控制的連接框圖。
[0038]如圖1所示，操作者3通過操控遠程控制設備2遠程控制機器人I。操作者佩戴遠程控制設備2中的智能眼鏡21和可穿戴設備22。機器人I與遠程控制設備2的智能眼鏡21通訊連接。該連接可以是有線或無線方式，也可以基于某種點對點的通信協議。這種有線或無線連接方式包括因特網、局域網、無線電、微波、紅外發送和接收。點對點的通信協議例如包括藍牙、移動通信網等。
[0039]可選地，機器人I的實景采集模塊103采集機器人現場環境的實景圖像。優選地，實景采集模塊103也可以與具有全景實景拍攝功能的攝像頭連接從其接收全景實景數據，同時機器人具有感測自身周圍現場環境的物理參數的傳感模塊104。機器人獲取攝像頭拍攝的實景圖像和傳感模塊采集的物理參數，通過自身的通信模塊105發送給遠程控制設備2。
[0040]圖2示出遠程控制設備2的組成框圖。如圖2所示，遠程控制設備2包括:智能眼鏡21，用于從機器人I接收并顯示包含機器人活動現場實景的實景圖像和機器人現場環境的物理參數;可穿戴設備22，用于感測所述遠程控制設備的操作者的身體參數，并將操作者的身體參數傳遞給智能眼鏡;其中，所述智能眼鏡包括通信單元210，用于基于所述操作者的身體參數形成并向機器人發出控制指令。
[0041 ] 智能眼鏡21包括:通信單元210、3D顯示單元212以及中央處理單元216。30顯示單元212用于將接收自機器人的現場實景圖像和現場環境的物理參數以3D方式向操作者顯示。中央處理單元216接收來自可穿戴設備22感知的操作者的身體參數，處理形成提供給機器人的控制指令。
[0042]可穿戴設備22至少包括以下中的任一個:指環、手環、臂環、腿環。這些設備用于感測操作者在觀察機器人活動現場的實景圖像和現場環境的物理參數后的身體參數。操作者的身體參數包括操作者的動作、姿態、施加壓力。可穿戴設備22還具有通信單元(未示出)，將操作者的身體參數發送至智能眼鏡21。
[0043]優選地，智能眼鏡21可以包括運動感知單元214，用于感知操作者的身體運動，從而減輕可穿戴設備21的處理負荷。
[0044]優選地，智能眼鏡21還可以根據操作者的輸入參數形成向機器人的控制指令。這對于機器人完成操作者力所不能及的操作尤其有意義。例如，當機器人進行一項現場操作需要施加200公斤力時，操作者無需施加200公斤的壓力，僅需輸入壓力參數即可完成控制指令的形成，由機器人執行輸出200公斤的現場壓力。
[0045]根據本申請的上述實施例的技術方案，機器人遠程控制設備通過用智能眼鏡觀察獲取機器人現場環境的實景圖像和多種物理參數，能夠使操控者方便地獲得更豐富的現場環境信息，并且利用操控者的身體參數自然地形成控制指令，降低圖像分析的工作量。
[0046]圖3示出根據本發明一個實施例的機器人I的組成框圖。機器人I包括:指令輸入模塊11、運動模塊102、實景采集模塊103、傳感模塊104、通信模塊105。指令輸入模塊1I，用于接收從遠程控制設備2輸入的控制機器人I的控制指令并轉換成動作指令。運動模塊102，用于執行轉換后的動作指令，完成相應的動作。實景采集模塊103，用于采集機器人現場環境的實景圖像;傳感模塊104，用于采集機器人現場環境中的物理參數以及機器人自身的狀態信息，形成傳感信息。通信模塊105，用于將實景圖像和傳感信息通信輸出。
[0047]優選地，實景圖像包括全景實景圖像。其可以包括全景實景靜止圖像或全景實景視頻。
[0048]優選地，現場環境的物理參數包括以下參數:現場環境的溫度、現場環境的壓力、現場環境氣體的濃度。機器人現場環境包括災情現場。現場環境氣體包括有害氣體和/或氧
Ho
[0049]根據本申請的上述實施例的技術方案，通過用傳感模塊采集機器人現場環境的多種物理參數，能夠減少通過圖像分析現場環境的工作負荷，有效降低機器人的工作量，同時將所述實景圖像和所述傳感信息一起通信輸出，能夠使操控設備方便地獲得更豐富的現場環境信息。
[0050]根據本申請的上述實施例的一些實施方式，通過以全景實景圖像輸出，能夠使操控者獲得的現場環境信息更富有立體感和現場感，有利于操控者發出更精確的控制指令。
[0051]圖4示出根據本發明的一個實施例的機器人遠程控制的流程圖。其包括如下步驟:
[0052]S401:從機器人接收并顯示包含機器人活動現場實景的實景圖像；
[0053]S402:感測遠程操作者的身體參數，并根據遠程操作者的身體參數形成控制機器人的控制指令；
[0054]S403:發出基于操作者的身體參數的控制指令。
[0055]具體地，在進行通信時，首先智能眼鏡21與適配的可穿戴設備22建立連接，智能眼鏡21與機器人I通過有線或無線的方式建立遠程連接。機器人I開啟后通過遠程連接將全景3D攝像頭獲取的圖像數據以及傳感器感知的機器人自身狀態和周圍環境數據，例如溫度，壓力等并發送給智能眼鏡終端。根據需求不同可添加不同種類的傳感數據，例如在災情現場可以監測有害氣體或者氧氣濃度等。智能眼鏡21根據接收到的現場實景數據生成虛擬現實的3D全景場景，使操作者完全體驗機器人所處的現場環境。同時機器人將傳感模塊104監測的環境數據與機器人自身狀態數據也提供至操控者眼前。同時操控者穿戴的可穿戴設備(運動體感設備)將操控者的動作數據發送到智能眼鏡21終端，智能眼鏡21根據操控者的動作生成相應的控制指令，并發送給機器人I，實現對機器人I的控制。
[0056]作為人型態機器人的一個示例，通過可穿戴設備22對操作者身體關鍵部位的掃描定位，可以直接映射到機器人的該關鍵部位，實現人與機器人的完全動作同步。例如，當人抬起智能眼鏡中以3D形式呈現的虛擬現實場景中的石頭，該虛擬現實場景是機器人所處現場環境在智能眼鏡中的3D復現，機器人也會在現場同步抬起自己所在場景中的石頭。利用人的反應形成的控制指令，使得機器人能夠更加智能地復制操作者的反應和智慧執行任務，取得更精確靈活的效果。在其它形態的機器人身上，也可以根據適合人體的動作方式以最簡單的操控方式實現對機器人的操控。
[0057]根據本發明的實施例，可以實現人遠距離地處在不適合人類活動的現場的外部，通過遠程控制機器人實現與現場環境的互動。
[0058]優選地，其中所述機器人活動現場實景的實景圖像是全景實景圖像。
[0059]優選地，所述操作者的身體參數基于所述操作者在觀看所述實景圖像時作出的反應。
[0060]優選地，所述操作者的身體參數包括以下中的至少一個:動作、姿態、施加壓力。
[0061]優選地，以3D方式向操作者顯示包含機器人活動現場實景的實景圖像。
[0062]根據本申請上述實施例提供的技術方案，通過觀察獲取機器人現場環境的實景圖像和多種物理參數，操控者能夠方便地獲得更豐富的現場環境信息，并且基于操控者的身體參數自然地形成控制指令，降低圖像分析的工作量。
[0063]應當注意，盡管在附圖中以特定順序描述了本申請中設備和方法的操作，但是，這并非要求或者暗示必須按照該特定順序來執行這些操作，或是必須執行全部所示的操作才能實現期望的結果。相反，流程圖中描繪的步驟可以改變執行順序。可以省略某些步驟，將多個步驟合并為一個步驟執行，和/或將一個步驟分解為多個步驟執行。
[0064]以上描述僅為本申請的較佳實施例以及對所運用技術原理的說明。本領域技術人員應當理解，本申請中所涉及的發明范圍，并不限于上述技術特征的特定組合而成的技術方案，同時也應涵蓋在不脫離所述發明構思的情況下，由上述技術特征或其等同特征進行任意組合而形成的其它技術方案。例如上述特征與本申請中公開的(但不限于)具有類似功能的技術特征進行互相替換而形成的技術方案。
【主權項】
1.一種機器人，其特征在于，包括: 指令輸入模塊，用于接收輸入的控制指令并轉換成動作指令； 運動模塊，用于執行所述動作指令； 實景采集模塊，用于采集機器人現場環境的實景圖像； 傳感模塊，用于采集機器人現場環境中的物理參數，形成傳感信息； 通信模塊，用于將所述實景圖像和所述傳感信息通信輸出。2.根據權利要求1所述的機器人，其特征在于，所述實景圖像包括全景實景圖像。3.根據權利要求2所述的機器人，其特征在于，所述全景實景圖像包括全景實景靜止圖像或全景實景視頻。4.根據權利要求1-2中任一項所述的機器人，其特征在于，所述物理參數包括以下中的至少一種:現場環境的溫度、現場環境的壓力、現場環境氣體的濃度。5.根據權利要求4所述的機器人，其特征在于，所述氣體包括有害氣體和/或氧氣。6.根據權利要求1所述的方法，其特征在于，所述機器人現場環境包括災情現場。7.一種機器人遠程控制設備，其特征在于，包括: 智能眼鏡，用于從機器人接收并顯示包含機器人活動現場實景的實景圖像和機器人現場環境的物理參數； 可穿戴設備，用于感測所述遠程控制設備的操作者的身體參數，并將操作者的身體參數傳遞給智能眼鏡； 其中，所述智能眼鏡包括通信單元，用于基于所述操作者的身體參數形成并向機器人發出控制指令。8.根據權利要求7所述的機器人遠程控制設備，其特征在于，所述操作者的身體參數基于所述操作者在觀看所述實景圖像時作出的反應。9.根據權利要求7所述的機器人遠程控制設備，其特征在于，所述操作者的身體參數包括以下中的至少一個:動作、姿態、施加壓力。10.根據權利要求7-9中任一項所述的機器人遠程控制設備，其特征在于，所述可穿戴設備包括以下中的至少一個:指環、手環、臂環、腿環。11.根據權利要求7-9中任一項所述的機器人遠程控制設備，其特征在于，所述可穿戴設備包括有線或無線通信模塊，所述無線或有線通信模塊將操作者的身體參數傳遞給智能眼鏡。12.根據權利要求7-9中任一項所述的機器人遠程控制設備，其特征在于，所述智能眼鏡包括3D顯示模塊，用于以3D方式顯示接收的實景圖像。13.根據權利要求7-9中任一項所述的機器人遠程控制設備，其特征在于，所述實景圖像為全景實景圖像。14.根據權利要求7-9中任一項所述的機器人遠程控制設備，其特征在于，所述智能眼鏡還用于根據操作者的輸入參數形成向機器人的控制指令。15.一種遠程控制機器人的方法，其特征在于，包括以下步驟: 從機器人接收并顯示包含機器人活動現場實景的實景圖像； 感測遠程操作者的身體參數，并根據遠程操作者的身體參數形成控制機器人的控制指令； 發出所述控制指令。16.根據權利要求15所述的方法，其特征在于，其中所述機器人活動現場實景的實景圖像是全景實景圖像。17.根據權利要求15所述的方法，其特征在于，所述操作者的身體參數基于所述操作者在觀看所述實景圖像時作出的反應。18.根據權利要求15所述的方法，其特征在于，所述操作者的身體參數包括以下中的至少一個:動作、姿態、壓力。19.根據權利要求15所述的方法，其特征在于，包括以3D方式向操作者顯示包含機器人活動現場實景的實景圖像。
【文檔編號】B25J9/16GK105922262SQ201610404523
【公開日】2016年9月7日
【申請日】2016年6月8日
【發明人】王飛
【申請人】北京行云時空科技有限公司