一種基于視覺和力覺反饋的uav群雙邊遙操作控制系統及其方法
【技術領域】
[0001] 本發明設及無人機雙邊遙操作控制技術領域，特別是設及一種利用視覺和力覺反 饋的無人機群的雙邊遙操作控制技術。
【背景技術】
[0002] 對于復雜的工作任務及多變的工作環境，多機器人的協調與協作可完成單機器人 無法或難W完成的工作。多無人機（Unmanned Aerial Vehicles, UAVs)協同編隊飛行可顯 著提高UAV的作業能力，拓寬其使用范圍，更安全、更可靠地完成編隊、空中偵察和搬運等 任務。
[0003] 然而，當任務變得極為復雜W及需要W高層次的認知為基礎的在線決策時，多機 器人的完全自主控制仍遠未能達到任務目的。在該種情況下，一方面，需要將人的智能引入 控制系統，充分利用人的在線決策提高多機器人作業能力；另一方面，將遠端多機器人作業 情況反饋給本地操作員，使操作員具有良好的臨場感和沉浸感，降低操作員的工作難度。雙 邊遙操作系統就是一種將本地操作員的智能與遠程機器人的適應性相結合的技術，它可W 使遠程機器人跟隨本地操作員操控的手控器運動，并將遠程機器人與環境的接觸力反饋給 本地操作員。將雙邊遙操作系統應用于UAV群的編隊控制問題中，借助于遙操作系統提供 力覺、視覺臨場感，可W使操作者真實地感覺到從端UAV群與環境的動態相互作用，從而有 效地解決UAV群編隊過程中避障、UAV間相互碰撞、信息交互等問題。

【發明內容】

[0004] 發明目的：針對現有技術中UAV群在復雜多變環境中難W通過完全自主控制實現 編隊導航的問題，本發明提供了一種基于視覺和力覺反饋的UAV群雙邊遙操作控制系統及 其方法，有效解決了 UAV群編隊導航過程中避障、UAV間相互碰撞及信息交互等問題。
[0005] 技術方案：本發明在UAV群雙邊遙操作控制系統中使用虛擬結構技術，在載體坐 標系下為每個UAV設置一個相應的虛擬結構點，操作者使用單個手控器控制所有的虛擬結 構點，虛擬結構點與UAV采用雙向跟蹤機制，控制UAV群的隊形移動；當與環境障礙物進行 交互時環境提供力反饋信號，一方面提供給UAV改變UAV的位姿，控制編隊隊形的變換，另 一方面提供給主端使操作者獲得力覺臨場感；同時，在每個UAV上安裝攝像頭，通過駝機調 節攝像頭視角范圍，為操作員提供從端全局視圖，最終使操作者同時獲得力覺和視覺臨場 感。
[0006] 本發明提出一種基于視覺和力覺反饋的UAV群雙邊遙操作控制系統，包括主端、 從端和通訊模塊，所述主端包括手控器和控制計算機，所述手控器包括力反饋觸覺裝置，用 于根據操作者的操作運動，并輸出位置信息給控制計算機；所述控制計算機根據手控器發 送的位置信息輸出控制信號；所述從端包括UAV虛代理點、UAV群、距離傳感器、圖像采集模 塊，所述UVA虛代理點和UAV采用雙向跟蹤機制，控制UAV群的隊形移動，當與環境障礙物 進行交互時，UAV根據障礙物提供的反作用力改變UAV的位姿，控制編隊隊形的變換；所述 距離傳感器用于檢測UAV與障礙物的距離；所述圖像采集模塊用于采集UVA群的全局視圖； 所述通訊模塊用于實現主端和從端間的通訊，將主端控制器輸出的控制信號發送給從端， 將從端的障礙物反作用力和全局視圖發送給主端。
[0007] 所述手控器具有3個位置自由度、3個關節自由度及3個位置自由度力反饋輸出。
[0008] 所述通訊模塊為無線網絡，包括XBee透明傳輸網絡和WIFI網絡。
[0009] 所述距離傳感器包括超聲波傳感器。
[0010] 所述圖像采集模塊包括安裝在UVA上的攝像頭和駝機，隨著該UAV攝像頭在前方 180°范圍內的左右轉動，使得其他UAV在攝像頭的視場內，獲得其余UAV的全局視圖。
[0011] 本發明還提出一種基于視覺和力覺反饋的UAV群雙邊遙操作控制方法，包括W下 步驟：
[0012] 1)手控器根據操作者的操作運動，并輸出手控器的位置信息給控制計算機；
[0013] 2)控制計算機接收手控器的位置信息，通過工作空間映射將手控器有限的工作空 間映射到UAV無限的工作空間內，然后通過無線網絡將控制信號發送給從端UAV群所有的 虛擬結構點；
[0014] 3)UVA虛代理點和UAV采用雙向跟蹤機制，虛擬結構點在控制信號的作用下進行 移動，UAV跟蹤對應虛擬結構點實現UAV位置更新；
[0015] 4)距離傳感器檢測UAV與障礙物的距離，當單個UAV與環境障礙物之間的距離達 到預警值時，障礙物提供給UAV環境反作用力，改變單個UAV的速度，同時，相應的虛擬結構 點進行移動，更新編隊隊形；
[0016] 5)UAV群根據環境反作用力輸出從端力信號，并通過無線網絡發送給主端手控器， 使操作者獲得力覺臨場感，同時，安裝在UAV上的攝像頭在載體坐標系下，W其中單個UAV 為中屯、，調節駝機角度，獲得其余UAV的全局視圖，并通過無線網絡發送給主端控制計算 機，使操作者監測從端UAV群的飛行W及與環境的接觸狀況，從而獲得視覺臨場感。
[0017] 所述方法還包括對虛擬結構點的初始設置，具體為：在載體坐標系下，設置虛擬結 構點位置，使得UAV與相應的虛擬結構點之間的位置誤差趨于零。
[0018] 所述控制計算機生成控制信號的方法為；采用位置一-映射機制，將力反饋手控 器的空間位置分別映射到從端所有的UAV虛擬結構點，根據力反饋手控器產生的空間位置 信息生成所有虛擬結構點左/右、上/下、前/后方向的位置控制命令，從而對應四旋翼左 轉/右轉、上升/下降、前進/后退方向的飛行控制命令，形成一對多控制模式，即一個力反 饋手控器空間位置控制所有的UAV虛擬結構點整體的移動。
[0019] 所述UAV與虛擬結構點采用雙向跟蹤方法為：UAV使用軌跡跟蹤算法跟蹤自身的 虛擬結構點的位置，使得UAV與虛擬結構點之間的跟蹤位置誤差W及速度誤差均趨于零， 從而實現底層UAV的運動；反之，虛擬結構點跟蹤相應UAV，使由虛擬結構點構成的編隊隊 形發生變換。
[0020] 有益效果；本發明采用上述技術方案，具有W下有益效果：
[0021] (1)從端UAV群采用虛擬結構方式，主端直接控制虛擬結構點，從而有效地規避對 底層多自由度欠驅動UAV的控制；同時，實現了主從端一對多模式，使得一個手控器即可控 制多個UAV的運動，大大減輕了操作者的負擔。
[0022] (2)從端UAV與虛擬結構點采用雙向跟蹤方法，虛擬結構點的位置更新和UAV群編 隊隊形的形成同步進行，使得在UAV編隊隊形過程中避免了 UAV之間復雜的信息交互和處 理W及UAV之間的相互碰撞。
[0023] (3)控制系統同時引入力覺和視覺雙重反饋，根據從端UAV群與環境障礙物交互 的情況，從端產生反饋力和全局視圖給操作者，同時改變從端UAV群的編隊隊形，使得操作 者能夠清晰的判斷從端UAV群與障礙物的交互情況，增強操作者的臨場感，提高了操作者 的控制能力。
【附圖說明】
[0024] 圖1為本發明基于視覺和力覺反饋的UAV群雙邊遙操作控制系統結構框圖；
[00巧]圖2為本發明從端UAV群的初始編隊隊形示意圖；
[0026] 圖3為本發明從端UAV群虛擬結構點的移動X0Y平面示意圖；
[0027] 圖4為本發明從端UAV群力反饋的原理示意圖；
[002引圖5為本發明從端UAV群視覺反饋的全局視圖。
【具體實施方式】
[0029] 下面結合附圖和實施例，對本發明作進一步詳細說明。
[0030] 參見圖1所示，基于視覺和力覺反饋的UAV群雙邊遙操作控制系統包括主端1、從 端3和通訊模塊2,所述主端1包括相互連接的手控器11和控制計算機12,所述手控器11 包括力反饋觸覺裝置，具有3個位置自由度、3個關節自由度及3位置自由度力反饋輸出，用 于根據操作者的操作運動，并輸出位置信息給控制計算機12 ;所述控制計算機12根據手控 器11發送的位置信息輸出控制信號；所述從端3包括UAV虛代理點31、UAV32群、距離傳 感器33、圖像采集模塊34,所述UVA虛代理點31和UAV32采用雙向跟蹤機制，控制UAV32 群的隊形移動，當與環境障礙物進行交互時，UAV32根據障礙物提供的反作用力改變UAV32 的位姿，控制編隊隊形的變換；所述距離傳感器33為超聲波傳感器，用于檢測UAV32與障礙 物的距離；所述圖像采集模塊34包括安裝在UVA32上的攝像頭和駝機，隨著該UAV攝像頭 在前方180°范圍內的左右轉動，使得其他UAV32在攝像頭的視場內，獲得其余UAV32的全 局視圖；所述通訊模塊2為無線網絡，包括XBee透明傳輸網絡和WIFI網絡，用于實現主端 1和從端3間的通訊，將主端控制器12輸出的控制信號發送給從端3,將從端3的障礙物反 作用力和全局視圖發送給主端1。
[0031] 上述基于視覺和力覺反饋的UAV群雙邊遙操作控制系統的控制方法，包括如下步 驟：
[0032] 操作者將力fh作用在手控器11上，手控器11將位置信息X m發送給控制計算機 12 ;位置信息Xm進入通訊模塊2形成從端3位置信號X,;VSP i31在位置信號X,的作用下改 變各自的位置