創澤機器人
CHUANGZE ROBOT
當前位置: 首頁> 新聞資訊> 機器人應用> 機器人遙操作

機器人遙操作

來源:-- 編輯: 創澤時間:2020/5/6 主題: 其他[ 加盟]

機器人遙操作(Teleoperation),也可以稱為Telerobotics,是指在相關機器人控製中把人類操作包含在控製回路中,任何的上層規劃和認知決定都是由人類用戶下達,而機器人本體隻是負責相應的實體應用。當機器人處理複雜的感知和大量任務時,在快速做出決策和處理極端情況時,遙距操作遠遠優於智能編程。

目前遙操作已廣泛應用在醫療領域、極端環境探索如太空與深海場景、防恐防爆應用場景,及基於工業機械臂的自動化生產中。機器人遙操作可以大致分為基於設備的接觸式遙操作和基於無標記的視覺遙操作兩大類。2009年以前的工作可以參考[1],下麵就近幾年的遙操作發展進行介紹。本文主要關注服務機器人和工業機器人,不涉及醫療機器人,如對醫療機器人感興趣可參考[2]。

一、接觸式遙操作

接觸式遙操作通常通過遙操作者穿戴或操作不同類型的設備來實現。這些設備有操作杆、類如Apriltag的標記物,慣性測量單元IMU,肌電圖(EMG)信號傳感器,虛擬現實VR/增強現實AR設備以及前景廣闊的觸覺設備等。

1. 基於IMU和EMG的遙操作

基於IMU和EMG的遙操作方法成本低且高效易操作。2017年,清華大學孫富春教授課題組設計了一個集成18個IMU的穿戴手套,並開發了基於擴展卡爾曼濾波器的多模態融合算法用於推算人手臂和手的方向與位置[3]。這種新穎的遙控方案穩定地應用於由SCHUNK手臂和Barrett三指手構成的11DOF機械臂-手係統,以及由UR5和Barrett三指手構成的10DOF機械臂-手係統,其中操作員的手指用於機械手遙控,而手掌的手臂用於機械臂遙控。

2019年,哥倫比亞團隊提出了一種由EMG驅動的非擬人化機器人手遙操作方法,這種方法將人前臂的EMG信號連續映射與遠程操作相關的三個子空間中,然後再從這個子空間映射到機器人手的關節空間[4]。這個方法有效且直觀,使新手操作者更快熟悉操作方案,可以魯棒地完成遠程操作拾取和放置任務。


2. 基於VR/AR的遙操作

基於虛擬現實的機器人遙操作是克服時延的有效方法,具有透明性強、穩定性高的優點,成為當前機器人遙操作的主要方式。漢堡大學團隊使用微軟hololens穿戴式眼鏡,基於混合現實(MR)技術為人機交互(HRI)場景開辟了遙操作的新前景[5]。在MR人機協作係統中,操作員不僅可以看到機器人的真實工作場景,並且其他虛擬信息可以疊加在真實場景的視圖上,實現直觀自然地控製用於抓取和放置任務的機器人。特別是在機器人執行動作之前,操作員可預覽機器人的潛在規劃動作,可以減少損壞係統或傷害操作人員的風險。此外,作者也在多機器人係統的交付服務任務中驗證了這個係統。這些研究為未來VR、AR及MR裝備的設計及虛擬現實在機器人方向上的應用提供了重要的啟示。

3. 融合觸覺反饋的遙操作

觸覺反饋對於接觸豐富的外部操作任務至關重要,觸覺設備已在外科手術機器人中得到廣泛研究,並用於在虛擬現實應用程序中收集訓練數據,如HaptX development kit。一些商業產品CyberGlove、HaptX以物理阻力和空間接觸的形式提供了觸覺反饋,但是這種好處伴隨著成本的增加。HaptX與Converge Robotics Group(由國際公司組成的財團)共同開發了TactileTelerobot遠程機器人,以推動觸覺和機器人技術的發展 [6]。TactileTelerobot是世界上第一個能夠將逼真的觸摸反饋傳輸給位於世界各地的操作員的機器人係統,該係統集成了三個主要產品,每個主要產品都在其類別中處於領先地位:Shadow Robot Hands,SynTouch BioTac傳感器和HaptX Gloves。Tactile Telerobot通過真實無延遲的觸覺反饋實現了多種機械手靈巧操作,如倒水、擰瓶蓋、轉魔方、寫字、開紙盒、幫人帶耳機,甚至人體按摩等。

當然這種昂貴的觸覺設備並不是每個組都可以擁有,因此還有一些雙向遙操作控製設備在[7]中,通過定義一個虛擬的操作對象來捕獲在master側人手的運動及slace側相關的力反饋。

除了使用遙操作技術對機械臂或者機器手的控製,2020年西英格蘭大學的楊辰光團隊提出了一種用於全向移動機器人的EMG與觸覺設備混合控製方法[8]。這種混合共享控製方法基於肌電圖和人工勢場,用以根據排斥力和吸引力避開障礙物,並基於移動平台的力反饋增強人類對遠程環境的感知。這種共享控製方法使遙操作者遠程控製移動機器人的運動並同步實現避障。與傳統的共享控製方法相比,該提議的方法提供了基於肌肉激活的力反饋,並驅動操作者以可預測的方式更新其控製意圖。最終通過各種避障實驗表明這種遙控方法對移動機器人控製的有效性。


二、基於無標記的視覺遙操作

與基於接觸式或可穿戴設備的遠程操作不同,基於無標記的視覺遠程操作具有還原人體四肢自然運動且侵入性較小的優點。特別是針對高自由度的機器手的遙操作,使用穿戴手套的方法必須根據操作者進行定製手套大小,並且手套容易影響的關節自然運動,而基於IMU或EMG的方法通用性和靈活性較低。因此無標記的視覺方法尤其適用於靈巧手的遠程操作,這樣有利於捕獲手指的所有運動。

基於分析視覺的遠程操作分為兩類:基於模型的(model-)方法和基於外觀的(appearance-)方法。基於模型的方法提供連續的解決方案,但計算量大,通常取決於多相機係統的可用性。相反,基於外觀的方法可以識別離散數量的手勢,這些手勢通常對應於該方法的訓練集,而無需高昂的計算成本和硬件複雜性。最近,越來越多的研究人員致力於基於數據驅動的基於視覺的遙操作方法,這些方法首先使用深度卷積神經網絡(CNN)獲得3D手勢或識別手勢類別,然後再映射人的相應位置到機器人上。比如,希臘克裏特大學Antonis Argyros團隊提供了三種基於深度相機的人體位姿估計和跟蹤方法,然後通過逆運動學過程將人體運動映射到NAO人形機器人,從而實現對人性機器人的操作[9]。然而,這類解決方案不僅依賴於手勢估計或分類的準確性,而且增加後處理的時間成本。

2019年,德國漢堡大學張建偉課題組和清華大學孫富春課題組共同提出TeachNet,一個直接從人類手指深度圖獲取機器人關節角度的深度學習網絡[10]。這種方法隻需使用一個深度相機,並實現端到端地控製機器人,是非常直觀和用戶友好的遙操作方法。TeachNet結合了一個一致性損失函數consistency loss,可以處理人手和機器手的外觀和內在結構差異。這個網絡的訓練依賴於一個合成的400K人手-機器手數據集,其中人手數據來自於人手位姿深度圖像數據集BigHand2.0,然後在Gazebo中采集對應每個人手的的機器手深度圖像。最後,作者在5個不同操作者的抓取實驗中證明了TeachNet的穩定性和高效率。但是這種方法僅限於機器手的控製,無法移動機械手使之在可達工作空間內進行抓取。


進一步,2019年,美國NVIDIA研究所和卡梅隆大學共同開發了一種低成本的基於視覺的遠程操作係統DexPilot,該係統允許僅觀察裸手就能完全控製整個23 DOF的機械臂-手係統[11]。DexPilot使操作員能夠執行各種複雜的操作任務如擰瓶蓋、轉方塊、從錢夾取紙幣等,而不僅僅是簡單的抓取和放置操作。作者首先使用一個彩色的織物手套采集了一個人手姿勢先驗數據集,然後使用點雲作為輸入,結合PointNet++獲得人手位姿和關節先驗,然後使用DART和動力學重定向將人手關節角映射到allegro手的關節上。最終通過兩個演示者完成各種任務的速度和可靠性指標,驗證了即使沒有觸覺反饋該係統仍具有高可靠性和高度靈敏性。

然而基於視覺的遙操作方法明顯不能適應於黑暗或者物體被遮擋的情況,因此將視覺與觸覺/力反饋融合,將更好地實現魯棒的遙操作算法。比如,增加機器人抓取時的滑動檢測和力估計,或者操作者非示教部位如胳膊或左手用於感受觸覺反饋,從而減輕用戶的控製負擔並避免機器人的意外碰撞。另一方麵,當人手被遮擋或者抓握其他物體時,如何解決人手角估計是3D人手姿態估計需要解決的一個方向。再者,基於視覺的遙操作使操作者總是限定於固定的相機係統區域,不能實現移動式遙操作。如何將人手跟蹤和人手關節角估計共同應用到機器人的遙操作中也是非常有趣。





康複外骨骼機器人具有廣闊的市場前景

國外外骨骼機器人的研究早於國內,商業化水平也高,我國是繼美國、以色列和日本之後,第四個成功研發外骨骼機器人的國家

多地形環境下無拐支撐的新一代步行外骨骼機器人

新一代下肢康複外骨骼機器人自主研發,可以實現無拐杖輔助下平地行走、跨越障礙、轉彎以及上下樓梯等場景,幫助穿戴者釋放上肢負擔,擴大運動範圍、增加平衡性和安全性

2019中國人工智能商業落地典型企業案例-YOGO ROBOT

機器人商業落地案例YOGO ROBOT,YOGO與寶山區政府合作,打造機器人智慧樓宇集群。

機器人的高精度抓取和裝配

高精度機器人操控的五類方法:(1)基於傳感信息的方法(2)基於柔順機構的方法(3)基於環境約束的方法(4)基於感知約束集成的方法(5)仿生的方法

在高動態的餐飲場景下提供配送機器人方案

配送機器人綜合了SLAM、智能導航避障、多機調度、人機交互等人工智能技術,為餐廳、酒店、樓宇等廣泛場景提供配送機器人解決方案,在高動態的商業環境下精確建圖和定位,實現高效運行,降低企業成本

結合人工智能技術,5G+MR全息教室創新教學模式

基於計算機視覺的智能識別技術 和SLAM定位技術的引入,則實現了目標與用戶的動態精準識別和交互。能夠輔助課堂教學,提升遠程教學和溝通效率,營造場景化教學新體驗

火爆的貨箱倉儲機器人

多台貨箱到人機器人正在運行,攜帶著貨箱輕巧敏捷地來回穿梭於存儲區和工位之間,高速完成美妝產品的存揀作業。這是業內首個多層貨箱到人機器人解決方案的落地應用,相較同等麵積的人工倉,效率提升2.5倍。

下肢外骨骼機器人步態建模及其控製方法研究

在下肢外骨骼機器人的穩定性評估、步態規劃和平衡控製中,人機係統質心是重要的參數之一

機器人輔助穿衣過程中用戶上肢運動實時追蹤方法

機器人輔助穿衣過程中,使用一種多傳感器信息融合的人體骨骼實時追蹤方法,使機器人既可以基於力的信息自動改變運動軌跡從而保證用戶安全,又可以完成穿衣任務

機器人常用避障傳感器

避障使用的傳感器各種各樣,其特點和適用範圍也不同。根據不同的原理,可分為:超聲波傳感器、紅外傳感器、激光傳感器和視覺傳感器等

電子皮膚和機器學習在智能軟體機器人的應用

基於電子皮膚的軟體機器人傳感、機器學習在柔性電子皮膚上的應用、形狀感知、麵向軟體機器人的反饋控製和機器人的操作

人與機器人交互時代的社會認知

與機器人互動時研究人的大腦將有助於更清晰、更深入地了解人機交互,從而為社交機器人的春天奠定基礎,將社會維度整合到人與這些機器的交流中來加速人與機器人的交互研究,有助於推動創造真正的社交機器人
資料獲取
機器人應用
==最新資訊==
ChatGPT:又一個“人形機器人”主題
ChatGPT快速流行,重構 AI 商業
中國機器視覺產業方麵的政策
中國機器視覺產業聚焦於中國東部沿海地區(
從CHAT-GPT到生成式AI:人工智能
工信部等十七部門印發《機器人+應用行動實
全球人工智能企業市值/估值 TOP20
必威主頁第十一期上
諧波減速器和RV減速器比較
機器人減速器:諧波減速器和RV減速器
人形機器人技術難點 高精尖技術的綜合
機器人大規模商用麵臨的痛點有四個方麵
青島市機器人產業概況:機器人企業多布局在
六大機器人產業集群的特點
機械臂-高度非線性強耦合的複雜係統
==機器人推薦==
迎賓講解服務機器人

服務機器人(迎賓、講解、導診...)

智能消毒機器人

智能消毒機器人

機器人開發平台

機器人開發平台


機器人招商Disinfection Robot機器人公司機器人應用智能醫療物聯網機器人排名機器人企業機器人政策教育機器人迎賓機器人機器人開發獨角獸消毒機器人品牌消毒機器人合理用藥地圖
版權所有 必威主頁中國運營中心:北京 清華科技園九號樓5層 中國生產中心:山東日照太原路71號
銷售1: 4006-935-088銷售2: 4006-937-088客服電話: 4008-128-728

Baidu
map