創澤機器人
CHUANGZE ROBOT
當前位置: 首頁> 新聞資訊> 機器人開發> 大模型與智能機器人結合,用語言指導機器人抓取物體

大模型與智能機器人結合,用語言指導機器人抓取物體

來源: CAAI認知係統與信息處理專委會編輯: 創澤時間:2023/9/6 主題: 其他[ 加盟]

從斯坦福大學的 VIMA 機器人智能體,到穀歌 DeepMind 推出首個控製機器人的視覺 - 語言 - 動作(VLA)的模型 RT-2,大模型加持的機器人研究備受關注。

當前,自監督和語言監督的圖像模型已經包含豐富的世界知識,這對於泛化來說非常重要,但圖像特征是二維的。我們知道,機器人任務通常需要對現實世界中三維物體的幾何形狀有所了解。

基於此,來自 MIT CSAIL 和 IAIFI 的研究者利用蒸餾特征場(Distilled Feature Field,DFF),將準確的 3D 幾何圖形與來自 2D 基礎模型的豐富語義結合起來,讓機器人能夠利用 2D 基礎模型中豐富的視覺和語言先驗,完成語言指導的操作。

論文地址:https://arxiv.org/abs/2308.07931

具體來說,該研究提出了一種用於 6-DOF 抓取和放置的小樣本學習方法,並利用強大的空間和語義先驗泛化到未見過物體上。使用從視覺 - 語言模型 CLIP 中提取的特征,該研究提出了一種通過開放性的自然語言指令對新物體進行操作,並展示了這種方法泛化到未見過的表達和新型物體的能力。

研究團隊用一個講解視頻詳細介紹了 F3RM 方法的技術原理:






控製器在機器人運動控製係統中發揮核心作用

運動控製器以傳感器為信號敏感元件,以電機或動力裝置和執行單元為控製對象的一種控製裝置,為電機或其它動力和執行裝置提供正確的控製信號

機器人整體電子電氣結構以電控係統為基礎

典型的機器人電子電氣結構主要由以下部分組成, 電源管理,環境感知,中央控製單元,電機控製,人機界麵, 可選組件和其他應用

氣壓/液壓驅動型機器人靈巧手特點

通過動力元件推動工作介質(液體或氣體)在缸體內產 生壓力差而驅動執行元件,與其他驅動方式相比,液壓和氣壓驅動具有輸出功率密度大,易於實現遠距離控製以及輸出力大等優點

電機驅動型機器人靈巧手特點

微型驅動器和減速器的發展為手指驅動係統的微型化和集成化創造了條件,其直線驅動器將旋轉電機,旋轉直線轉換結構和減速機都集成在靈巧手內部

驅動器混合置型機器人靈巧手特點

混合置式靈巧手將一部分驅動器放在手臂,既保證了驅動力,也降低了靈巧手本體的體積, 使得靈巧手更加擬人化

驅動器內置型機器人靈巧手特點

驅動器內置式靈巧手各關節具有較好的剛性,更利於傳感器的直接測量,且模塊化設計利於更換維護;整手尺寸較大,關節靈活度下降

驅動器外置型機器人靈巧手特點

靈巧手的外觀設計更加擬人化,手指本體更加纖細;可以采用更大的驅動電機,從而增大手指的輸出力;驅動器與手本體之間距離遠增加了控製器設計的難度

機器人多指靈巧手經曆了三個階段

第一階段是從 20 世紀 70 年代—20 世紀 90 年代,典型代表是日本的 Okada、美國的 Stanford/JPL 和 Utah/MIT;第二階段是從 20 世紀 90 年代到 2010 年

機器人靈巧手是指數≥3,自由度≥9 的末端執行器

靈巧手是機器人操作和動作執行的末端工具,滿足兩個條件:指關節運動時能使物體產生任意運動,指關節固定時能完全限製物體的運動,定義靈巧手是指數≥3,自由度≥9 的末端執行器

智能類人機器人特斯拉擎天柱 (Optimus) 執行機構分析

特斯拉公布了 6 種規格的執行器,旋轉執行器采用諧波減速器+電機的方案,線性執行器采用絲杠+電機的方案,對於手掌關節,其采用了空心杯電機+蝸輪蝸杆的結構

人形機器人前主要聚焦於運動控製能力的提升

人形機器人有更強的柔性化水平,更好的環境感知能力和判斷能力,首要需要解決的問題是如何實現像人一樣去運動,能夠兼顧可靠性

特斯拉機器人軀幹共有28個關節

28個執行器分別為肩關節(單側三自由度旋轉關節)6個,肘關節(單側直線關節)2個,腕部關節(單側2個直線+1個旋轉)6個,腰部(二自由度旋轉關節)2個
資料獲取
機器人開發
==最新資訊==
大模型與智能機器人結合,用語言指導機器人
我國機器人產業場景拓展,“機器人+”應用
控製器在機器人運動控製係統中發揮核心作用
機器人整體電子電氣結構以電控係統為基礎
服務機器人中國市場規模-2024年CAG
人形機器人提供算力支撐:FSD芯片與Do
仿真學習:不斷訓練算法,提升機器人能力
智能服務機器人手部抓取,算法要求極高
人形整機平衡與行走步態是基本
人形機器人行為規劃難度遠高於自動駕駛
人形機器人是頭部科技公司的競爭
軟件決定人形機器人高度,算法需與硬件匹配
人形機器人空間測算:25年起步,30年開
人形機器人商業化:細分領域突破到通用型,
人形機器人難點:軟硬件均存在難點,降本與
==機器人推薦==
迎賓講解服務機器人

服務機器人(迎賓、講解、導診...)

智能消毒機器人

智能消毒機器人

機器人開發平台

機器人開發平台


機器人底盤Disinfection Robot消毒機器人講解機器人迎賓機器人移動機器人底盤商用機器人智能垃圾站智能服務機器人大屏機器人霧化消毒機器人紫外線消毒機器人消毒機器人價格展廳機器人服務機器人底盤核酸采樣機器人機器人代工廠智能配送機器人噴霧消毒機器人圖書館機器人導引機器人移動消毒機器人導診機器人迎賓接待機器人前台機器人消殺機器人導覽機器人
版權所有 必威主頁中國運營中心:北京 清華科技園九號樓5層 中國生產中心:山東日照太原路71號
銷售1: 4006-935-088銷售2: 4006-937-088客服電話: 4008-128-728

Baidu
map