跳至正文
原文导读 · 原标题中译

UMI-Live:面向野外双臂机器人数据采集的全栈开源系统

UMI-Live for In-The-Wild Bimanual Robotics Data Collection

材料发布 2026-10-29 · arXiv · 作者论文 · 核查 2026-10-30
图1:UMI-Live(UMI 指通用操作接口)将真实场景(in-the-wild)下的双手采集与自动化处理环节,与 LeRobot 数据集、策略训练,以及在双 i2RT YAM 机械臂上的物理评估相连接。 图片出处
图5:液晶显示器(LCD)界面及其示例数值。 图片出处

内容摘要

机器人学的新任务常靠人类先做示范。UMI(通用操作接口)让专家用手持夹爪示范,无需遥操作真机;但把这类示范当训练数据,仍需一致的硬件、标定与数据处理。UMI-Live 是作者提出的全栈开源双臂方案,硬件、软件、数据集与真机评测一并发布。

每只夹爪集成相机与 LiDAR–惯性传感、板载算力与存储、可拆卸电源,采集不需外部追踪设备或环境标定;一个按钮启停录制,片段录完自动上传服务器,后台并行做 SLAM(定位与建图)重建、钳口开度估计、校验与数据集准备,操作者可边录边等。作者重做夹爪机构,以带轴承支撑的扳机驱动扇形齿轮沿直线导轨开合,并在活动指座贴 ArUco 标记测开度。

论文规格:含电池单只 1.42 kg、宽 80 mm、续航 1.5 小时、一对 $1,930;传感为 RoboSense Airy 激光雷达(内置 IMU)、全局快门广角 USB 相机与树莓派 5,相机 800 × 600 像素、30 fps。真机验证在双 YAM 臂上把六个橙子放进碗里,六个全入碗才算成功,每条件十次试验:π0.5 在 95/5 与 90/10 混合微调下分别成功 9/10 与 10/10,MolmoAct2 在 75/25 下 8/10,其公开检查点为 0/10。发布约 40 小时、3,255 条双臂片段(放橙子、倒水、叠毛巾);手持演示采自与评测不同的地点和光照,少量遥操作数据来自目标机器人与场景。

点评

对做机器人本体软件与部署的工程师,UMI-Live 的价值在于把“人拿着夹爪在野外演示”到“机器人复现该动作”之间的中间环节做成公开可复现的工程件:采集不依赖现场机器人或外部追踪设备,录完自动产出可直接训练的数据集,采集与数据处理并行。要看清结果条件:成功数字来自“手持演示为主 + 少量目标机器人遥操作数据”的混合微调,而手持演示又采自与评测不同的地点和光照,因此它说明这类演示可以配合少量目标环境数据使用,不能据此推断纯手持数据就足以训出可部署的策略。

作者自述:设备仍需一次性相机与夹爪标定;LiDAR–惯性重建质量取决于场景几何与运动;集成传感、算力、存储与电源使单只质量增至 1.42 kg。机器人评测只覆盖一个任务、每条件十次试验、每条件一个训练随机种子,且没有纯 UMI 与纯遥操作对照,无法分离两路数据各自的贡献;轨迹精度、处理延迟与吞吐、长时间采集的操作效率,以及更多任务、随机种子与数据混合下的策略表现均未测量。表 1 中的质量、尺寸、续航与成本是论文给出的规格数值,本次材料中未见独立第三方复现或采购验证。本条依据作者论文自述(arXiv v1 全文与摘要);arXiv 为滚动发布页,v1 内容可能在后续版本修订,结论以最终版本为准。

版本与核查范围

版本 2610.39385v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#S1.p4.1;#S3.SS1.SSS0.Px2.p1.1;#S3.SS1.SSS0.Px4.p1.1;#S3.T1.2;#S5.p1.1;#S4.SS1.p1.1;#S4.SS3.p1.1;#S4.SS3.p2.fig1.1;#A4.p1.1;#S6.p1.1;#S7.p2.1