内容摘要
机器人学的新任务常靠人类先做示范。UMI(通用操作接口)让专家用手持夹爪示范,无需遥操作真机;但把这类示范当训练数据,仍需一致的硬件、标定与数据处理。UMI-Live 是作者提出的全栈开源双臂方案,硬件、软件、数据集与真机评测一并发布。
每只夹爪集成相机与 LiDAR–惯性传感、板载算力与存储、可拆卸电源,采集不需外部追踪设备或环境标定;一个按钮启停录制,片段录完自动上传服务器,后台并行做 SLAM(定位与建图)重建、钳口开度估计、校验与数据集准备,操作者可边录边等。作者重做夹爪机构,以带轴承支撑的扳机驱动扇形齿轮沿直线导轨开合,并在活动指座贴 ArUco 标记测开度。
论文规格:含电池单只 1.42 kg、宽 80 mm、续航 1.5 小时、一对 $1,930;传感为 RoboSense Airy 激光雷达(内置 IMU)、全局快门广角 USB 相机与树莓派 5,相机 800 × 600 像素、30 fps。真机验证在双 YAM 臂上把六个橙子放进碗里,六个全入碗才算成功,每条件十次试验:π0.5 在 95/5 与 90/10 混合微调下分别成功 9/10 与 10/10,MolmoAct2 在 75/25 下 8/10,其公开检查点为 0/10。发布约 40 小时、3,255 条双臂片段(放橙子、倒水、叠毛巾);手持演示采自与评测不同的地点和光照,少量遥操作数据来自目标机器人与场景。
点评
对做机器人本体软件与部署的工程师,UMI-Live 的价值在于把“人拿着夹爪在野外演示”到“机器人复现该动作”之间的中间环节做成公开可复现的工程件:采集不依赖现场机器人或外部追踪设备,录完自动产出可直接训练的数据集,采集与数据处理并行。要看清结果条件:成功数字来自“手持演示为主 + 少量目标机器人遥操作数据”的混合微调,而手持演示又采自与评测不同的地点和光照,因此它说明这类演示可以配合少量目标环境数据使用,不能据此推断纯手持数据就足以训出可部署的策略。
作者自述:设备仍需一次性相机与夹爪标定;LiDAR–惯性重建质量取决于场景几何与运动;集成传感、算力、存储与电源使单只质量增至 1.42 kg。机器人评测只覆盖一个任务、每条件十次试验、每条件一个训练随机种子,且没有纯 UMI 与纯遥操作对照,无法分离两路数据各自的贡献;轨迹精度、处理延迟与吞吐、长时间采集的操作效率,以及更多任务、随机种子与数据混合下的策略表现均未测量。表 1 中的质量、尺寸、续航与成本是论文给出的规格数值,本次材料中未见独立第三方复现或采购验证。本条依据作者论文自述(arXiv v1 全文与摘要);arXiv 为滚动发布页,v1 内容可能在后续版本修订,结论以最终版本为准。
版本与核查范围
版本 2610.39385v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#S1.p4.1;#S3.SS1.SSS0.Px2.p1.1;#S3.SS1.SSS0.Px4.p1.1;#S3.T1.2;#S5.p1.1;#S4.SS1.p1.1;#S4.SS3.p1.1;#S4.SS3.p2.fig1.1;#A4.p1.1;#S6.p1.1;#S7.p2.1
