内容摘要
机器人操作视频很多,但多数没有同步的动作标注,只凭 RGB 视频反推末端位姿和夹爪状态仍然困难。TCP4D 把工具中心点位姿(TCP,末端工具坐标系下的六自由度位姿)当作与机器人本体无关的动作空间:同一个位姿在不同机器人上代表同一个任务空间目标,各自用自己的逆运动学(IK)到达。
模型是一个前馈统一框架:单目 RGB 视频加首帧的一个二维 TCP 查询点,经共享的 4D 场景表征同时解出米制 TCP 位姿、夹爪状态、场景几何和相机参数,不需要额外的机器人先验和后处理;生成器沿恢复出的 TCP 轨迹采样局部特征,结合机器人观测与语言指令预测未来 TCP 状态。恢复出的轨迹经逆运动学重定向后,能把现有 RGB 视频转成其他本体的演示数据,不需要源机器人的状态记录。
作者论文中的结果:跟踪绝对轨迹误差(ATE)在 DROID 上 7.60 mm、RoboLab 上 16.07 mm,换到 UR5 本体微调十条演示后为 8.85 mm;RoboTwin 48 个任务干净环境平均成功率 69.19%,环境随机化下只有 10.94%;真机两个任务平均 78.33%,对照 DP3 的 63.33%、ACT 的 31.67%,且推理阶段不需要深度测量;跨本体数据上,ARX-X5 只用增强数据时平均成功率 30.5%,源数据与增强数据联合训练后为 72.0%。
点评
对做本体和数据的工程师,最实用的变化是动作监督的来源:不必为新本体重新录制带状态标注的演示,一段 RGB 视频经 TCP 跟踪与逆运动学重定向就能变成该本体的训练数据。TCP 位姿在这里同时充当跟踪、策略和数据增强的公共接口,真机推理只需 RGB 相机、不依赖深度传感器。
数字均出自作者自测。环境随机化下 RoboTwin 平均成功率只有 10.94%,生成器的场景泛化尚未解决;跟踪预训练数据只覆盖 Franka 机械臂和 Robotiq 夹爪,换到其他本体仍需少量演示微调;真机只有两个任务,对照基线是 DP3 与 ACT。
版本与核查范围
版本 2611.23143v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p1.1;#S1.p2.1;#S1.p4.1;#abstract1.1;#abstract1.1;#S4.SS2.p3.1;#S4.SS2.p5.1;#A6.T14.8.1;#S4.SS5.p4.1;#S4.SS5.p5.1;#S4.SS3.p2.1;#A7.p1.1
