跳至正文
原文导读 · 原标题中译

TCP4D:面向机器人操作的统一工具中心点跟踪与生成模型

TCP4D: A Unified Tool-Center-Point Tracking and Generation Model for Robot Manipulation

材料发布 2026-11-18 · arXiv · 作者论文 · 核查 2026-11-20
图2:TCP4D 总体框架。① TCP4D 跟踪器(tracker)以单目视频为输入,构建四维场景表示。 以 TCP(工具中心点,即机器人末端执行器夹爪的参考点)在初始帧中的二维位置作为查询,它解码出场景几何、TCP 的 SE(3) 运动(SE(3) 即三维刚体运动的三维位置加三维旋转表示)以及夹爪状态。 ② TCP4D 生成器沿 TCP 轨迹提取局部特征以构成查询,并融入机器人状态。 在当前四维场景表示、腕部 RGB 视图和语言指令的条件下,它预测未来 h 步的 TCP 运动与夹爪状态。 图片出处
图3:跨形态数据增广流程。给定一段视频,TCP4D 跟踪器重建 TCP 轨迹与夹爪状态。 我们移除并修补(inpaint,即对被去除区域进行内容填补)原有机器人所在区域,随后使用逆运动学(IK)将运动重定向到其他形态的机器人本体上。 图片出处

内容摘要

机器人操作视频很多,但多数没有同步的动作标注,只凭 RGB 视频反推末端位姿和夹爪状态仍然困难。TCP4D 把工具中心点位姿(TCP,末端工具坐标系下的六自由度位姿)当作与机器人本体无关的动作空间:同一个位姿在不同机器人上代表同一个任务空间目标,各自用自己的逆运动学(IK)到达。

模型是一个前馈统一框架:单目 RGB 视频加首帧的一个二维 TCP 查询点,经共享的 4D 场景表征同时解出米制 TCP 位姿、夹爪状态、场景几何和相机参数,不需要额外的机器人先验和后处理;生成器沿恢复出的 TCP 轨迹采样局部特征,结合机器人观测与语言指令预测未来 TCP 状态。恢复出的轨迹经逆运动学重定向后,能把现有 RGB 视频转成其他本体的演示数据,不需要源机器人的状态记录。

作者论文中的结果:跟踪绝对轨迹误差(ATE)在 DROID 上 7.60 mm、RoboLab 上 16.07 mm,换到 UR5 本体微调十条演示后为 8.85 mm;RoboTwin 48 个任务干净环境平均成功率 69.19%,环境随机化下只有 10.94%;真机两个任务平均 78.33%,对照 DP3 的 63.33%、ACT 的 31.67%,且推理阶段不需要深度测量;跨本体数据上,ARX-X5 只用增强数据时平均成功率 30.5%,源数据与增强数据联合训练后为 72.0%。

点评

对做本体和数据的工程师,最实用的变化是动作监督的来源:不必为新本体重新录制带状态标注的演示,一段 RGB 视频经 TCP 跟踪与逆运动学重定向就能变成该本体的训练数据。TCP 位姿在这里同时充当跟踪、策略和数据增强的公共接口,真机推理只需 RGB 相机、不依赖深度传感器。

数字均出自作者自测。环境随机化下 RoboTwin 平均成功率只有 10.94%,生成器的场景泛化尚未解决;跟踪预训练数据只覆盖 Franka 机械臂和 Robotiq 夹爪,换到其他本体仍需少量演示微调;真机只有两个任务,对照基线是 DP3 与 ACT。

版本与核查范围

版本 2611.23143v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p1.1;#S1.p2.1;#S1.p4.1;#abstract1.1;#abstract1.1;#S4.SS2.p3.1;#S4.SS2.p5.1;#A6.T14.8.1;#S4.SS5.p4.1;#S4.SS5.p5.1;#S4.SS3.p2.1;#A7.p1.1