内容摘要
作者提出 KODA,将人类第一视角示范转换为人形机器人全身视觉—语言—动作(VLA)训练数据,重点解决运动与机器人视角观测的对齐及跨控制器复用。流程以稀疏跟踪器和基于采样的指令优化生成经仿真检查的全身轨迹,再由轨迹确定机载相机位姿并合成观测。全身运动轨迹、合成观测和任务指令组成可复用的规范记录,不含控制器专属状态或动作标签;后续针对部署控制器生成状态—动作监督,与对应真机示范共同训练。
作者在宇树 G1 四项移动操作任务上测试 SONIC 与 HEFT:每任务固定 50 条机器人示范,加入 100 条转换后的人类示范,在人类示范覆盖、机器人示范未覆盖的条件下,宏平均成功率分别提高 45.0 和 46.25 个百分点。两种控制器的该指标随已测试数据预算总体上升,但中间预算的单任务及 Robot-ID 结果存在波动。这是补充机器人示范条件覆盖的作者实验,并非对所有训练数据之外条件的零样本泛化测试。
实验中的 400 条人类片段均带有手机录制深度,不能据此认定纯 RGB 估计深度路线已获同等验证。
点评
价值在于将可复用的运动—观测记录与控制器专属监督分离,为固定机器人数据补充条件覆盖;跨控制器复用证据限于所测试的 SONIC 与 HEFT。
这些是作者论文结果。每配置仅训练一次,每任务、每条件进行 20 次真机试验;细粒度手—物交互尚未充分复现。复用图像对应规范轨迹,记录的身体状态对应控制器实际运动,跟踪不完美时两者仅近似对应。
版本与核查范围
版本 2610.21152v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 page:4;page:1;page:1;page:4;page:3;page:1;page:9;page:9;page:22;page:4;page:8;page:28
