跳至正文
原文导读 · 原标题中译

ZeroBot:借助生成式 Real2Sim 在数分钟内从零学习

ZeroBot: Learning from Scratch in Minutes with Generative Real2Sim

材料发布 2026-09-28 · arXiv · 作者论文 · 核查 2026-10-18
图 2:本文 ZeroBot 框架的三个阶段。首先,机器人从单一视角观察物体。它使用图像到 3D 模型(image-to-3D model)由 RGB 图像生成物体网格(mesh),并将其与深度图对齐以恢复尺度。其次,生成的网格用于仿真。任务通过给定目标位姿(goal pose)来指定,由此定义稠密奖励函数(dense reward function)。采用大规模并行强化学习(massively parallel RL)学习策略,使机器人可将物体操作到该目标位姿。为加速训练,使用接触动作空间(contact action space),借助学到的价值函数(value function)选取高价值的接触状态。部署时,机器人通过运动规划(motion planning)移动到该状态;一旦进入接触,即执行策略输出的动作。 图片出处
图 3:多阶段「轻推并抓取」(nudge-and-grasp)任务上本文接触动作空间的总体示意。(1)首先在生成网格的表面上均匀采样接触位置(为便于视觉呈现,此处仅显示部分接触点)。每个点对应一个采样得到的夹爪位姿,用于轻推(上排)或抓取(下排)。(2)随后剔除无效接触状态,例如与物体其余部分发生碰撞者,并用强化学习学到的价值函数计算每个有效状态的价值。紫色状态价值较低,黄色状态价值较高。(3)执行时选取价值最大的状态。(4)机器人通过运动规划移动至接触状态,随后(5)执行策略动作。所展示的网格经过近似处理以便快速碰撞检测 [37]。该动作空间使策略能够从零开始在数分钟内完成学习。 图片出处

内容摘要

ZeroBot针对新物体操作提出Real2Sim框架:在没有人类示范、没有策略预训练、没有预先已知物体模型的条件下,根据单视角RGB-D图像与用户指定的目标位姿,在数分钟内学习操作策略。这里的“从零”限定于策略学习,系统仍使用预训练视觉基础模型。

方法先用InstantMesh生成完整物体网格,再与深度图对齐恢复尺度,并在仿真中开展大规模并行强化学习。核心是接触动作空间:依据网格采样接触状态、排除无效状态,再用学得的价值函数选择高价值接触位置;真机通过运动规划到达接触位置后执行策略,减少训练中的自由空间探索。

作者报告,真实任务评估成功率为87%,平均训练时间为119秒。六项端到端真机任务中,每种方法、每项任务重复10次,每次重新生成网格并从零训练;用于比较的Real2Sim方法共用作者的强化学习训练框架。

上述时间是训练时间,不应视为完整部署耗时。实验用一张A6000运行256个并行仿真智能体,另一张用于执行时跟踪;主要设定为单个刚性物体、清晰可见的输入视角及预先扫描的静态背景。

点评

作者实验表明,生成几何不仅能用于搭建仿真,还能直接参与接触状态选择,加速特定任务的策略学习与仿真到真机迁移。

结果属于作者论文实验,不等于通用操作能力验证。系统仍受生成网格精度限制;仿真中物体质量设为常数,关节物体扩展假定关节参数已知。

版本与核查范围

版本 2609.34010v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S3.SS1.p1.1;#S1.I1.i2.p1.1;#S3.SS2.p1.1;figcaption[29];#S3.SS3.p3.1;#S3.SS3.p2.1;#abstract1.1;figcaption[51];#S4.SS2.p5.1;#S4.SS2.p1.1;#S3.SS1.p1.1;#S6.p1.1