内容摘要
ZeroBot针对新物体操作提出Real2Sim框架:在没有人类示范、没有策略预训练、没有预先已知物体模型的条件下,根据单视角RGB-D图像与用户指定的目标位姿,在数分钟内学习操作策略。这里的“从零”限定于策略学习,系统仍使用预训练视觉基础模型。
方法先用InstantMesh生成完整物体网格,再与深度图对齐恢复尺度,并在仿真中开展大规模并行强化学习。核心是接触动作空间:依据网格采样接触状态、排除无效状态,再用学得的价值函数选择高价值接触位置;真机通过运动规划到达接触位置后执行策略,减少训练中的自由空间探索。
作者报告,真实任务评估成功率为87%,平均训练时间为119秒。六项端到端真机任务中,每种方法、每项任务重复10次,每次重新生成网格并从零训练;用于比较的Real2Sim方法共用作者的强化学习训练框架。
上述时间是训练时间,不应视为完整部署耗时。实验用一张A6000运行256个并行仿真智能体,另一张用于执行时跟踪;主要设定为单个刚性物体、清晰可见的输入视角及预先扫描的静态背景。
点评
作者实验表明,生成几何不仅能用于搭建仿真,还能直接参与接触状态选择,加速特定任务的策略学习与仿真到真机迁移。
结果属于作者论文实验,不等于通用操作能力验证。系统仍受生成网格精度限制;仿真中物体质量设为常数,关节物体扩展假定关节参数已知。
版本与核查范围
版本 2609.34010v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S3.SS1.p1.1;#S1.I1.i2.p1.1;#S3.SS2.p1.1;figcaption[29];#S3.SS3.p3.1;#S3.SS3.p2.1;#abstract1.1;figcaption[51];#S4.SS2.p5.1;#S4.SS2.p1.1;#S3.SS1.p1.1;#S6.p1.1
