内容摘要
机器人操作数据需要同时表达任务意图并满足物理可执行性;人工示范采集负担较重,纯仿真生成又可能忽略功能性接触。作者提出IM-ENGINE,以图像编辑作为中间表示,面向功能性灵巧抓取与目标状态生成。
流程先编辑仿真渲染图,再利用已知几何、深度、分割、相机参数及保持不变的锚定物体恢复三维状态,经物理验证与轨迹生成转为机器人监督数据。抓取分支重建人手与物体交互并重定向至机器人手;目标分支恢复物体位姿,筛除碰撞和不稳定状态。
作者报告,在五类物体的ShadowHand评测中,用生成数据微调的DRO达到99.4%举升成功率、83.2%功能成功率;前者在Genesis仿真中测试,后者由五名标注者检查并取平均。八项任务的目标状态生成成功35/40,同一实验中的PhyScensis为11/40,成功须同时满足仿真物理合理性与预期任务关系。真机衣架挂钩、杯子挂架策略各测试10次,成功率分别为70%和50%;每项策略使用约1,000条仿真轨迹训练。
点评
其价值在于把生成图像中的任务语义转成可验证的三维状态与轨迹,而不只将图像作为视觉目标;作者实验展示了这一路径用于抓取和关系约束型放置的可行性。
结果属于作者论文评测,不应视为独立复现或通用能力证明。流程依赖适配的成对三维资产;编辑可能改变锚定物体或产生不可行交互,薄结构、插入和悬挂中的碰撞与接触仿真仍有困难。
版本与核查范围
版本 2609.06279v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#abstract1.1;#abstract1.1;figcaption[22];#S4.SS1.SSS0.Px3.p1.1;#S4.SS1.SSS0.Px4.p1.1;#S4.SS1.SSS0.Px5.p1.1;#S4.SS2.SSS0.Px1.p1.1;#S4.SS2.SSS0.Px3.p1.1;#S4.SS3.SSS2.p2.1;#S4.SS3.SSS2.p3.1;#S5.p1.1
