跳至正文
原文导读 · 原标题中译

IM-ENGINE:用于具身数据生成的图像编辑

IM-ENGINE: Image Editing for Embodied Data Generation

材料发布 2026-09-06 · arXiv · 作者论文 · 核查 2026-10-19
图2:我们的流程包含四个阶段:(a) 图像生成:依据任务修改仿真器渲染出的场景,产出面向功能性抓取或目标摆放的视觉方案;(b) 感知:利用仿真器先验与基于锚点的度量深度对齐(anchor-based metric depth alignment),把编辑后的图像提升为结构化的三维状态;(c) 物理校验:按接触、稳定性与碰撞可行性对状态进行筛选与修正;(d) 轨迹生成:把通过校验的状态转换为机器人操作数据,用于灵巧抓取合成与目标状态到达。 图片出处

内容摘要

机器人操作数据需要同时表达任务意图并满足物理可执行性;人工示范采集负担较重,纯仿真生成又可能忽略功能性接触。作者提出IM-ENGINE,以图像编辑作为中间表示,面向功能性灵巧抓取与目标状态生成。

流程先编辑仿真渲染图,再利用已知几何、深度、分割、相机参数及保持不变的锚定物体恢复三维状态,经物理验证与轨迹生成转为机器人监督数据。抓取分支重建人手与物体交互并重定向至机器人手;目标分支恢复物体位姿,筛除碰撞和不稳定状态。

作者报告,在五类物体的ShadowHand评测中,用生成数据微调的DRO达到99.4%举升成功率、83.2%功能成功率;前者在Genesis仿真中测试,后者由五名标注者检查并取平均。八项任务的目标状态生成成功35/40,同一实验中的PhyScensis为11/40,成功须同时满足仿真物理合理性与预期任务关系。真机衣架挂钩、杯子挂架策略各测试10次,成功率分别为70%和50%;每项策略使用约1,000条仿真轨迹训练。

点评

其价值在于把生成图像中的任务语义转成可验证的三维状态与轨迹,而不只将图像作为视觉目标;作者实验展示了这一路径用于抓取和关系约束型放置的可行性。

结果属于作者论文评测,不应视为独立复现或通用能力证明。流程依赖适配的成对三维资产;编辑可能改变锚定物体或产生不可行交互,薄结构、插入和悬挂中的碰撞与接触仿真仍有困难。

版本与核查范围

版本 2609.06279v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#abstract1.1;#abstract1.1;figcaption[22];#S4.SS1.SSS0.Px3.p1.1;#S4.SS1.SSS0.Px4.p1.1;#S4.SS1.SSS0.Px5.p1.1;#S4.SS2.SSS0.Px1.p1.1;#S4.SS2.SSS0.Px3.p1.1;#S4.SS3.SSS2.p2.1;#S4.SS3.SSS2.p3.1;#S5.p1.1