合成数据通过仿真、轨迹变换、渲染或生成模型构造样本。可执行状态—动作轨迹、带标签图像与视觉视频不是同一种训练资源。
| 路线 | 提供的信号 | 主要风险 |
|---|---|---|
| 脚本/示范扩增 | 任务轨迹与动作标签 | 依赖任务结构、资产和可执行性 |
| 域随机化 | 外观、物理与相机变化 | 随机化范围未覆盖真实偏差 |
| 生成视频/世界动作模型 | 视觉先验,部分方法联合动作 | 看似合理但接触/动作不一致 |
当前判断 · 2026-10-10 核查
窗口外背景 RoboTwin 2.0 v2 在 RDT/COBOT-Magic 四任务中,对比 10 条真机示范与其加 1,000 条合成轨迹:未见背景且杂乱时平均成功 9%→42%(+33 个百分点);但干净已见背景的 Click Bell 从 36% 降至 24%。因此混合数据可改善部分真机鲁棒性,收益并非逐项必然。依据与边界
WALL-WM v2 的视频指标、真机 Task Progress 和仿真二值成功分开报告,不能作为上述混合数据的同协议对照。依据与边界
比较时固定真实数据量、任务协议及评测集,同时考虑资产、标注、算力成本;当前未得到统一成本最优配比。环境视角见 仿真与 Sim2Real。
