跳至正文
主题

合成数据

区分可执行轨迹、感知样本和生成视频;合成增益取决于真实任务条件。

Jason · 更新 2026-10-10 · 持续维护

合成数据通过仿真、轨迹变换、渲染或生成模型构造样本。可执行状态—动作轨迹、带标签图像与视觉视频不是同一种训练资源。

路线 提供的信号 主要风险
脚本/示范扩增 任务轨迹与动作标签 依赖任务结构、资产和可执行性
域随机化 外观、物理与相机变化 随机化范围未覆盖真实偏差
生成视频/世界动作模型 视觉先验,部分方法联合动作 看似合理但接触/动作不一致

当前判断 · 2026-10-10 核查

窗口外背景 RoboTwin 2.0 v2 在 RDT/COBOT-Magic 四任务中,对比 10 条真机示范与其加 1,000 条合成轨迹:未见背景且杂乱时平均成功 9%→42%(+33 个百分点);但干净已见背景的 Click Bell 从 36% 降至 24%。因此混合数据可改善部分真机鲁棒性,收益并非逐项必然。依据与边界

WALL-WM v2 的视频指标、真机 Task Progress 和仿真二值成功分开报告,不能作为上述混合数据的同协议对照。依据与边界

比较时固定真实数据量、任务协议及评测集,同时考虑资产、标注、算力成本;当前未得到统一成本最优配比。环境视角见 仿真与 Sim2Real。