内容摘要
让机器人把冷冻食品投入热油,视频预测是否只展示烹饪动作,却漏掉剧烈飞溅等危险后果?作者提出ICAT(基于事故案例的自适应测试),检查以参考图像为起点生成视频的世界模型,能否预测危险操作的后果,而不只是复现动作,为开发者审查用于规划或学习的生成轨迹提供诊断工具。
方法将事故报告和安全指南整理成可追溯的结构化风险记忆,按场景及机器人能力约束生成测试,再由人工核验参考图像。909个测试单元包含初始条件、触发动作和后果;输入只给图像与动作要求,不透露预期后果。指南推导的案例不算真实发生的事故。
作者对六套系统人工评分,每个测试收集八段返回视频后择优。Veo 3.1的完整风险链严格成功率为13.3%;在保留场景且完成触发动作的515个单元中,后果达标比例为23.5%。这反映了动作复现与后果生成之间的缺口,不是现实事故概率。结果包含服务端干预,Sora 2还采用重试和改写提示流程,不能据此作同输入的纯模型排名;短视频也可能截断后果。
点评
对将生成视频接入机器人规划或策略学习的团队,ICAT提供了分开检查“场景是否保留、动作是否完成、危险后果是否出现”的诊断思路,而非只凭视频看起来合理判断可靠性。论文未测量遗漏后果对下游决策的实际影响。
这是作者论文结果,不是真机安全验证或部署认证。八选一偏乐观,各系统条件子集不同;触发完成后的剩余视频时长未量化。论文仅计划发布资产,尚未提供公开发布链接或完整来源许可清单。
版本与核查范围
版本 2604.16405v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 page:1;page:2;page:4;page:6;page:1;page:6;page:4;page:1;page:7;page:15;page:7;page:15
