内容摘要
智能体观察时安全的路径,可能在推理结束前因行人或车辆移动而变得危险。作者提出城市导航仿真基准RT-SAFE,将决策延迟纳入安全评测:环境在推理和动作执行期间持续演化,分别记录推理期被动碰撞与执行期主动碰撞,并将到达目标与无安全事件的完成分开评价。
基准包含五张城市地图、36条路线。作者对八个视觉语言模型进行评测,在困难环境、厂商默认推理设置下比较288组配对模型—任务。静态模式仅在推理时暂停环境;两种模式的任务完成率分别为91.3%和94.1%,但安全完成率从19.8%降至0.7%,每回合碰撞从3.31次升至40.68次,为原来的12.3倍;实时碰撞中约84%发生在推理期间。
增加推理投入也未稳定改善整体安全:从默认提升至较高档位后,平均每回合碰撞由40.7次升至62.0次,任务完成率则由94.1%变为94.8%。这些结果属于作者的仿真实验;静态与实时对照还同时改变了提示中的时序指令,不能把行为差异全部归因于环境是否暂停。
点评
该研究提示,导航评测应同时考察任务完成、安全事件与响应延迟;完成率相近可能掩盖显著不同的安全表现。
结论限于作者的仿真协议,不宜外推真机安全。碰撞计数允许持续接触产生重复事件;不同推理档位也不代表跨厂商等价的计算预算。
版本与核查范围
版本 2610.09294v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#abstract1.1;#S2.SS1.SSS0.Px2.p1.1;#S2.SS4.SSS0.Px1.p1.1;#S2.SS2.SSS0.Px1.p1.1;#S3.SS1.p1.1;#S3.SS3.p1.1;#S3.SS3.SSS0.Px1.p1.1;#S3.SS4.SSS0.Px1.p1.1;#S3.SS3.p1.1;#S5.p1.1;#abstract1.1
