跳至正文
原文导读 · 原标题中译

RT-Safe:实时具身环境中的智能体安全基准评测

RT-Safe: Benchmarking Agent Safety in Real-Time Embodied Environment

材料发布 2026-10-07 · arXiv · 作者论文 · 核查 2026-10-18
图1:实时具身安全。静态世界基准测试在模型推理期间保持环境不变,但物理世界不会等待智能体做出决策。移动的行为体可能在观测与动作之间引入新的风险。因此 RT-SAFE 在推理与动作执行的整个过程中让世界持续演化,以便在实时约束下评估安全性。 图片出处
图4:静态评估掩盖了实时安全失效以及动作选择的变化。(a) 八个模型的碰撞次数均有所增加。(b) 任务完成情况大致相同,但安全完成率从 19.8% 降至 0.7%。(c) 在实时条件下,智能体选择的 4 米移动更少,而 1 米与 2 米移动更多。 图片出处

内容摘要

智能体观察时安全的路径,可能在推理结束前因行人或车辆移动而变得危险。作者提出城市导航仿真基准RT-SAFE,将决策延迟纳入安全评测:环境在推理和动作执行期间持续演化,分别记录推理期被动碰撞与执行期主动碰撞,并将到达目标与无安全事件的完成分开评价。

基准包含五张城市地图、36条路线。作者对八个视觉语言模型进行评测,在困难环境、厂商默认推理设置下比较288组配对模型—任务。静态模式仅在推理时暂停环境;两种模式的任务完成率分别为91.3%和94.1%,但安全完成率从19.8%降至0.7%,每回合碰撞从3.31次升至40.68次,为原来的12.3倍;实时碰撞中约84%发生在推理期间。

增加推理投入也未稳定改善整体安全:从默认提升至较高档位后,平均每回合碰撞由40.7次升至62.0次,任务完成率则由94.1%变为94.8%。这些结果属于作者的仿真实验;静态与实时对照还同时改变了提示中的时序指令,不能把行为差异全部归因于环境是否暂停。

点评

该研究提示,导航评测应同时考察任务完成、安全事件与响应延迟;完成率相近可能掩盖显著不同的安全表现。

结论限于作者的仿真协议,不宜外推真机安全。碰撞计数允许持续接触产生重复事件;不同推理档位也不代表跨厂商等价的计算预算。

版本与核查范围

版本 2610.09294v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#abstract1.1;#S2.SS1.SSS0.Px2.p1.1;#S2.SS4.SSS0.Px1.p1.1;#S2.SS2.SSS0.Px1.p1.1;#S3.SS1.p1.1;#S3.SS3.p1.1;#S3.SS3.SSS0.Px1.p1.1;#S3.SS4.SSS0.Px1.p1.1;#S3.SS3.p1.1;#S5.p1.1;#abstract1.1