跳至正文
原文导读 · 原标题中译

舒适地困在原地:Bench2Drive 闭环协议中的评测陷阱

Comfortably Stuck: Evaluation Pitfalls in Bench2Drive's Closed-Loop Protocol

材料发布 2026-10-15 · arXiv · 作者论文 · 核查 2026-10-18
图 1:闭环驾驶评测的两类陷阱。蓝色表示模型预测的航点及转向。(a)转向覆盖:控制器以朝向导航目标点的红色转向替代模型输出,可能掩盖转向纠错失败或覆盖绕障动作。(b)目标点不匹配:训练与评测规划器采样路线不同,导致导航指令在不同位置切换;车辆可能先收到右转指令,进入路口后又收到直行指令,形成训练中未见的指令与场景组合。两者折中可能带来危险行为。SO 为转向覆盖,TPM 为目标点不匹配。 图片出处

内容摘要

这篇论文审视了 Bench2Drive 闭环驾驶评测协议中的舒适度与导航信号问题。作者使用官方发布的检查点,在完整的 220 条路线中重新评测八个模型,发现原舒适度指标存在采样率、平滑窗口、角度单位和偏航导数处理错误;固定时间分段还让静止车辆不断积累“舒适”片段。作者修正计算、先对完整轨迹平滑再分段,并改用基于距离的分段方式,使舒适度与静止时间的相关系数从 r=0.97 降至 r=0.06。

在匹配驾驶速度后,原指标呈现的驾驶得分与舒适度强权衡不再可检测,但八个模型不足以排除较弱关系。导航方面,默认控制器可能以朝向路线目标点的转向覆盖模型自身决策,评测目标点的分布也可能偏离训练数据。作者在 Dev10 子集上对 UniAD、VAD 的实验显示,移除转向覆盖的影响高度不对称;随后对齐目标点采样,两者驾驶得分均有改善,但 VAD 的分布偏差仍未完全解决。作者计划发布独立修复代码,使保留逐帧轨迹日志的使用者无需重跑仿真即可重算舒适度。

点评

评测应区分模型决策与控制器代劳,并检查指标是否奖励停滞;已有逐帧日志可支持舒适度重算,但代码发布仍是作者承诺。

这是作者论文中的重评测结果。导航修正在 UniAD、VAD 上展示,其余六个模型的训练目标点采集方式未审计;舒适度分析仅含八个模型,不能排除较弱权衡。

版本与核查范围

版本 2610.21741v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S4.SS1.p1.1;#S1.p2.1;#S3.SS3.SSS2.p1.1;#S3.SS3.SSS2.Px2.p1.1;#S4.SS3.p4.1;#S4.SS4.p3.1;#abstract1.1;#S3.SS1.p3.1;#S3.SS1.p4.1;#S3.SS2.SSS0.Px4.p2.1;#S3.SS2.SSS0.Px4.p1.1;#S1.I1.i3.p1.1