跳至正文
原文导读 · 原标题中译

探测视觉语言模型的"碰撞接地"能力:TouchSafeBench 基准显示机器人撞场景比撞人更难被识别

Probing Collision Grounding in Vision-Language Models for Safe Human-Robot Collaboration

材料发布 2026-10-23 · arXiv · 作者论文 · 核查 2026-10-30
图3:安全事件片段。TouchSafeBench 依据仿真器的接触信息与轨迹状态,区分安全操作、视觉上合理的险情(near miss)、机器人—场景碰撞与机器人—人碰撞。红色标记人,蓝色标记机器人;叠加的数字(为便于参照而添加,并非数据集的一部分)标示时间步,且在第一人称视角画面与俯视地图之间相互对应。 图片出处
图7:碰撞接地(collision-grounding,即把视觉线索与真实发生的碰撞事件对应起来)错误的失败案例分析。每行展示一段有代表性的 RGB-D(彩色加深度)片段及对应的视觉语言模型(VLM)推理摘录。(a) 夹爪相机归因谬误(attribution fallacy):场景碰撞时墙面填满机械臂相机画面,但模型因认定机器人本体位于夹爪相机之后而降低该线索的权重,产生 B → A 的假阴性。(b) 不可能的证据标准:模型观察到墙面或门框距离很近,却要求出现可见的重叠、形变或穿透——这些是当前传感配置无法提供的,于是再次抑制了对场景接触的召回率。(c) 接近—碰撞谬误:即便人处于静止状态或位于机器人本体行进路径之外,模型仍将近距离出现的人当作碰撞证据,产生针对人类风险的误报。 图片出处

内容摘要

机器人与人同处一室时,安全监控要回答的不是"画面里有没有人",而是机器人自身是否已撞上场景或人、是否即将撞上。作者把这种把视觉证据绑定到机器人本体几何、相机视角、场景布局与时序运动以推断接触的能力称为碰撞接地(collision grounding),并发布基准 TouchSafeBench:在 Habitat 3.0 中生成 2,940 个室内共处片段,同步记录多视角 RGB-D(彩色加深度)流与俯视轨迹图,接触标签取自仿真器状态。任务为当前状态判定与接触前预警;近距离未碰撞片段被算作安全类难负样本,误报率因此是一等指标。基准在作者项目页公开。

在 GPT-5.5、Gemini 3.1 Pro 与带机器人方向预训练的 Gemini Robotics-ER 1.6 上,当前状态分类最好 56.2 Macro-F1,碰撞预警最好 51.2,作者摘要给出的专家人类成绩约 74%。三个结论:深度图不会自动变成机器人本体的接触证据;撞场景比撞人更难(场景碰撞准确率 21.5%,场景碰撞预警 34.1%);俯视轨迹图把误报率压到 34.0/28.0/6.0,却让当前状态识别变差,说明预警与接触识别需要的表示并不相同。

在真实机器人录像 THÖR-MAGNI 上用同一套提示词复核,GPT-5.5 当前状态识别接近随机(52.0%),12 段近碰撞负样本误报 10 段,100 段中没有虚构碰撞;作者据此认为失败出在感知而非渲染伪影。

点评

对做机器人本体软件与部署的人,最可用的结论有三条。其一,VLM 的短板不在"看不清"而在"绑不准",输入侧需要补上以机器人本体为中心的几何线索,例如本体坐标系标记、标定的相机到本体变换、机器人足迹叠加。其二,"识别当前是否接触"与"预警即将接触"要用不同的输入组合:俯视轨迹图压误报但会让当前接触识别变差,最好的预警分又来自彩色化深度的单视角输入,因此评测与调参必须按任务分开做。其三,误报与漏报要分开看,一个"从不报警"的监控器在这个基准上并不更安全——带机器人预训练的模型误报更低,却并没有更高的综合 F1。以上均为作者论文的评测结论与设计建议,材料中未见第三方独立复现,也不代表真实产品中的部署效果。

全部结论来自仿真:固定 Habitat 任务与人形外观、只评短片段而非闭环干预;采样本身不对称,场景碰撞样本只来自社交导航,150 段任务一场景接触片段中有 22 段同时含人接触;人类参考只有一位专家,且两种视角按固定顺序作答,其多视角增益与练习效应混淆;真实录像复核没有物理接触,相机戴在人头而非机器人身上,参与者刻意避开机器人,因此其误报率偏乐观。论文本身只做离线评测,提出的机制方向仍属后续工作。本次材料为 arXiv v2 全文快照,项目主页仅以链接形式出现,未包含其代码与数据内容,也未包含任何第三方独立复现结果。

版本与核查范围

版本 2605.31196v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#abstract1.1;#A1.SS0.SSS0.Px2.p1.1;#S4.p3.1;#S4.SS0.SSS0.Px4.p1.1;#abstract1.1;#S4.SS0.SSS0.Px5.p1.1;#S4.SS0.SSS0.Px7.p1.1;#S4.SS0.SSS0.Px2.p1.1;#S4.SS0.SSS0.Px8.p1.1;#A1.SS0.SSS0.Px4.p1.1;#S5.SS0.SSS0.Px1.p1.1