内容摘要
让机器人在陌生室内找到指定类别的物体并停在附近,难点不只是搜索。StopWatch作者发现,基于视觉语言模型的导航策略常已接近目标,却没认出目标或判断好距离,因而继续走过。此次改变是把目标锚定——判断目标是否在视野内、离它多远——显式交给策略,而非只靠动作示范隐式学习。
系统将感知与动作决策拆成两个独立训练的模型:感知模型从图像预测可见物体类别和目标距离,写成结构化文本;策略结合图像历史与文本选择动作。训练文本来自场景的语义和几何标注。对开发者,这个可检查的接口有助于区分感知错误与动作决策错误,感知也可独立改进。
作者报告,在修正标注后的HM3D-OVON未见目标类别验证集上,成功率为69.6%,比同协议下的LightNav-0高8.8个百分点。这里的修正包含合并等价名称、人工审核并剔除有问题的评测回合;不是直接沿用官方分数。实验仅覆盖静态室内仿真,尚不能据此认定真机部署收益。
点评
为导航软件提供可检查的感知—策略接口:先定位“没认出目标”还是“决策没停下”,并可在不重训策略的情况下改进感知。
证据为作者论文实验,且仅在静态室内仿真中评测;训练依赖带语义和几何标注的三维场景。修正协议的成绩不能与官方协议分数混排。
版本与核查范围
版本 2610.23841v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S3.SS1.p1.1;#S5.SS0.SSS0.Px3.p1.1;#S3.SS3.SSS0.Px1.p1.1;#S3.SS3.SSS0.Px3.p1.1;#S3.SS3.SSS0.Px2.p1.1;#S3.SS3.SSS0.Px4.p1.1;#S3.SS3.SSS0.Px1.p1.1;#S3.SS3.SSS0.Px3.p1.1;#S4.SS3.SSS0.Px1.p1.1;#S4.SS2.SSS0.Px1.p1.1;#S3.SS4.SSS0.Px3.p1.1;#S4.SS1.SSS0.Px1.p1.1
