跳至正文
原文导读 · 原标题中译

RoboChrono:面向流式任务理解的真实机器人基准

RoboChrono: A Real Robot Benchmark for Streaming Task Understanding

材料发布 2026-09-29 · arXiv · 作者论文 · 核查 2026-10-18

内容摘要

机器人操作尚在进行时,模型能否理解当前进度,而非只认出画面内容?作者提出RoboChrono,以真实机器人执行和补充的徒手人类录像构建39个场景、34,713个评测实例,考察流式任务理解。

方法以因果观测边界约束输入:模型只能看到查询时刻及此前的观测,不能使用未来画面。七项任务分属识别、对齐和时间定位,覆盖当前动作、下一动作、帧匹配、帧排序等;18个多模态模型在无基准专用微调的零样本条件下接受评测。

作者报告,GPT-6-Astra的帧匹配准确率为98.3%,帧排序为68.3%;RynnBrain1.1-122B-A10B对应为95.4%和32.9%,表明匹配优势并不必然伴随排序优势。在五个开放权重模型、312个题干的平衡子集上,匹配问题消融显示:移除视觉后,当前动作识别下降22.1个百分点,下一动作预测仅下降0.7个百分点。作者据此提示,下一动作答案可能依赖任务和动作先验,不能仅凭预测得分判断模型是否利用了视觉历史。

点评

该基准的诊断价值在于分开考察视觉识别与时间进度理解,避免仅用汇总分数掩盖能力差异。

这是作者论文报告的评测,不是独立复现或机器人闭环控制验证;数据包含成功执行录像及徒手人类场景,消融结论限于所测模型和子集,不宜外推通用操作能力。

版本与核查范围

版本 2609.36605v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 page:1;page:4;page:5;page:6;page:1;page:8;page:1;page:1;page:9;page:4;page:4