内容摘要
在仿真里比较两个 VLA(视觉-语言-动作)策略时,常见做法是让任务、随机种子和回合编号一致,就认为两边面对同一个初始状态。论文指出这个前提不总成立:向量化仿真的 reset(重置)与 autoreset(自动重置)下,策略更早结束会改变后续回合的初始状态分配,同一回合编号未必对应同一场景。
方法上,作者提出由五条不变量 I1–I5、逐回合溯源日志、可选场景指纹和自动检查器组成的评测完整性框架,检查器对每条不变量输出 PASS/FAIL/SKIPPED 三态。实验在 LeRobot 0.6.1 + LIBERO 仿真台上用模拟控制器隔离评测框架自身行为,证据分为四级。
结果上,混合回合长度的 Sync 模式首轮补位的实测初始状态 ID 为 [20,5,22,7],连续递增的预期是 [4,5,6,7],作者归因于错开的截断使各槽位计数器推进不同;作为对照,同步回合长度的分开作业 16 个单元、160 对回合零不符。Async+Freeze 下不同批大小映射不同,检查器报出 12 条不匹配,批大小 8 的运行挂起未完成、机制未隔离;合成的 McNemar 示例显示错按回合编号配对会让差异显得更显著。
边界:结论仅覆盖 LeRobot 0.6.1 与少量任务、种子,控制器为模拟,未做真实 VLA 共享向量化实验,作者不主张现有 VLA 榜单普遍无效。工程上可先记录初始状态身份再跑检查器,然后才做配对统计。
点评
给做仿真评测的机器人工程师一条前置动作:日志里记录解析出的初始状态身份(可加场景指纹),先跑一遍完整性检查再计算配对统计,否则回合编号相同也可能不是同一个场景。这是对评测环节的排查建议,不是对任何已发表结果或榜单的否定。
仅覆盖 LeRobot 0.6.1/LIBERO 的模拟控制器、少量任务与种子;Async 批大小 8 未跑完、bs 2/4 机制未隔离;McNemar 数字为合成构造,非真实策略结果;论文不主张现有 VLA 榜单无效,公开产物地址尚未提供。本次仅取得该 arXiv v1 全文,文中引用的 GitHub issue/PR 与第三方仓库为外部链接,未在本次材料中独立核验;未做独立复现。
版本与核查范围
版本 2611.00896v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p2.1;#abstract1.1;#S3.SS1.SSS0.Px2.p1.1;#S5.SS2.p1.1;#S5.SS2.p1.1;#S5.SS1.p1.1;#S5.SS3.p1.1;#S5.SS3.p1.1;#S5.SS4.p1.1;#S6.p1.1;#S7.p1.1;#Sx1.I1.i6.p1.1
