内容摘要
训练后量化能降低VLA模型的内存需求,但单层误差不足以判断闭环任务表现。作者提出VLAQuantBench,以统一的就近舍入(RTN)量化器控制数值格式与量化层范围,保留各模型原有推理约定;评测覆盖四个模型在LIBERO上的表现,共409次运行、94,574个仿真回合。
核心结果是量化更多层不一定更差:在未经校准的W4A4下,π₀.₅动作头量化范围由126层扩大至167层,Spatial成功率从7.0%升至70.5%,但仍低于基线。同观测回放也显示数值误差恢复。两回合校准可消除所测动作头子集的严重联合失效,但同类平滑与裁剪配方会降低π₀表现,且未使OpenVLA-OFT端到端恢复至基线附近。
另一项干预是在OpenVLA-OFT中保留输出投影的原始精度:其余441个合资格线性层采用W3时,LIBERO-Long成功率从端到端W3的8.0%恢复到93.5%,基线为92.5%。这些准确率结果使用模拟量化,并不等于实际部署加速;作者另测的真实量化内核虽降低峰值显存,却均慢于BF16。
点评
研究支持将层范围、数值格式与校准配方联合做闭环验证,而非套用通用层敏感性规则。作者报告开放评测代码、配置、层范围定义和回合记录,为后续比较提供工程基础。
这是作者论文结果,不是独立复现。非单调恢复限于所测未经校准W4A4设置;真实内核评测仅覆盖一个骨干和一种GPU,所识别精度分配尚未在真机上验证。
版本与核查范围
版本 2609.25376v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#S1.p3.1;#S1.p4.1;#S3.SS0.SSS0.Px3.p1.1;#S5.SS2.p1.1;#S5.SS2.SSS0.Px3.p2.1;#S5.SS2.SSS0.Px2.p1.1;#S5.SS4.SSS0.Px1.p1.1;#S5.SS3.SSS0.Px1.p1.1;#S3.SS0.SSS0.Px2.p2.1;#S5.SS6.p1.1;#abstract1.1
