内容摘要
世界—动作模型通过迭代去噪联合生成未来状态与动作,共享权重处理视频、本体感知和动作等信息流。作者指出,相近的局部量化误差可能造成不同的最终动作偏差,因此仅降低数值误差不足以保障控制表现。
论文提出4位量化框架SteerQuant,以动作影响图谱指导共享通道缩放,再按信息流和去噪步骤校准激活量化;每层保留一份静态量化权重,不为特定流提高位宽。配套推理引擎Rudder将缩放与输出补偿融合进低位宽内核,减少额外内核启动和中间访存。
作者报告,在两个LIBERO模型的W4A8、W4A4设置下,平均成功率较全精度最多下降0.8个百分点。RTX 4090上的三个模型测试中,去噪相对BF16最高加速2.23倍。真机实验采用双臂平台、三项任务,每项12次试验;W4A8端到端推理加速1.35倍,平均任务得分提高,但电池插入得分下降。该延迟不包含机器人运动执行时间,平均任务得分也不等同于全部任务的二元成功率。
点评
作者结果支持以最终动作影响指导量化误差分配,并用融合内核减少缩放开销,为世界—动作模型的低位宽推理提供一种方法。
结论限于作者论文评测:效率测试使用RTX 4090,覆盖三个模型;真机仅涉及一个双臂平台的三项任务。不能据此外推其他硬件、机器人平台或通用操作能力。
版本与核查范围
版本 2609.39056v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 h1[1];#abstract1.1;#S1.p4.1;#S1.I1.i2.p1.1;#S1.I1.i3.p1.1;#S5.SS2.p2.1;#S5.SS3.p1.1;#abstract1.1;#S5.SS5.p1.1;#S5.SS5.p1.1;figcaption[99];#A4.p4.1
