内容摘要
机器人上的模型式控制(model-based control,即用世界模型预测动作后果再选动作)通常依靠采样规划器:MPPI(模型预测路径积分)与 CEM(交叉熵方法)在每个控制步反复调用世界模型,TD-MPC2 一次决策为 512×6×3 次前向调用,DINO-WM 在 PushT 上为 300×30×5 次,因此低比特运算是降低单步控制成本的直接手段。
这篇 arXiv 预印本(作者自述结果,未见独立复现)指出一个部署陷阱:激活直接用就近取整(round-to-nearest)量化、不做校准时,规划可能整体崩掉,成功率最多掉 100 点(mw-button-press、2 比特),而潜在状态的一步预测误差并不比随机舍入更大——只看离线预测误差发现不了这类失败。
作者的解释是:问题不在误差多大,而在它是否跨迭代持续、是否被所有候选共享;就近取整是固定函数,同一动作序列的预测回报误差每轮都一样,迭代规划器会保留被误差偏好的候选并把采样分布移向它们。修法 sh-iter 很轻:每层抽一次随机抖动(dither)供所有候选共享、每次前向调用重抽,不需训练、不改网络结构。
在 TD-MPC2 上,sh-iter 在 19 个受影响的 Meta-World 单元(任务×比特宽度)全部挽回至少一半损失(中位数 95%),DINO-WM 的 5 个受影响单元中 4 个如此,317M 参数多任务 TD-MPC2 的 8 个受影响任务全部如此。
部署侧:在 NVIDIA A40 上以 CUDA graph 捕获计时,W8A4(8 位权重、4 位激活)整数路径的世界模型 rollout 比 FP32 快 1.9–3.3 倍(全部 12 个条件);但整个规划步只快 1.28–1.49 倍,且耗时是预转换权重的 BF16 版本的 1.01–1.12 倍。共享抖动对 rollout 的额外延迟最多约 2.3%(对整步最多 0.7%)。
限制:修法依赖迭代式规划器,迭代少时无效;DMC(DeepMind Control Suite)上 12 个受影响单元只有 5 个挽回一半,walker 在 3 比特下反而更差;无真机实验,延迟数据只来自一种 GPU。
点评
给做机器人推理部署与本体软件的人一个不改模型、不需训练的低比特世界模型配方:把激活量化从固定就近取整换成"每轮重抽、候选间共享"的抖动,让采样规划器在迭代中追不到系统性误差。在作者实测中(共享抖动对 rollout 的额外延迟最多约 2.3%),Meta-World 上大部分量化掉点被挽回;但这是单篇预印本的作者自测结果,尚未见独立复现。
证据仅为一篇作者 arXiv 预印本(v1 全文快照),未见独立复现;没有真机实验,延迟数据只来自一种 GPU(A40),该 GPU 上预先转换权重的 BF16 仍快于首层保留 FP32 的整数路径,且 BF16 未在闭环中评测。方法依赖迭代式规划器,迭代数少时不起作用;在 DMC 上,受影响单元里不到一半被修复,walker 3 比特下反而更差。若已有较好的后训练量化(多为按通道范围),额外增益有限(TD-MPC2 19 个单元中 10 个属边缘,DINO-WM 3 个中 1 个基本没有);317M 结果来自单一 checkpoint,FP4 相关结果来自 5M 模型的假量化。
版本与核查范围
版本 2611.11780v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p1.1;#S4.p1.1;#S1.p2.1;#S3.p3.1;#abstract1.1;#S6.p1.1;#S6.p1.1;#S6.p1.1;#S1.I1.i4;#S5.p2.1;#S4.p3.1;#S7.p1.1
