内容摘要
机载设备运行视觉—语言—动作(VLA)模型时,推理延迟会压低控制频率;异步执行虽能掩盖部分延迟,却仍面临感知与执行错位、反应时间长的问题。作者提出EagleVLA,结合未来表征校正、调度与系统优化,改善低功耗设备上的控制。
其前瞻对齐异步校正以已确定执行的动作为条件,预测未来的压缩VLM末层表征,让动作专家从未来时刻开始生成动作,而非直接预测未来图像。置信度调度在预测可信时跳过VLM、直接调用动作专家,置信度不足时重新观测;基于llama.cpp的引擎再通过CUDA图复用、GPU常驻中间缓冲和流匹配展开减少开销。
作者在LIBERO上报告:Jetson Orin的控制频率由朴素π₀.₅推理的0.70 Hz升至6.93 Hz,反应时间由1420.8 ms降至144.3 ms;正文报告相对朴素PyTorch的控制频率改善为9.85倍。另在以π₀.₅为基础的仿真中,按四个子数据集及不同推理延迟取平均,作者报告成功率优于VLASH 14.8%。这些结果属于作者实验,不代表独立复现。
点评
将动作条件的未来表征预测与置信度调度结合,为缓解机载异步控制中的时序错位和反应延迟提供了一条方法路径。
比较限于论文所述模型、设备与评测设置;14.8%沿用作者表述,不改称百分点。作者指出,机载算力和带宽仍受限,模型及批量规模扩大后未必能弥合高端GPU部署差距。
版本与核查范围
版本 2607.12659v6 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#S1.p4.1;#S4.SS1.p2.1;#S4.SS2.p2.1;#abstract1.1;figcaption[49];#S5.T4.2.1;#S1.p4.1;#S5.SS1.p1.1;#S5.SS1.p2.1;#S7.p1.1
