跳至正文
原文导读 · 原标题中译

RawVLA:面向机器人操作的具身神经图像信号处理器

R a w V L A : Embodied Neural Image Signal Processor For Robotic Manipulation

材料发布 2026-09-29 · arXiv · 作者论文 · 核查 2026-10-19
图 3:RawVLA 总体框架。原始(RAW)因果线性突发被概括为因子化的亮度与色度描述子,通过解耦的循环状态与先前的 ISP(图像信号处理)参数相融合,并被解码为结构化的曝光、白平衡、色彩校正与单调色调控制参数。渲染后的图像被送入冻结的 VLA(视觉-语言-动作)策略以预测动作。 图片出处

内容摘要

固定相机图像信号处理器(ISP)生成的RGB图像,是否会影响机器人策略表现?作者在场景、任务和机器人状态不变时,逐项改变曝光、传感器噪声、色彩响应、色调响应和位深,发现不同成像因素对动作预测与操作成功率的影响明显不同。

为此,作者提出RawVLA:在冻结VLA策略的条件下,将因果线性RAW序列分解为亮度与色度描述,经独立循环状态生成曝光、白平衡、颜色校正和单调色调控制,再将渲染图像交给策略预测动作。训练通过动作目标更新ISP,无需逐像素监督。

作者还构建RawVLA-Bench,在RAW形成前改变仿真光照,覆盖LIBERO与RoboTwin 2.0的五种光照条件。论文报告,LIBERO跨骨干平均成功率由最强基线的43.01%升至68.82%;RoboTwin 2.0达到54.98%,相对最强神经ISP基线提高85.81%。收益主要来自不利光照,正常光照表现大体保持。这些数字属于作者基准实验;其中LIBERO输入是由RGB反处理生成的伪RAW,而非物理传感器原始采样。

点评

该工作将成像处理作为机器人策略评测和适配的显式变量,提供了不更新VLA策略、转而优化视觉前端的技术路径。

结果应限于作者所述基准与光照协议,不视为独立复现或通用操作能力证明。两套仿真基准的RAW构造方式不同:LIBERO采用RGB反处理,RoboTwin 2.0采用色调映射前HDR缓冲并加入传感器噪声。

版本与核查范围

版本 2609.37530v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p4.1;figcaption[33];#S3.SS4.p1.2;#S4.p1.1;#A2.p1.1;#S5.SS0.SSS0.Px4.p1.1;#S5.SS0.SSS0.Px5.p1.1;#S4.p1.1;#S4.p1.1