内容摘要
固定相机图像信号处理器(ISP)生成的RGB图像,是否会影响机器人策略表现?作者在场景、任务和机器人状态不变时,逐项改变曝光、传感器噪声、色彩响应、色调响应和位深,发现不同成像因素对动作预测与操作成功率的影响明显不同。
为此,作者提出RawVLA:在冻结VLA策略的条件下,将因果线性RAW序列分解为亮度与色度描述,经独立循环状态生成曝光、白平衡、颜色校正和单调色调控制,再将渲染图像交给策略预测动作。训练通过动作目标更新ISP,无需逐像素监督。
作者还构建RawVLA-Bench,在RAW形成前改变仿真光照,覆盖LIBERO与RoboTwin 2.0的五种光照条件。论文报告,LIBERO跨骨干平均成功率由最强基线的43.01%升至68.82%;RoboTwin 2.0达到54.98%,相对最强神经ISP基线提高85.81%。收益主要来自不利光照,正常光照表现大体保持。这些数字属于作者基准实验;其中LIBERO输入是由RGB反处理生成的伪RAW,而非物理传感器原始采样。
点评
该工作将成像处理作为机器人策略评测和适配的显式变量,提供了不更新VLA策略、转而优化视觉前端的技术路径。
结果应限于作者所述基准与光照协议,不视为独立复现或通用操作能力证明。两套仿真基准的RAW构造方式不同:LIBERO采用RGB反处理,RoboTwin 2.0采用色调映射前HDR缓冲并加入传感器噪声。
版本与核查范围
版本 2609.37530v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p4.1;figcaption[33];#S3.SS4.p1.2;#S4.p1.1;#A2.p1.1;#S5.SS0.SSS0.Px4.p1.1;#S5.SS0.SSS0.Px5.p1.1;#S4.p1.1;#S4.p1.1
