内容摘要
把基础模型直接接到机器人上已经变容易了,但安全一侧没跟上:经典机器人安全只是在规划与执行时施加显式约束,无碰撞轨迹照样可能把电子设备放进水里;模型控机器人部署门槛降低后,不安全行为更快触达真实用户,而现有防护是按文本和二维世界设计的,并不为三维物理世界而设。
作者建了 RoboRisk 基准:92 个仿真任务加 13 个真机任务,分任务级拒答、计划修正、执行期危险、注入攻击、序列记忆五类;论文称以往基准最多覆盖其中两类且不少只评文本输出,RoboRisk 五类全做,并在仿真和真机上闭环执行每个任务。六个受测基础模型在基准上的伤害率落在 9.06% 到 76.92%。
对应的解法是 LEASH(Lease-Enforced Agentic Safety Harness):一个模型无关的安全层,能插进几乎任何智能体框架,把规划器当黑盒、不需重训。它用决策模型(Jev 或 OpenAI 的 Decisions API)设三道闸门:规划前审查指令的任务闸门、每个动作执行前的动作闸门,以及长技能中夹爪张开、倾倒这类不可逆操作执行前的提交闸门;每道闸门的审查都基于当前相机画面,而不是像现有防护那样主要检查文本,规划器与三道闸门共享同一份安全策略。
结果是伤害下降但没清零:仿真中 GPT-6 Astra 的伤害率从 11.23% 降到 0.00%,安全成功率从 78.99% 升到 80.80%;真机上 GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5、Gemini 4 Argon 加 LEASH 后 13 次运行均无观察到伤害,安全成功率都是 84.62%。平均端到端时间只增加 1.66%,三道闸门的估算成本约占单次运行总成本的 0.66%。GPT-6 Luna(仿真)与 Grok 4.7(真机)加 LEASH 后仍有 12.68% 和 38.46% 的伤害率,作者因此不建议这两个模型用于真机实验。
点评
对做机器人本体软件和智能体框架的工程师,这篇工作给出两件能直接用的东西:一层与模型无关、能插进几乎任何智能体框架的安全层(三道闸门加一份规划器与三闸门共用的安全策略),以及一个把语义风险落到闭环执行上的评测任务集。安全层把规划器当黑盒,不需要重训,新模型发布后即可套用;代价也很小,端到端时间只多 1.66%,闸门成本约占单次运行总成本的 0.66%。实际收效取决于两件事:规划器是否遵守那份共享策略、闸门用的决策模型判得准不准——在能力弱的规划器上改善有限,GPT-6 Luna 与 Grok 4.7 即使加上 LEASH 仍有明显残余伤害。
结论全部出自作者自建的 RoboRisk 基准,属作者论文自评,本次材料未包含第三方复现。真机部分每个任务在每种配置下只跑一次运行,11 种配置合计 143 条记录,样本极小;仿真侧每个任务内跑三个种子再按任务等权平均,结果由人工判读。GPT-6 Luna 因预试中手臂动作不可预测被排除在真机评测外。两个机器人专用 API(Dream API、PokeBot RoboAPI)只在改造过的 13 任务仿真子集上评测,每任务三个种子共 39 次运行;因为它们只返回动作、harness 不可修改,没有与 LEASH 一起评测。作者自陈的局限:LEASH 依赖审查模型的准确率和规划器行为;当前决策模型推理能力有限,动作闸门和提交闸门只能拦截、不能终止任务;一旦闸门判错而规划器又不遵守策略,仍可能发出不安全动作,这解释了 GPT-6 Luna 和 Grok 4.7 收效有限;当前模型在真机有人在场时无法兼顾安全与协作;提交闸门只覆盖夹爪张开和倾倒,长技能(如 VLA 技能)内的其他危险未被监控。
版本与核查范围
版本 2611.14115v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p3.1;#S1.p4.1;#S1.p5.1;#S1.p6.1;#S5.SS2.p1.1;#S5.SS2.p1.1;#S5.SS6.p1.1;#S5.SS2.p2.1;#S5.SS1.p3.1;#S5.SS1.p4.1;#S6.p1.1;#S5.SS1.p1.1
