跳至正文
原文导读 · 原标题中译

STeP:以信号时序逻辑为视觉语言模型动作生成提供精确规范

STeP: Signal Temporal Logic for Precise Specifications for Action Generation with Vision Language Models

材料发布 2026-09-28 · arXiv · 作者论文 · 核查 2026-10-18
图 2:STeP 在 running drawer 示例上的完整流程总览。系统 2(System 2)把语言指令、当前观测与技能库(Skills Library)统一形式化为单条 STL(时序逻辑)规范 φ,随后依照 SLICE [20] 将其分解为有序的子任务规范 φ1(open)、φ2(pick)、φ3(place),并为每个子任务搭配相应的执行器。需要注意的是,外层时序算子的时间窗界定的是其自身所含目标的见证时刻,而非嵌套在其内的更深层目标,因此嵌套的截止时间可以超出外层时间窗。系统 1(System 1)使用 Contact-GraspNet [34] 采样抓取位姿,用 RRT(快速扩展随机树)规划参考轨迹,并以由 STL 鲁棒性引导的 MPC(模型预测控制)进行跟踪。STL 监控器在子任务成功时推进到下一个子任务,失败时携带 Memory(记忆)上下文触发向系统 2 的回溯调用。MPC 以 10 Hz 运行,Memory 每秒更新一次。 图片出处

内容摘要

机器人遵循自然语言指令,不仅要完成目标,还要在执行过程中满足空间、时间与逻辑要求。作者提出STeP,将这些要求显式表达为信号时序逻辑(STL)规范,而非仅隐含在学习策略中。

框架由高层推理与低层控制协同工作:高层将指令转为整项任务的规范,再分解为子任务,并让持续性约束随各阶段保留;低层结合运动规划与模型预测控制,将STL鲁棒度纳入优化。在线监测在安全条件失守或目标超时后触发重规划,并携带执行历史,保留原任务上下文。

作者报告,在新建的LIBERO-Constrained基准49个任务—约束实例上,STeP的安全成功率为80%,SmolVLA和移除STL的VLM-MPC-Cost分别为14%和20%;该指标要求完成任务且满足全部约束。在LIBERO-PRO六种组合中的五种,成功率为54%—89%,但Goal套件的任务扰动下仅为16%。

这些结果需结合实验条件理解:仿真使用特权状态获取物体信息;LIBERO-PRO基线取自既有论文,STeP数据来自作者自己的运行,并非全部方法的统一重跑。

点评

该研究为“语言推理—执行—监测—重规划”提供了共享的显式规范接口,支持在所测操作任务中将任务完成与约束满足分开评估。

证据来自作者论文,不是独立复现。固定谓词与技能映射限制全新任务泛化;低层控制的短滚动时域使远期截止时间影响有限,执行落后后的追赶能力不足。

版本与核查范围

版本 2607.18580v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#S1.p3.1;#S4.SS2.SSS1.p1.1;#S4.SS2.SSS2.p1.1;#S4.SS2.SSS3.p1.1;#S5.SS0.SSS0.Px2.p1.1;#S5.SS2.p2.1;#S5.SS2.p1.1;#S5.SS0.SSS0.Px1.p1.1;#S5.SS1.p4.1;#S5.SS0.SSS0.Px1.p1.1;figcaption[78]