lifazeng's Blog
VLSA: Vision-Language-Action Models with Plug-and-Play Safety Constraint Layer
标题：#
作者：Songqiao Hu∗ Zeyi Liu∗ Shuang Liu Jun Cen Zihan Meng Xiao He† [email protected]
出版年份：9 Dec 2025
机构: Tsinghua University DAMO Academy, Alibaba Group TetraBOT
会议/刊物：
链接：http://arxiv.org/pdf/2512.11891
📜 Abstract#
Task:#
VLA防止潜在物理交互碰撞。引入了一种视觉-语言-安全动作（VLSA）架构，命名为AEGIS，其中包含一个通过控制障碍函数制定的即插即用安全约束（SC）层。
Technical challenge for previous methods (围绕我们解决了的technical challenge展开讨论)#
现有方法#
强化学习与安全约束整合
控制屏障函数CBF作为一种安全过滤器，CBF通常被表述为一个优化问题，通过最小化对机器人名义控制（即VLA的输出动作）的调整，确保安全集的前向不变性[48–50]。这种机制严格防止碰撞，同时最大程度地保留原始任务行为。
技术challenge：（为什么难）#
现有VLA根本没考虑安全性，用强化学习约束需要重新训练， 难以与预训练模型整合
软目标，缺乏显式的物理约束
控制侧CBF需要精确几何信息，且都被视为静态障碍物，且缺乏任务上下文，
一句话pipeline#
VLSA在原始VLA动作输出之后新增了一个SC层，将可能不安全的动作修改为安全的替代方案。安全评估+安全控制模块
解决：#
- VLM识别障碍物+Grounding-DINO空间定位 +投影到点云空间得障碍物3D representation
- 碰撞球体建模+碰撞动力学约束+构建SDF for CBF+二次线性求解器求解安全控制信号
benchmark 基于LIBERO构建safe benchmark 从每个 LIBERO 套件中选择四个任务，并根据添加障碍物带来的干扰程度将每个任务进一步划分为两种具有不同安全级别的场景。
一句话介绍解决challenge的key insight/motivation(insight和technical contribution不一样,insight是比较通用的high-level的思想)#
一句话介绍insight/motivation#
一句话介绍insight的好处(不一定要在这里说，因为如果后面要提technical contribution的话，还会再说technical advantage)#
介绍technical contributions#
一句话介绍technical contribution1#
一句话介绍technical contribution1的好处#
一句话介绍technical contribution2#
一句话介绍technical contribution2的好处#
🔬 Introduction#
Task and Application:#
Technical challenge for previous methods (围绕我们解决了的technical challenge展开讨论)#
Technical challenge1#
Previous method#
Failure cases (Limitation)#
Technical reason#
Technical challenge2#
Previous method#
Failure cases (Limitation)#
Technical reason#
介绍解决challenge的our pipeline#
一句话介绍key innovation/insight/contribution#
contribution1#
为了解决什么问题#
具体怎么做的#
讨论advantage/insight#
contribution2#
为了解决什么问题#
具体怎么做的#
讨论advantage/insight#
🚩 Method#
Overview#
具体任务及输入输出#
方法的大致步骤#
Pipeline Module1#
Motivation#
做法#
为什么work#
technical advantage#
Pipeline Module2#
Motivation#
做法#
为什么work#
technical advantage#
📌 Experiments#
Comparison experiments#
Ablation studies#
论文的core contributions以及一些重要的components对论文方法performance的影响#
列出每一个pipeline module中design choices对论文方法performance的影响#
🔬 Limitation#
需要给limitation做出合理的解释: 为什么我们方法有这样的limitation、改进?#