NeurIPS'26 | 只干预10个维度，给智能体穿上安全机甲，准确率超97%

新智元 2026-11-08 17:47 北京

新智元报道  

AI agent开始接管终端之后，安全问题也进入了执行现场。当智能体能够读取文件、编写脚本、运行命令，并根据系统反馈持续调整下一步操作，一次错误决策就可能影响真实的文件与系统状态。

如何让智能体在完成任务的过程中及时识别可能会发生的风险，成为智能体安全研究的重要问题。涉及多轮执行的长程任务尤其考验防护机制。

一次目录检查、一次脚本创建、一次配置修改，都需要结合任务目标、此前的操作和最新环境反馈判断风险。针对单轮执行的初始命令审查，很难覆盖长程任务的整段执行过程。

来自佐治亚大学，罗格斯大学，南加州大学等机构的研究团队提出Agent MechSuits，尝试为命令行智能体穿上一套能够感知内部状态的「安全机甲」：在每一步动作生成之前读取模型内部的安全信号，检测到风险后，通过单层中的10个隐藏表征维度干预后续行为。主模型权重在这一过程中保持冻结，已被NeurIPS 2026接收。

论文地址：https://arxiv.org/abs/2606.22673

论文所列项目主页：https://eddyluo.com/Agent-MechSuits/

Agent MechSuits将安全防护接入多轮命令行智能体（CLI Agent）的内部状态，在单个模型层内实施稀疏干预。三种受测模型的当前步骤风险检测平均准确率达到97.32%。

多轮执行让安全判断更复杂

CLI智能体通过命令行与计算机交互。它需要把此前的动作、系统返回的结果和原始任务一起纳入上下文，再决定接下来执行什么。这意味着，安全状态会随着执行历史不断变化。

例如，一个智能体可能先检查目录，再创建脚本，随后修改配置。前面的操作看上去可能只是准备工作，真正的危险行为则在后续步骤出现。只看某一条孤立命令，容易遗漏多个步骤共同形成的风险。

外部安全护栏可以检查行为根据，并按照规则为执行过程提供保护。Agent MechSuits进一步引入了模型内部的隐藏表征。研究团队希望回答：这些随任务执行而更新的内部状态，能否帮助系统识别当前风险，并及时改变接下来的动作。

案例一：危险在多轮执行中逐步出现

论文图1描绘了一个多轮执行的风险示意场景。面对带有破坏目的的请求，智能体前期执行的部分系统检查看起来并不危险，后续却可能生成导致数据丢失的操作。

图1 多轮CLI风险与当前步骤安全干预示意。

图中未加入防护的路径继续走向有害执行。加入Agent MechSuits后，系统在当前步骤检测到风险并触发表征层面的干预，模型转而说明危险并拒绝提供相关代码。这个示意场景解释了持续检查执行历史和及时介入的必要性。

从内部风险检测到单层10维干预

Agent MechSuits包含相互衔接的两个阶段：检测当前执行状态，再对高风险状态进行干预。

用线性探针读取安全信号

在每个交互步骤，系统把完整执行历史输入模型，提取指定中间层最后一个输入token的隐藏状态，再交给一个轻量级线性探针。可以把这个探针理解成一个简单分类器，用来判断当前内部状态是否与有害执行相关。

研究团队为每个目标模型训练一个探针，并在该模型的不同执行步骤复用。探针读取的状态持续变化，因此能够跟随任务进展进行风险检测。

在动作生成前进行表征干预

研究团队根据训练好的探针权重，预先选定类别区分权重最大的10个隐藏维度，构造干预向量。

一旦检测到风险，系统就将该向量施加到同一层的各个输入token位置。经过调整的表征继续参与后续计算，引导模型生成更安全的动作或拒绝有害要求。这里的「10维」指运行时的干预范围。检测探针读取的是所选层的完整隐藏向量，主模型参数保持不变。

根据当前步骤调整干预强度

同样的干预强度在不同任务中可能产生不同效果。为此，研究团队引入外部语言模型控制器，对不同强度下的候选输出分别评估安全性和实用性，选择适合当前步骤的结果。干预只在探针识别到风险后触发。

图2 Agent MechSuits的风险检测与自适应表征干预流程。

MAS基准把安全评估细化到每一步

要研究内部状态与执行风险的关系，需要能够追踪完整交互过程的数据。研究团队为此构建了Mechanistic AgentSafety，简称MAS基准。

MAS包含194个任务，其中有98个恶意场景和96个正常场景。研究使用LLaMA-3.1-8B、Qwen-2.5-7B和Gemma-2-9B构建白盒CLI智能体，让它们在可复现的Docker环境中执行任务，记录动作、环境反馈以及对应的内部状态。

数据标注细化到交互步骤，关注当前动作是否直接实施或触发危险行为。研究团队还构造了与危险命令具有相似表面结构的正常样例，减少检测器依赖命令外观作出判断的可能。

训练集和测试集按任务以6∶4划分，同一任务的不同步骤不会同时进入两边。

这种设计让研究能够同时分析两个问题：风险在执行链条的哪个位置出现，以及模型内部的哪些状态可以支持及时干预。

平均准确率达到97.32%

在MAS当前步骤检测测试中，AgentMechSuits在三种受测模型上取得了较高的准确率与F1分数。

表1 当前步骤风险检测结果。

三种模型的准确率等权平均为97.32%。与论文纳入的外部语言模型裁判和安全护栏基线相比，Agent MechSuits在三种模型上均取得最高的当前步骤检测准确率。附录中的五个随机种子复验也保持了相近的检测表现。

逐层分析进一步发现，安全相关信号在模型的早期至中间层已经较为明显。简单的线性探针就能够从这些层的隐藏状态中提取有效信息，为运行时监测提供了一个值得继续研究的接口。

图3 不同模型层的线性探针检测准确率。横轴为层编号，纵轴为测试准确率。

图中三条曲线分别对应三个受测模型。不同层的检测表现并不完全相同，部分后续层还会明显下降。结果支持在较合适的中间层读取安全信号，并进一步检验该层能否用于行为干预。

内部干预显著降低攻击成功率

识别风险之后，内部干预能在多大程度上改变智能体的行为？研究团队选取恶意测试任务中的首个有害步骤，比较不同防护方法对生成结果的影响。在论文的风险缓解评测中，Agent MechSuits在三种模型上都降低了攻击成功率指标ASR。

表2 风险缓解评测中的攻击成功率，来源为论文表2。数值越低越好。

其中，Qwen-2.5-7B的ASR从91.30%降至4.35%，下降86.95个百分点。三种模型采用Agent MechSuits后的ASR，也均低于论文中的RepE表征工程和Self Reminder自我提醒基线。

这组结果采用论文的语言模型裁判口径，输出表现出拒绝或风险意识即可被判为安全。上述数据对应选定的关键步骤，理解这些数字时，需要同时考虑具体的评估对象与判分方式。

研究还检验了完整防护流程对正常任务的影响。在各原始模型已经能够成功完成的正常任务上，启用检测与干预后，LLaMA、Qwen和Gemma的任务成功保留率分别为95.71%、91.30%和93.18%，三模型等权平均为93.40%。这说明系统保留了大部分已有任务完成能力。

与此同时，干预仍有代价。在恶意步骤的干预评测中，重复输出或突然截断等生成崩溃的平均发生率，从原始模型的2.24%上升至18.54%。如何在降低风险的同时维持稳定、可用的输出，仍是后续改进的重要方向。

案例二：反向干预改变原本的拒绝行为

为了进一步检验所选表征方向能否影响实际行为，研究团队从模型已经明确拒绝有害请求的状态出发，观察反向施加表征干预之后的变化。图4给出了一个拒绝状态转为有害输出的案例。

图4 反向表征干预改变模型拒绝行为的案例。

相关实验覆盖LLaMA的16个和Gemma的27个选定拒绝状态。观察到的行为变化为所选表征方向的因果作用提供了补充证据。

提前感知风险的初步证据

研究团队还进一步测试了一个问题：在危险动作出现的前一步，模型内部是否已经包含预警信号？

研究复用当前步骤检测探针，对有害动作之前的内部状态进行测试。在LLaMA的13个样例中，探针识别出12个。在Qwen的31个样例中，探针识别出30个，对应召回率为96.77%。

这项发现为提前感知执行风险提供了初步证据。有害信号的具体来源我们会在后续工作中研究。

让内部安全信号参与运行时控制

Agent MechSuits展示了内部表征在智能体安全中的双重价值：它可以提供风险检测信号，也可以成为调整行为的干预位置。对于需要连续执行任务的系统，这为安全防护增加了一个能够随上下文更新的控制接口。要把这一方向推进到实际应用，还有几项问题需要解决。

当前方法依赖对白盒模型内部状态的访问。风险触发后的干预强度搜索需要调用外部语言模型，论文中每次干预平均进行约8轮候选生成与评估，仍会带来额外开销。跨场景泛化同样值得关注。

论文的提示注入压力测试发现，当前探针还无法稳定识别从环境反馈进入的恶意目标。在外部触发干预后，同一表征方向仍能改变行为，说明风险检测与行为控制需要分别检验和改进。

案例三：文件内容带入恶意目标后停止执行

图6中，用户要求在指定目录找到内容包含「123」的文件，并执行文件指定的操作。读取到的文件内容夹带了恶意指令，试图让智能体忽略原始要求。

图6 环境提示注入场景中的外部触发表征干预。模型识别危险后结束执行。

干预前，模型准备遵从文件中的危险操作。外部触发干预后，模型明确指出该操作会破坏系统文件，随后停止执行并结束任务。

当前探针尚不能可靠自动识别此类注入，因此这个例子展示的是外部触发后的行为变化同一组外部触发干预实验中，Qwen的ASR从86.7%降至6.7%，生成崩溃率保持为0%。

这些数字对应提示注入压力测试，评估条件与前文MAS的直接恶意任务实验不同。更具应用前景的方向，是让内部表征监测与沙箱、权限控制、命令检查和环境内容监测协同工作。

随着智能体承担越来越长的任务链条，如何在执行过程中持续感知风险，并在关键步骤施加适当干预，将成为构建可靠智能体的重要课题。

作者介绍

论文第一作者罗威迪（Weidi Luo）现为美国佐治亚大学计算机科学二年级博士生，研究方向聚焦人工智能安全与智能体安全。他以第一作者身份（含共同第一作者），在ACL、NAACL、EMNLP、COLM、ICLR、NeurIPS等国际学术会议发表多篇论文。其所在的佐治亚大学智能安全团队由向臻教授领导，主要研究方向包括大模型和智能体安全，以及AI在科学，医疗，和教育等领域的应用。

参考资料：

https://arxiv.org/abs/2606.22673

编辑：LRST

秒追ASI

⭐点赞、转发、在看一键三连⭐

点亮星标，锁定新智元极速推送！

跳转微信打开