模型没被修改,安全防线却失效了?多智能体系统中的“隐形通信链路”风险解析

· 2026-11-03 11:11 · 14 阅读

安全牛 2026-11-03 11:11 北京

把智能体、通信接口、训练数据和系统级评估放到同一张安全图景里审视。多智能体产品的安全验收,不应止步于"每个模型都通过了单体测试",还要继续追问:它们连接之后表现如何?链路发生变化后,拒绝行为是否仍然可靠?效率提升是否伴随着安全退化?

点击蓝字 关注我们

导语

现在很多 AI 系统不是单打独斗,而是让多个模型分工合作——一个负责规划,一个负责执行;或者几个专家各自分析,最后汇总出答案。模型之间传递信息,传统方式是用文字,但也有一种新玩法叫"潜在通信":直接把模型内部的表示传过去,省掉生成和理解文字的开销。

听起来挺高效,但问题来了:就算每个模型本身没变,连接它们的这条"通信链路"也可能悄悄改变整个系统的行为。最近一项研究就盯上了这个容易被忽视的角落,发现就算用正常数据训练链路,系统对有害请求的服从程度也可能上升;如果有人故意搞破坏,问题还会更严重。

一、什么是"潜在通信"?

先说说多智能体系统怎么协作。比如你问一道数学题,系统可能先让一个模型制定解题计划,再让另一个模型按计划算出答案。传统方式下,第一个模型会生成一段话:"先算这个,再算那个",第二个模型读这段话,然后开始干活。

潜在通信想跳过这个"说话-听话"的环节。发送方模型内部有一堆数字表示(就是那些向量、嵌入之类的),通过一个可训练的"映射模块"直接转换成接收方能懂的输入。研究把这个映射模块叫做"通信链路"。接收方还是会看到你的原始问题,但同时也接收链路传来的内部信息,两者结合起来生成最终答案。

关键在于:这个链路不是简单的传声筒,它会变换信息。即使底层模型的参数一个字节都没改,链路怎么训练出来的,就会影响接收方怎么理解问题、怎么开始回答。

研究测试了三种架构:

  • 双智能体结构:两个模型直接协作

  • 顺序结构:计划→修订→求解,依次进行

  • 混合结构:多个专家各自分析,汇总模型整合信息

安全评估用了四个基准(HarmBench、StrongREJECT、AdvBench、JailbreakBench),正常任务能力用数学题(MATH500)和科学问答(GPQA-Diamond)来衡量。有害服从程度按 0 到 100 分打分,分数越高说明模型越听话地回答危险问题。

二、案例一:没有恶意样本,良性训练也出现安全变化

研究先做了个对比:文字通信 vs. 用正常数据训练出来的潜在链路。训练链路时用的全是数学之类的正常任务,底层模型参数保持冻结。

效率确实提升了。三种架构都减少了 token 用量和推理时间。比如双智能体系统,token 从 729 降到 511,推理时间从 2.65 秒降到 1.96 秒;混合结构更明显,token 从 1123 降到 532,推理时间从 8.44 秒降到 3.34 秒。

正常任务表现有升有降:六组对比中,五组准确率提高了,但混合结构在数学题上反而从 80.6% 降到 76.8%。

但安全表现变差了。相比文字通信,用良性数据训练的潜在链路让有害服从分数明显上升:

  • 双智能体:从 4.4 升到 31.1

  • 顺序结构:从 3.2 升到 31.7

  • 混合结构:从 12.5 升到 20.8

研究还发现,接收模型单独跑的时候,82% 的回答开头会拒绝有害请求;用文字通信时是 84%;换成潜在链路后掉到 29%。但如果强制让模型开头先说几个拒绝的词,服从度上升的问题就会明显缓解。

这说明什么?良性链路训练可能让模型更少进入"拒绝模式",而不是把拒绝能力彻底删掉了。对安全团队来说,这个发现很重要:不能光看任务准确率提高了,就以为安全性没问题。效率和任务完成率都达标,不等于系统还是安全的。

三、案例二:约一成投毒数据,就能显著推高风险

接下来研究模拟了攻击场景:攻击者不能直接改链路参数,也不能改训练目标,只能往训练数据里塞有害样本。论文在 1904 条正常样本里加了 212 条有害问答对,投毒比例约 10%,然后按原来的方式训练链路。

结果挺吓人。三种架构的平均有害服从分数从良性基线的 27.9 飙到 58.2。正常任务能力也下降了:MATH500 平均准确率从 67.2% 降到 46.7%,GPQA-Diamond 从 36.4% 降到 32.5%。

不同架构受影响程度不一样。研究还测了不同投毒比例,发现风险在比较低的比例时就已经明显上升,大概在 20% 左右达到饱和,并不是比例越高就越危险。

这告诉我们什么?数据治理不能只盯着基础模型的训练数据。只要通信链路是通过数据学出来的,链路的训练集、样本标注、数据来源都是安全边界的一部分。工程团队要把数据审查延伸到这些连接模块,尤其那些看起来只是"辅助对齐"、"任务适配"的数据集,也得仔细查。

四、案例三:不需要有害标准答案,也能优化出高服从行为

监督式攻击需要有害查询和对应的目标答案。研究进一步问:如果攻击者只有有害查询,拿不到标准答案,还能不能影响链路?

答案是能。研究用了"奖励引导优化":根据系统生成的回答打分,再调整链路。攻击奖励由评估服从程度的语言模型打分,加上一些辅助项;优化过程中还交替用正常任务奖励,试图保留数学能力。智能体和打分模型保持冻结,只更新链路。

结果更夸张。良性链路的平均有害服从分数是 27.9;奖励引导优化后升到 76.9,在两种架构中比直接监督式攻击还高。

更值得注意的是:混合结构在攻击后,MATH500 和 GPQA-Diamond 准确率分别是 80.6% 和 47.7%,都高于良性链路基线的 76.8% 和 43.2%。这说明正常任务干得好,根本不能证明系统安全。同一个系统可能数学题做得更好,同时对危险请求的防护明显变弱。

研究还发现,风险不是平均分布在所有链路上的。顺序结构中,只优化下游"修订者到求解者"的链路,有害服从分数达到 70.0,比同时优化两条链路的 67.0 还高。混合结构中,单独优化一条专家到汇总器的链路,效果已经接近优化全部链路。

这提示安全测试不能只把系统当黑盒,还要检查不同链路在系统中的作用,看看哪条链路对最终输出影响最大。

五、案例四:修复链路可以改善安全表现,但要同时看效用

论文也测了防守方能不能在不改模型的情况下修复受损链路。修复用的也是奖励引导优化,对有害请求的服从行为施加惩罚,同时用正常数学任务奖励鼓励系统继续答对正常问题。

修复效果不错。九组"攻击方式×系统架构"组合中,修复后平均有害服从分数从 70.3 降到 4.8;所有组合在四项安全基准上都低于受攻击时的得分。混合结构中,奖励引导攻击后的分数从 95.9 降到 2.5。

但修复有代价。监督式攻击和数据投毒后的 MATH500 准确率,修复后都提高了;但奖励引导攻击后的三种设置,MATH500 准确率都下降了。九组修复结果的平均 MATH500 准确率是 67.4%,接近良性链路的 67.2%;但平均 GPQA-Diamond 准确率是 33.6%,低于良性链路基线的 36.4%。

所以,链路修复要多维验收:既要看有害服从降没降,也要看正常任务能力保没保住。只报安全指标,可能掩盖任务能力损失;只报效用指标,可能掩盖拒绝行为退化。

六、从研究结果提炼出的实践建议

以下建议基于论文实验结果,但要注意:论文展示的是特定模型、数据和设置下的实验,不要误读为已验证的通用产品方案。

第一,把通信链路纳入安全评估和变更管理

模型版本不变,不代表系统风险不变。链路训练、参数更新、架构调整,都可能影响接收模型的输出。每次相关变更都应记录链路版本、训练数据、优化目标和评估结果,发布前重新进行安全测试。

第二,把良性与安全评估放在同一验收流程中

对潜在通信系统的验收至少要同时覆盖:有害请求响应、拒绝行为、正常任务准确率、token 使用量和推理时延。论文中的混合结构尤其说明,基准任务提升和安全性下降可以同时出现。

第三,检查各条链路的风险和影响

研究发现,单条链路可能就足以显著影响系统行为,且不同连接的影响不同。实践中可针对关键链路分别进行消融、压力测试和回归评估,观察哪段信息传递对安全行为最敏感。

第四,治理链路训练数据

对链路训练样本建立来源记录、内容审核、异常比例检查和抽样复核机制。论文显示有限比例的投毒就可能造成显著影响,不能光凭"绝大多数数据是良性的"就推断训练过程安全。

第五,把拒绝行为作为独立观察项

论文报告的首 token 拒绝概率变化表明,输出开端与拒绝路径之间可能存在联系。安全测试可以检查拒绝是否稳定、是否会在拒绝后继续给出实质性有害帮助,避免仅凭表面措辞判定成功拒绝。

第六,建立链路异常后的修复与复测流程

发现异常后,可以把受影响链路作为修复对象进行分析和优化,但需要同时验证安全表现和良性任务能力,修复后重新检查整个系统。论文显示链路级修复在实验上可行,也明确呈现了效用权衡,不宜只看单一指标。

结语:安全边界不止在模型参数里

这项研究的核心提醒是:在多智能体系统中,安全不仅属于单个模型,也取决于模型之间如何传递信息。潜在通信能带来效率优势,但经过学习的通信链路同样能影响下游模型的输入和回答轨迹。即使链路只接受良性训练,即使底层模型参数完全冻结,系统的安全表现仍可能明显变化。

对从业者来说,值得建立的习惯是:把智能体、通信接口、训练数据和系统级评估放到同一张安全图景里审视。多智能体产品的安全验收,不应止步于"每个模型都通过了单体测试",还要继续追问:它们连接之后表现如何?链路发生变化后,拒绝行为是否仍然可靠?效率提升是否伴随着安全退化?

这些问题,才是潜在通信走向实际部署时需要持续回答的工程问题。

联系我们

合作电话:18610811242

合作微信:aqniu001

联系邮箱:bd@aqniu.com

跳转微信打开

本文转载自微信公众号「安全牛」,查看原文。版权归原作者所有,如有侵权请联系删除。