攻击越狠，模型越聪明？阿里用动态对抗驱动「智能涌现」

PaperWeekly · 2026-11-12 20:35 · 1 阅读

让你更懂AI的 2026-11-12 20:35 北京

大模型越狱率逼近80%

从动态内容审核、多模态越狱到感知增强的对抗自博弈，阿里安全 AGI 实验室御风大模型团队（Yuvion Team）通过三项连续工作提出：真正可靠的安全能力，需要经受持续对抗的检验；将对抗反馈引入训练，则有望推动模型形成更鲁棒的意图理解能力。

2025 年 10 月，OpenAI 等机构的研究者发表了 The Attacker Moves Second，对当前大模型安全评测提出了一个尖锐质疑：攻击者后手。

真实用户可以通过持续的对抗来绕过安全系统；如果评测仍只关注固定攻击集和静态 benchmark 分数，就可能高估系统面对真实对手时的安全性。

进入大模型时代，攻击者试错与演化的成本持续下降。安全系统面对的不是一份固定试卷，而是一个会根据反馈调整策略的对手。

当攻击者不断学习，防御者能否也在对抗中变强？

这也是御风大模型团队长期探索的“对抗即智能”：不仅通过对抗发现问题，更让这些问题推动模型学习更鲁棒、可泛化的规律。

围绕这一问题，阿里安全 AGI 实验室御风大模型团队先后完成了三项工作。

前两项工作分别从 AI 安全与内容安全出发，让攻击者真正“动起来”，揭示了现有安全系统在持续对抗下的薄弱性：

AI 安全方面，MAMJ 让攻击策略和攻击模型共同进化。Gemini、GPT 等主流多模态模型的攻击成功率，从静态攻击下最低约 3%，升至面对持续进化攻击者时的约 80%。
内容安全方面，EvoHarmBench 让攻击者根据审核反馈持续改写。在 7 个主流大模型审核器上，直接审核时的平均 ASR@Readable 为 38.4%，经过 12 轮动态对抗后升至 80.3%。

第三项工作 PASP 则给出了团队对这一问题的答案：将动态攻击思想引入训练，并借鉴人类的认知机制，让模型在持续博弈中发现安全盲区，识别变化表达中不变的有害意图，将平均 ASR 从监督微调后的 44.93% 降至 11.46%。

EvoHarmBench：动态对抗下脆弱的内容安全

论文链接：

https://arxiv.org/abs/2608.27844

收录会议：

EMNLP2026 Findings

项目地址：

https://github.com/Alibaba-VELLDEPTH/EvoHarmBench

攻击者会不断改写，静态评测够用吗？

传统内容安全评测通常将一批固定样本一次性输入审核系统，再以准确率、召回率或攻击成功率衡量效果。

这种评测方式可以回答“模型是否见过并识别这类表达”，却难以回答一个更接近真实对抗行为的问题：当攻击者看到拦截结果、继续修改表达时，审核系统还能守住安全底线吗？

为此，团队提出 EvoHarmBench，将内容审核评测从一次性的静态测试推进为反馈驱动的持续对抗。

从单条样本到策略演化：让攻击者根据反馈学习

EvoHarmBench 基于 5002 条真实场景中的人类对抗样本构建，覆盖引流、赌博欺诈、辱骂、色情和灌水五类违规内容，并按照风险语义与变异模式组织为 229 个评测子簇。

相较于逐条生成孤立攻击，子簇让系统能够学习和检验一类内容中可复用的规避策略，更接近线上黑产话术成批演化、快速扩散的现实过程。

在每轮评测中，改写模型依据当前策略生成新表达，目标审核模型给出拦截或放行结果，比较模型判断原始违规意图是否仍然保留，反思模型再根据两类反馈更新下一轮策略。

只有当簇级综合得分严格提升时，新策略才会被接受。这样既避免把“删掉违规含义后的安全文本”误算为攻击成功，也能够模拟真实用户在失败后继续试探的过程。

模型的早期改写可能走向两个极端：表达过于直接，则仍会被审核器拦截；或者隐藏过度，虽然被放行，却已经丢失原本的违规意图。

随着反馈不断返回，后续策略逐渐学会在隐晦表达与语义保留之间取得平衡，最终形成“绕过模型审核，但仍能被人类识别”的文本。这正是单轮静态评测难以发现、却在线上对抗中真实存在的风险。

关键结果：持续对抗让攻击成功率升至 80.3%

EvoHarmBench 使用 ASR@Readable 作为核心指标：只有同时满足“绕过审核”和“违规意图仍可被人理解”的文本，才计为攻击成功。

在 7 个主流大模型审核器上，直接审核的平均 ASR@Readable 为 38.4%；经过 12 轮持续对抗后，平均值升至 80.3%，提升约 42 个百分点。各主流模型的最终结果集中在 73.0%–88.8%。

这些结果表明：静态评测中的高分，并不等于动态对抗下的可靠安全。内容审核系统既要识别已经出现过的违规模式，也要在攻击者持续改变表达时保持稳定。

面向真实业务的安全评测，需要同时考察攻击者根据反馈持续调整的能力、改写后的违规意图是否保留，以及攻击能否跨模型迁移，让评测从一次考试变成持续攻防。

MAMJ：动态对抗下脆弱的AI安全

论文链接：

https://arxiv.org/abs/2608.27531

收录会议：

EMNLP2026 main

项目地址：

https://github.com/Alibaba-VELLDEPTH/MetaJailbreak-VLM

不只修改图片，攻击者本身能否持续学习？

AI 安全领域并不缺少对抗研究，但图片带来的风险仍被低估。

已有多模态越狱方法看似形式多样，却大多建立在人工设计的攻击模板或固定策略上，例如把攻击文本嵌入图片，或者通过图文配合完成角色扮演。

即使部分方法会反复修改具体的图片和指令，负责生成攻击的策略与模型本身通常并不会学习。

这类方法可以针对具体样本反复尝试，却往往难以将经验沉淀为攻击者自身的能力。

两层进化：更新攻击策略，也训练攻击模型

团队由此提出 Meta-Adaptive Multimodal Jailbreaking（MAMJ）：不再只优化一次攻击所使用的图片和文本，而是让攻击者本身根据成败反馈持续进化。这种进化发生在两个层面：

攻击策略持续更新。攻击者不再依赖人工设计的固定模板，而是根据一组攻击轨迹的成败反馈，持续反思并更新攻击策略，逐步寻找当前防线尚未覆盖的薄弱点。
攻击模型持续学习。系统利用群体攻击成功率作为奖励，通过强化学习更新攻击模型参数，使其不仅能够“换一种说法”，还可以从历史对抗经验中学习并持续增强攻击能力。

具体来说，给定恶意目标，攻击模型在攻击策略提示词的指导下生成图像提示和文本指令，再由图像生成模型 G 生成攻击图片 I，并提交给目标模型 V：

传统方法主要优化某一次攻击所使用的图片和指令，MAMJ 则把优化目标提升到了攻击者层面：同时寻找更有效的策略，并更新攻击模型参数：

训练分为两个阶段。

第一阶段聚合多条失败轨迹，由 LLM 归纳失败原因并迭代更新策略；第二阶段固定已经优化的策略，再通过群组相对奖励和强化学习更新攻击模型。

前者回答“下一步应该采用什么方法”，后者学习“如何更有效地执行这种方法”。两者结合，使攻击者能够根据目标模型的反馈持续积累经验。

关键结果：会学习的攻击者，暴露更深的安全盲区

实验表明，Gemini、GPT 等 SOTA 多模态模型在静态评估中最低仅有约 3% 的攻破率，但面对 MAMJ 时，攻击成功率上升至约 80%，从“基本安全”变成“几乎可以被稳定劫持”。敲响了对抗性下多模态安全的警钟。

这些结果再次说明：静态攻击下表现安全，并不代表模型能够抵御持续进化的对手。

EvoHarmBench 与 MAMJ 分别从内容审核和多模态越狱两个场景揭示了同一个问题——当攻击者获得反馈、学习与进化能力后，许多看似稳固的安全边界会迅速失效。

但这也带来一个更重要的问题：既然持续对抗可以不断增强攻击者，能否把同样的机制交给防御者，让模型也在博弈中成长？

PASP：借鉴人类认知机制，理解不变的有害意图

论文地址：

https://arxiv.org/abs/2610.15449

模型为什么读不懂人类暗语？

大模型已经具备很强的语言理解能力，却仍会漏掉一些人类轻易就能读懂的有害表达。

一句话经过谐音替换、字形拆分或表情符号包装后，原本的含义对人依然清晰，在模型眼中却可能变成无害内容。攻击者正是利用这种认知差距，在保留传播意图的同时绕过审核。

人类理解这类对抗表达，依靠的不只是字面信息。一方面，人会综合读音、字形与上下文，理解隐晦表达背后的意图；另一方面，人会结合交互情境，推断对方为什么刻意采用某种表达。

相比之下，以文本 token 为主的输入未能充分呈现这些感知线索，而固定攻击集上的训练也难以让模型适应不断变化的规避策略。

补充感知线索，在持续博弈中学习理解

为此，团队提出 Perception-Aware Adversarial Self-Play（PASP），通过多感知视图补充读音与字形线索，并在对抗自博弈中利用持续变化的攻击提供训练反馈，推动模型理解不同表达背后不变的有害意图。

多感知理解：结合语境、读音与字形，理解隐晦表达。给定一条对抗文本，PASP 将原始文本、拼音表示与文本渲染图像共同输入防御模型，让模型结合不同感知线索，输出意图解释与风险判断。
对抗自博弈：让不断变化的攻击推动模型学习。
○ 攻击者生成挑战：从 6 类共 22 种基础策略中选择并组合改写方式，根据防御反馈寻找保留有害意图、且人类仍可理解的规避表达。
○ 防御者学习理解：利用这些样本训练，分别对意图理解、审核判断和输出格式给予分段奖励。其中，意图奖励以改写前的真实含义为参照，引导模型理解不同表达背后不变的意图，并通过 GRPO 更新模型。
○ 攻防交替演进：更新后的防御者成为下一轮攻击目标，促使攻击者探索新策略，使训练持续围绕模型新暴露的盲区展开。