EchoLeak 漏洞教训我们:所有模型都易受提示词注入攻击

· 2026-11-20 08:00 · 1 阅读

原创 Scworld 2026-11-20 08:00 美国

作者:Itay Ravia

发布时间:2026年11月11日

评论:微软在 2025 年 5 月修补了零点击的 EchoLeak 漏洞,但根本问题依然存在:EchoLeak 这一漏洞展示了攻击者如何利用精心编写的电子邮件来利用 AI 的功能。

在回答一个常规问题时,微软 Copilot 读取了这封电子邮件,遵循了其中的指令,并透过浏览器自行加载的一张图像泄露了敏感数据。

大语言模型(LLM)无法区分指令和数据。Copilot 只是写了一篇回复,随之而来的就是一片混乱。我们正处于 2026 年的尾声、迈向 2027 年的节点,如今的智能体可以发送电子邮件、更新记录、调用内部 API 以及做更多的事情。这种潜在的弱点可能会导致大得多的影响范围。以下是 EchoLeak 带来的五个教训,有助于将这一影响范围降到最低:

1. 模型拒绝某项指令并不是一个充分的安全控制措施

所有模型都容易受到提示词注入的影响,各大厂商对此也心知肚明。OpenAI 曾披露,其自身的模型可能会被那些将自身复制到智能体输出中的注入手段所欺骗。

尽管自 EchoLeak 诞生以来,模型已经取得了长足的进步,但它们仍然无法凭自身阻止这些攻击。防御者的任务异常艰巨。他们必须挫败每一次攻击尝试,而攻击者只需成功一次即可。哪怕是一次失败的尝试也能教会攻击者一些东西,从而提高下一次攻击成功的几率。模型内置的防御机制不足以抵御此类攻击,因此必须用额外的、能够互补现有机制的护栏来对其进行加固。

这是一个固有问题。模型既是卫士,又是攻击目标。攻击者的指令与合法内容混杂在一起。模型自身的判断(每次尝试时可能会有所不同)决定了是否要遵循这些指令。应当做好准备,防范攻击通过引入独立于模型本身的额外护栏来绕过内置保护措施的可能性。

2. 切勿仅仅建立在已知攻击模式之上的防御

护栏通常使用经过训练以识别提示词注入模式(包括诸如“忽略之前的指令”或“重要系统更新”等短语)的 AI 分类器。这些分类器根据此类指令进行训练,只能识别其训练集中原本就存在的模式。攻击者总能找到超出这些模型训练集分布的措辞,从而使他们能够绕过这种训练分类器的方法。

EchoLeak 在没有提及 AI、Copilot 或指令的情况下,绕过了专用的跨提示词注入分类器。相反,攻击者将电子邮件写成是对人类收件人的请求。对分类器而言,这是一封正常的商业电子邮件;但对模型来说,它被解释为了一个需要执行的任务。

将攻击模式识别比作修补已知漏洞。两者都是必要的,但都不够充分。攻击者创造新变种的速度比防御者将其编入目录的速度还要快,而且大多数变种从未被披露过。因此,团队倾向于将模式识别仅仅作为防御层之一,而不是防御的基础。

3. 防御的核心依然是最小权限原则。

通过限制智能体可以调用的工具、可以访问的数据及其功能,团队可以缩小攻击面。在 EchoLeak 中,数据通过图像流出。Copilot 确实过滤了链接和图像,但攻击者避开了这些检查。这里具有讽刺意味的是:大多数用户根本不需要 Copilot 来显示图像。如果关闭该功能,攻击将无法通过任何方式将数据窃取出去。

对于智能体拥有的每一项功能,都要质问:

  • 它需要这项功能来完成工作吗?

  • 它是一直都需要,还是仅在特定情况下需要?

  • 默认禁用它或者要求人工审批会带来多大的负面影响?

4. 在代码中强制执行规则,而不是在提示词中

大语言模型功能强大,但相对容易操纵。如果存在明确的规则,就在代码中强制执行,而不要寄希望于提示词。

假设我们部署了一个 HR 智能体来回答薪酬问题。一个常见的错误是允许智能体访问所有员工记录,同时仅仅依靠一个提示词告诉它向每个人展示其自己的数据。恶意指令可能会导致模型忽略该提示词级别的限制。

相反,应在应用程序中强制执行规则。在应用程序代码中检查谁已登录,并确保应用程序始终只能冒充已登录的用户,而不会被授予广泛的数据访问权限。模型绝不应自行决定它被授权检索谁的数据。

5. 使用多层保护

不断叠加保护措施,直到攻击不再划算。让我们回顾一下过去。早在 2000 年,攻击者经常利用缓冲区溢出--这是一种允许他们覆盖程序内存并控制程序的漏洞。过去利用这样一个漏洞只需几分钟。这些漏洞并没有消失,但操作系统不断增加防御措施。举几个例子:栈金丝雀(stack canaries)可以检测内存何时被覆盖;数据执行保护(DEP)阻止注入的数据作为代码运行;地址空间布局随机化(ASLR)打乱内存地址,使攻击者无法预测瞄准何处。这些防御措施共同阻断了许多常见的攻击路径,并使利用漏洞的难度呈指数级增加。

AI 智能体也需要这种方法。层层设置安全防护,以便发现一个弱点并不会给攻击者提供他们所需的一切。这些防护措施可以包括追踪内容的来源、控制输出的去向、在工具调用运行之前根据策略进行检查。要求对高影响力操作进行人工审批,并监控与用户任务不匹配的行为。

微软修复了 EchoLeak,但其教训依然适用。提示词注入在短期内不会消失。团队需要分层部署不同类型的保护:攻击检测、最小权限访问、代码强制执行的策略、输出控制以及人工审批,从而确保某一道防线的失效不会演变成整个系统的沦陷。

https://www.scworld.com/perspective/the-echoleak-flaw-taught-us-that-all-models-are-vulnerable-to-prompt-injection

(完)

跳转微信打开

本文转载自微信公众号「安全行者老霍」,查看原文。版权归原作者所有,如有侵权请联系删除。