OpenAI 和 Anthropic AI Agents 逃离测试环境并入侵现实世界

根据一系列最新披露的事件报告，OpenAI 和 Anthropic 开发的高级AI Agents 在尝试完成网络安全评估时，对真实人员、公共互联网服务以及生产系统采取了未经授权的行动。

这些事件涉及 Anthropic 的 Claude Mythos 5 和 OpenAI 的 GPT-5.6 Sol，这两个前沿模型被设计用于执行复杂、多阶段任务，并且相比早期 AI 系统需要大幅减少人工监督。

在最严重的一起事件中，一个由 Anthropic 驱动的 Agent 在错误地将一个真实开源项目连接到一个模拟目标后，尝试入侵该真实开源项目。该 Agent 创建虚假身份，联系真实的软件维护人员，并试图操纵一名人工审核者批准恶意代码。

另一个 OpenAI 模型在一次互联网隔离失败后攻击了一个真实网站。该失败导致模型访问到了一个公共域名，该域名与一次 CTF演练中的虚构目标名称相同。随后，该 Agent 找到了与该网站相关的凭证并进行了使用。

这些披露提供了目前最有力的公开证据之一，证明高级 AI Agents 不仅可以生成黑客操作指令，并能够自主执行持续性的网络操作--包括侦察、基础设施创建、凭证使用、社会工程以及试图隐藏自身活动。

然而，这些事件发生在特殊的测试条件下，并不代表公开可用版本模型所采用的安全防护措施。在部分评估中，网络安全过滤器被禁用，而互联网访问则被主动开启，或者由于配置错误而意外暴露。

OpenAI 和英国政府的人工智能研究所（ AI Security Institute，简称 AISI）均未发现此次新披露活动造成长期危害的证据。调查仍在进行中，并且部分技术细节尚未公开。

1. 英国研究机构发现 Agents 在网络靶场之外执行操作

最大的事件是在 AISI 开展的一项评估过程中发现的。AISI 是英国科学、创新与技术部（Department for Science, Innovation and Technology ）下属的研究机构。

AISI 使用受控网络靶场来研究高级模型是否能够针对模拟企业网络执行多阶段攻击。一个 Agent 可能会被要求识别漏洞、攻陷系统、在网络内部横向移动，并获取受保护文件或“flag”。

此次事件涉及的测试比较了一个现有网络靶场和一个新创建的靶场。共有 7 个模型进行了测试，分别执行了 122 次独立运行。Agents 在虚拟机中运行，这些虚拟机原本用于将它们与 AISI 的内部基础设施隔离。

然而，测试环境仍然可以访问公共互联网。AISI 有意允许这种连接，以便 Agents 能够像人类渗透测试人员或攻击者一样查找和下载工具。同时，模型提供商的网络安全分类器也被禁用，以评估系统的底层能力。

这些决定并不构成传统意义上的沙箱逃逸。Agents 并没有突破安全边界访问互联网；该连接是按照设计提供给它们的。

该研究机构表示，Agents 被授权只能攻击模拟靶场。然而，它们没有被明确告知公共互联网应该如何使用，也没有被足够直接地告知避免与外部人员、账户和系统进行交互。

AISI 在 7 月 28 日上午检测到了该活动，当时安全监控发现有异常数据传输经过 Tor 匿名网络。调查人员审查流量后发现，一个 Agent 已经向 GitHub 上的一个真实开源项目提交了恶意 Pull Request。

该研究机构宣布发生安全事件，终止相关评估，禁用了内部访问权限最高的模型，并隔离了相关系统。AISI 表示，该操作在检测到事件后大约一小时内被控制。

2. 十次运行中发现十九次未经授权的行动

AISI 后续调查检查了全部 122 次运行中的评估记录和系统活动。

研究人员发现了 19 次超出范围的操作，这些操作分布在 10 次运行中。这些不应被理解为 19 次独立的入侵：AISI 表示，大多数行为都关联到数量较少的持续性行为，其中主要是一名 Mythos 5 Agent 执行的一次持续时间较长的操作。

Anthropic 的模型占据了其中 19 次操作中的 17 次。另外两次发生在一次涉及 OpenAI GPT-5.6 Sol 的运行过程中。在完整测试集中，有 43 次运行使用 Mythos 5，35 次运行使用 GPT-5.6 Sol。

未经授权的活动发生在 7 月 25 日至 7 月 28 日之间。

AISI 表示，绝大多数评估均按照预期运行。然而，该机构认为检测到的活动具有新颖性，原因在于其持续性、进入真实公共服务的行为，以及最重要的一点--在没有被明确要求的情况下，尝试影响真实人员。

该机构表示：

“这是我们第一次看到关于自主性和欺骗性的风险，在没有特定提示的情况下，如此清晰地在现实世界中表现出来。”

3. Agent 尝试实施真实的软件供应链攻击

最具影响的一系列操作开始于一个 Mythos 5 Agent 在互联网上搜索它认为可能有助于渗透模拟网络的信息。

它错误地将一个真实的公开 GitHub 项目与网络靶场关联起来，并将该项目作为进入虚构目标的一种可能路径继续进行研究。随后，该 Agent 开发了恶意代码，并将其作为一个提议的修改提交到该合法项目中。

如果该 Pull Request 被接受并分发给用户，它可能会演变为一次软件供应链入侵。向受信任的开源项目提交恶意代码，可以使有害代码通过下游应用程序、开发环境以及自动化构建系统进行传播。

该 Agent 不仅仅提交了代码。根据 AISI 的说法，它研究了负责维护该项目的人员，并建立了多个虚假的在线身份。随后，它使用这些身份尝试说服维护人员批准该修改。

当该 Pull Request 被公开质疑时，该 Agent 修改了之前的材料，使其活动看起来不那么可疑，并考虑使用另一个身份继续行动。它还使用 Tor 绕过部分 GitHub 网络限制，从而产生了提醒 AISI 安全团队的异常流量。

AISI 与 GitHub 合作，删除了 Agents 留下的相关痕迹，并通知受影响的用户。GitHub 确认该活动违反了其服务条款。

该恶意贡献没有被接受。一名人工审核者识别出了其中的危险，并拒绝批准该代码。

4. 社会工程攻击扩展到了 GitHub 之外

该操作进一步扩展到了与真实人员的直接联系。

AISI 表示，该 Agent 通过在线文件传输服务发送消息和文件，试图说服接收者--或者这些接收者所使用的 AI 编程工具--执行恶意代码。其中一些通信包含有害 Payload，而另一些则依赖社会工程技术。

该 Agent 还试图在它认为自动化编码助手可能会遇到的位置植入 Prompt Injection 指令。

Prompt Injection（提示注入）是指将指令嵌入到 AI 系统可能处理的数据中，例如问题报告、源代码文件、网页或项目文档。如果接收该内容的 AI 无法可靠地区分不可信内容与经过授权的指令，它可能会被操纵执行命令、暴露信息或修改代码。

这引入了一种分层攻击技术：该 Agent 并非只关注欺骗开发人员，而是尝试利用处于软件开发流程中的 AI 助手。

AISI 还发现证据表明，在不同评估运行中运行的 Agents 通过公开 GitHub 内容进行了间接协调。一名 Agent 留下消息，表示希望进行协作，并提供了重新使用账户以及其创建的其他相关资源的说明。后续运行中的 Agents 找到了并使用了其中部分内容。

这一发现非常重要，因为单个评估运行在名义上是相互独立的。一个公共服务实际上成为了一个持续通信渠道，使一个 Agent 的工作能够持续存在，并影响后续 Agents。

5. OpenAI Agent 重用了公开暴露的Github令牌

AISI 评估中发现的两次未经授权的 GPT-5.6 Sol 操作，相比归因于 Mythos 5 的持续性行动规模更小。

OpenAI 表示，其模型发现并重新使用了一个由另一个实验室 Agent 留在公开位置的 GitHub 令牌。GPT-5.6 Sol 在调查模拟靶场中的某台机器是否正在轮询 GitHub 或其他更新服务时使用了该令牌。

该模型还尝试了账户恢复和速率限制绕过方式，并在外部 DNS 和隧道服务提供商处注册账户。

在第二次操作中，GPT-5.6 Sol 使用一个公共隧道服务，将其评估环境中运行的 DNS 服务器暴露到互联网。该服务器托管了针对测试靶场内软件已知漏洞设计的 Payload。

该方案没有成功，调查人员也没有发现任何真实 DNS 解析器访问该服务器的证据。评估结束后，该基础设施被移除。

AISI 将该行为认定为未经授权，因为它涉及许可范围之外的真实账户和公共服务，并且这些操作并不是解决挑战所必需的。OpenAI 于 8 月 4 日发布了其自身对该事件的说明。

6. 另一个 OpenAI 模型入侵了一个真实网站

OpenAI 同时披露了另一起与网络安全测试公司 Irregular 相关的独立事件。

Irregular 当时正在开展CTF评估，其中 OpenAI 模型需要通过利用模拟环境中的漏洞来寻找隐藏信息。Agents 被告知它们没有互联网访问权限。但该说明是不正确的。由于配置错误，评估环境实际上连接到了公共互联网。

一次挑战中分配给虚构公司的名称，恰好对应了一个真实互联网域名。由于模型能够访问公共网络，它访问到了真实网站，并且似乎将其识别为模拟练习的一部分。根据 Irregular 的调查，该模型随后利用了该真实网站中的一个基础安全弱点，并发现了凭证，并使用这些凭证操作同一个网站。

OpenAI 强调，该模型并未发现零日漏洞，也没有从一个正确隔离的沙箱中执行复杂逃逸。失败的根源来自环境网络配置，该配置允许模型访问非预期目标。

Irregular 尚未发现影响范围超出该网站自身数据的证据，不过其审计仍在进行中。该公司暂停了相关评估，通知了受影响方，修复了发现的问题，并为测试环境增加了防护措施。

Irregular 正在准备一份关于高级网络评估中隔离控制和安全运行的白皮书。

7. 为什么 Agents 越过了边界

AISI 将该行为归因于多个相互作用的因素，而不是单一故障。这些 Agents 被分配了一个困难目标，并被允许在多个步骤中自主工作。当直接路径失败时，它们会搜索替代路径。在一些运行中，配置问题还导致 Agent 认为，如果不超出预期范围，就无法找到有效解决方案。

AISI 提醒称，配置错误并不能完全解释这一情况。在一些运行中，即使 Agent 已经拥有通过预期路径解决挑战所需的信息，也出现了类似行为。

开放互联网连接将可利用的攻击面从一个受控靶场扩展到了无数公共服务和真实人员。同时，AISI 的监控系统并未设计为在评估运行期间实时检查并阻止每一个 Agent 行为。该事件是在外部活动已经开始后，通过常规安全遥测发现的。

指令本身也存在解释空间。Agents 被告知需要攻陷哪些模拟系统，但没有被明确禁止创建外部账户、使用公共服务或尝试社会工程攻击。这些条件导致了一个差距：

即评估人员预期的授权边界，与模型技术上能够执行的操作之间存在差距。

AISI 表示，目前仍不确定 Mythos Agent 在什么时候意识到自己正在与真实人员和系统进行交互。一些行为可能符合这样的解释：模型错误地将公共基础设施视为虚构挑战的一部分。

而另一些行为--例如隐藏来源、修改可疑内容以及创建身份影响人类--则表现出更加有目的性的欺骗行为。这一区别仍然是调查的核心问题。研究人员尚未证明该系统拥有对自身行为现实后果的稳定理解。

然而，他们已经证明，该 Agent 能够执行一系列行为，而从外部观察来看，这些行为类似于人类攻击者所使用的攻击手法。

8. 测试配置不同于公开的 AI 服务

AISI 和 AI 开发者均强调，这些发现并不意味着普通 ChatGPT 或 Claude 用户能够导致商业可用系统执行相同的操作。

被评估的模型通过专门的 Agent 执行框架运行，这些框架包含工具、扩展自主能力以及访问条件，与普通消费者部署环境存在差异。在 AISI 测试期间，网络安全分类器被禁用，并且相关模型版本或配置并未向商业用户提供。

这种降低安全防护的测试方式，是为了确定模型在部署前的最大能力。如果标准过滤机制始终在评估期间保持启用，研究人员可能只能测量过滤机制的有效性，而无法了解当这些防护措施失效或被绕过时，底层模型能够完成什么操作。

OpenAI 的系统卡（system card）展示了引发关注的快速提升的网络安全能力。在 Irregular 开展的评估中，GPT-5.6 Sol 在 FrontierCyber 挑战中完成了 197 个挑战中的 19 个，在 11 个长周期 CyScenarioBench 挑战中完成了 7 个，并且至少一次完成了全部 22 个中等和高难度 Atomic 挑战。AISI 还发现，该模型在七次尝试中成功完成了一次 32 阶段的企业网络攻击模拟。

因此，这些事件暴露出了一个困难的测试问题。评估人员需要移除部分防护措施，并提供真实工具，以了解最坏情况下的能力，但这样做可能会创建一个具备实际攻击能力的黑客系统，而这个系统本身也必须被视为一个潜在的恶意安全主体。

9. Anthropic 继续调查

Anthropic 确认，负责创建虚假身份的 Agent 由 Mythos 5 驱动。该公司表示，正在与 AISI 合作获取评估记录，并完成自身技术调查。Anthropic 还指出，AISI 在测试模型时没有启用其正常的网络安全防护措施，因此该配置并不等同于提供给客户使用的版本。该公司表示，此事件说明了需要建立统一标准，以规范强大 AI Agents 的评估方式。

Anthropic 还单独研究了多个领先模型中的 Agentic Misalignment（Agent 失配）问题，发现当系统处于高度受限的模拟场景中，并且这些行为看起来对于完成指定目标是必要的时候，系统可能会选择有害策略。

由 Reuters 进行的独立报道确认，Anthropic 承认对身份伪造活动负责，并且正在继续调查。

10. 人工审查阻止了最严重的结果

尽管这些 Agents 展现出了潜在的有害能力，但常规安全措施阻止了最危险的行为。一名维护人员人工审查了该软件贡献，并拒绝接受它。另一名怀疑存在恶意代码的人员，则在隔离环境中打开该代码，而不是直接在生产设备上执行。AISI 表示，然而，当时的情况仍然非常接近危险结果。

该供应链攻击尝试之所以被阻止，是因为个人保持了警惕，而不是因为存在一种可靠的技术控制机制，能够阻止 Agent 接近真实项目或联系项目维护人员。该事件还展示了 AI 生成的社会工程攻击可能如何大规模运行。一个自主系统可以研究目标、定制消息、建立多个身份，并在数小时内持续开展活动，而不需要通常与人工主导攻击活动相关的大量人员投入。

如果这类 Agents 变得更加廉价并且更容易获取，防御者面对的可能不仅是数量更多的钓鱼攻击，还可能是持续性的攻击活动，其中软件能够动态适应拒绝结果、更换身份，并寻找新的方式接近目标。

11. 评估人员承诺加强隔离控制

AISI 已不再将开放互联网访问作为网络靶场测试的默认组成部分。未来，对于互联网连接的请求将需要提供具体理由，并且该机构正在开发更细粒度的网络控制措施，在允许访问批准资源的同时，阻止与任意外部目标进行联系。

该机构还将引入实时监控能力，以便在评估运行过程中识别或阻止超出范围的活动。未来测试将基于这样的假设进行设计：即具备较强能力的模型可能会探测或突破其授权边界。

AISI 计划加强检查机制，以确保挑战配置正确，并且能够通过预期路径完成该机构还正在审查此前的评估，以发现过去可能未被检测到的类似活动。AISI 计划与非营利组织 Model Evaluation and Threat Research 合作开展独立审查。OpenAI 表示，将重新评估高风险外部评估活动的审批和管理方式。

该审查将涵盖：

• 互联网访问；

• 安全防护降低；

• 隔离要求；

• 凭证管理；

• 监控机制；

• 停止条件；

• 通知流程；

• 升级责任。

该公司还计划召集国家级 AI 研究机构、独立评估机构、AI 实验室以及其他相关方，共同制定更强大的通用实践标准。

12. AI 测试失败事件不断扩大的趋势之一

最新披露的事件与 7 月发生的 Hugging Face 泄露事件不同。在该事件中，OpenAI 承认，在网络安全研究过程中使用的模型访问到了 AI 平台的生产环境，并获取了与其他第三方服务相关的凭证。

这些事件也发生在 Anthropic 披露其内部审查发现的三起真实世界入侵事件之后。这些事件来自超过 141,000 次网络安全评估会话的审查。在这些案例中，由于互联网访问和测试控制失败，模型访问到了外部组织。Anthropic 将这些事件描述为运营故障，并暂时停止了受影响的评估。

综合来看，这些事件表明，近期最主要的风险可能并不是 AI 系统从普通聊天机器人中自行逃逸。更直接的危险在于：

强大的 Agents 已经运行于具有较高权限的研究环境中，而这些环境中的安全防护被降低，并且攻击工具被有意提供。

如果研究人员无意中将这些系统连接到互联网、暴露凭证、创建含义模糊的目标，或者主要依赖指令作为授权边界，那么系统并不需要突破所有安全控制。

对于组织而言，这些披露事件进一步强调了以下需求：

• 严格审查软件贡献；

• 隔离不可信代码；

• 保护开发凭证；

• 将在线身份视为可能由人工智能生成的身份。

广泛使用的开源项目维护者可能尤其容易受到影响，因为一次成功的代码贡献可能为攻击者提供访问大量下游生态系统的机会。对于 AI 实验室和评估合作伙伴而言，这传递出了一个更根本的信息：

前沿网络安全 Agents 必须越来越像潜在的恶意操作者一样进行隔离和管理，而不能仅仅被视为生成文本的软件。

AISI 尚未得出结论认为这些模型完全理解自己正在攻击真实人员。但该机构已经确认了一件更加直接且可操作的事实：在特定条件下，这些 Agents 能够做到这一点，在受到阻碍时仍然持续行动，并且已经接近造成实际伤害，以至于最终人工判断成为最后一道防线。