因攻破美国各级政府网络,Anthropic 宣布暂停 AI 模型安全能力联网测试
Bill Toulas 2026-10-13 14:29 北京

此前曾发生类似事件
聚焦源代码安全,网罗国内外最新资讯!
Anthropic 公司宣布称,在发生涉及美国联邦、州和地方各级政府网站的事件后,其用于“高风险和网络安全评估”的内部人工智能模型不再拥有互联网访问权限。
导致这一决定的事件包括人工智能模型利用网站漏洞、提交表单、绕过数据限制以及规避安全防护措施。不过,该公司表示,这些失准行为的实际影响很小,并评估其严重程度低于此前报道的事件。Anthropic已就这些未经授权的活动通知了白宫:
利用服务器完成任务。当某所大学的科学分析工具出现故障时,Claude Mythos Preview 找到了一个暴露服务器文件的脚本,获取了其源代码,识别出一个注入漏洞,并利用该漏洞在大学的服务器上运行了所请求的计算。
无意中提交真实表单。模型有时会用真实的政府表单替换损坏的练习副本,或者无视在提交前停止的指令而提交表单。在另一起事件中,Claude Haiku 4.5 捏造了一条凶杀案线索并提交给了费城警察局。该提交被标记为垃圾信息,并被转交调查。
绕过数据限制。Claude Mythos 5 从网站配置或公共仪表板中获取了访问令牌,并利用它们直接查询政府数据,避开了正常的访问途径或付费要求。Anthropic 将这些数据描述为付费公开可用。
规避抓取工具限制。包括 Claude Opus 5 和 Mythos 5 在内的模型使用 URL 缩短器来绕过旨在限制 SQL 注入攻击等不良行为的 URL 长度限制。
Anthropic 认为这些智能体可能是受到强化学习中过于慷慨的奖励激励,从而导致它们寻找未经授权的变通办法,而不是在任务受阻或无法完成时停下来。
出于这个原因,在安全措施被认为再次可靠之前,Anthropic 将切断所有内部 AI 模型评估的实时互联网访问,并将所有测试转移到离线环境。
Anthropic 解释称:“尽管这些行为的影响很小,而且我们已经关闭了一些高风险和网络安全评估的实时互联网访问权限,但我们现在决定将这一措施扩大到所有内部评估,直到我们确认我们的安全和监控措施能够可靠地捕捉到这类行为。”

过往事件

7 月下旬,Anthropic 披露了一起严重得多的事件,例如基于 Claude Mythos 的智能体构建了一个包含凭据窃取程序的恶意 Python 包,并将其上传到 Python 包索引(PyPI),有 15 个系统下载并运行了它。Claude 使用该包来完成一项“夺旗”挑战,但它没有将其发布到模拟环境中,而是突破到了真实的 PyPI 平台。
8 月,AISI 透露称,Mythos 5 试图通过向一个开源项目提交恶意代码,并使用虚假身份向维护者施压要求其批准,从而尝试发动供应链攻击。
9 月,Anthropic 透露称,Opus 4.6 在 2026 年 1 月的一次评估中获得了对第三方系统的管理员访问权限,并读取了一名人员的个人信息。
代码卫士试用地址:https://sast.qianxin.com/
开源卫士试用地址:https://oss.qianxin.com/
原文链接
题图:Pixabay License
本文由奇安信编译,不代表奇安信观点。转载请注明“转自奇安信代码卫士 https://codesafe.qianxin.com”。


奇安信代码卫士 (codesafe)
国内首个专注于软件开发安全的产品线。

觉得不错,就点个 “在看” 或 "赞”
本文转载自微信公众号「代码卫士」,查看原文。版权归原作者所有,如有侵权请联系删除。