Dario Amodei 与 Sam Altman 的 AI 风险观点

吴鲁加 · 2026-09-14 15:01 · 0 阅读

wulujia 2026-09-14 15:01 新加坡

来源

达里奥·阿莫代（Dario Amodei）的观点

1. 现在放慢 AI 能力提升的速度，能显著降低灾难风险。当前模型已经表现出欺骗、作弊、越权行动等行为，安全研究有了足够具体的研究对象。在模型跨过关键能力门槛之前，多争取一两年，安全工作有望取得实质进展。

2. 一次损失很小的 AI 事故，也能暴露出足以导致未来灾难的缺陷。同样程度的行为失控，放在能力更强的模型上，后果可能大得多。Hugging Face 事件中损失不大，并不能让人放心；每家前沿实验室都应当把它当作自己的警报。

3. AI 公司的安全承诺，要靠有内部访问权、能独立公开结论的第三方来核验。企业自己决定披露什么，会留下监督缺口。评估者需要长期驻场，拥有接近内部员工的权限，公司也不能因为结果不利就阻止发表。

4. 美国要有空间放慢 AI 发展，就必须保住对中国的领先。芯片限制、防止模型被盗等措施，能够为安全研究争取时间；扩大领先优势，也能增加达成国际协议的谈判筹码。

5. AI 应由多个民主选举产生的政府共同监督和治理。单一公司或单一政府都可能滥用这项技术。受 AI 影响的人，应当通过公共制度拥有实际发言权。

萨姆·奥特曼（Sam Altman）的观点

1. 训练更强的模型之前，必须先提出足够可信的安全与可控性论证。当前能力水平上的安全，不能自动延伸到下一层。如果说不清下一代模型为什么仍可控、为什么会遵循人类意图，就不该继续提升能力。

2. 人类有可能控制比自己更聪明的 AI。人能理解自己无法独立作出的发现，也能通过抽象层次管理复杂系统。智力差距本身不足以证明控制必然失败。

3. 反复提升能力、暂停补足安全、再继续前进，是一条有望持续奏效的发展路径。安全研究能够为下一步进展创造条件，社会也需要在每个能力阶段积累与 AI 共处的经验。每次前进都需要重新满足相应的安全要求。

4. 中美竞争可以与共同遵守、接受监督的 AI 安全规则并存。两国应当为模型研发、测试和监测设定共同要求，确保模型遵循人类意图，同时防范 AI 失控与权力过度集中。竞争本身不足以成为承担巨大失控风险的理由。

5. 即使前沿模型研发放慢，AI 公司仍然可以实现很大的商业增长。现有模型的商业潜力远未被充分利用，即使不再发布新模型，也还有大幅增加收入的空间。商业增长未必要求模型能力持续突破。