从内容管控到系统治理：AI使用别再只做敏感词过滤了

AI技术已经从实验室走进生产环境，从简单的对话工具变成了深度参与业务决策的系统。对中国企业来说，这个转变来得特别快——《生成式人工智能服务管理暂行办法》《互联网信息服务深度合成管理规定》等监管框架陆续出台，怎么把合规要求真正落地，成了摆在面前的现实问题。

最近，AI公司Anthropic更新了Claude的使用政策，新规则2026年11月12日生效。这次更新最大的变化不是具体条款，而是治理思路：从盯着"模型生成了什么内容"，转向关注"谁在用、怎么用、影响了谁、出问题能不能刹住车"。这个转变，对正在搭建AI安全体系的中国企业很有参考价值。

中国的AI监管其实走得挺快。2023年开始，相关部门就明确要求，提供AI服务得防范生成虚假信息、歧视、侵害他人权益等风险。但实际操作中，很多企业的做法还停留在比较初级的阶段：建敏感词库、部署内容审核模型、设黑名单。

这些招数对付单次违规还行，遇到复杂场景就不够用了：

• 组织化作恶：坏人通过分散请求、多账号配合，绕过单次检测，用AI批量生成假评论、营销软文 

• 高风险决策：银行用AI审贷款、医院用AI出诊断建议，缺少有效的人工把关，模型说啥就是啥 

• 接入物理设备：工厂把AI连到生产线，但紧急制动、断线保护这些安全措施没跟上 

• 数据使用边界模糊：用AI做用户画像、行为分析，但用户到底同意没同意，流程走得很随意 

更深层的问题是认知。很长时间里，大家都把AI安全等同于"内容安全"，核心就是"怎么让模型别说违规的话"。但当AI开始参与决策、控制设备、影响现实世界，治理对象已经从"输出了什么"变成了"怎么使用"。

Anthropic这次更新就体现了这个转变。新规则覆盖六大场景：系统性滥用、政治影响、军事用途、大规模监控、高影响决策、控制物理设备。每一条都不只看"生成了什么"，而是看"怎么用、影响谁、能不能控制后果"。

Anthropic明确禁止用Claude制作假账号、虚构新闻网站、搞影响力操纵。限制的不只是内容本身，还包括支撑这些活动的工具，比如机器人网络、隐藏身份的技术。

这个问题中国企业太熟悉了。电商平台上，刷单的可能这么干：批量生成假好评，每条措辞都不一样躲避检测；创建一堆虚拟买家账号；写自动化脚本，定时集中发布，制造"爆款"假象。

单条内容看不出问题——每条都像正常用户写的。但把请求串起来看，就能发现规律：同一个API密钥短时间提交大量相似请求；生成的内容措辞不同但情感倾向高度一致；请求时间分布特别有规律，明显是程序在跑。

怎么办？

• 建立行为模式分析，不只看内容，还看请求频率、时间分布、账号关联 

• 对批量请求设速率限制，识别自动化工具的特征 

• 保留必要日志（符合《个人信息保护法》前提下），发现跨请求、跨账号的协同行为 

• 分级响应：可疑行为先人工复核，确认了再限流或封禁 

新政策要求，涉及医疗、财务、法律等重大决策，必须有专业人员审查AI建议，审核人员有权修改结果，还得告诉当事人用了AI。

这条在中国有直接的法律依据。《个人信息保护法》明确规定，用个人信息做自动化决策，得保证透明、公平，不能搞价格歧视。还规定了，做推送、营销时，得同时提供不针对个人特征的选项。

但现实中，很多企业的"人工审核"是假的：

• 审核人员没资质：贷款审批让客服点确认，而不是风控专家评估

• 看不到完整信息：只能看到模型给的分数，看不到评分依据

• 实际上改不了：系统根本没提供修改入口，或者改起来要层层审批

• 用户不知情：没告诉用户用了AI，更没给申诉渠道 

怎么办？

• 明确哪些决策属于"高影响"：至少包括信贷审批、保险理赔、招聘、医疗诊断、法律文书

• 设计强制人工审核流程，审核人员得有相关资质（风控专家、医师、律师）

• 审核界面要展示推理依据、置信度、历史准确率，不能只展示结论

• 技术上保证能改结果，改的权限不能被模型输出限制住

• 决策通知里说明用了AI，提供申诉入口 

• 保留完整审核日志，记录谁审的、看到啥信息、改没改、为啥改 

新政策覆盖AI控制的机器人、车辆、工业设备。要求操作员能随时停机；设备断连时要停止危险动作；安全保护必须独立于AI指令运行。

这对中国制造业特别重要。随着"智改数转"推进，越来越多工厂把AI接入生产线：用视觉模型质检并控制分拣设备；用大语言模型理解工人指令，转化成机械臂动作；用强化学习优化调度，自动调整设备参数。

但很多企业忽视了：AI可能出错，通信可能中断，传感器可能故障。如果安全完全靠"模型通常会遵守规则"，就是把命押在概率上。

怎么办？

• 设置独立的硬件急停，操作员能物理切断电源 

• 架构上实现"故障安全"：断连时设备默认停止，不是继续执行最后指令 

• 设置独立安全监控层，用传统规则或简单逻辑电路监测关键参数（速度、位置、温度），超限立即制动，这层不受AI控制 

• 明确操作员资质，确保他们懂原理、知道应急流程、能识别异常 

• 部署前充分测试，模拟断连、传感器异常、模型出错等场景 

• 制定应急预案，明确出事后责任认定和改进流程 

新政策禁止未经同意用Claude追踪个人，包括分析移动数据、生物识别数据、数字活动。同时明确，获得同意后的某些分析可以，比如反欺诈、新闻调查、获准的安全研究。

这对中国企业有直接指导意义。《个人信息保护法》确立了"告知-同意"原则，但实践中很多企业理解得太宽泛：以为用户接受了隐私政策就等于同意所有用途；把数据用于收集时没说的场景，也不再征求同意；用AI分析用户行为做推荐、营销，不给关闭选项。

Anthropic的政策提示：关键判断不是"数据从哪来"，而是"用它做什么、影响谁、是否知情同意"。即使数据是公开的，如果用来追踪、识别具体个人并据此行动，还是可能侵权。

怎么办？

• 部署AI分析前，明确用途，评估是否和收集时的授权一致 

• 对指向具体个人的分析（信用评估、行为预测、异常检测），设额外审查，确认获得授权 

• 给用户实质性的选择，别只展示冗长政策。比如明确说"我们用AI分析您的浏览记录推荐商品"，提供"接受"或"用非个性化推荐"选项 

• 反欺诈、安全防护可以在政策里说明，但结果使用要符合比例原则：怀疑不等于确认，不能只凭模型输出就限制账号，得人工核实 

• 建立数据使用审计，定期检查AI实际用了哪些数据、干什么用的、有没有超范围 

Anthropic禁止无目的、持续、残酷地对待模型。这条很快引发争议，有人说这是"承认AI有意识""赋予AI权利"。

但原文不支持这个解读。Anthropic明确说：公司在研究模型是否可能有主观体验，但目前没有足够证据认为Claude有意识。这条限制是科学不确定下的预防措施，不等于确认模型有意识或权利。

更重要的是边界很清楚：对回答不满、严厉批评、争论、用情绪化语言，都不属于限制范围。虚构作品、角色扮演、安全研究、模型测试也都排除。研究人员还是可以提尖锐问题，观察模型怎么回应。

从治理角度看，这条规定的价值不是"保护AI"，而是区分正常使用和系统性滥用。安全测试可能需要提尖锐问题，用户反馈可能有批评，这些都合理。

但如果有人持续、反复、无目的地攻击性互动，既不是测试也不是反馈，这行为本身就得纳入异常监测——可能是账号被盗、自动化脚本在测试边界，或者其他滥用意图。

基于Anthropic的更新，结合中国企业的实际情况，五项实践可以作为搭建治理体系的基础。

很多企业的AI政策都是原则性表述，比如"禁止非法用途""不得侵害他人权益"。这种话公关层面没问题，执行层面没法落地：审核人员不知道啥算"非法"，技术系统更理解不了"侵害权益"的边界。

能执行的规则得具体：

• 禁止的具体行为：不是"禁止欺骗"，而是"禁止生成虚假身份信息、伪造官方文书、模拟他人语气诈骗"

• 允许用途的边界：不是"可用于内容创作"，而是"可用于虚构作品，但不得冒充真实新闻；可用于营销文案，但必须标注为推广"

• 判断依据：说明怎么区分合法和滥用，比如"金融分析可以用AI处理公开财报，但不得未经授权分析个人账户"

• 技术上可以转化为：请求分类标签、上下文检测规则、输出后处理规则。

传统审核看单次输出：这文本有没有敏感词，这图片违不违规。但组织化作恶的特征恰恰在请求之间的关联上。

建议建立双层机制：

• 实时内容审查层：检测每次请求的输入输出，拦截明显违规内容

• 行为分析层：在不违反隐私前提下，分析请求模式，识别批量操作、多账号协同、规避检测

• 行为分析可以关注：请求频率突增且内容相似；短时间生成大量结构相同的内容；多账号用相似模板且注册时间、IP有关联；请求时间分布有明显程序化特征。

• 技术上可以用：时间序列异常检测、文本相似度聚类、图关联分析、请求指纹技术。

注意：行为分析涉及监测用户使用模式，必须在《个人信息保护法》框架下进行，遵循最小必要原则。

高影响决策场景，人工审核不能走过场。得从制度、流程、技术三方面保障。

• 制度层面：明确哪些场景必须审核、谁有资质；规定审核人员的责任和权限；建立培训机制。

• 流程层面：设计工作流确保AI输出不直接进决策；为审核人员提供充分信息（不只结论，还有推理依据、置信度、历史准确率）；设置质疑和升级机制；记录审核过程形成可审计日志。

• 技术层面：审核界面不能只有"同意"按钮，得提供修改、驳回、补充调查选项；修改权限不能被AI输出技术限制；系统支持调取原始数据、对比历史案例；批量决策要设抽样复核。

AI接入物理系统，治理不能只停在模型输出层，得延伸到执行层和安全保护层。

架构原则：分层保护（AI层、执行层、安全层独立）；故障安全（断电断连时默认安全状态）；可观测（关键参数实时监测记录）；可介入（操作员随时能中止切手动）。

具体措施：设硬件急停按钮；用独立安全PLC或继电器监测关键参数；实现"双确认"机制（AI指令和安全层都通过才执行）；设通信超时保护；充分离线测试模拟异常场景。

不同违规行为要匹配不同响应强度。一刀切封禁可能误伤，完全不限又管不住滥用。

第一级：提示警告 - 初次违规、情节轻微。展示政策说明，提示可能违规。

第二级：局部限制 - 重复违规、有滥用迹象。限制对话、降低频率、要求验证。

第三级：功能限制 - 持续违规、有组织滥用。禁止API访问、限制高级功能。

第四级：账号封禁 - 严重违规、造成危害、拒不整改。封禁但保留申诉渠道。

关键是：处置与违规程度匹配；用户能了解原因、有机会申诉；系统保留日志支持审计；可能误判时优先可逆措施。

Anthropic这次更新最重要的信号，是治理范围扩展：从"模型生成了什么"到"谁在用、怎么用、影响谁、能不能刹车"。这对中国企业有直接启示。

中国的AI监管框架已经比较完善，但从合规要求到技术落地还有明显差距。很多企业的治理停在内容过滤层面，应对不了组织化滥用、高影响决策、物理系统接入等复杂场景。

Anthropic的更新提供了参考：把抽象原则转化为具体场景和规则；区分正常使用和滥用；为不同风险设计匹配防护；确保人工审核真实有效；AI接入物理世界时设独立保护层。这不是"国外经验"，是AI发展到一定阶段后，任何负责任组织都要面对的课题。

对中国企业来说，当前关键任务是：把"不得侵害用户权益""确保算法公平"等原则，转化为可执行、可验证、可审计的技术和管理措施。这需要跨部门协作：法务定边界、业务提供场景理解、技术实现防护、安全持续监测改进。

AI安全治理不是一次性项目，是持续演进的过程。

技术在进步，风险在变化，监管在完善，治理体系也得同步迭代。从"内容合规"到"使用合规"，从"模型安全"到"系统安全"，中国企业正在经历这个转变。那些能率先建立覆盖全流程、可持续优化治理体系的企业，会在AI应用下一阶段占据先机——不只因为合规，更因为信任。

相关阅读