员工普遍使用AI之后,安全治理该如何着手
原创 裴伟伟 2026-11-20 18:21 中国香港

员工让 AI 分析代码、整理经营数据、调用业务系统,效率上来了,企业的秘密、权限和责任交代清楚了吗?从四类风险出发,聊聊企业如何让 AI 用得顺手,也管得住。
研发人员让 AI 阅读和编写项目代码、进行单元测试;产品经理用 AI 整理需求、编写产品说明书、绘制产品原型图;财务人员把经营数据交给 AI 做财报分析、报告编写;运营人员将业务材料、产品档案发给 AI 做成果梳理、汇报整理……对企业内员工来说,AI 大大提升了工作效率,降低了工作难度和门槛,但对企业来说,每一次效率提升背后,都需要重新审视技术变革带来的安全风险与治理办法。
以一个场景为例,一名开发工程师为了排查线上故障,让工具分析整个项目目录,他输入的提示词可能只有“帮我看看为什么项目会构建失败”,这工具为了完成任务,可能读取了源代码、配置文件和运行日志,再把这些内容提交给外部模型。工程师觉得自己只是问了一个问题,并且也可能会解决,对于企业安全而言却需要审查对外传输项目代码和配置的风险(笔者真的遇到过这样的案例)。
即便是非技术人员运用AI,企业也可能面临其他安全风险:AI 生成的产品报告写错了功能描述,并以公司名义发给客户;内部知识助手没有继承文档权限,普通员工就可能查到受限经营数据;Agent 理解错了清理条件,调用删除工具后,业务系统的数据大量被删……
AI 参与工作的程度越深,企业就越需要知道,哪些权限可以授予、哪些数据可以流动、哪些目标可以传输、哪些操作可以执行、哪些结果需要有人负责。把这些问题讲清楚才能讨论安全措施应该加在哪里,以及它们会给企业业务运营带来怎样的风险控制收益。
一、不同场景下的企业AI安全风险
企业安全管理保护的是商业活动赖以开展的信息、系统、流程和信任关系,同时在企业可承受的范围内降低关键节点被攻击或遭受损失的概率。AI 改变了这些对象的使用方式,也改变了风险从产生到造成后果的路径,围绕企业经营和业务影响,笔者把AI引入后的安全问题分成四个方面。

第一,数据有没有超出授权范围
员工把源代码、客户信息或经营数据提交给外部服务,涉及企业对第三方处理这些信息的授权。即使大模型服务商承诺不使用数据训练模型(毕竟企业主也不敢贸贸然相信,每个企业的数据分类和分级都是不同的,模型厂商势必会将每一家企业认为的机密、秘密数据做处理),企业仍需要了解数据在哪里处理、留存多久、谁能访问,以及是否经过其他服务,大模型或工具服务商的数据政策是评估依据,企业自己的披露决定也要有据可查。
数据越权还可能发生在内部。知识助手把不同部门的文档放进同一个检索系统,如果回答问题时没有校验用户对原始文档的权限,原来需要申请访问的内容,就可能通过一句自然语言提问被取出来。私有化部署解决了企业数据处理环境的问题,但内部访问权限控制仍需要落实到检索和回答链路,包括但不限于原始数据收集、分析、识别、分类、处理、向量化,以及RAG、Agent的权限控制与策略控制。
第二,工作成果有没有事实依据
AI 可以生成结构完整、表达流畅的报告,报告里的数据、产品能力和推理过程仍需要核实。当这些内容进入客户沟通、产品说明和经营决策,企业需要有相应的验证与审核机制。文字写得像一份正式报告,只能说明它完成了表达,不能替企业完成事实确认,笔者曾经在一次内部分享中用 AI 生成了一张宣传图,图中引用了一个电话号码是未经审核过的,事后便有同事问起这个电话是谁的,拨过去会怎样的。
第三,业务指令能否被信任
AI 合成的音视频和文档,可能被用于伪造高管指令、审批材料或沟通记录,要知道许多企业的上下级审批依然停留在通讯软件中的一个“OK”或“好的”,不具备可追溯、可审计、不可抵赖的特点,现今通过 AI 伪造审批或指令再容易不过。处理这类问题,需要分别核实沟通者身份、内容事实和指令权限,即使一条消息来自真实的管理者,也要按业务制度判断他是否有权要求付款、开放权限或导出数据,以及更重要的是向本人核实。
多年前笔者为了验证自己的电商业务的客服人员是否具备真伪辨别能力,用网络上的破损商品装作普通用户投诉并要求退款,客户人员竟然真的发起了退款操作,而未验证订单、用户、商品真伪和图片真伪。
第四,Agent 的操作会造成什么后果
一个 Agent 可能误解任务,也可能理解了任务却使用了超出委托范围的权限。前者需要改善任务定义、执行前检查和结果验证,后者需要依靠授权与执行控制。两类问题都会造成业务损失,处置方式却有差别。在现如今越来越多产品融入Agent能力的时候,诱导 Agent 和 Agent 权限管控不足等风险会越来越重要。
笔者在工作中遇到过内部法律类的 Agent 应用存在命令执行漏洞,从业务角度而言这个功能是完全不必要的,但过大的工具和指令权限会给这类风险增加不必要的利用概率。
这四类风险还有一个共同入口,就是员工使用的 AI 工具及其组件、应用、插件、MCP 服务、Skills 和其他扩展可能接触文件、凭证与业务接口,其来源、版本、权限和运行行为,这些通常都会需要纳入供应链管理。
二、根据工作流程划分控制策略,而非部门或员工
企业制定 AI 使用政策时,部门名单是一个容易想到的管理办法。研发人员限制多一些,设计人员放开一些,行政人员用指定工具,执行起来似乎有章可循,但部门名称很难说明一次具体任务的风险,同属研发部门,处理公开测试代码和分析核心算法的要求就有差别。
更合适的策略颗粒度是任务,企业需要同时看员工的实际权限、任务所需的数据、数据敏感程度、目标服务的处理条件,以及工具具备什么行为能力。一名工程师上午使用公开资料研究技术问题,下午分析未发布的架构设计,两项工作可以采用不同的 AI 使用路径。
这里有一条边界需要写进制度和系统。员工能够读取一份文件,向外部 AI 提交这份文件仍需要获得相应授权,因为内部读取服务于岗位协作,对外处理涉及企业把信息交给另一个主体,两者对应的责任、条件和风险需要分别评估。
按任务制定规则,也有助于给员工提供可用的路径。处理公开素材,可以使用经过评估的外部服务;处理允许转换的数据,可以经过安全处理后调用外部模型;涉及无法分离的核心商业秘密,就需要进入企业认可的受控环境。员工知道什么任务走什么路径,安全团队才有可能把政策落到日常工作里。
三、私有化 AI 服务要接得住敏感业务
企业建设内部模型和 AI 平台,需要优先回答一个业务问题,哪些工作必须在受控环境内完成,而员工目前缺少什么能力。核心技术分析、敏感研发和经营数据处理,可以成为投入重点,平台建设也应围绕这些任务设计。但模型能力只是其中一环,工程师需要分析项目,可能还需要读取文件、修改代码、运行测试和查看结果,如果企业工具只能提供基础补全,员工就得在多个系统之间搬运上下文,完成同一项工作需要付出更多操作成本。在这样的条件下,个人账户、未经登记的插件和非受管设备就可能成为替代路径,形成大量影子 AI 使用的契机,也就是内部不如外部好用,为了更好用,员工会想尽办法用外部的。
因此,内部平台的验收应当放到完整工作流程中。选取有代表性的任务,看它能否完成、结果是否可用、人工检查花了多久,以及员工为何中途离开平台。这其中,通用模型测试可以帮助选型,岗位任务验证才能说明平台是否接得住业务,所谓“接得住”,是指效果满足(输出能不能用)、性能满足(输出速度够不够快)、易用性满足(使用够不够方便,是不是需要复杂的操作流程和繁琐的提示词)、便捷性满足(是不是可以随时随地使用)。
当然,外部模型也可以成为企业能力供给的一部分。对于符合数据处理要求的任务,企业可以提供经过评估的服务和统一入口,把供应商条件、账户管理和数据规则落实下来。但内部与外部能力如何组合,需要服从业务需求、信息敏感程度和投入成本。总的来说,自建和外部结合的混合化需要真正发挥工作中使用 AI 的价值,否则,企业花钱建设的入口,员工可能只在培训和检查时打开。
四、数据外发要看模型收到的内容
部分任务可以通过信息转换,减少外部模型接触的敏感内容。例如,员工需要润色一封商业邮件,系统可以把客户名称、交付数量和合同金额替换成占位符,再把允许披露的文本提交给模型。返回结果经过检查后,在企业内部恢复原始字段,映射关系保留在可信环境中。这个办法适用的前提是敏感字段与任务所需的信息能够分离,芯片架构、算法设计和关键技术参数,敏感价值可能就存在于技术内容本身,删除公司名称和项目代号之后,剩余文字仍可能披露商业秘密。所以输入内容的审查需要确认处理后的内容能否对外提供,不能把“已经脱敏”当作所有任务的通行理由。
另外,还可以结合数据分类标签、DLP(Data Loss Prevention,数据防泄漏)规则和内部小模型开展检查。标签与规则处理明确的限制,模型辅助识别复杂语义,策略引擎结合身份、任务和目标服务作出处理决定。能够转换的内容完成转换后复查,禁止外发的内容转入内部处理路径,存在重要疑问的请求进入相应授权流程。其中,小模型的分析结果也同样需要接受规则约束,因为它也会发生误判,难以凭一次语义判断覆盖全部商业秘密。实际运行中,企业应当保留识别依据,并用实际业务样本检验漏检和误拦截情况,决定哪些规则可以执行、哪些判断需要复核。
关键的工作是围绕工作流的数据流转审查需要沿着数据流展开,在复杂的业务流程和系统中,会因为数据流转形成数据聚合,继而泄露敏感数据。比如,在检索增强生成系统中,输入包含检索到的文档;在 Agent 场景中,输入还可能包含代码文件、数据库结果和工具返回内容;员工最初输入的那句话只是模型请求的一部分,附件、图片和同一任务中的多轮披露,也需要根据能力与风险纳入检查。
安全审查要落在实际发送之前,检查模型(尤其是外部模型)即将接收的内容。企业 AI 门户可以通过统一网关落实控制,开发工具和浏览器则需要结合客户端支持、终端能力和网络策略确认覆盖范围,对于未纳入检查的传输路径,企业应明确其允许处理的数据范围,避免制度写着“必须审查”,实际请求却从另一条路发了出去。
五、AI 泛滥之下供应链安全更加重要
一款 AI 开发工具通过评估之后,员工仍可能为它安装第三方插件、连接新的 MCP 服务,或者引入能够读取文件和执行命令的组件,工具名称没有变化,实际运行能力却可能扩大,原来的风险评估也需要随之更新。因此,准入管理需要看到组件层面,企业应当了解受管终端上有哪些 AI 应用和扩展、来源是什么、使用哪个版本、申请了哪些权限,以及更新后有没有改变依赖和行为,发布者、签名与完整性检查可以提供来源依据,但供应链安全和漏洞监测却需要实时进行,许多供应链投毒就是冲着员工普遍对于高风险软件、插件辨别不到位导致(参考开源项目的信任危机:Material Theme后门事件始末)。
运行中员工桌面端的各类工具、软件、插件的权限尤其值得注意,一个只需查询文档的组件,却要求访问全部项目目录和执行任意命令,企业需要判断这些权限是否与任务匹配。所以,对应风险处置也应当随风险变化。高敏感研发环境可以采用更严格的组件准入和权限限制,公开素材处理环境可以保留更多选择。发现风险后,是更新、缩减权限、暂停还是卸载,要结合组件的访问能力、暴露范围和业务影响决定。
六、人为审核是必要的,但责任要落到合适的人
员工过去编写产品报告、设计方案和分析经营数据,需要对工作成果承担岗位责任。使用 AI 之后,产品经理仍需确认需求与产品能力,研发人员仍需测试代码,财务人员仍需核对数据与计算结果。原有的业务责任应当延续到新的工作方式里。这就需要做到审核要求与结果的业务影响匹配,比如,普通邮件润色由使用者检查,重大产品承诺按照原有的产品和业务流程审核,代码进入发布流程前完成相应测试。企业可以先评估既有机制能否覆盖风险,再针对新增环节补充控制,避免每一份 AI 输出都增加一道内容相同的审批,人为的审批和控制带来的成本如果超过了 AI 带来的效率提升,这些审批和控制势必是无法落地的。
同时,所有必要的审核动作和审核人员本身也需要条件。让一个缺少背景资料的人读一份表达流畅的报告,很难指望他发现所有事实错误,要确认结论,就要提供来源、计算依据、测试结果,以及需要重点检查的事项。
另外,当 Agent 获得执行能力,委托和审批还要细化到动作。查询信息、修改配置和删除数据,对业务的影响不同,执行前应检查当前用户、当前任务和目标资源是否匹配。审批绑定具体操作,执行后核对业务状态,出现问题时还要能停止任务并开展处置。总之,审核人要有验证能力作支撑,组织的责任要通过工具和流程落实,把两者接起来,业务人员才知道何时可以使用结果、何时需要请专业人员确认,毕竟 AI 不会给任何人背锅。
七、AI 安全治理效果看风险和工作流程的变化
企业推进 AI 安全治理,可以从了解各岗位使用哪些工具、处理哪些数据、连接什么系统、希望完成什么工作,再结合现有数据分级、身份管理和业务流程安排控制。访谈、应用登记、终端发现和网络记录各有观察范围,放在一起才能减少治理盲区。之后是选择有代表性的场景验证,公开资料研究适合检验外部服务准入,敏感邮件润色适合验证信息转换,核心研发适合评估内部平台,具备写权限的 Agent 适合检验操作授权。每个场景都要有业务负责人、使用规则和验收依据,发现问题后能找到负责调整的人。基于业务、任务、组织、人员逐渐构建公共的 AI 平台以及针对特定任务和工作的独立平台,以尽可能满足大多数人的 AI 使用需求。
AI 安全治理在衡量效果时,可以将恶意或可疑的内容请求拦截量、插件发现量和平台访问量可以作为过程数据,还要结合敏感信息漏检、合法请求误拦截、任务完成情况、人工验证时间和事件处置效果。比如,一个策略网关拦住了多少请求,需要进一步查清其中多少触碰了安全规则,多少来自员工尝试完成正常工作时遇到的障碍,精准度和召回率都使用于此。
最后,风险治理的过程中还应关注成本,比如模型生成文档节省了半小时,如果人工核实错误和补充审批又花掉一个小时,这项任务的效率需要重新评估。最害怕的是安全过度从安全视角设计,而忽视正常业务的流程,因为笔者认为安全经营是最核心、最重要的工作,无法共情业务的安全工作结果也是势必是业务对安全的不重视(参考AI安全之外,我想聊聊安全BP)。
综上,AI 在未来会继续深入到企业的各个岗位的各个工作流程,同时,安全风险控制也会越来越全面和精细,但依然可以沿用已有的数据治理、身份管理、业务审核和供应链体系,把新出现的使用路径和执行方式接进去。内部平台、外发审查和工具准入,都应围绕具体任务设计,并接受安全效果与业务效率的检验。总之,AI 能力决定员工可以把多少工作效率提上去,治理能力决定效率上去之后还能掌握多少安全感。当企业能够解释数据去了哪里、操作为何获准、结果如何确认,AI 带来的效率才有了可以信赖的基础。
本文转载自微信公众号「洞源实验室」,查看原文。版权归原作者所有,如有侵权请联系删除。