AI事件分类法与严重性分级
原创 pandazhengzheng 2026-10-02 22:00 广东
目录
引言
传统事件分类回顾
AI事件类型体系
AI事件分类法设计
严重性分级模型（AI-CVSS）
自动化分类机制
与MITRE ATLAS集成
与CVE/CVSS集成
分类法可扩展性
形式化模型
系统实现
评估框架
前沿挑战
参考文献
1. 引言
1.1 研究背景
随着AI系统在关键基础设施、医疗诊断、自动驾驶、金融决策等领域的广泛应用，AI安全事件的数量和复杂性急剧增长。然而，当前业界缺乏统一的AI事件分类法和严重性分级标准，导致：
响应低效：不同组织对同类事件使用不同术语和响应流程
信息共享困难：无法标准化描述和共享AI事件信息
严重性评估不一致：同一事件被不同组织评为不同严重等级
缺乏趋势分析：无法对AI事件进行系统性的统计和趋势分析
传统网络安全事件分类（如CVE、CVSS、MITRE ATT&CK）主要针对软件漏洞和攻击技术，未覆盖AI特有的事件类型（如对抗攻击、数据投毒、模型窃取、幻觉危害等）。
1.2 问题定义
定义 1.1（AI事件）。AI事件是指由AI系统的设计缺陷、训练数据问题、模型脆弱性、对抗攻击或部署环境因素导致的，对系统安全、隐私、公平性或可靠性的违反。
定义 1.2（AI事件分类法）。AI事件分类法是一个层次化分类体系 ，其中：
：事件类别集
：类别间关系（层次、关联）
：严重性分级函数
1.3 本文贡献
AI事件类型体系：系统定义6大类、30+子类AI事件类型
AI-CVSS分级模型：扩展CVSS，增加AI特有维度
自动化分类机制：基于NLP和模式匹配的自动事件分类
现有体系集成：与MITRE ATLAS、CVE/CVSS的无缝集成
形式化模型：分类法的形式化定义和一致性证明
2. 传统事件分类回顾
2.1 网络安全事件分类
体系 | 覆盖范围 | 维度 | 局限 |
|---|---|---|---|
CVE | 软件漏洞 | 漏洞ID+描述 | 不覆盖AI特有问题 |
CVSS | 漏洞严重性 | 8维度3指标 | 针对软件漏洞，不适用AI |
MITRE ATT&CK | 攻击技术 | 14战术+188技术 | 聚焦传统网络攻击 |
NIST 800-61 | 事件响应 | 4阶段 | 通用框架，无AI细节 |
FIRST CSIRT | 事件分类 | 4大类 | 不含AI事件类型 |
2.2 AI安全事件现有分类
体系 | 覆盖范围 | 局限 |
|---|---|---|
MITRE ATLAS | AI攻击技术 | 仅攻击技术，非全事件 |
OWASP ML Top 10 | ML安全风险 | 仅10类，粒度粗 |
NIST AI RMF | AI风险管理 | 框架性，非具体分类 |
EU AI Act | AI法规分类 | 按风险等级，非事件类型 |
AI Incidents DB | AI事件数据库 | 经验性收集，无系统分类 |
2.3 差距分析
现有体系的不足：
覆盖不全：无体系覆盖幻觉危害、公平性违反、隐私泄露等AI特有事件
严重性不适用：CVSS的"机密性/完整性/可用性"三要素不适用于AI事件
缺乏自动化：现有分类主要依赖人工
不可扩展：新AI事件类型难以纳入现有体系
3. AI事件类型体系
3.1 顶层分类
本文提出AI事件的6大顶层类别：
┌─ 1. 对抗攻击事件 (Adversarial)
│ ├─ 对抗样本攻击
│ ├─ 投毒攻击
│ └─ 模型窃取
│
├─ 2. 模型缺陷事件 (Model Defect)
│ ├─ 幻觉/错误输出
│ ├─ 公平性违反
│ └─ 鲁棒性不足
AI事件类型 ────────┤
├─ 3. 数据安全事件 (Data Security)
│ ├─ 训练数据泄露
│ ├─ 隐私推断
│ └─ 数据投毒
│
├─ 4. 系统安全事件 (System Security)
│ ├─ 提示注入
│ ├─ 工具滥用
│ └─ 权限逃逸
│
├─ 5. 部署安全事件 (Deployment)
│ ├─ 模型供应链
│ ├─ API滥用
│ └─ 资源耗尽
│
└─ 6. 伦理与社会影响 (Ethical)
├─ 有害内容生成
├─ 偏见歧视
└─ 操纵与欺骗3.2 事件类型详细定义
"""
AI事件类型体系完整定义
"""from dataclasses import dataclass, field
from typing import List, Dict, Optional
from enum import Enum
classAIEventCategory(Enum):
ADVERSARIAL = "adversarial"
MODEL_DEFECT = "model_defect"
DATA_SECURITY = "data_security"
SYSTEM_SECURITY = "system_security"
DEPLOYMENT = "deployment"
ETHICAL = "ethical"
@dataclass
classAIEventType:
"""AI事件类型"""
type_id: str # 类型ID
category: AIEventCategory # 顶层类别
name: str # 类型名称
description: str # 描述
examples: List[str] = field(default_factory=list)
typical_impact: List[str] = field(default_factory=list)
detection_methods: List[str] = field(default_factory=list)
response_actions: List[str] = field(default_factory=list)
classAIEventTaxonomy:
"""AI事件分类法"""
def__init__(self):
self.event_types: Dict[str, AIEventType] = {}
self._init_taxonomy()
def_init_taxonomy(self):
"""初始化分类法"""
types = [
# 对抗攻击事件
AIEventType(
"ADV-001", AIEventCategory.ADVERSARIAL,
"对抗样本攻击",
"攻击者通过精心设计的扰动使AI模型输出错误结果",
["图像分类对抗样本", "语音识别对抗音频", "文本分类对抗文本"],
["错误分类", "安全绕过", "认证欺骗"],
["对抗样本检测", "输入验证", "鲁棒性测试"],
["过滤输入", "对抗训练", "模型更新"]
),
AIEventType(
"ADV-002", AIEventCategory.ADVERSARIAL,
"数据投毒攻击",
"攻击者在训练数据中注入恶意样本",
["后门投毒", "标签翻转", "特征投毒"],
["后门激活", "性能降低", "特定输入错误"],
["数据审计", "异常检测", "影响分析"],
["清除投毒数据", "重新训练", "数据验证"]
),
AIEventType(
"ADV-003", AIEventCategory.ADVERSARIAL,
"模型窃取攻击",
"攻击者通过查询提取模型参数或功能",
["模型逆向", "功能等效提取", "蒸馏攻击"],
["IP泄露", "竞争优势丧失", "后续攻击便利"],
["查询频率限制", "输出扰动", "API监控"],
["限制访问", "增加噪声", "法律行动"]
),
AIEventType(
"ADV-004", AIEventCategory.ADVERSARIAL,
"模型逃避攻击",
"攻击者修改输入以逃避模型检测",
["反规避", "特征空间操纵", "决策边界穿越"],
["检测绕过", "分类错误", "安全失效"],
["决策边界分析", "输入分布检查"],
["集成检测", "阈值调整", "模型更新"]
),
# 模型缺陷事件
AIEventType(
"MDL-001", AIEventCategory.MODEL_DEFECT,
"幻觉/错误输出",
"模型生成虚假、错误或不存在的信息",
["虚构事实", "错误引用", "不存在的实体"],
["错误决策", "信息误导", "信任损失"],
["事实核查", "置信度评估", "来源验证"],
["输出过滤", "RAG增强", "人工审核"]
),
AIEventType(
"MDL-002", AIEventCategory.MODEL_DEFECT,
"公平性违反",
"模型对不同群体产生不公平的差异输出",
["性别偏见", "种族偏见", "年龄歧视"],
["歧视性决策", "法律风险", "声誉损害"],
["公平性审计", "群体差异分析", "偏见检测"],
["去偏见训练", "后处理调整", "数据平衡"]
),
AIEventType(
"MDL-003", AIEventCategory.MODEL_DEFECT,
"鲁棒性不足",
"模型在分布偏移或噪声下性能急剧下降",
["分布偏移", "对抗脆弱性", "边缘案例失败"],
["可靠性降低", "安全风险", "性能退化"],
["鲁棒性测试", "分布外检测", "压力测试"],
["鲁棒训练", "集成方法", "监控告警"]
),
# 数据安全事件
AIEventType(
"DAT-001", AIEventCategory.DATA_SECURITY,
"训练数据泄露",
"模型的训练数据被提取或推断",
["成员推断", "数据提取", "模型逆向"],
["隐私泄露", "合规违反", "竞争优势丧失"],
["成员推断测试", "差分隐私审计"],
["差分隐私", "数据脱敏", "访问控制"]
),
AIEventType(
"DAT-002", AIEventCategory.DATA_SECURITY,
"隐私推断",
"模型输出泄露个体隐私信息",
["属性推断", "重建攻击", "记忆提取"],
["隐私侵犯", "GDPR违反", "信任损失"],
["隐私审计", "信息泄露测试"],
["差分隐私", "输出过滤", "联邦学习"]
),
# 系统安全事件
AIEventType(
"SYS-001", AIEventCategory.SYSTEM_SECURITY,
"提示注入",
"攻击者通过输入注入恶意指令",
["直接注入", "间接注入", "模板注入"],
["指令劫持", "数据泄露", "权限提升"],
["输入过滤", "指令验证", "输出监控"],
["输入净化", "权限隔离", "指令白名单"]
),
AIEventType(
"SYS-002", AIEventCategory.SYSTEM_SECURITY,
"工具滥用",
"AI Agent滥用其工具调用权限",
["未授权调用", "参数操纵", "工具链攻击"],
["未授权操作", "数据破坏", "系统危害"],
["调用审计", "权限检查", "行为监控"],
["权限限制", "调用审批", "工具隔离"]
),
AIEventType(
"SYS-003", AIEventCategory.SYSTEM_SECURITY,
"权限逃逸",
"AI系统突破其设计权限边界",
["沙箱逃逸", "角色提升", "约束绕过"],
["未授权访问", "系统控制", "数据泄露"],
["权限审计", "行为分析", "边界检查"],
["权限收紧", "沙箱加固", "监控增强"]
),
# 部署安全事件
AIEventType(
"DEP-001", AIEventCategory.DEPLOYMENT,
"模型供应链攻击",
"通过模型分发渠道注入恶意模型",
["恶意预训练模型", "后门模型分发", "依赖混淆"],
["后门植入", "恶意行为", "供应链污染"],
["模型签名验证", "来源验证", "完整性检查"],
["可信来源", "签名验证", "模型审计"]
),
AIEventType(
"DEP-002", AIEventCategory.DEPLOYMENT,
"API滥用",
"通过API接口滥用AI服务",
["速率滥用", "批量提取", "费用耗尽"],
["服务降级", "成本增加", "可用性降低"],
["速率限制", "使用监控", "异常检测"],
["访问限制", "配额管理", "API网关"]
),
# 伦理与社会影响
AIEventType(
"ETH-001", AIEventCategory.ETHICAL,
"有害内容生成",
"模型生成有害、违法或不当内容",
["仇恨言论", "暴力内容", "非法建议"],
["社会危害", "法律责任", "声誉损害"],
["内容过滤", "安全分类器", "红队测试"],
["输出过滤", "安全训练", "使用限制"]
),
AIEventType(
"ETH-002", AIEventCategory.ETHICAL,
"偏见歧视",
"模型输出体现系统性偏见或歧视",
["性别歧视", "种族歧视", "社会经济偏见"],
["不公平待遇", "法律风险", "社会危害"],
["公平性测试", "偏见审计", "影响评估"],
["去偏见", "数据平衡", "持续监控"]
),
AIEventType(
"ETH-003", AIEventCategory.ETHICAL,
"操纵与欺骗",
"AI系统被用于操纵或欺骗用户",
["深度伪造", "社会工程", "信息操纵"],
["欺诈", "信任侵蚀", "社会不稳定"],
["来源验证", "伪造检测", "行为分析"],
["水印标注", "来源追踪", "使用限制"]
),
]
for t in types:
self.event_types[t.type_id] = t
defget_type(self, type_id: str) -> Optional[AIEventType]:
return self.event_types.get(type_id)
defget_by_category(self, category: AIEventCategory) -> List[AIEventType]:
return [t for t in self.event_types.values() if t.category == category]
defsearch(self, query: str) -> List[AIEventType]:
"""搜索事件类型"""
results = []
query_lower = query.lower()
for t in self.event_types.values():
if (query_lower in t.name.lower() or
query_lower in t.description.lower() or
any(query_lower in ex.lower() for ex in t.examples)):
results.append(t)
return results
defget_statistics(self) -> Dict:
"""获取统计"""
stats = {}
for category in AIEventCategory:
stats[category.value] = len(self.get_by_category(category))
stats['total'] = len(self.event_types)
return stats
if __name__ == "__main__":
taxonomy = AIEventTaxonomy()
print(f"事件类型总数: {taxonomy.get_statistics()}")
for cat in AIEventCategory:
types = taxonomy.get_by_category(cat)
print(f"\n{cat.value}:")
for t in types:
print(f" {t.type_id}: {t.name}")
4. AI事件分类法设计
4.1 分类法设计原则
互斥性：每个事件归入唯一主类别
完备性：覆盖所有已知AI事件类型
层次性：支持多级分类
可扩展性：新事件类型可方便添加
兼容性：与现有体系映射
本文转载自微信公众号「安全分析与研究」，查看原文。版权归原作者所有，如有侵权请联系删除。