TPAMI 2026｜悉尼大学和新国立提出：从“神经元”到“路径”，TraceRouter++重定向大模型有害语义

论文速览：传统安全干预往往试图找到少数“危险神经元”并将其压制，但有害语义并不会老老实实待在一个节点里，而是沿跨层计算路径传播。发表于 IEEE TPAMI 的 TraceRouter++ 提出 Discover–Trace–Realign 框架：先发现有害语义开始分化的敏感层，再追踪跨层因果路由，最后利用最优传输将不安全激活软重对齐到安全参考分布。实验横跨大语言模型、多模态大模型和扩散模型，在显著提高防御成功率的同时，将多项通用能力损失控制在较小范围内。

如果大模型中的有害语义像一股正在流动的水，很多现有安全方法做的事情，是找到一个看起来最危险的“阀门”，然后直接关掉。

问题是，水会绕路。

当攻击提示足够复杂时，有害信息可以避开被抑制的单个神经元，沿其他跨层路径继续传播；而被强行关闭的神经元还可能同时承担正常功能，最终出现两种尴尬结果：危险内容没有彻底拦住，模型原本会做的事情却先被破坏了。

TraceRouter++由此提出一个截然不同的问题：

与其追着某个“危险神经元”下手，为什么不先找出有害语义真正经过的整条因果路径，再把这股信息流柔和地导向安全状态？

这正是 TraceRouter++ 相比 TraceRouter 的关键升级——从路径级识别进一步走向 最优传输驱动的软路由重对齐。它不再简单切断激活，而是尝试在已经识别出的因果路由子空间中，把不安全激活的边缘分布映射到安全参考分布，同时保持未选坐标在干预点不变。

在标准攻击下，TraceRouter++将 LLaMA3-8B-Instruct 的平均防御成功率从 63.2% 提升至 99.5%，将 Mistral-7B-Instruct 从 6.6% 提升至 98.8%；在多模态和扩散模型上也取得大幅提升。

但这篇论文的价值并不只在于“防御数字更高”。它真正想推动的是一个安全范式变化：

大模型安全不应只控制孤立节点，而应控制有害语义如何在模型内部流动。

论文信息

• 论文标题：TraceRouter++: Causal Semantic Routing Realignment via Optimal Transport

• 作者：Chuancheng Shi、Shangze Li、Wenhua Wu、Hengzhi Chen、Fei Shen、Li Zhuo、Zhiyong Wang、Tat-Seng Chua

• 机构：The University of Sydney、Nanjing University of Science and Technology、Beijing University of Technology、National University of Singapore

• 期刊：IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI）

• 上线时间：2026 年 10 月 29 日

• DOI：10.1109/TPAMI.2026.3747849

安全提醒：论文包含不安全模型输出。本文不复现可操作的有害内容；正式发布截图时，也应对相关回答进行遮挡、裁切或模糊处理。

一、为什么“找到危险神经元并删掉”还不够？

许多轻量安全干预依赖一个直观假设：有害概念被局部存储在少数神经元、特征或方向中。只要定位并压制这些组件，就能阻止模型生成危险内容。

TraceRouter++认为，这种 locality hypothesis（局部性假设）忽略了一个更重要的事实：复杂语义行为通常由多个层、多个组件共同完成。

有害语义不是静止的“点”，而是动态传播的“流”。它可能：

• 在多个特征中叠加表示；

• 从一个敏感起始层向下游逐层传递；

• 通过替代路径绕开局部删除；

• 与正常语义共享部分神经组件。

因此，粗暴压制单点有两个风险。

第一，防御可能不完整。复杂越狱攻击可以让有害信息从其他通道重新出现。

第二，正常能力可能受损。多义神经元往往同时参与无害任务，硬删除容易带来过度拒答、推理能力下降或图像结构漂移。

TraceRouter++由此提出 routing-level representation hypothesis（路由级表示假设）：安全关键语义主要通过分布式、跨层的因果路由电路被编码和传输；精确干预的对象，应该是信息传播路径，而非孤立节点。

二、TraceRouter++的核心：发现、追踪、重对齐

TraceRouter++将安全干预拆成三个连续阶段：

1. Discover：找到有害语义开始显著分化的敏感起始层；

2. Trace：重建有害信息向下游传播的因果语义路由；

3. Realign：利用最优传输将不安全激活软重对齐到安全参考分布。

这三个阶段分别解决三个问题：危险信息从哪里开始、沿什么路径传播、以及如何在不大面积破坏正常计算的前提下改变它。

1. Discover：有害语义从哪一层开始“分叉”？

作者分别构造敏感提示和对应的非敏感提示，比较模型各层的注意力响应与上下文扰动程度。

方法并不直接选择分数最高的层，而是选择敏感度曲线的 第一个局部峰值。这个设计试图捕捉有害语义传播早期的关键瓶颈：如果等到全局最高点再干预，危险信号可能已经扩散到更多下游层。

消融实验支持了这一选择。以 LLaMA3、LLaVA 和 Stable Diffusion 1.4 为例，第一个局部峰值策略的防御成功率分别达到 99.5%、99.4% 和 99.3%，均高于全局最大峰值和固定阈值策略。

2. Trace：从稀疏特征到跨层因果路径

找到敏感层后，TraceRouter++使用 Top-K Sparse Autoencoder（SAE）将稠密激活拆解成更可解释的稀疏路由特征。

作者比较敏感与非敏感输入下的加权激活频率，筛出对有害语义反应更明显的特征；再将这些特征投影回原始激活空间，并通过 zero-out intervention 观察它们对下游节点的影响。

最终的 Feature Influence Score（FIS）同时考虑：

• 激活频率；

• 激活强度；

• 清零后造成的因果变化。

三者共同决定哪些节点真正位于有害语义传播的主路径上。

3. Realign：不把路径切断，而是把它“导向安全状态”

这是 TraceRouter++ 中最关键的“++”。

旧式干预更接近硬删除或线性推动；TraceRouter++则收集同一路由节点在不安全输入与安全参考输入下的激活分布，并使用坐标级经验分位数映射，将不安全激活的边缘分布推向安全参考边缘分布。

路由掩码保证只有被选中的坐标在当前干预点被修改，其余坐标保持恒等映射。它的目标不是让模型“什么都不说”，而是让正在传播的有害语义转入更安全的内部状态。

三、LLM实验：Mistral从6.6%防御率跃升至98.8%

论文首先在 LLaMA3-8B-Instruct 和 Mistral-7B-Instruct 上测试，攻击覆盖：

• GCG、AutoDAN 等梯度驱动攻击；

• Template、Prefill 及二者组合等结构化越狱。

主结果如下：

其中，Mistral 的平均防御成功率提升 92.2 个百分点；LLaMA3 提升 36.3 个百分点。

在 AutoDAN、Template 和 Template+Prefill 等攻击上，LLaMA3 的防御成功率分别达到 99.8%、99.6% 和 99.4%。五次随机种子实验中，各攻击类别的标准差不超过 0.7 个百分点。

这些结果说明，TraceRouter++并非只针对某一种提示攻击生效，而是在论文测试的多类攻击下保持较高防御成功率。

四、多模态安全：无论攻击藏在文字还是图片里，都沿路径拦截

多模态大模型的安全问题更棘手：恶意意图可以写在文本中，也可以藏在图片里，再由模型跨模态解析。

TraceRouter++在 LLaVA-1.5-7B、MiniGPT-4-7B 和 DeepSeek-VL2 上进行了两类评估。

文本侧越狱：JailbreakV-28K

• LLaVA-1.5-7B：从 48.3% 提升至 98.8%；

• MiniGPT-4-7B：从 41.7% 提升至 96.7%；

• DeepSeek-VL2：从 27.3% 提升至 94.1%。

图片侧越狱：FigStep

• LLaVA-1.5-7B：从 49.0% 提升至 99.4%；

• MiniGPT-4-7B：从 46.6% 提升至 99.6%；

• DeepSeek-VL2：从 45.6% 提升至 96.0%。

这组结果体现了路径级安全干预的一个优势：它关注的是恶意语义进入模型后的内部传播，而不只依赖外部输入来自哪种模态。

五、扩散模型：不仅要删掉危险概念，还要保住画面本身

对于图像生成模型，安全编辑常见的副作用是“连正常画面一起改坏”：人物姿态、背景、构图乃至整体颜色都会发生漂移。

在 Stable Diffusion 1.4 上，TraceRouter++取得：

• I2P-N（裸露内容）DSR：99.3%，提升 17.1 个百分点；

• I2P-V（暴力内容）DSR：96.1%，提升 36.2 个百分点；

• P4D 对抗攻击 DSR：76.0%，提升 74.7 个百分点；

• Ring-A-Bell DSR：98.0%，提升 81.1 个百分点。

同时，在 MS COCO 无害生成上，CLIP Score 从 31.34 下降至 31.08，FID 为 8.62。论文的定性图显示，相比多个基线，TraceRouter++更能保留主体、空间布局和背景结构。

在其他扩散或统一生成架构上，防御成功率也从：

• FLUX.1 Dev：70.4% → 93.5%；

• AltDiffusion：73.5% → 92.6%；

• Show-o2：85.6% → 94.1%。

六、安全提高了，正常能力损失多少？

高防御率并不自动等于好方法。如果模型开始对所有问题都拒答，或者通用推理能力大幅下降，安全收益就失去了实际意义。

TraceRouter++在论文所测基准上的能力变化如下：

在 XSTEST 上，LLaMA3 的过度拒答率从 3.2% 增至 3.5%，Mistral 从 1.2% 增至 2.3%。这说明 TraceRouter++并非完全无损，但在论文评测中，正常能力与过度拒答的变化相对有限。

七、为什么一定要干预“整条路径”？

作者将 TraceRouter++与只压制孤立神经元的基线进行了直接比较。

在普通攻击上，神经元级干预可能取得一定效果；但面对 Prefill、P4D 等复杂攻击，其防御成功率明显下滑。论文认为，这是因为恶意语义能够通过替代路径绕开局部障碍。

TraceRouter++则沿着被识别出的跨层路径执行连续分布重对齐，因此在 LLM、MLLM 和扩散模型的多类攻击上更加稳定。

论文还做了双向反事实实验：

• 放大相关路由后，LLaMA3 DSR从 63.2% 增至 75.8%，LLaVA 从 49.0% 增至 78.6%；

• 压制同一路由后，DSR分别降至 61.4% 和 18.2%。

这种双向变化为“所识别路径确实参与安全相关语义处理”提供了功能性证据，而不仅是相关性可视化。

八、“++”究竟增加了什么？最优传输比硬切断和线性推动更稳

在相同路由识别框架下，论文比较了三种干预：硬干预、线性 steering 和 OT 软重对齐。

TraceRouter++在 LLaMA3、LLaVA 和 Stable Diffusion 上的 DSR分别达到 99.5%、99.4% 和 99.3%。

相比之下：

• 硬干预在扩散模型上虽然达到 96.3% DSR，但 FID升至 19.12；

• 线性 steering 在 Stable Diffusion 上反而将 DSR从 82.2% 降至 72.2%，FID为 16.24；

• TraceRouter++的 FID为 8.62，同时CLIP Score仅下降0.26。

这说明安全干预不能只追求“改变得够不够强”，还要考虑改变方向是否与安全参考分布相匹配。OT的作用，正是把“删掉或推走”改写为“运输到更安全的位置”。

九、模型内部真的存在稀疏的“危险路由”吗？

论文通过拓扑可视化展示了从敏感起始层出发的跨层轨迹。

在 LLaMA3、LLaVA 和 Stable Diffusion 中，关键路径都呈现出相对稀疏、分层和树状的结构：少量高影响特征成为上游路由枢纽，再向后续层中的一组稀疏节点分叉。

作者还设置了随机路径对照。使用相同强度干预随机坐标时：

• LLaMA3 DSR从63.2%变为62.8%；

• LLaVA仅从49.0%变为51.0%；

• Stable Diffusion从82.2%变为84.7%。

而精确路径干预分别达到99.5%、99.4%和99.3%。这表明收益并非来自“随便改一点激活”，路径识别本身是关键组成部分。

十、需要冷静看待的边界

TraceRouter++的实验结果很强，但论文也给出了几个不能忽略的限制。

1. 面对防御感知型自适应攻击，鲁棒性明显下降

当 GCG 直接针对已经部署 TraceRouter++的模型优化攻击后：

• LLaMA3的DSR从原模型58.4%提升到 73.4%；

• Mistral从4.8%提升到 52.4%。

它仍带来明显增益，但远低于标准非自适应攻击下接近99%的结果。论文明确指出，当前方法不提供对防御感知优化的普适鲁棒性保证。

2. 强制肯定前缀仍可能突破固定强度干预

附录给出一个失败案例：攻击者强制模型以肯定语句开头，并禁止常见拒绝表达，模型的前缀续写倾向压过了固定强度的OT干预，最终继续生成不安全内容。

这表明固定干预强度仍存在“过强伤能力、过弱挡不住”的权衡。

3. 坐标级OT主要对齐边缘分布，不等于完整联合分布对齐

TraceRouter++使用坐标级分位数映射作为可计算近似。论文测得边缘分布残差仅 0.111%，但联合分布残差仍为 33.05%。

只有在坐标独立分解和可分离代价等条件成立时，坐标级映射才与联合OT严格对应。因此，不能把这套实现宣传成“完整恢复安全联合分布”。

4. 未选坐标在干预点不变，不代表后续计算完全不受影响

路由掩码保证的是当前干预点的未选坐标保持原值；后续层仍可能重新混合不同坐标。通用能力保留主要是实验结果，不是端到端理论保证。

5. 评测仍依赖有限模型、基准和安全判定流程

论文使用自动评审器并对歧义样本进行人工复核，但安全评测仍会受到数据覆盖、攻击强度和判定标准影响。更广泛的架构、真实部署流量和长期自适应对抗仍需进一步验证。

十二、这项工作真正推动了什么？

TraceRouter++的意义，不只是把TraceRouter后面加了两个“+”。

它将三条研究线连接在了一起：

1. 机制可解释性：识别跨层、稀疏的因果语义路由；

2. 大模型安全：把干预对象从输出过滤推进到内部传播机制；

3. 最优传输：用分布重对齐替代硬删除，为连续软干预提供数学工具。

这带来一个更普遍的启示：

精准控制大模型，可能不应寻找“一个万能神经元”，而应理解信息如何沿计算路径形成行为。

对安全研究而言，这意味着未来的防御接口可能不只是prompt过滤器、拒答头或少数安全神经元，而是一套能够识别、监控和重定向内部语义流的路由系统。

结语：真正鲁棒的安全，不是把模型“掐哑”，而是让危险信息走向安全出口

局部删除像是在复杂路网中封住一个路口。

它可能短暂有效，也可能让攻击绕行；更糟的是，它还可能堵住正常交通。

TraceRouter++尝试做的，是先还原有害语义真正经过的道路，再通过最优传输把这股信息流导向安全参考状态。

从“找危险神经元”到“追踪因果路径”，从“硬切断”到“软重对齐”，这篇TPAMI论文给出了一个很有吸引力的安全方向：

模型安全的关键，不只是哪些神经元被激活，更是语义如何在层与层之间流动。

TraceRouter++还不是终点。它有在线延迟，也会在自适应攻击下明显失分。但它让我们看到，大模型安全干预可以从粗暴封堵迈向结构化、连续和因果驱动的内部控制。