跳转至

Mechanistic Data Attribution: Tracing the Training Origins of Interpretable LLM Units

作者: Jianhui Chen, Yuzhang Luo, Liangming Pan
来源: XAGI 2026 交叉智能大会 · Session 03 LLM评测 & Benchmark · 返回会议场次
报告: 大模型数据归因:从行为溯源到精准干预 · 讲者 潘亮铭(北京大学 · 计算机学院)
论文: arXiv:2601.21996

本页是会议报告的对应论文长篇精读;会议现场的报告摘要见场次页。


一、领域脉络与小综述

这个方向是什么

本文所研究的"机理数据归因"(Mechanistic Data Attribution, MDA)处于两个成熟研究领域的交叉地带:训练数据归因(Training Data Attribution, TDA)与机械可解释性(Mechanistic Interpretability, MI)。TDA 的核心问题是"哪些训练样本影响了模型的某个行为",其经典工具是影响函数(Influence Functions, IF),但传统 TDA 的粒度是全局的——它回答"模型在某个测试样本上的预测"由哪些训练数据塑造,而不关心模型内部的具体计算单元。MI 则相反,它致力于逆向工程模型内部的可解释单元(如归纳头、知识神经元、SAE 特征),但通常只回答"这个单元在做什么",而不回答"这个单元为什么形成"。MDA 试图打通这两者:将训练数据归因的粒度从全局行为下沉到内部可解释单元,从而回答"哪些训练样本塑造了归纳头的形成"这一此前无人直接处理的问题。该方向的根本统计问题是:在参数空间的一个子空间上,如何定义并估计训练样本对某个单元功能指标的因果贡献。

发展脉络

奠基工作:影响函数的引入。 Koh & Liang (2017) 将经典稳健统计中的影响函数引入机器学习,给出了"删除一个训练样本对模型参数和测试损失的影响"的一阶近似公式 \( I(z_{\text{train}}, z_{\text{test}}) = -\nabla_\theta L(z_{\text{train}})^\top H_\theta^{-1} \nabla_\theta L(z_{\text{test}}) \)。这是整个 TDA 领域的基石,但其计算需要 Hessian 逆,在大模型上不可行。本文的 MDA 公式(式 2)正是这一公式的子空间版本——将梯度限制在可解释单元的参数子空间 \( \theta_{\text{sub}} \) 上,并将测试损失替换为单元功能探针 \( f_{\text{probe}} \)。

规模化突破:EK-FAC 近似。 George et al. (2018) 提出 EK-FAC,用 Kronecker 分解近似 Hessian 的逆,使得影响函数可以扩展到数十亿参数模型。Grosse et al. (2023) 首次将 EK-FAC 用于大语言模型,通过 MLP 层追踪训练数据对输出似然的影响。本文直接继承了这一技术路线,但将其从"输出行为"转向"内部单元功能"。

机械可解释性的单元识别。 Olsson et al. (2022) 识别了归纳头(induction heads)并提出了前缀匹配分数作为其功能指标;Dai et al. (2022) 提出知识神经元;Huben et al. (2023) 和 Cunningham et al. (2023) 用稀疏自编码器(SAE)分解出单语义特征。本文的 MDA 框架将这些单元作为归因的"靶点",其贡献在于提供了一个统一的框架,使得这些不同的可解释单元都可以用同一套影响函数机制追溯训练数据来源。

从观察到干预。 已有工作(如 Chen et al., 2025 的安全神经元)主要做的是"定位"——找到与某个行为相关的单元。本文进一步提出"干预"——通过删除或增强高影响样本,双向调控单元的形成。这从方法论上把归因从"解释"推进到了"控制"。

子线索聚类

被引文献大致落在三条子线索上:

  1. 影响函数的规模化与近似(Koh & Liang 2017; George et al. 2018; Grosse et al. 2023):核心问题是"如何在大模型上高效计算 Hessian 逆",技术手段是 Kronecker 分解、随机近似等。本文的 MDA 属于这一线索的延伸,但引入了子空间限制这一新维度。

  2. 可解释单元的识别与验证(Olsson et al. 2022; Dai et al. 2022; Huben et al. 2023; Cunningham et al. 2023; Chen et al. 2025):核心问题是"如何找到并验证模型内部的功能单元",技术手段包括探针、消融、激活模式分析。本文的 MDA 依赖这一线索提供"靶点",但不直接贡献新单元识别方法。

  3. 数据属性与模型能力的关联(Chan et al. 2022; Qin et al. 2025; Nanda et al. 2023):核心问题是"训练数据的哪些统计属性(突发性、多样性、重复性)驱动了能力的涌现"。这一线索与 MDA 的关系最密切——MDA 提供了从数据属性到单元形成的因果验证工具,而不仅仅是相关性观察。

这个方向在追问的核心问题

  1. 归因的粒度问题:传统 TDA 归因到"行为",MDA 归因到"单元"。但单元本身是模型内部构造,其功能指标(如归纳头分数)是研究者定义的,不是数据生成的。这带来一个根本问题:归因结果在多大程度上依赖于探针函数的选择? 本文用消融实验做了部分回答,但没有给出理论保证。

  2. 因果性的强度问题:影响函数本质上是"删除一个样本后参数的变化"的一阶近似,这是一个反事实量,但它的有效性依赖于损失函数的平滑性和 Hessian 的可逆性。在大模型上,这些条件未必成立。本文用干预实验验证了因果性,但验证范围限于归纳头和前序 token 头两类单元。

  3. 可扩展性问题:MDA 需要在训练过程中保存每个样本的梯度(或梯度投影),这在数万亿 token 的语料上存储开销巨大。本文在 1M 样本规模上验证,但实际预训练语料通常比这大几个数量级。这是该框架能否从研究工具变成工程实践的关键瓶颈。

⚠️ 作者的 framing

作者将缺口 frame 成:"现有 TDA 方法关注全局行为,现有 MI 方法关注单元功能,但两者之间缺乏桥梁——我们无法回答'哪些数据塑造了哪些单元'。" 这一 framing 使得 MDA 成为"显然的下一步"。作者淡化的竞争路线包括:(a) 基于梯度匹配的 TDA 方法(如 TracIn、GradDot),这些方法不依赖 Hessian,但作者未在正文中讨论其与 MDA 的对比;(b) 基于因果中介分析的 MI 方法(如激活修补),这些方法也能建立数据-单元联系,但需要前向传播干预,计算成本更高。作者在 intro 中未提及这些替代方案,这可能是刻意的简化。

值得研究者去查的问题:作者声称"首次打通从训练数据到内部机制的因果链",但 Chen et al. (2025) 的安全神经元工作已经做了类似的事情(定位安全神经元并追溯其训练数据来源)。MDA 与 Chen et al. (2025) 的本质区别是什么?是框架的通用性(MDA 适用于任意单元),还是因果验证的严格性(MDA 做了双向干预)?这需要读 Chen et al. (2025) 原文确认。

张力

未见明显对立引用。但存在一个潜在张力:Olsson et al. (2022) 认为归纳头的形成是涌现的(在训练损失出现阶段性下降时突然出现),而本文的"稳态积累"模型(高影响样本均匀分布在整个训练窗口)暗示形成是渐进的。作者在 5.3 节用"均匀分布"的观察回应了这一张力,但这一观察是基于 14M 小模型的,是否在大模型上成立未知。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号清单(按类别分组):

类别 符号 含义
参数 \( \theta \) 模型全部参数,\( \theta \in \mathbb{R}^p \)
参数 \( \theta_{\text{sub}} \subseteq \theta \) 目标可解释单元的参数子集(如某注意力头的 \( W_Q, W_K, W_V, W_O \))
参数 \( \hat{\theta} \) 在完整训练集上训练得到的经验风险最小化参数
数据 \( z = (x, y) \) 一个训练样本(输入-输出对)
数据 \( D_{\text{train}} = \{z_1, \dots, z_N\} \) 训练集
数据 \( D_{\text{probe}} = \{x^{(m)}\}_{m=1}^M \) 探针数据集(用于评估单元功能的合成输入)
损失 \( L(z, \theta) \) 样本 \( z \) 上的损失函数(如交叉熵)
损失 \( R(\theta) = \frac{1}{N}\sum_{i=1}^N L(z_i, \theta) \) 经验风险
目标 \( f_{\text{probe}}(\theta, D_{\text{probe}}) \) 单元功能探针函数,将参数映射为标量分数(如归纳头分数)
目标 \( \mu(t) \) 监测指标,用于定位单元形成的临界窗口
估计量 \( I(z) \) 训练样本 \( z \) 对目标单元的影响分数
近似 \( \hat{H}^{-1}_{\theta_{\text{sub}}} \) EK-FAC 近似的子空间 Hessian 逆
投影 \( \pi \) 将全参数梯度投影到子空间 \( \theta_{\text{sub}} \) 的算子

模型:设模型为自回归 Transformer,参数 \( \theta \) 通过最小化训练集上的交叉熵损失得到。目标单元是某一层的注意力头 \( h \),其参数子空间为 \( \theta_{\text{sub}} = \{W_Q^{(h)}, W_K^{(h)}, W_V^{(h)}, W_O^{(h)}\} \)。单元功能由探针函数 \( f_{\text{probe}} \) 度量,例如归纳头分数定义为前缀匹配注意力权重的平均值。

可观测数据: - 训练集 \( D_{\text{train}} \):Pile 数据集的子集(约 100 万样本),用于计算影响分数。 - 探针数据集 \( D_{\text{probe}} \):合成的重复序列(如 \( [A B C] \dots [A B] \to C \)),用于评估单元功能。 - 训练轨迹:在临界窗口 \( [t_{\text{start}}, t_{\text{end}}] \) 内的高频 checkpoint,用于监测单元形成过程。

关键区分——可观测 vs. 潜在量: - 可观测:模型参数 \( \theta_t \)(每个 checkpoint)、训练样本 \( z_i \)、探针函数值 \( f_{\text{probe}}(\theta_t, D_{\text{probe}}) \)。 - 潜在(反事实):删除样本 \( z \) 后重新训练得到的参数 \( \hat{\theta}_{-z} \),以及对应的单元分数 \( f_{\text{probe}}(\hat{\theta}_{-z}, D_{\text{probe}}) \)。这是影响函数试图近似的量,但实际不可观测——因为重新训练成本过高。MDA 用一阶泰勒展开来近似这个反事实量。

第二步:最小内核

核心问题:给定一个可解释单元(如归纳头),哪些训练样本是它形成的"原因"?

最小设定:考虑一个单层注意力头,参数为 \( \theta_{\text{sub}} = [W_Q; W_K] \)(为简化,忽略 \( W_V, W_O \))。单元功能由前缀匹配分数 \( f_{\text{probe}} \) 度量。训练集 \( D_{\text{train}} \) 包含 \( N \) 个样本。

核心公式(MDA 影响分数):

\[I(z) = -\nabla_{\theta_{\text{sub}}} L(z)^\top \hat{H}^{-1}_{\theta_{\text{sub}}} \nabla_{\theta_{\text{sub}}} f_{\text{probe}}(\theta, D_{\text{probe}})\]

为什么这个公式是"最小内核":它把三个看似不相关的对象——训练样本的损失梯度 \( \nabla_{\theta_{\text{sub}}} L(z) \)、单元功能的参数梯度 \( \nabla_{\theta_{\text{sub}}} f_{\text{probe}} \)、以及参数空间的曲率 \( \hat{H}^{-1}_{\theta_{\text{sub}}} \)——组合成一个标量。这个标量度量的是:在参数空间中,沿着"提升单元功能"的方向,样本 \( z \) 的损失梯度有多大分量。如果 \( I(z) \) 很大,说明样本 \( z \) 的梯度方向与"增强归纳头"的方向高度一致,即该样本是归纳头形成的"推动力"。

为什么需要 Hessian:直接计算 \( \nabla_{\theta_{\text{sub}}} L(z)^\top \nabla_{\theta_{\text{sub}}} f_{\text{probe}} \) 忽略了参数之间的耦合。Hessian 的作用是"白化"参数空间,使得不同方向的比较在曲率意义下公平。例如,如果某个参数方向上的曲率很大(损失函数对该方向敏感),那么沿该方向的梯度分量应该被缩小权重。这正是影响函数理论中 Hessian 逆的标准角色。

为什么限制在子空间:全参数空间的影响函数 \( I(z) = -\nabla_\theta L(z)^\top H^{-1} \nabla_\theta f \) 会混合所有参数的影响,无法区分"这个样本塑造了归纳头"还是"这个样本塑造了其他功能"。通过将梯度投影到 \( \theta_{\text{sub}} \),MDA 只保留与目标单元直接相关的参数方向,从而实现了机制定位。

这个公式的局限(作者承认的): 1. 它是一阶近似,忽略了高阶交互。当样本对参数的影响高度非线性时(如多个样本共同作用),近似可能失效。 2. 它假设 Hessian 在子空间内可逆。如果子空间存在零曲率方向(如参数冗余),Hessian 逆会放大噪声。 3. 它度量的是"直接"影响,不包含通过其他单元间接传导的影响。作者在 5.3 节用"稳态积累"模型部分回应了这一点,但没有给出理论刻画。

为什么这个内核能支撑全文:全文的所有实验——因果验证(删除/增强高影响样本)、跨尺度泛化(14M 到 160M)、跨单元迁移(归纳头到前序 token 头)——都是在验证这个公式产生的排序是否具有因果效力。如果排序是噪声,干预实验不会产生显著效果;如果排序是真实的,干预实验应该能双向调控单元形成。因此,这个公式是全文的"可证伪核心"。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:提出了"机理数据归因"(MDA)框架,将训练数据归因从全局行为下沉到可解释单元(注意力头、SAE 特征)层面,回答"哪些训练样本塑造了归纳头等单元的形成"。
  2. 核心工具/方法:在影响函数框架内引入子空间限制——将梯度限制在目标单元的参数子空间 \( \theta_{\text{sub}} \) 上,并用 EK-FAC 近似子空间 Hessian 逆,从而在大模型上实现单元级别的数据归因。
  3. 主要结论:通过双向因果干预(删除/增强高影响样本)验证了 MDA 的因果效力;发现高影响样本具有"重复结构"特征,且跨模型尺度(14M→160M)和跨单元类型(归纳头→前序 token 头)具有迁移性;基于此提出数据增强流程,可加速单元形成。

关键设定与假设

模型与数据: - 模型:Pile 数据集上训练的 Pythia 系列(14M/31M/70M/160M),严格遵循官方架构与超参数。 - 探针数据:合成重复序列(归纳头)和随机序列(前序 token 头),用于评估单元功能。 - 训练窗口:针对每个模型尺寸,定义了临界形成窗口(如 14M 为 step 1000–1999),窗口内保存高频 checkpoint。

核心假设(作者明确或隐含依赖的): 1. 子空间可分离性:目标单元的功能主要由其自身参数决定,与其他单元的交互可以忽略。这是 MDA 公式(式 2)成立的前提——如果单元间存在强耦合,子空间限制会丢失关键信息。 2. Hessian 的可逆性:在子空间 \( \theta_{\text{sub}} \) 内,EK-FAC 近似的 Hessian 可逆。作者用"条件数"检查部分验证了这一点,但没有给出理论保证。 3. 一阶近似的有效性:影响函数是删除样本后参数变化的线性近似,作者假设在临界窗口内这一近似足够准确。 4. 探针函数的有效性:\( f_{\text{probe}} \) 确实度量了单元的功能(而非噪声)。作者用消融实验验证了归纳头分数与 ICL 能力的相关性。

相比已有工作的变化: - 相比 Koh & Liang (2017):将影响函数从"测试损失"扩展到"单元功能探针",并引入子空间限制。 - 相比 Grosse et al. (2023):从"输出行为"转向"内部单元",且验证了因果效力(双向干预),而 Grosse 等主要做相关性分析。 - 相比 Olsson et al. (2022):从"识别归纳头"推进到"追溯归纳头的训练数据来源"。

主要结果

因果验证(Section 4): - 删除实验:在训练窗口内删除 top-10% 高影响样本(约 10 万样本),归纳头分数显著下降(14M 模型从约 0.45 降至约 0.25),且下降幅度远超随机删除基线。 - 增强实验:将高影响样本重复 2-3 次插入训练窗口,归纳头分数显著上升(14M 模型从约 0.45 升至约 0.55),且上升幅度与插入量正相关。 - 关键对照:随机删除/增强同样数量的样本,归纳头分数变化不显著(变化幅度 < 0.02),排除了"样本量效应"的替代解释。

数据特征分析(Section 5): - 重复结构:高影响样本中,约 60% 包含重复的 token 序列(如 XML 标签、代码模板、表格结构),而随机样本中这一比例约为 20%。 - 跨尺度迁移:14M 模型识别的高影响样本,在 31M/70M/160M 模型上同样有效(增强实验均显著加速归纳头形成),但效果随模型增大而减弱(160M 的增强效果约为 14M 的 60%)。 - 跨单元迁移:归纳头的高影响样本对前序 token 头也有增强效果,但效果较弱(约为归纳头自身效果的 40%),表明存在共享的数据结构特征。

数据增强流程(Section 6): - 基于 14M 模型识别的高影响样本,用 LLM 提取模式并生成合成数据,插入更大模型的训练。 - 结果:160M 模型在插入 10,000 条合成数据后,归纳头分数提升 2.56%(从 0.508 到 0.521),且 ICL 能力同步提升。 - 关键发现:合成数据的增强效果与真实高影响样本相当,但所需数据量更少(10,000 vs 100,000),表明模式提取有效。

可扩展性(Section 4.3): - MDA 计算时间与模型参数呈近似线性关系(图 3),14M 模型约 11.6 GPU 小时,160M 模型约 47.3 GPU 小时。 - 计算瓶颈在于 EK-FAC 的协方差估计,而非梯度计算。

证明路线与技术技巧

整体路线(理论部分,附录 A):

  1. 从全参数到子空间:标准影响函数 \( I(z) = -\nabla_\theta L(z)^\top H^{-1} \nabla_\theta f \) 定义在全参数空间。MDA 的关键步骤是将 Hessian 和梯度都限制在子空间 \( \theta_{\text{sub}} \) 上,得到式 (2)。这一步的合理性论证是:如果目标单元的功能主要由 \( \theta_{\text{sub}} \) 决定,那么全参数影响函数中来自其他参数的贡献可以忽略。

  2. EK-FAC 近似:直接计算 \( H^{-1}_{\theta_{\text{sub}}} \) 仍然不可行(子空间维度 \( \sim 10^6 \))。EK-FAC 将 Hessian 近似为 \( H \approx A \otimes S \),其中 \( A \) 是输入协方差,\( S \) 是梯度协方差。利用 Kronecker 积的求逆性质 \( (A \otimes S)^{-1} = A^{-1} \otimes S^{-1} \),将复杂度从 \( O(d^6) \) 降至 \( O(d^3) \)。

  3. 子空间投影:对于注意力头,\( \theta_{\text{sub}} \) 包含 \( W_Q, W_K, W_V, W_O \)。作者将这四个矩阵拼接为一个大矩阵,然后在其上应用 EK-FAC。关键技巧是共享输入协方差:由于 \( W_Q \) 和 \( W_K \) 接收相同的输入 \( x \),它们的输入协方差 \( A \) 相同,只需计算一次。

  4. 梯度计算:\( \nabla_{\theta_{\text{sub}}} f_{\text{probe}} \) 通过反向传播计算,其中 \( f_{\text{probe}} \) 是探针数据集上的平均分数。作者使用合成数据而非真实数据,以避免过拟合。

关键技巧: - 子空间 Hessian 的条件数控制:作者在附录中报告了子空间 Hessian 的条件数(约 \( 10^3 \)),表明 EK-FAC 近似在该子空间内是稳定的。 - 梯度裁剪:在计算 \( \nabla_{\theta_{\text{sub}}} L(z) \) 时,作者对梯度进行了裁剪,以避免个别样本的梯度主导影响分数。 - Top-K 选择的稳定性:作者用不同随机种子重复实验,发现 Top-K 样本的重叠率 > 90%,表明排序是稳定的。

证明的局限: - 作者没有给出影响函数近似的误差界。在非凸、非平滑的损失函数上,一阶近似的有效性缺乏理论保证。 - 子空间选择的最优性没有讨论。为什么选择 \( W_Q, W_K, W_V, W_O \) 作为子空间?如果选择其他参数子集(如 MLP 权重),结果会如何?作者没有回答。 - 跨尺度迁移的机制没有解释。为什么 14M 模型识别的高影响样本对 160M 模型有效?是因为数据结构特征(重复性)是尺度不变的,还是因为训练动态相似?作者只给了经验证据,没有理论解释。

🔎 结论是否比证明窄

明确的窄结论: 1. "因果"的强度:作者在 Section 4 声称"删除高影响样本显著抑制归纳头形成",但这一结论仅在 14M 模型上做了完整的双向干预。对于 31M/70M/160M,只做了增强实验(Section 6),没有做删除实验。因此,"删除抑制"的因果结论严格来说只对 14M 成立。 2. "跨尺度泛化"的表述:作者在摘要中声称"跨模型尺度泛化",但实验只覆盖了 14M 到 160M 的范围(约 10 倍),且 160M 的增强效果已明显减弱(2.56% vs 14M 的 12.3%)。"泛化"的表述可能过于乐观。 3. "机制催化剂"的定性:作者在 Section 5.1 将重复结构数据称为"机制催化剂",但这一结论基于定性观察(高影响样本中重复结构比例高),没有定量检验"重复结构"是否是因果驱动因素。例如,是否可以用合成数据精确控制重复程度,验证剂量-反应关系?作者在 Section 6 做了部分验证,但合成数据的重复模式是 LLM 提取的,不是精确控制的。

作者明确承认的局限(Discussion 部分): - 间接影响的忽略("path-based aggregation fails to disentangle") - 计算成本随模型增大而增长 - 探针函数选择的敏感性

值得注意的未讨论问题: - 影响函数对超参数选择(学习率、batch size)的敏感性。 - 高影响样本是否与"困难样本"或"异常样本"重叠?作者没有讨论。 - 该方法是否适用于其他类型的可解释单元(如 MLP 中的知识神经元)?作者只在附录中做了初步 SAE 实验,没有系统验证。


四、开放问题

  1. 理论保证:MDA 的一阶近似在什么条件下有效?能否给出误差界?这需要将影响函数理论扩展到子空间和非凸损失。扎根于附录 A 的推导——作者假设了损失函数的二阶可微性和 Hessian 的可逆性,但没有讨论这些条件在 Transformer 上是否成立。

  2. 子空间选择的系统性方法:本文手动选择了注意力头的参数子空间。能否自动发现"对某个功能最相关的参数子空间"?这类似于因果推断中的"因果发现"问题。扎根于式 (2) 的定义——子空间 \( \theta_{\text{sub}} \) 的选择直接决定了归因结果。

  3. 间接影响的解耦:作者承认 MDA 只捕捉直接影响,但如何将间接影响(通过其他单元传导)纳入框架?这需要将影响函数扩展到"路径"层面。扎根于 Discussion 部分的"path-based aggregation fails to disentangle"。

  4. 跨尺度的机制解释:为什么 14M 模型识别的高影响样本对 160M 模型有效?是因为重复结构是尺度不变的,还是因为训练动态(如损失景观)相似?这需要理论模型。扎根于 Section 6 的跨尺度实验结果。

  5. 与因果推断的形式化联系:MDA 的"删除样本"干预类似于因果推断中的"do-operator",但影响函数是一阶近似。能否用因果推断的框架(如工具变量、前门准则)来形式化 MDA 的识别假设?扎根于 Section 4 的因果验证实验设计。

  6. 数据增强的剂量-反应关系:作者发现合成数据可以加速归纳头形成,但没有系统研究"多少合成数据"与"加速多少"之间的关系。这需要更精细的实验设计。扎根于 Section 6.2 的表 2。

确认 gap 的建议:要确认某条是不是真 gap,去读以下方向的近期约 5 篇 intro:(a) 影响函数在大模型上的应用(看是否已有子空间版本);(b) 机械可解释性的训练动态研究(看是否已有数据归因视角);(c) 数据选择/数据增强的可解释方法(看是否已有机制层面的数据选择)。如果这些方向的 intro 都指向"缺乏从数据到单元的可解释归因",那 MDA 的 gap 是真实的;如果互相打架,则可能是框架选择问题而非本质 gap。


Maintained by 陈星宇 · Homepage · Source

评论