Does TabPFN Understand Causal Structures?¶

作者: Omar Swelam, Lennart Purucker, Jake Robertson, Hanne Raum, Joschka Boedecker et al.
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2511.07236

一、领域脉络与小综述¶

这个方向是什么¶

因果发现（causal discovery）是从观测数据（有时结合干预数据）中推断变量间有向无环图（DAG）的统计任务。它是因果推断的第一步，直接决定后续效应估计的识别性。传统方法分为三类：约束基（基于条件独立性检验，如 PC 算法）、评分基（基于结构评分搜索，如 GES）、连续优化（如 NOTEARS 将 acyclicity 约束转化为光滑惩罚）。这些方法各有理论保证，但面临假设严格（如 faithfulness、线性性、高斯噪声）、计算复杂度随变量数指数增长等瓶颈。近年来，神经因果发现方法尝试用 Transformer 在合成数据上端到端学习从数据到图结构的映射，以绕过组合搜索和强假设。本文则进一步追问：一个已经在合成 SCM 数据上预训练好的表格基础模型（TabPFN），其内部表征是否已经隐含了因果结构信息？如果答案是肯定的，就可以通过轻量适配器提取这些信息，而无需从头训练因果发现模型。

发展脉络（history）¶

奠基工作：Spirtes et al. (2000) 提出约束基框架（PC/FCI），以条件独立性检验为原子操作，在 faithfulness 假设下可识别 Markov 等价类。Chickering (2002) 提出 GES，用评分函数（如 BIC）在等价类空间贪心搜索，具有一致性。这两条路线奠定了因果发现的理论基础，但都面临高维下检验次数爆炸和搜索空间组合爆炸的问题。

连续优化突破：Zheng et al. (2018) 提出 NOTEARS，将 acyclicity 约束转化为光滑等式约束（迹指数函数），从而将结构学习转化为连续优化问题，可借助标准梯度方法求解。这一工作极大降低了计算成本，但假设线性结构且噪声同方差。后续工作（如 Lee et al. 2019 的 NO-BEARS）进一步加速。

干预数据与可识别性：Hauser & Bühlmann (2012) 将 Markov 等价类概念推广到干预数据，提出 interventional essential graph 和 GIES 算法，证明干预可细化等价类、提升可识别性。Wang et al. (2017) 提出 IGSP，基于排列的干预因果推断算法，并给出一致性保证。Brouillard et al. (2020) 提出 DCDI，用神经网络参数化条件分布，在连续优化框架下处理干预数据。这些工作表明干预数据能显著缓解可识别性问题，但方法本身仍依赖搜索或优化。

神经因果发现（摊销学习）：Lorch et al. (2022) 提出 AVICI，用 Transformer 编码器处理观测+干预数据，输出每个特征对的边概率，实现单次前向传播的因果发现。该方法在合成数据上显著优于传统基线，且可扩展到更高维。Ke et al. (2023) 和 Dhir et al. (2025) 进一步用元学习或贝叶斯元学习框架提升泛化能力。这些方法的核心是：在大量合成 SCM 数据上训练一个神经网络，使其学会从数据到图结构的映射，从而在测试时无需搜索。

PFN 与因果推断：Hollmann et al. (2022, 2025) 提出 TabPFN，一个在 SCM 生成数据上预训练的 Transformer，用于小样本表格分类/回归，取得 SOTA。其预训练数据生成过程本身就包含因果结构（SCM），因此作者假设其嵌入可能隐含因果知识。Robertson et al. (2024, 2025) 和 Ma et al. (2025) 将 PFN 扩展到反事实公平性和因果效应估计，证明 PFN 可以被训练来编码因果表征。这些工作为本文提供了直接动机：既然 PFN 可以被训练来编码因果信息，那么已经预训练好的 TabPFN 是否已经隐含了因果结构？

本文位置：本文是第一个系统探究预训练 TabPFN 嵌入中是否包含因果结构信息的工作。它不属于传统因果发现的理论改进，也不属于神经因果发现的新架构，而是属于“基础模型探测”（probing）方向——检验一个在预测任务上预训练的模型是否无意中习得了因果知识，并设计适配器将其提取出来用于下游因果发现。

子线索聚类¶

传统因果发现（约束/评分/连续优化）：Spirtes (2000), Chickering (2002), Zheng (2018), Hauser & Bühlmann (2012), Wang (2017), Brouillard (2020)。共同特点：有理论保证（一致性、可识别性），但计算成本高或假设强。
神经因果发现（摊销学习）：Lorch (2022) AVICI, Ke (2023), Dhir (2025)。共同特点：用 Transformer 在合成数据上端到端训练，单次前向传播预测图结构，无需搜索；但缺乏理论保证，泛化依赖训练分布。
PFN 及其因果扩展：Hollmann (2022, 2025) TabPFN, Robertson (2024) FairPFN, Robertson (2025) Do-PFN, Ma (2025) CausalFM。共同特点：在 SCM 生成数据上预训练，可进行上下文学习；后续工作证明可通过微调或重新训练来编码因果信息。

本文属于第 2 和第 3 的交叉：它借用 AVICI 的预测头和损失函数，但使用 TabPFN 的冻结编码器作为特征提取器，而非从头训练编码器。

这个方向在追问的核心问题¶

问题 1：如何从观测/干预数据中可靠地恢复 DAG，尤其是在高维、非线性、非高斯设定下？
问题 2：神经因果发现方法能否在真实数据上超越传统方法？其泛化边界是什么？
问题 3：预训练基础模型（如 TabPFN）的内部表征是否隐含因果知识？如何提取和验证？
问题 4：因果发现与预测任务之间存在什么关系？一个在预测任务上表现好的模型是否必然编码了因果结构？

当前主流方法：神经方法（AVICI 等）在合成数据上表现优异，但真实数据上的优势尚未充分验证；传统方法仍有理论优势但计算瓶颈明显。已知瓶颈：可识别性（等价类）、样本复杂度、对假设的敏感性。

⚠️ 作者的 framing¶

作者将缺口 frame 为：“传统因果发现方法假设严格、计算复杂；神经因果发现方法需要专门训练；而 TabPFN 已经在 SCM 数据上预训练，可能已经隐含因果知识，因此我们可以通过轻量适配器提取它，而无需从头训练。” 这使得本文成为“显然的下一步”：既然 TabPFN 在预测任务上成功，且其预训练数据来自 SCM，那么探测其因果知识是自然的。

被淡化或回避的竞争路线： - 作者将 AVICI 作为主要比较基线，但 AVICI 是专门为因果发现训练的，而本文的适配器只训练了 3.6M 参数（解码器），TabPFN 编码器冻结。这种不对称比较可能高估了 TabPFN 的因果编码能力——因为 AVICI 的编码器也是从头训练的，而 TabPFN 的编码器是在更大规模数据上预训练的。作者没有讨论这种不公平性。 - 作者没有与基于 score 的方法（如 GES）或连续优化方法（NOTEARS）进行理论对比，只与干预方法（GIES, IGSP, DCDI）比较。这些基线本身在合成数据上可能不是最强的。 - 作者没有讨论因果发现的可识别性理论：TabPFN 的嵌入是否能够区分 Markov 等价类？如果不能，那么提取的因果结构可能只是等价类中的一个代表，而作者没有评估这一点。

明显该被引/该存在、却没出现在 intro 里： - 没有引用关于“基础模型探测”（probing）的文献，例如 NLP 中探测 BERT 是否编码句法/语义知识的工作。本文的方法本质上是一种 probing，但作者没有将其置于该文献中。 - 没有引用关于“因果表示学习”的理论工作（如 Schölkopf et al. 2021 的因果表示学习综述），这些工作讨论了模型在预测任务中学习因果变量的可能性。 - 没有引用关于“TabPFN 预训练数据生成过程”的详细分析（Hollmann et al. 2025 的附录可能包含，但本文未深入讨论），这直接关系到因果信息是否被编码。

张力¶

未见明显对立引用。所有被引工作基本一致认为：传统方法有理论保证但计算昂贵，神经方法有潜力但缺乏保证，PFN 在预测任务上成功。本文的发现（TabPFN 嵌入包含因果信息）与 AVICI 等神经方法并不矛盾，只是提供了一个更经济的替代方案。

二、最核心、最简单的例子 / 数学问题¶

第一步：符号、模型、可观测数据交代清楚¶

符号： - \( f \)：变量（特征）个数，每个变量对应 DAG 中的一个节点。 - \( n \)：样本量（观测+干预样本总数）。 - \( X \in \mathbb{R}^{n \times f} \)：观测数据矩阵，第 \( i \) 行第 \( j \) 列是第 \( i \) 个样本的第 \( j \) 个变量的值。 - \( A \in \{0,1\}^{f \times f} \)：邻接矩阵，\( A_{ij}=1 \) 表示存在有向边 \( j \to i \)（注意方向约定：列指向行）。\( A \) 是 DAG（无环）。 - \( d \)：TabPFN 嵌入维度（\( d=192 \)）。 - \( H \in \mathbb{R}^{n \times f \times d} \)：TabPFN 编码器输出的嵌入张量，\( H_{i,j,:} \) 是样本 \( i \) 中特征 \( j \) 的 \( d \) 维表征。 - \( Q \in \mathbb{R}^{t \times f \times d} \)：可学习的因果 token，\( t=30 \) 个 token 对应每个特征。 - \( \hat{A} \in [0,1]^{f \times f} \)：预测的边概率矩阵，\( \hat{A}_{ij} = \sigma( \text{dot}(U_i, V_j) ) \)，其中 \( U_i, V_j \in \mathbb{R}^{k} \) 是特征 \( i \) 的 child embedding 和特征 \( j \) 的 parent embedding（\( k=4 \) 个聚合 token 的维度）。

模型： - 数据生成过程：假设存在一个未知的 SCM，其结构由 DAG \( A \) 定义。每个变量 \( X_j \) 由其父变量 \( \text{pa}(j) \) 和独立噪声 \( \epsilon_j \) 通过函数 \( f_j \) 生成：\( X_j = f_j(X_{\text{pa}(j)}, \epsilon_j) \)。函数 \( f_j \) 可以是线性或 RFF（随机傅里叶特征）函数，噪声可以是高斯、拉普拉斯或柯西。干预数据通过随机选择一半变量进行单变量硬干预（将干预变量设为从均匀分布采样的值）生成。 - 可识别性假设：因果充分性（无隐藏混淆）、DAG 结构、干预是已知且完美的（干预目标已知，干预值随机）。

可观测数据： - 研究者实际能观测到的是：一个数据集 \( X \in \mathbb{R}^{n \times f} \)，以及每个样本的干预指示矩阵 \( I \in \{0,1\}^{n \times f} \)，其中 \( I_{i,j}=1 \) 表示第 \( i \) 个样本中第 \( j \) 个变量被干预。观测数据包含观测样本和干预样本的混合。 - 想要但观测不到的是：真实的 DAG 邻接矩阵 \( A \)，以及每个变量的因果机制 \( f_j \)。

第二步：最小内核¶

最简特例：考虑 \( f=2 \) 个变量（\( X_1, X_2 \)），只有两种可能的 DAG：\( X_1 \to X_2 \) 或 \( X_2 \to X_1 \)。数据包含 \( n \) 个样本，其中一部分是观测样本，一部分是干预样本（例如干预 \( X_1 \) 或 \( X_2 \)）。TabPFN 编码器将每个样本的每个特征值映射为 \( d \) 维嵌入，得到 \( H \in \mathbb{R}^{n \times 2 \times d} \)。我们使用 \( t=1 \) 个因果 token（为简化），即 \( Q \in \mathbb{R}^{1 \times 2 \times d} \)。解码器执行交叉注意力：因果 token 作为 query，数据嵌入 \( H \) 作为 key/value，输出 \( R \in \mathbb{R}^{1 \times 2 \times d} \)。然后对每个特征 \( j \)，从 \( R \) 中取出对应位置的向量，通过线性投影得到 child embedding \( U_j \in \mathbb{R}^{k} \) 和 parent embedding \( V_j \in \mathbb{R}^{k} \)（这里 \( k=1 \) 进一步简化）。边概率 \( \hat{A}_{12} = \sigma( \text{dot}(U_1, V_2) ) \)，\( \hat{A}_{21} = \sigma( \text{dot}(U_2, V_1) ) \)。由于 DAG 无环，\( \hat{A}_{12} \) 和 \( \hat{A}_{21} \) 不能同时为 1，但训练时通过 acyclicity 约束（谱半径）来惩罚循环。

核心思路：TabPFN 的预训练使其嵌入 \( H \) 已经包含了关于变量间依赖关系的信息（例如，当 \( X_1 \to X_2 \) 时，干预 \( X_1 \) 会改变 \( X_2 \) 的分布，而干预 \( X_2 \) 不会改变 \( X_1 \) 的分布）。解码器通过交叉注意力从 \( H \) 中提取这些信息，并学习将特征对的嵌入差异映射为因果方向。在 \( f=2 \) 的特例下，问题退化为一个二分类：判断哪个方向更可能。训练时，解码器参数被优化以最小化 BCE 损失，同时满足 acyclicity。如果 TabPFN 的嵌入确实编码了因果信息，那么解码器应该能学会利用这些信息，在测试时对未见过的数据生成正确的边概率。

为什么这个特例抓住了核心：整篇论文的方法本质上是将这个二变量特例推广到多变量（\( f \) 任意），并引入多个因果 token 和更复杂的聚合操作。核心数学困难在于：如何从高维嵌入中提取出与因果方向相关的信号，并处理多变量下的组合可能性。本文的关键想法是：使用可学习的因果 token 作为 query，通过交叉注意力自动聚焦于与因果相关的嵌入部分，而不是手工设计特征。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：TabPFN（一个在 SCM 生成数据上预训练的 Transformer 表格基础模型）的内部嵌入是否包含因果结构信息，以及如何提取这些信息用于因果发现。
核心工具/方法：设计一个适配器框架，冻结 TabPFN 编码器，附加可学习的双注意力解码器和通用因果 token，通过交叉注意力从数据嵌入中提取因果信号，再通过线性投影和点积预测邻接矩阵。
主要结论：TabPFN 的嵌入确实包含因果信息，在合成数据上优于传统因果发现算法（GIES, IGSP, DCDI），性能接近专门训练的神经因果发现模型 AVICI；因果信息集中在中层（第 4-6 层），且预训练权重比随机权重提供更好的因果信号。

关键设定与假设¶

因果充分性：假设没有隐藏混淆变量，所有相关变量都被观测到（第 3.3 节数据生成部分明确提及）。
DAG 结构：真实图是有向无环图。
干预类型：单变量硬干预，干预目标随机选择一半变量，干预值从均匀分布采样（附录 C.3）。
数据生成多样性：训练时使用 5 种图结构（Erdős-Rényi, Scale-Free, Watts-Strogatz, Stochastic Block Model, Geometric Random Graph），2 种机制函数（线性、RFF），3 种噪声分布（高斯、拉普拉斯、柯西），参数范围见附录 C.4 表 1。
与已有文献的对比：相比传统方法，本文不假设线性性、高斯性或 faithfulness（但数据生成中使用了这些假设来生成数据，而方法本身不依赖它们）；相比 AVICI，本文使用冻结的预训练编码器而非从头训练。

主要结果¶

RQ1（因果信息提取）：在 500 个测试数据集上（特征数 5-20，各 300 观测+300 干预样本），本文方法（TabPFN+适配器）的 ROC AUC 接近 AVICI（scm-v0），且稳定优于 GIES、IGSP、DCDI（图 2 左）。AP 分数随特征数增加而下降，但本文方法仍优于统计基线（图 2 右）。具体数值：在特征数 5 时，本文 AP 约 0.7，AVICI 约 0.75，GIES 约 0.4；特征数 20 时，本文 AP 约 0.35，AVICI 约 0.5，GIES 约 0.15。
RQ2（因果信息传播层）：使用第 4-6 层（中层）的嵌入比使用前 3 层或后 6 层得到更高的 AP（图 3 左）。例如，第 4 层 AP 约 0.55，第 1 层约 0.35，第 12 层约 0.4。
RQ3（编码器重要性）：使用预训练权重（Optimal Weights）比随机初始化（Random Weights）的 AP 高约 0.15；使用故意降低分类性能的权重（Worse Weights）导致 AP 下降约 0.1（图 3 右）。这表明 TabPFN 的预训练确实编码了与因果相关的特征交互。
解码器消融：有解码器（Standard Decoder）比无解码器（No Decoder）的 AP 高约 0.2（图 6），说明解码器是提取因果信息的关键组件。

证明路线与技术技巧（本文为实证研究，无严格理论证明，但可拆解实验设计逻辑）¶

整体路线： 1. 冻结编码器：使用 TabPFNv2 的 12 层 Transformer 编码器，冻结所有权重。输入数据 \( X \in \mathbb{R}^{n \times f} \) 和干预指示矩阵 \( I \in \{0,1\}^{n \times f} \) 被拼接为 \( (n, f, 2) \) 张量，通过 TabPFN 的投影层得到嵌入 \( H_0 \in \mathbb{R}^{n \times f \times d} \)。 2. 前向传播至第 L 层：将 \( H_0 \) 通过 TabPFN 的前 \( L=4 \) 层（根据 RQ2 选择中层），得到 \( H_L \in \mathbb{R}^{n \times f \times d} \)。 3. 解码器交叉注意力：可学习因果 token \( Q_0 \in \mathbb{R}^{t \times f \times d} \) 作为 query，\( H_L \) 作为 key/value，通过双注意力（先跨特征、再跨样本）更新因果 token，得到 \( R_L \in \mathbb{R}^{t \times f \times d} \)。 4. 聚合与预测：对每个特征 \( j \)，将 \( t \) 个因果 token 的输出通过 max/min/mean/std 聚合为 \( k=4 \) 个 token，拼接后得到特征表示 \( Z_j \in \mathbb{R}^{k \times d} \)。然后通过线性投影得到 parent 和 child embedding，点积后 sigmoid 得到边概率 \( \hat{A}_{ij} \)。 5. 训练：最小化加权 BCE 损失（平衡正负边），加上 acyclicity 约束（通过谱半径估计，使用幂迭代法，采用增广拉格朗日方法优化）。

关键跳跃点： - 为什么因果 token 能提取因果信息？作者没有理论解释，但实验表明：有解码器比无解码器好，且预训练权重比随机好。这暗示 TabPFN 的嵌入中因果信息是存在的但需要被“读出”，而因果 token 通过交叉注意力自动学习如何读出。 - 为什么中层最好？作者引用 Sia et al. (2024) 和 Küken et al. (2025) 的解释：中层编码了功能理解，而高层更适应下游任务（分类）。但本文没有进一步分析。

技术技巧点名： - 双注意力机制：TabPFN 编码器和解码器都使用跨样本和跨特征的双重自注意力/交叉注意力，这是处理表格数据的关键设计（Hollmann et al. 2022）。 - 通用因果 token：借鉴 TuneTables (Feuer et al. 2024) 的 prompt-tuning 思想，但使用通用 token（对所有数据集共享）而非数据集特定 token。 - 谱半径 acyclicity 约束：采用 Lee et al. (2019) 的 NO-BEARS 方法，用幂迭代估计最大特征值，通过增广拉格朗日优化施加无环约束。 - 聚合操作：使用 max/min/mean/std 四种统计量将 \( t=30 \) 个 token 压缩为 \( k=4 \) 个，保留多样信息。

真实例子与应用¶

本文为纯合成数据实验，无真实数据例子。数据生成过程（附录 C）模拟了多种图结构和机制，但所有评估都在合成数据上进行。作者在结论中提及“有助于科学发现”，但未提供任何真实科学应用案例。

🔎 结论是否比证明窄¶

结论：“TabPFN’s embeddings contain causal information” 是基于有限实验（合成数据，特定生成分布）的实证观察，没有理论保证。作者没有证明在任意 SCM 生成的数据上该结论成立，也没有给出因果信息含量的度量。
泛化声明：作者声称“outperforming several traditional causal discovery algorithms”，但仅在合成数据上比较，且传统算法（GIES, IGSP, DCDI）本身在合成数据上的表现可能不如在真实数据上（因为真实数据可能违反假设）。作者没有在真实数据上验证。
因果信息的本质：实验表明 TabPFN 嵌入有助于预测边，但无法区分这是因果信息还是仅仅是相关结构（例如，干预数据提供了方向信息，但 TabPFN 可能只是记住了干预模式）。作者没有进行反事实实验或可识别性分析来确认提取的是因果方向而非关联方向。
具体语句：第 4 节“Results”中，作者说“our approach extracts causal information by achieving ROC AUC scores close to AVICI”。但 AVICI 本身也是从合成数据中学习的，其“因果信息”也是相对于同一生成分布而言的。因此，这只能说明 TabPFN 嵌入包含了与 AVICI 编码器类似的信息，不能证明是真正的因果知识。

四、开放问题¶

理论保证：能否证明在什么条件下（如干预的强度、图结构的稀疏性、噪声类型），TabPFN 的嵌入必然包含足够识别 DAG 的信息？本文缺乏任何理论分析，仅依赖实验。扎根于：全文无定理或引理，结论完全基于实验观察。
可扩展性与真实数据：AP 随特征数增加而显著下降（图 2 右），且在不同图结构上表现差异大（图 7）。如何改进适配器或利用 TabPFN 的更多层来缓解？更重要的是，在真实数据（如基因调控网络、经济学数据）上，TabPFN 的嵌入是否仍包含因果信息？本文未进行任何真实数据实验。扎根于：第 4.2 节“AP scores decline at increasing feature sizes”和附录 D.2 的图 7。
因果信息的本质：TabPFN 学到的是因果结构还是仅仅是干预条件下的条件分布变化？能否通过反事实干预实验（如 Do-PFN 中的方法）来区分？本文没有探讨。扎根于：第 2 节“Related work”中引用了 Do-PFN (Robertson et al., 2025) 但未将其方法用于验证。
与其他基础模型的比较：其他表格基础模型（如 FT-Transformer, SAINT）是否也编码因果信息？TabPFN 的特殊性在于其预训练数据来自 SCM，但其他模型可能通过其他方式隐含因果知识。本文未探索。扎根于：第 1 节“Introduction”仅聚焦 TabPFN，未讨论其他 TFM。
可识别性：TabPFN 的嵌入能否区分 Markov 等价类？如果不能，那么提取的图可能只是等价类中的一个代表，而作者没有评估与真实图的等价类距离。扎根于：第 2 节引用了 Hauser & Bühlmann (2012) 关于干预等价类的工作，但本文未使用该理论来评估结果。

Maintained by 陈星宇 · Homepage · Source on GitHub