Improving TabPFN's Synthetic Data Generation by Integrating Causal Structure¶

作者: Davide Tugnoli, Andrea De Lorenzo, Marco Virgolin, Giovanni Cinà
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2603.10254

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向是合成表格数据生成，其根本问题是：给定一个真实表格数据集（通常样本量小、包含混合类型变量、变量间存在复杂依赖关系），如何生成一个统计上逼真、能保留原始数据关键结构（尤其是因果结构）且不泄露隐私的合成数据集。当前该领域的成熟度较高，已有大量基于GAN、VAE、扩散模型和自回归架构的方法，但将显式因果结构注入预训练基础模型（如TabPFN）的生成过程，是一个相对较新的探索。

发展脉络（history）¶

奠基工作：GAN与VAE时代。TGAN [Xu and Veeramachaneni, 2018] 和 CTGAN [Xu et al., 2019] 将GAN从图像迁移到表格数据，处理混合类型和类别不平衡。CTAB-GAN [Zhao et al., 2021] 进一步改进语义保真度。这些方法生成所有特征同时进行，不显式建模因果结构。
主要进展：扩散模型与自回归方法。TabDDPM [Kotelnikov et al., 2023] 将扩散模型引入表格数据，取得强性能。GReaT [Borisov et al., 2023] 将表格行视为文本序列，用语言模型自回归生成。TabularARGN [Tiwald et al., 2025] 通过训练时随机化特征顺序来学习不同子集上的条件分布。这些方法在统计保真度上进步显著，但生成过程仍不显式考虑因果结构。
当前Frontier：因果感知生成与基础模型。DECAF [Van Breugel et al., 2021] 将SCM嵌入GAN架构用于干预去偏。DATGAN [Lederrey et al., 2022] 集成专家DAG来强制结构依赖。CausalDiffTab [Zhang et al., 2025] 从数据学习因果图并用于正则化扩散生成。这些方法需为每个数据集从头训练。同时，TabPFN [Hollmann et al., 2025] 作为表格基础模型，通过预训练数百万SCM合成数据集实现小样本下的SOTA预测性能，其扩展版本可用于自回归合成数据生成。
本文的位置：本文是首次将显式因果结构注入TabPFN（一个预训练基础模型）的合成数据生成过程，通过DAG感知条件化和PDAG策略，在推理时无需参数更新即可改善生成质量。这填补了“基础模型”与“因果感知生成”之间的空白。

子线索聚类¶

非因果生成方法：TGAN, CTGAN, CTAB-GAN, TabDDPM, GReaT, TabularARGN。这些方法关注统计保真度，但不显式使用因果图。
因果感知生成方法：DECAF, Causal-TGAN, DATGAN, CA-GAN, CausalDiffTab。这些方法将因果结构（已知或发现）嵌入生成模型架构或训练过程，但需为每个数据集从头训练。
基础模型与元学习方法：TabPFN, TabPFGen, Do-PFN, CausalPFN, MACE-TNP。这些方法利用预训练或元学习，但要么不生成完整联合分布（Do-PFN, CausalPFN只预测干预结果），要么生成时不显式使用因果图（TabPFN, TabPFGen）。

这个方向在追问的核心问题¶

如何生成统计上逼真且保留因果结构的合成数据？ 当前主流方法（GAN、扩散模型）在统计保真度上表现良好，但可能引入虚假相关，破坏因果结构。
如何将因果知识（已知或部分已知）注入生成过程，而不需要为每个数据集重新训练模型？ 这是基础模型范式的核心优势，但现有因果感知方法都需从头训练。
当因果知识不完全时（如只有部分定向的PDAG），如何设计生成策略以最大化收益并最小化错误定向的风险？ 这是实际应用中的常见场景。
合成数据中的误差如何传播到下游因果估计（如ATE）？ 这是评估合成数据实用性的关键。

⚠️ 作者的framing¶

作者将缺口frame成：TabPFN的自回归生成顺序与真实因果结构冲突时，会产生虚假相关，损害合成数据质量和因果效应保持。作者将本文定位为“显然的下一步”：既然TabPFN预训练于SCM，且其自回归性质是已知局限，那么在推理时注入因果结构来指导生成顺序和条件集，是自然且有效的改进。

被淡化或回避的竞争路线： - TabPFGen [Ma et al., 2024] 用能量基采样替代自回归条件化，作者仅提一句“neither approach explicitly conditions on causal graphs during generation”，但未深入讨论能量基方法是否本身对顺序不敏感。 - Do-PFN / CausalPFN 直接预测干预分布，但作者指出它们“do not model the full joint distribution”，这确实是本质区别，但未讨论是否可将它们的预测能力与本文的生成框架结合。

什么明显该被引/该存在、却没出现在intro里？ - Causal-TGAN [Wen et al., 2022] 在intro的因果方法段落中被引用，但未在正文中作为baseline对比（只在附录K对比了DATGAN和DECAF，未对比Causal-TGAN）。 - CA-GAN [Nguyen et al., 2025] 同样被引用但未作为baseline。 - 更系统的因果发现算法比较（如GES, LiNGAM, NOTEARS）未被讨论，作者只用了PC-stable和ReX。

张力¶

未见明显对立引用。不同方法在“是否显式使用因果图”和“是否需要从头训练”这两个维度上存在差异，但结论方向一致：因果感知方法通常优于非因果方法，但代价是训练成本。本文的贡献在于在“无需训练”的前提下实现因果感知。

二、最核心、最简单的例子 / 数学问题¶

第一步：符号、模型、可观测数据交代清楚¶

符号：
\( X = (X_1, \dots, X_d) \)：d维随机向量，代表表格数据的一行（一个样本）。
\( G = (V, E) \)：有向无环图（DAG），节点集 \( V = \{1, \dots, d\} \) 对应变量，边集 \( E \) 表示直接因果影响。
\( \text{pa}_G(j) \)：在G中变量 \( X_j \) 的父节点集合。
\( \pi \)：一个排列（ordering），指定自回归生成时变量的顺序。\( \pi(i) \) 是第i个被生成的变量下标。
\( C(\pi(i)) = \{X_{\pi(0)}, \dots, X_{\pi(i-1)}\} \)：生成 \( X_{\pi(i)} \) 时的条件集（所有先前生成的变量）。
\( p(x_{\pi(i)} | C(\pi(i))) \)：TabPFN学习的条件分布。
\( N \)：训练样本量（提供给TabPFN作为上下文的数据量）。
\( \text{ATE} = \mathbb{E}[Y | do(X=x_1)] - \mathbb{E}[Y | do(X=x_0)] \)：平均处理效应，Y是结果变量，X是处理变量。
\( \Delta_{\text{ATE}} = |\text{ATE}_{\text{test}} - \text{ATE}_{\text{synthetic}}| \)：ATE保持的绝对误差。
模型：
数据生成机制：真实数据来自一个未知的SCM（结构因果模型），包含因果图G和结构方程 \( X_j = f_j(\text{pa}_G(j), \epsilon_j) \)，其中 \( \epsilon_j \) 是独立噪声。
TabPFN是一个预训练Transformer，它被训练来近似贝叶斯推断：给定一个包含N个样本的上下文数据集 \( D_{\text{context}} = \{(x^{(i)}, y^{(i)})\}_{i=1}^N \)，它预测新样本的标签y。对于合成数据生成，它被自回归地应用：每次预测一个变量，并将该变量加入上下文。
本文不修改TabPFN的参数，只改变其输入（条件集和生成顺序）。
可观测数据：
可观测：来自真实SCM的N个独立同分布样本 \( \{x^{(i)}\}_{i=1}^N \)，每个样本是d维向量。这些样本被用作TabPFN的上下文。
想要但观测不到：真实的因果图G（除非由领域知识提供）、干预分布 \( p(X | do(\cdot)) \)、以及生成过程中应避免的虚假相关。
关键识别假设：当使用DAG感知条件化时，假设已知的因果图G是正确的（或至少是真实图的一个子图）。当使用PDAG策略时，假设部分定向的图（如CPDAG）是数据兼容的。

第二步：讲最小内核¶

最简特例：四变量碰撞器SCM

论文的核心思想可以用一个最简单的碰撞器结构来理解：\( X_0 \rightarrow X_1 \leftarrow X_2 \leftarrow X_3 \)。

因果结构：\( X_0 \) 和 \( X_2 \) 是边际独立的（\( X_0 \perp\!\!\!\perp X_2 \)），但给定它们的共同孩子 \( X_1 \) 后，它们变得条件依赖（\( X_0 \not\!\perp\!\!\!\perp X_2 | X_1 \)）。\( X_3 \) 是 \( X_2 \) 的父节点。
可观测数据：我们观测到来自这个SCM的N个样本 \( (x_0, x_1, x_2, x_3) \)。
问题：TabPFN自回归生成时，如果生成顺序是 \( \pi = (X_1, X_0, X_2, X_3) \)（即先产生碰撞器 \( X_1 \)），那么：
生成 \( X_0 \) 时，条件集 \( C = \{X_1\} \)。模型学习 \( p(x_0 | x_1) \)。
生成 \( X_2 \) 时，条件集 \( C = \{X_1, X_0\} \)。模型学习 \( p(x_2 | x_1, x_0) \)。
从这些条件分布中采样，会使得 \( X_0 \) 和 \( X_2 \) 在合成数据中产生虚假的边际相关，因为条件依赖被传播到了边际分布中。
DAG感知条件化如何解决：
使用拓扑顺序 \( \sigma = (X_3, X_2, X_0, X_1) \)（父节点先于子节点）。
生成 \( X_0 \) 时，条件集 \( C = \text{pa}_G(X_0) = \emptyset \)（因为 \( X_0 \) 是根节点）。模型学习 \( p(x_0) \)（边际分布）。
生成 \( X_2 \) 时，条件集 \( C = \text{pa}_G(X_2) = \{X_3\} \)。模型学习 \( p(x_2 | x_3) \)。
生成 \( X_1 \) 时，条件集 \( C = \text{pa}_G(X_1) = \{X_0, X_2\} \)。模型学习 \( p(x_1 | x_0, x_2) \)。
由于 \( X_0 \) 和 \( X_2 \) 都是从它们的边际或父节点条件分布中独立采样的，合成数据中 \( X_0 \) 和 \( X_2 \) 的边际独立性得以保持。

这个特例揭示了论文的核心数学困难：自回归生成中，条件集的选择决定了哪些依赖关系被“编码”进合成数据。当条件集包含碰撞器时，边际独立被破坏。DAG感知条件化通过只以因果父节点为条件，避免了这种虚假依赖的传播。论文的一般情形（任意DAG、PDAG）只是这个特例的推广：对于每个变量，找到正确的条件集（父节点），并确保生成顺序是拓扑的。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：TabPFN的自回归合成数据生成对特征顺序敏感，当顺序与因果结构冲突时（尤其是碰撞器结构），会产生虚假相关，损害合成数据质量和ATE保持。
核心工具/方法：提出两种推理时因果结构注入策略——DAG感知条件化（每个变量以其因果父节点为条件）和PDAG策略（对部分定向图，定向的变量用父节点条件，未定向的变量用所有前驱条件）。
主要结论：DAG感知条件化在多数设置下显著提升合成数据质量和ATE保持；oracle-PDAG（仅定向碰撞器上的边）有中等提升；数据驱动的CPDAG效果取决于因果结构恢复质量。

关键设定与假设¶

设定：TabPFN（v2.1.0）用于自回归合成数据生成。训练集大小 \( N \in \{20, 50, 100, 200, 500\} \)（ATE实验扩展到1000）。每个配置100次重复采样。
假设：
因果充分性（用于DAG感知）：已知的DAG是真实因果图的正确表示。
因果忠实性（用于CPDAG发现）：数据中的条件独立关系忠实于底层DAG。
PC-stable算法的标准假设：对于CPDAG发现，假设数据足够大且条件独立检验一致（本文用Fisher-Z、KCI、G2、kNN-CMI等检验）。
SUTVA（用于ATE实验）：个体间处理分配无干扰，且处理值唯一对应潜在结果。
相比已有文献的放宽/强化：
放宽：不要求为每个数据集重新训练模型（相比DECAF、DATGAN等）。
强化：假设已知完整DAG（DAG感知策略）或部分因果知识（PDAG策略）。在无因果知识时，方法退化为普通TabPFN。

主要结果¶

拓扑排序改善普通TabPFN：在40个数据集-训练大小组合中，拓扑排序在CMD上有26个显著改善，3个退化（CSS在N≤100）。CSM和SGL改善最大。
DAG感知生成优于普通TabPFN：在35个配置中，CMD有24个显著改善，2个退化（CSS在N=20,100）。在相同拓扑排序下（隔离排序效应），仍有20个显著改善，0退化。
oracle-PDAG有中等改善：CMD有15个显著改善，3个退化（CLB在N=20,50；CSS在N=20）。
数据驱动CPDAG无一致效果：CMD有0改善，7个显著退化（主要在CMC，PC定向精度低）。
ATE保持：DAG感知生成在42个配置中有26个显著改善（vs普通TabPFN），2个退化（CMC和CSS在N=20）。在相同拓扑排序下，仍有15个改善，0退化。在CSM上，DAG感知将中位ATE误差从1.23降至0.186（N=20）。
外部生成器对比：在自定义SCM上，DAG感知TabPFN在所有75个配对对比中显著优于五个外部生成器（TabularARGN, CTGAN, DATGAN, DECAF, CausalDiffTab）。

证明路线与技术技巧¶

本文是实验型论文，无理论证明。其“证明”是系统的实验验证。

整体路线：
识别问题：通过对比不同特征顺序（原始、拓扑、逆拓扑）下的合成数据质量，证明TabPFN对顺序敏感。
提出解决方案：设计DAG感知和PDAG条件化策略。
实验验证：在三个数据集类（自定义SCM、CSuite基准、Simglucose）上，用三个指标（CMD、kMTVD、NNAA）和一个下游任务（ATE保持）评估。
消融分析：隔离排序效应（对比相同拓扑排序下的DAG感知 vs 普通）、PDAG变体（oracle vs 发现）、噪声水平、因果发现算法。
统计检验：用Wilcoxon符号秩检验（Pratt处理结）和Holm校正进行多重比较，用Hodges-Lehmann估计量量化效应大小。
关键跳跃点：
从“顺序敏感”到“因果结构注入”：作者识别出问题的根源是自回归条件集包含碰撞器，而非仅仅是顺序本身。这引导他们提出父节点条件化，而非仅仅重新排序。
PDAG策略的设计：如何处理部分定向的图？作者提出混合策略：定向的变量用父节点，未定向的用所有前驱。这避免了错误定向的风险，但代价是可能无法充分利用部分因果知识。
技术技巧点名：
Wilcoxon符号秩检验：用于配对比较不同策略的差异显著性。
Hodges-Lehmann估计量：用于量化效应大小（中位差异）。
Holm校正：控制多重比较的族系错误率。
CMD（混合相关矩阵差异）：用Cramér's V（类别-类别）、η（类别-数值）、Spearman秩相关（数值-数值）构建混合相关矩阵，用Frobenius范数度量差异。
kMTVD（k-边际总变差距离）：k=2时度量成对分布保真度。
NNAA（最近邻对抗准确率）：度量合成数据与真实数据的不可区分性。
PC-stable算法：用于因果发现，是PC算法的顺序无关变体。
do-手术：在ATE实验中，通过断开处理变量与其父节点的边来模拟干预。

真实例子与应用¶

自定义碰撞器SCM（CSM）：4变量，\( X_0 \rightarrow X_1 \leftarrow X_2 \leftarrow X_3 \)，近确定性线性关系（σ=1e-5）。用于隔离和放大碰撞器偏差。结果：DAG感知生成将虚假相关（\( \rho(X_0, X_2) \)）从约-0.15降至约0.004（N=20）。
CSuite基准：6个数据集，4-12变量，涵盖辛普森悖论、非线性、混合类型、复杂混淆、弱因果效应等场景。用于评估在多样化因果结构下的泛化能力。结果：DAG感知在多数数据集上改善CMD和ATE保持，但在CSS（乘积交互）上偶尔退化。
Simglucose（SGL）：38变量，来自FDA批准的1型糖尿病模拟器，仅部分因果知识已知（生理状态间的因果链已知，但患者参数间关系未知）。用于评估在真实世界部分知识场景下的效果。结果：部分拓扑排序改善合成数据质量和ATE保持，且改善随训练集增大而增大（与CSuite相反，归因于高维度和部分知识）。

🔎 结论是否比证明窄¶

是。作者在结论中声称“DAG-aware generation yields the most consistent improvements”，但实验显示在CSS（乘积交互）上存在退化（CMD和ATE均有）。作者在局限性中承认“CMD assumes monotonic dependencies and is uninformative for SCMs with multiplicative equations, as in CSS”，但未在结论中限定这一例外。
oracle-PDAG的结论“shows moderate gains”是准确的，但作者未充分强调其增益主要来自碰撞器定向，且当碰撞器位于因果链末端时（如CLB）可能退化。
数据驱动CPDAG的结论“has no consistent effect”是准确的，但附录L显示当PC恢复率高时（如CSMr），CPDAG策略有显著改善。作者在正文中未充分讨论这一“可恢复性”条件。

四、开放问题（点到为止，扎根具体语句）¶

PDAG策略在碰撞器位于因果链末端时的退化机制：作者观察到“When they are at the end of a causal chain (as in CLB), generating oriented variables first effectively reverses the generation order relative to the causal direction, leading to degradations.”（Section 6）。要证/估什么：能否设计一个PDAG策略，自动检测碰撞器位置并调整生成顺序以避免这种退化？扎根于CLB的退化结果。
因果发现算法选择的影响：作者仅用PC-stable和ReX，且ReX导致显著退化。要证/估什么：系统比较多种因果发现算法（如GES、NOTEARS、LiNGAM、CAM）在PDAG策略下的表现，并建立“发现质量”与“生成质量”之间的定量关系。扎根于Section 6.1的“Future work should explore ordering strategies for incomplete causal knowledge, evaluate a broader range of causal discovery algorithms”。
扩展到其他自回归架构：作者仅测试了TabPFN。要证/估什么：本文的因果条件化策略是否可迁移到TabularARGN、GReaT等其他自回归生成器？这些生成器的训练方式（如TabularARGN随机化顺序）是否使它们对顺序更鲁棒？扎根于Section 6.1的“test these findings on other neural autoregressive architectures, such as TabularARGN”。
ATE之外的其他因果估计量：作者仅评估了ATE。要证/估什么：因果条件化如何影响条件ATE（CATE）、直接效应、间接效应等更细粒度因果估计量的保持？扎根于Section 6.1的“the interventional analysis focused exclusively on the ATE; other causal estimands or downstream tasks may respond differently to causal conditioning”。

Maintained by 陈星宇 · Homepage · Source on GitHub