跳转至

Looking Forward to Constructing Better Causal Comparisons

作者: Augusto Cerqua
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2611.02061


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是观测性因果推断中的对照组构建(comparison group construction)。其根本统计问题是:在无法进行随机实验时,如何从非实验数据中选出或加权一组对照单位,使得处理组与对照组在未处理的潜在结局上具有可比性,从而可靠地估计平均处理效应(ATE/ATT)。该方向的成熟度较高——从 Rosenbaum & Rubin (1983) 的倾向得分至今已有四十余年积累,但核心的识别困境(不可观测的反事实)始终未变,近年来的进展主要集中在利用更灵活的机器学习模型和更丰富的面板数据结构来逼近这一目标。

发展脉络

  • 奠基工作:Rosenbaum and Rubin (1983) 提出倾向得分(propensity score),将高维协变量平衡问题降维为一维得分,奠定了"基于得分的对照选择"这一范式。同期,LaLonde (1986) 用 NSW 实验数据揭示了观测性估计与实验基准之间的巨大差距,确立了该领域沿用至今的基准测试框架。
  • 主要进展:Hansen (2008) 正式提出预后得分(prognostic score)的概念,证明其具有与倾向得分类似的充分降维性质,但目标变量是未处理结局而非处理分配。Miettinen (1976) 的多变量混杂得分是更早的思想雏形。在应用层面,Wyss et al. (2015) 在药物流行病学中用既往患者数据构建疾病风险得分(disease risk score)来匹配新药使用者与对照;Smith and Schaubel (2015) 在肝移植评估中利用处理前事件史构建时变预后得分。
  • DiD 与面板数据的进展:Callaway and Sant'Anna (2021) 将 DiD 推广到多期、交错处理的设定,Borusyak et al. (2024) 发展了基于插补(imputation)的有效估计量,Sant'Anna and Zhao (2020) 建立了 DiD 框架下的双重稳健估计与半参数效率界。这些工作共同构成了本文所依托的 DiD 方法论背景。
  • 诊断与可视化:Kahn-Lang and Lang (2020) 明确指出平行事前趋势既非必要也非充分条件,Ghanem et al. (2026) 进一步从选择机制角度刻画了事前趋势检验的信息量边界。Aikens and Baiocchi (2023) 提出 assignment-control plots,将倾向得分与预后得分的联合分布可视化,为对照选择的诊断提供了直观工具。
  • 预测模型的进步:Hollmann et al. (2025) 的 TabPFN 和 Jäger et al. (2026) 的 TabPFN 3.5 代表了表格数据基础模型的最新进展,在中小样本上展现出优于传统机器学习(随机森林、XGBoost)的预测性能。本文是这一工具进步的直接受益者。
  • 本文的位置:Cerqua (2026) 将上述线索整合——用预后得分作为对照选择的依据,借助 TabPFN 在有限样本下的预测能力,在 NSW 基准上系统比较了不同得分定义(水平 vs. 变化)与不同加权方法(匹配 vs. 熵平衡)的组合表现。其核心主张是:直接针对未处理反事实进行预测的预后得分,比间接的协变量平衡或倾向得分更贴近因果识别的目标。

子线索聚类

  1. 得分降维与充分性理论:Rosenbaum & Rubin (1983)、Hansen (2008)、Miettinen (1976)。这条线索关注"什么样的得分函数能保留因果识别所需的全部信息"。
  2. DiD 与面板估计策略:Callaway & Sant'Anna (2021)、Borusyak et al. (2024)、Sant'Anna & Zhao (2020)、Kahn-Lang & Lang (2020)、Ghanem et al. (2026)。这条线索关注在面板结构下如何利用时间维度缓解混杂。
  3. 预后得分的应用实践:Wyss et al. (2015)、Smith & Schaubel (2015)、Hong et al. (2012)。这条线索在具体医学场景中验证预后得分的可行性。
  4. 预测模型与机器学习工具:Hollmann et al. (2025)、Jäger et al. (2026)、Cerqua et al. (2026)。这条线索关注预测工具的进步如何赋能因果推断。
  5. 对照选择的诊断与可视化:Aikens & Baiocchi (2023)。这条线索为对照选择的质量评估提供工具。

这个方向在追问的核心问题

  1. 可比性的正确度量是什么? 传统方法用协变量平衡或事前趋势平行来间接度量可比性,但本文主张直接预测未处理反事实才是更本质的度量。这一主张的成立条件是什么?
  2. 预测误差与因果偏差的关系是什么? 本文的核心分解(式 3)将估计误差分解为预后得分不平衡与预测误差之差,但预测误差本身不可观测——如何在实际中验证或界定其影响?
  3. 机器学习预测的不确定性如何传播到因果估计? 当预后得分来自 TabPFN 这类黑箱模型时,其预测不确定性如何影响后续匹配/加权的统计推断?
  4. 事前趋势检验到底能告诉我们什么? Ghanem et al. (2026) 表明其信息量取决于选择机制,本文的预后得分方法是否能在事前趋势检验失效的场景下提供额外价值?

⚠️ 作者的 framing

作者将缺口 frame 为:传统对照选择方法(协变量平衡、倾向得分、事前趋势检验)都是间接的,而因果识别本质上取决于未处理反事实的可比性,因此应当直接预测未处理结局来构建对照。他淡化的竞争路线包括:(1) 双重稳健估计(Sant'Anna & Zhao 2020)——本文仅将其作为背景提及,未与其进行系统比较;(2) 合成控制法及其变体——完全未出现在参考文献中;(3) 因子模型或交互固定效应方法——同样缺席。值得注意的是,作者对预后得分方法的局限(如预测误差不可验证、需要足够长的事前历史)着墨较少,而是将主要篇幅用于展示 NSW 应用中的积极结果。

张力

未见明显的对立引用。但存在一个微妙的张力:Hansen (2008) 的预后得分理论要求预后得分是充分得分(即条件独立于协变量),而本文实际使用的是条件均值预测(TabPFN 输出的期望值),两者在理论上并不等价——前者是分布层面的充分性,后者仅是均值层面的近似。作者未明确讨论这一差距。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

设研究包含 \(n\) 个单位,其中处理组 \(T\) 有 \(n_T\) 个单位,对照组 \(C\) 有 \(n_C\) 个单位。对每个单位 \(i\),我们观测到:

  • 协变量 \(X_i\):处理前观测到的特征向量(本文中包括人口学特征、教育、婚姻状况等)。
  • 处理指示 \(D_i \in \{0,1\}\):\(D_i=1\) 表示接受处理(NSW 项目中为参加培训)。
  • 处理前结局 \(Y_{i0}, Y_{i,-1}\):处理前两个时点的结局(本文中为 1975 年和 1974 年的收入)。
  • 处理后结局 \(Y_{i1}\):处理后时点的结局(本文中为 1978 年的收入)。

潜在结果框架:对每个单位 \(i\),定义潜在结局 \(Y_{i1}(0)\)(未处理时的处理后结局)和 \(Y_{i1}(1)\)(处理后的结局)。观测到的处理后结局为 \(Y_{i1} = D_i Y_{i1}(1) + (1-D_i) Y_{i1}(0)\)。注意:\(Y_{i1}(0)\) 对处理组单位是不可观测的——这正是因果推断的核心困难。

目标 estimand:处理组平均处理效应(ATT):

\[\tau_T = \frac{1}{n_T} \sum_{i \in T} \left[ Y_{i1}(1) - Y_{i1}(0) \right]\]

可观测数据:研究者能观测到 \(\{(X_i, D_i, Y_{i0}, Y_{i,-1}, Y_{i1})\}_{i=1}^n\),其中对处理组 \(Y_{i1} = Y_{i1}(1)\),对对照组 \(Y_{i1} = Y_{i1}(0)\)。

预后得分:对每个单位 \(i\),预后得分定义为 \(\hat{m}_i\)——基于处理前信息对未处理结局的预测。本文考虑两种定义:

  • 水平预后得分:\(s^{\text{Level}}_i = \hat{m}_i\),预测 \(Y_{i1}(0)\) 的水平。
  • 变化预后得分:\(s^{\text{DiD}}_i = \hat{m}_i - Y_{i0}\),预测 \(Y_{i1}(0)\) 相对于 \(Y_{i0}\) 的变化。

对照权重:\(\omega_j\) 为赋予对照组单位 \(j\) 的权重,满足 \(\sum_{j \in C} \omega_j = 1\)。

估计量:给定权重 \(\omega\),水平估计量和 DiD 估计量分别为:

\[\hat{\tau}^{\text{Level}} = \frac{1}{n_T} \sum_{i \in T} Y_{i1} - \sum_{j \in C} \omega_j Y_{j1}\]
\[\hat{\tau}^{\text{DiD}} = \frac{1}{n_T} \sum_{i \in T} (Y_{i1} - Y_{i0}) - \sum_{j \in C} \omega_j (Y_{j1} - Y_{j0})\]

第二步:最小内核

剥去所有一般性设定后,本文的核心数学问题是:

给定一个预测模型 \(\hat{g}\)(本文中为 TabPFN),它基于处理前信息 \(X_i\) 预测未处理结局。如何利用这些预测 \(\hat{m}_i = \hat{g}(X_i)\) 来构建对照权重 \(\omega\),使得估计误差最小?

最简例子:假设只有 1 个处理单位(\(n_T = 1\))和 2 个对照单位(\(n_C = 2\)),且我们只关心水平估计量。设:

  • 处理单位的真实未处理结局为 \(Y_{T1}(0) = 100\),预测为 \(\hat{m}_T = 95\)。
  • 对照单位 A:真实结局 \(Y_{A1} = 90\),预测 \(\hat{m}_A = 92\)。
  • 对照单位 B:真实结局 \(Y_{B1} = 110\),预测 \(\hat{m}_B = 98\)。

关键分解(本文式 3 的简化版):估计误差为

\[\hat{\tau}^{\text{Level}} - \tau_T = (\hat{m}_T - \omega_A \hat{m}_A - \omega_B \hat{m}_B) + (r_T - \omega_A r_A - \omega_B r_B)\]

其中 \(r_i = Y_{i1}(0) - \hat{m}_i\) 是预测误差。第一项是预后得分不平衡(可观测、可最小化),第二项是预测误差差异(不可观测)。

本文的核心主张:如果预测模型足够好(\(r_i\) 很小),那么最小化第一项(即让 \(\omega_A \hat{m}_A + \omega_B \hat{m}_B \approx \hat{m}_T\))就能使总误差变小。

为什么这个例子能说明问题:它揭示了本文方法的本质——用可观测的预测值替代不可观测的真实反事实作为匹配依据。传统倾向得分匹配试图让 \(X\) 平衡,间接地让 \(Y(0)\) 可比;本文直接让 \(\hat{m}\) 平衡,直接逼近 \(Y(0)\) 的可比性。当预测模型准确时,后者更高效;当预测模型有偏时,误差会直接进入估计量。

这个例子的局限:真实应用中 \(n_T = 185\),\(n_C = 15{,}992\),且需要处理高维协变量、非线性关系、以及 DiD 设定下的变化得分。但核心逻辑不变。


三、这篇论文做了什么

三句话

  1. 研究问题:在观测性因果推断中,如何利用预后得分(基于处理前信息对未处理结局的预测)来构建或加权对照组,以获得更接近实验基准的 ATT 估计?
  2. 核心方法:使用 TabPFN 3.5(表格基础模型)估计预后得分,分别定义水平得分(预测未处理结局水平)和变化得分(预测未处理结局变化),并应用于最近邻匹配和熵平衡两种对照构建方式。
  3. 主要结论:在 NSW 基准上,基于预后得分的对照构建方法(尤其是熵平衡)能产生接近实验基准的 ATT 估计;但仅使用处理前数据(预测 1976 年收入作为 1978 年的代理)的效果明显较差,说明利用未处理组的事后结局信息对预后得分的有效性至关重要。

关键设定与假设

  • 设定:两个处理前时点(-1 和 0),处理后时点 1。处理在时点 0 和 1 之间发生。\(D_i\) 为处理指示,\(Y_{i1}(0)\) 为未处理潜在结局。
  • 无预期假设:处理前单位不知道未来处理,因此处理前结局不受处理预期影响。
  • 无干扰假设:单位间无交互(SUTVA 的一部分),作者在脚注中明确声明。
  • 预测模型假设:TabPFN 作为预后得分估计器,其预测误差 \(r_i\) 在本文的分解中被视为"不可观测项",作者未对其统计性质(如一致性、收敛速度)做理论刻画。
  • 得分定义:水平得分 \(s^{\text{Level}}_i = \hat{m}_i\);变化得分 \(s^{\text{DiD}}_i = \hat{m}_i - Y_{i0}\)。前者适用于水平匹配,后者适用于 DiD。
  • 相比已有文献的差异:Hansen (2008) 的预后得分理论要求充分性条件(条件独立),本文仅使用条件均值预测,未验证充分性;Wyss et al. (2015) 和 Smith & Schaubel (2015) 使用传统统计模型(如回归)构建预后得分,本文首次引入 TabPFN。

主要结果

表 1 的核心发现:

方法 ATT(水平) ATT(DiD) 对照 ESS
实验基准(随机化对照) \(1{,}794.34\) \(1{,}529.20\) 260
未加权 CPS-1 \(-\)8{,}497.52 \(3{,}621.23\) 15{,}992
倾向得分匹配(复制 DW) \(1{,}990.77\) \(1{,}919.48\) 79.70
倾向得分熵平衡 \(-\)452.48 \(2{,}130.40\) 99.78
预后得分(水平,事后训练)最近邻 \(1{,}651.17\) — 323.90
预后得分(水平,事后训练)熵平衡 \(1{,}422.98\) \(1{,}468.45\) 3{,}770.88
预后得分(变化,事后训练)最近邻 \(-\)3{,}546.99$ \(1{,}326.41\) 368.01
预后得分(变化,事后训练)熵平衡 \(-\)3{,}677.55$ \(1{,}374.61\) 7{,}275.86
预后得分(仅事前,预测 1976)最近邻 \(1{,}135.40\) \(961.04\) 269.96
预后得分(仅事前,预测 1976)熵平衡 \(684.51\) \(412.16\) 3{,}716.91

关键观察:

  1. 事后训练的预后得分表现最好:水平得分 + 熵平衡给出 \(1{,}422.98\)(水平)和 \(1{,}468.45\)(DiD),均接近实验基准。
  2. 仅事前预测效果差:用 1974→1975 的关系预测 1976 年收入作为 1978 年的代理,估计值严重偏低(\(684.51\) 水平、\(412.16\) DiD),作者将其归因于预测时距过长和收入过程的非平稳性。
  3. 倾向得分熵平衡表现不佳(\(-\)452.48),作者认为这是因为倾向得分只关注处理分配机制,未直接针对未处理结局。
  4. 预测精度 ≠ 因果估计精度:尽管 TabPFN 在预测任务上优于 OLS 和随机森林(附录 B),但预测精度的提升(RMSE 降低 0.34%–0.83%)并未转化为因果估计的系统性改进。

证明路线与技术技巧

本文是应用型论文,无正式定理。其"论证"路线如下:

  1. 误差分解(式 3):将估计误差分解为

    \[\hat{\tau} - \tau_T = \Delta_\omega s + \Delta_\omega r\]
    其中 \(\Delta_\omega s\) 是预后得分不平衡(可观测),\(\Delta_\omega r\) 是预测误差差异(不可观测)。这个分解是本文方法论的基石——它说明得分平衡是必要但不充分的。

  2. 交叉验证设计:使用三折交叉验证生成预后得分,避免用同一批对照单位既训练预测模型又评估因果效应导致的数据泄漏。这是对 Ceraua et al. (2026) 关于面板数据中数据泄漏警告的直接回应。

  3. 基准比较框架:利用 NSW 实验的随机化对照作为"真实值",将各种观测性方法的估计与之比较。这是 LaLonde (1986) 开创的评估范式。

  4. 技术技巧:

  5. TabPFN 集成:使用 4 个集成成员,每个成员在 2,048 个上下文中训练,通过交叉验证选择最优配置。
  6. 熵平衡:直接约束权重使处理组与对照组的得分矩(一阶、二阶)平衡,而非通过倾向得分建模。
  7. 有效样本量(ESS):衡量权重集中度,诊断是否过度依赖少数对照单位。

🔎 结论是否比证明窄

是,存在多处"宽结论":

  1. "预后得分优于倾向得分"的结论仅基于一个数据集(NSW/CPS-1),且差异在统计上并未严格检验。作者在结论中承认这是"proof of concept"。
  2. "事后训练的预后得分更好"的结论受限于 NSW 的特殊设定——NSW 的对照组(CPS-1)与处理组在收入水平上存在巨大差异(未加权估计为 \(-\)8{,}497),这使得任何有效的匹配方法都能大幅改进。在对照组与处理组更相似的场景中,优势可能缩小。
  3. 作者声称"预测精度不是因果估计的充分条件"(第 4.4 节),但未提供理论解释——为什么 TabPFN 的预测优势没有转化为因果估计优势?这可能是由于预后得分只捕捉了条件均值,而因果识别需要的是整个条件分布的可比性。
  4. 对"仅事前预测"的负面结果,作者归因于"预测时距过长",但未验证这一解释——也可能是 1974→1975 的关系本身不稳定,或 1976 年作为代理年份本身不合适。

四、开放问题

  1. 预后得分的充分性条件:Hansen (2008) 的预后得分要求充分性(\(Y(0) \perp X \mid s(X)\)),本文使用的条件均值预测 \(\hat{m}_i = E[Y(0) \mid X]\) 是否满足这一条件?若不满足,误差分解中的 \(\Delta_\omega r\) 项是否会有系统偏差?(扎根于第 3.2 节的式 3 及 Hansen 2008 的定义)

  2. 预测误差的传播:当预后得分来自 TabPFN 这类黑箱模型时,其预测不确定性如何影响后续匹配/加权的推断?本文使用条件 sandwich 标准误但将得分视为固定——这在什么条件下是合理的?(扎根于第 4.4 节脚注及附录 A.3)

  3. 事前预测的改进方向:仅事前预测的负面结果是否可以通过更长的历史数据、更灵活的模型(如递归多步预测)或更合适的代理年份来改善?作者将此列为未来工作,但未给出具体方向。(扎根于第 4.4 节末段)

  4. 与双重稳健估计的系统比较:本文未将预后得分方法与 Sant'Anna & Zhao (2020) 的双重稳健 DiD 进行系统比较。在什么条件下预后得分方法能超越双重稳健方法?(扎根于第 3.2 节的文献对比段落)

  5. 事前趋势检验与预后得分的互补性:Ghanem et al. (2026) 表明事前趋势检验的信息量取决于选择机制,预后得分方法是否能在事前趋势检验失效的场景下提供额外价值?两者结合是否能形成更可靠的诊断框架?(扎根于第 1 节引言及 Ghanem et al. 2026 的引用)

提示:若要确认上述问题是否为真 gap,建议检索 2024–2026 年关于预后得分、双重稳健 DiD 和表格基础模型在因果推断中应用的近期文献(如 Journal of Causal Inference, Biometrika, Annals of Applied Statistics 的相关论文)。若多篇近期论文的引言都指向同一问题,则大概率是共识性 gap;若各论文的结论相互矛盾,则可能是更有价值的研究机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论