跳转至

Multiply robust inference of average treatment effects by high-dimensional empirical likelihood

作者: Xintao Xia, Yumou Qiu
来源: Biometrics
主题: 因果推断
相关性: 8/10
机构绿灯: Peking University(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是高维协变量下的因果推断,其根本科学问题是:当协变量维度 p 远大于样本量 n 时,如何对平均处理效应(ATE)进行统计推断(点估计 + 置信区间),使得推断结果对模型误设定具有稳健性。该方向的成熟度处于"快速发展但未定型"阶段:一方面,双稳健(doubly robust)估计的理论框架已相当成熟;另一方面,当协变量维度升高、单一模型难以正确指定时,如何构造多重稳健(multiply robust)且可做有效推断的方法仍是开放问题。

发展脉络

  • 奠基工作:Rosenbaum and Rubin (1983) 提出倾向得分(propensity score)概念,奠定了基于观测数据估计因果效应的基础。Bang and Robins (2005) 提出增强逆概率加权(AIPW)估计量,实现双稳健性——即倾向得分模型或结果回归模型任一正确指定时,估计量保持一致。Kang and Schafer (2007) 通过数值实验揭示了一个关键现象:当两个模型都轻微误设定时,双稳健估计量可能比单一模型更差,这为后续多重稳健方法的发展提供了动机。
  • 高维扩展:Belloni et al. (2014) 提出双选择(double selection)方法,利用 Lasso 在高维线性模型中选择控制变量,实现 ATE 的有效推断。Farrell (2015) 将双稳健估计推广到高维广义线性模型,证明了在稀疏性假设下估计量的渐近正态性。Athey et al. (2018) 提出近似残差平衡(approximate residual balancing)方法,结合正则化回归与加权,在高维下实现双稳健推断。Ning et al. (2020) 和 Tan (2020a) 分别通过高维协变量平衡倾向得分(CBPS)和正则化校准估计(RC)实现了高维下的双稳健推断,其置信区间在倾向得分或结果回归模型正确指定时具有渐近有效性。
  • 多重稳健的提出:Han (2014) 在固定维度下提出多重稳健估计,允许使用多个候选倾向得分模型和多个候选结果回归模型,只要其中任一模型正确指定,估计量即保持一致。Chan and Yam (2014) 从校准角度推广了多重稳健性。Li et al. (2020) 进一步阐释了多重稳健估计的结构。然而,这些方法均局限于固定维度。
  • 本文的位置:本文首次将多重稳健推断推广到高维协变量场景。核心创新在于:(1) 提出高维经验似然加权方法,通过软协变量平衡约束组合多个工作倾向得分模型;(2) 引入扩展的校准函数集(包含倾向得分导数)和正则化增广结果回归,构造 Neyman 正交得分;(3) 在理论上证明,只要任一倾向得分模型、其线性组合或结果回归模型正确指定,所提置信区间即具有渐近有效性。

子线索聚类

  • 线索一:高维双稳健推断(Belloni et al., 2014; Farrell, 2015; Athey et al., 2018; Ning et al., 2020; Tan, 2020a)——这一簇的核心问题是:在高维稀疏假设下,如何构造 ATE 的估计量使其在倾向得分或结果回归模型正确指定时保持有效推断。已知瓶颈:当两个模型都误设定时,估计量可能严重有偏。
  • 线索二:多重稳健推断(Han, 2014; Chan and Yam, 2014; Li et al., 2020)——这一簇的核心问题是:在固定维度下,如何利用多个候选模型实现"任一正确即一致"的稳健性。已知瓶颈:未考虑高维协变量场景。
  • 线索三:高维经验似然与校准(Chang et al., 2018, 2021; Tan, 2020b)——这一簇的核心问题是:如何在高维下用经验似然或校准方法处理大量矩条件。本文的方法论基础即源于此。

⚠️ 作者的 framing

作者将缺口 frame 为:"现有高维双稳健方法仅使用单一倾向得分模型,当该模型误设定时推断失效;而现有多重稳健方法仅适用于固定维度。因此,需要一种在高维协变量下利用多个倾向得分模型实现多重稳健推断的方法。" 作者淡化的竞争路线包括:机器学习/非参数估计倾向得分与结果回归的路线(作者在引言中指出这些方法"generally do not incorporate multiple estimated models, and their properties under general high-dimensional settings remain unclear"),以及直接对多个模型做模型平均的朴素思路。值得研究者去查的问题:为什么不能简单地将多个倾向得分模型的估计值做平均后代入 AIPW?作者声称的"线性组合"条件(2.2)与 Han (2014) 的凸组合条件有何本质区别?这些在引言中均未展开。

张力

未见明显对立引用。但值得注意的是,Ning et al. (2020) 和 Tan (2020a) 均声称其方法在高维下具有双稳健推断性质,而本文声称其方法在"任一倾向得分模型或其线性组合正确指定"时有效——这比双稳健性更强,但代价是引入了更强的稀疏性条件(Condition 6 中的 (s₀s₁s₂)^{1/2} log(m) = o(n^{1/2}),比 Tan (2020a) 的 max{s₁,s₂} log(m)/n^{1/2} = o(1) 更严格)。这一"更强的稳健性 vs 更严的稀疏性条件"的权衡是值得研究者注意的潜在张力点。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号清单:

记号 含义 类型
\(X \in \mathbb{R}^p\) 协变量向量 可观测随机变量
\(D \in \{0,1\}\) 处理指示 可观测随机变量
\(Y(d)\) 潜在结果(\(d=0,1\)) 潜在(counterfactual)量
\(Y = DY(1) + (1-D)Y(0)\) 观测结果 可观测随机变量
\(\pi(X) = P(D=1 \mid X)\) 真实倾向得分 未知函数(识别目标之一)
\(\pi_k(X, \gamma_k)\) 第 \(k\) 个工作倾向得分模型 参数模型(\(k=1,\dots,q\))
\(\gamma_k\) 第 \(k\) 个倾向得分模型参数 参数(估计对象)
\(\mu_d = E\{Y(d)\}\) 潜在结果均值 目标 estimand
\(\tau = \mu_1 - \mu_0\) 平均处理效应(ATE) 目标 estimand
\(b(X) = (b_0(X), \dots, b_{p_0}(X))^T\) 结果回归的基函数 已知函数
\(\hat{b}(X)\) 增广协变量函数(含倾向得分导数) 构造的已知函数
\(\{p_i\}\) 经验似然权重 估计对象
\(\omega_{ps}, \omega_{or}\) 软校准容差、正则化参数 调参对象

模型设定:

  1. 识别假设:Condition 1(无混淆性)\(Y(d) \perp D \mid X\),以及重叠条件(Condition 2)\(c_0 \le \pi(X) \le 1-c_0\)。
  2. 工作模型:\(q\) 个倾向得分模型 \(\{\pi_k(X, \gamma_k)\}_{k=1}^q\),真实倾向得分 \(\pi(X)\) 假设落在这些模型的凸包中(即存在权重 \(d_k \ge 0\),\(\sum_k d_k = 1\),使得 \(\pi(X) = \sum_k d_k \pi_k(X, \gamma_k)\))。结果回归模型为线性形式 \(E\{Y(d) \mid X\} = \beta_{(d)}^T b(X)\)。
  3. 可观测数据:\(\{(D_i, X_i, Y_i)\}_{i=1}^n\) i.i.d. 样本,\(p\) 可能远大于 \(n\)。

第二步:最小内核

核心问题:在高维协变量下,如何构造 ATE 的估计量 \(\hat{\tau}\) 及其置信区间,使得当任一倾向得分模型正确指定(或它们的线性组合正确指定)或结果回归模型正确指定时,\(\hat{\tau}\) 都是 \(\sqrt{n}\)-一致的且置信区间具有渐近覆盖?

最小内核(去掉所有技术假设后的核心困难):

考虑最简单的场景:\(q=2\) 个候选倾向得分模型 \(\pi_1(X, \gamma_1)\) 和 \(\pi_2(X, \gamma_2)\),真实 \(\pi(X)\) 是二者的凸组合。目标是估计 \(\mu_1 = E\{Y(1)\}\)。

经典 AIPW 估计量(单一倾向得分模型 \(\pi_1\)):

\[\hat{\mu}_1^{AIPW} = \frac{1}{n}\sum_{i=1}^n \left[\frac{D_i Y_i}{\pi_1(X_i, \hat{\gamma}_1)} - \frac{D_i - \pi_1(X_i, \hat{\gamma}_1)}{\pi_1(X_i, \hat{\gamma}_1)} \hat{m}_1(X_i)\right]\]

其中 \(\hat{m}_1(X)\) 是结果回归的估计。当 \(\pi_1\) 正确指定时,该估计量是 \(\sqrt{n}\)-一致的;当 \(\pi_1\) 误指定但结果回归正确时,也是 \(\sqrt{n}\)-一致的(双稳健性)。但:如果 \(\pi_1\) 误指定且结果回归也误指定,估计量有偏。

本文的核心想法:不依赖单一倾向得分模型,而是通过经验似然同时估计权重 \(\{p_i\}\) 和组合权重 \(\{d_k\}\),使得加权后的样本在所有候选倾向得分模型的导数和增广协变量上达到近似平衡。具体地:

  1. 软校准约束(公式 3.4):\(\left|\sum_{i=1}^n D_i p_i \hat{b}_{ij}\right| \le \omega_{ps}\),即处理组的加权协变量均值与总体均值近似相等(软平衡)。
  2. 内部偏差校正约束(公式 3.3):\(\sum_{i=1}^n D_i p_i\{\pi_k(X_i, \hat{\gamma}_k) - n_1/n\} = 0\),即加权后的倾向得分均值等于处理组比例。
  3. 增广结果回归(公式 3.7):在加权最小二乘中加入倾向得分及其导数作为额外协变量,进一步校正软平衡不精确带来的偏差。

为什么这个最小内核能work:当任一倾向得分模型正确指定时,其导数 \(\pi_k^{(1)}(X, \gamma_k)\) 被纳入校准集和增广回归,使得估计量的一阶偏差项被消除(Neyman 正交性);当结果回归正确指定时,增广回归本身提供了正确的偏差校正。两种情况下,估计量的影响函数都收敛到同一个形式,从而保证 \(\sqrt{n}\)-一致性和渐近正态性。

数学上最核心的命题(Theorem 1 的简化版):在上述条件下,

\[\hat{\mu}_1 = \frac{1}{n}\sum_{i=1}^n \left[\frac{D_i Y_i}{\pi_i^*} - \frac{D_i - \pi_i^*}{\pi_i^*}\{ \beta_{0,*} + \beta_{1,*}^T b_*(X_i) + \beta_{2,*}^T \pi_{i,*} \}\right] + o_p(n^{-1/2})\]

其中 \(\pi_i^*\) 是加权倾向得分的概率极限。这个表达式说明:无论哪个模型正确,估计量的影响函数形式相同,因此推断有效。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在高维协变量(\(p \gg n\))下,如何利用多个候选倾向得分模型对 ATE 进行多重稳健推断,使得任一模型或其线性组合正确指定时置信区间仍有效。
  2. 核心工具/方法:高维经验似然加权(软协变量平衡约束)+ 增广结果回归(含倾向得分导数作为额外协变量)+ Neyman 正交得分构造。
  3. 主要结论:在稀疏性条件 (s₀s₁s₂)^{1/2} log(m) = o(n^{1/2}) 下,所提估计量 \(\hat{\tau}\) 是 \(\sqrt{n}\)-一致的、渐近正态的,且置信区间在任一倾向得分模型、其线性组合或结果回归模型正确指定时具有渐近覆盖;在模拟和真实数据中优于现有双稳健方法。

关键设定与假设

  • Condition 1(无混淆性):\(Y(d) \perp D \mid X\)。这是因果推断的标准识别条件,本文未做放宽。
  • Condition 2(重叠):\(c_0 \le \pi(X) \le 1-c_0\),保证倾向得分远离 0 和 1,避免权重爆炸。
  • Condition 3(次高斯性):增广协变量 \(b_*(X)\) 和结果回归误差 \(\epsilon_1\) 为次高斯分布。相比已有文献(如 Ning et al., 2020 要求有界性),这是一个轻微放宽。
  • Condition 4(特征值条件):\(\Sigma = \text{Cov}\{(b_*^T(X), \pi_*^T)^T\}\) 的特征值有界。这是高维回归的标准条件。
  • Condition 5(倾向得分估计收敛性):要求 \(\hat{\gamma}_k\) 满足 \(\ell_1\) 和 \(\ell_2\) 收敛速率,且倾向得分模型 Lipschitz 连续。相比 Tan (2020a),本文允许更一般的估计器(不限于 Lasso)。
  • Condition 6(稀疏性):\((s_0 s_1 s_2)^{1/2} \log(m) = o(n^{1/2})\),其中 \(s_1\) 是倾向得分参数稀疏度,\(s_2\) 是结果回归参数稀疏度,\(s_0 = \max\{s_1, s_2\}\)。相比 Tan (2020a) 的 max{s₁,s₂} log(m)/n^{1/2} = o(1),本文条件更严格——这是多重稳健性付出的代价。

相比已有文献的放宽/强化: - 放宽:允许多个倾向得分模型(而非单一模型);允许倾向得分模型误指定(只要线性组合正确)。 - 强化:稀疏性条件更严格;需要倾向得分导数的 Lipschitz 连续性。

主要结果

Theorem 1(多重稳健性):在 Condition 1-6 下, - (i) 若任一倾向得分模型或其线性组合正确指定,则 \(\hat{\mu}_1 = \frac{1}{n}\sum_i \left[\frac{D_i Y_i}{\pi_i^*} + \frac{\pi_i^* - D_i}{\pi_i^*}\{ \beta_{0,*} + \beta_{1,*}^T b_*(X_i) + \beta_{2,*}^T \pi_{i,*} \}\right] + o_p(n^{-1/2})\); - (ii) 若结果回归模型正确指定,则 \(\hat{\mu}_1 = \frac{1}{n}\sum_i E(Y_i \mid X_i, D_i=1) + o_p(n^{-1/2})\); - (iii) 若两者都正确,则达到半参数效率界(Hahn, 1998)。

Proposition 1(经验似然可行性):在 \(\omega_{ps} \asymp \{s_1 \log(m)/n\}^{1/2}\) 且 \(s_1 \log(m) = o(n)\) 下,软校准经验似然问题存在可行解,且权重收敛到真实倾向得分的倒数。

Proposition 2(置信区间有效性):在 Theorem 1 条件下,\(\lim_{n\to\infty} P(\mu_1 \in CI_{1,\alpha}) = 1-\alpha\)。

证明路线: 1. Step 1:证明经验似然权重 \(\{p_i\}\) 的收敛性(Proposition 1),利用对偶问题和 KKT 条件建立权重与拉格朗日乘子的关系。 2. Step 2:将 \(\hat{\mu}_1\) 分解为"oracle 项 + 偏差项",利用 Neyman 正交性证明偏差项可忽略(Theorem 1 的证明核心)。 3. Step 3:构造影响函数的一致估计量(公式 4.1),证明方差估计的一致性(Proposition 2)。 4. Step 4:对聚类数据,证明估计的倾向得分模型满足 Condition 5(Theorem 2),从而 Theorem 1 的结论成立。

技术技巧: - 软校准(Soft Calibration):用 \(\ell_1\) 范数约束替代精确平衡,在高维下保证可行性(区别于 Han 2014 的精确平衡)。 - 增广协变量:将倾向得分导数 \(\pi_k^{(1)}(X, \hat{\gamma}_k)\) 加入校准集和结果回归,这是实现 Neyman 正交性的关键。 - 加权增广回归:在结果回归中使用权重 \(\hat{\pi}_i^{-2}\),使得偏差项的一阶项被精确消除。 - 对偶化:将经验似然问题转化为正则化对偶问题,利用凸优化理论分析。

真实例子与应用

右心导管数据集(RHC): - 数据:5735 名重症患者,72 个原始特征,处理后扩展到 p=498(含交互项),来自 5 个医疗中心和 2 个研究阶段。 - 方法应用:先对协变量做聚类(2 类),在每个估计的聚类内分别拟合倾向得分模型,构造多个候选倾向得分模型;结果回归使用 Lasso 正则化线性模型。 - 结果:DELW 估计的 ATE 为 -0.022 ± 0.026(95% CI 包含 0),而 RC 和 rAIPW 估计分别为 -0.053 ± 0.025 和 -0.055 ± 0.025(均显著为负)。作者将此差异归因于 DELW 对倾向得分模型误设定的稳健性——在聚类数据中,单一倾向得分模型难以捕捉不同医疗中心的处理分配机制差异。 - 想说明什么:当数据来自异质来源(多中心、多阶段)时,单一倾向得分模型容易误设定,而多重稳健方法通过组合多个模型提供了更可靠的推断。

🔎 结论是否比证明窄

  • Theorem 1 的证明要求 Condition 5(iii) 中"所有倾向得分模型误设定但线性组合正确"的情形下 \(\lambda_{2,*}\) 稀疏。这一条件在正文中未给出充分讨论,仅在附录中提及。这是一个证明比 claim 窄的地方——作者在引言中声称"任一模型或其线性组合正确指定即可",但 Condition 5(iii) 实际上要求线性组合的权重 \(d_k\) 是稀疏的(即少数模型主导),而非任意线性组合。
  • Theorem 2(聚类数据)的证明依赖于聚类误差率 \(O\{s_1 \log(p)/n\}\),但 Condition 7 中聚类误差率的定义未明确是误分类比例还是其他度量。这是另一个证明比 claim 窄的地方。
  • GLM 扩展(Section 5)的理论结果被放在补充材料中,正文仅给出算法描述。作者声称 GLM 情形下 Theorem 1 成立,但正文未给出任何证明线索。

四、开放问题

  1. 稀疏性条件的必要性:Condition 6 中 \((s_0 s_1 s_2)^{1/2} \log(m) = o(n^{1/2})\) 是否可放宽?特别是,当倾向得分模型数量 \(q\) 随 \(n\) 增长时,条件如何变化?(扎根于 Condition 6 与 Tan 2020a 条件的对比)

  2. 线性组合条件的可检验性:作者假设真实倾向得分落在候选模型的凸包中(公式 2.2),但未提供检验该假设的方法。能否构造一个数据驱动的检验?(扎根于公式 2.2 与 Condition 5(iii))

  3. 聚类数 \(v\) 的选择:Section 6 中聚类数 \(v\) 被假定已知,但实际应用中 \(v\) 未知。聚类数误设定对多重稳健性质的影响如何?(扎根于 Section 6 开头"we assume the population distribution G is from a mixture of v subgroups")

  4. 效率损失:当所有模型都正确指定时,DELW 是否达到半参数效率界?Theorem 1(iii) 声称达到,但未给出效率界的具体形式。与单一正确模型的 AIPW 相比,多重稳健性是否带来效率损失?(扎根于 Theorem 1(iii) 与 Hahn 1998 的对比)

  5. 未观测混杂的扩展:作者在 Discussion 中提到"an important future direction is to extend multiply robust inference to settings with unobserved confounders",但未给出任何具体思路。能否将本文的软校准框架与代理变量(proximal causal inference)方法结合?(扎根于 Discussion 最后一段)


提醒:要确认上述开放问题是否是真 gap,建议去读以下近期文献的引言部分(各约 5 篇):(a) 高维因果推断(2022-2025 年的 Annals of Statistics、JRSS-B 论文);(b) 多重稳健估计(引用 Han 2014 的近 5 年论文);(c) 代理变量因果推断(Tchetgen Tchetgen 团队近作)。如果多个独立团队都在引言中指向同一问题,那大概率是真 gap;如果各说各话,则可能是伪问题。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论