跳转至

Nonlinear Sufficient Dimension Reduction for Causal Inference with Continuous Treatments

作者: Chak Fung Choi, Yin Tang, Bing Li
主题: 因果推断
相关性: 8/10
链接: https://arxiv.org/abs/2610.39422


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是因果推断中的充分降维(Sufficient Dimension Reduction, SDR)。其根本问题在于:当协变量维度 \(p\) 较高时,无论是估计广义倾向得分(generalized propensity score)还是结果回归函数,非参数估计都会遭遇维数灾难。SDR 的核心思想是:如果存在一个低维映射 \(z: \mathbb{R}^p \to \mathbb{R}^d\)(\(d \ll p\)),使得条件独立性 \(Y(t) \perp\!\!\!\perp T \mid z(X)\) 成立,那么我们就可以用这个低维的"充分协变量"替代原始的 \(p\) 维协变量进行因果调整,从而在不损失识别效力的前提下大幅降低估计难度。本文的特殊之处在于将 SDR 从线性推广到非线性,并专门针对连续处理变量下的剂量-反应函数(dose-response function)估计。

发展脉络

这条脉络可以梳理为三条交织的线索:

线索一:连续处理下的因果推断。 这是本文的直接应用场景。Imbens (2000) 将倾向得分推广到连续处理情形,提出了广义倾向得分(GPS)的概念,但 GPS 本身是 \(t\) 和 \(x\) 的函数,其估计在高维下极为困难。Hirano & Imbens (2004) 进一步讨论了基于 GPS 的剂量-反应函数估计。此后,Kennedy et al. (2017) 提出了基于核平滑的双稳健估计器,建立了连续处理下剂量-反应函数的渐近理论;Colangelo & Lee (2025) 进一步发展了去偏机器学习(DML)方法。这些工作的共同瓶颈在于:所有方法都需要估计以全协变量 \(X\) 为条件的 nuisance 函数,当 \(p\) 较大时,收敛速度难以达到 \(n^{-1/4}\) 这一半参数估计的"生死线"。

线索二:充分降维(SDR)方法的发展。 线性 SDR 的奠基性工作包括 sliced inverse regression(Li, 1991)、principal Hessian directions(Li, 1992)、directional regression(Li & Wang, 2007)以及 MAVE(Xia et al., 2002; Xia, 2007)。这些方法的核心假设是存在一个线性子空间 \(B^\top X\) 使得响应变量与协变量条件独立。然而,线性 SDR 的局限在于:当真实的充分预测变量是协变量的非线性函数时(如本文模拟中的 \(Z_1 = (\sum_{i=1}^8 X_i^2 - 8)/4\)),线性方法需要远高于真实维度的子空间才能近似。非线性 SDR 的突破来自 Lee et al. (2013) 和 Li & Song (2017),他们利用再生核希尔伯特空间(RKHS)中的算子谱分解,提出了广义切片逆回归(GSIR),其收敛速度可以做到与原始协变量维度 \(p\) 无关。

线索三:SDR 与因果推断的结合。 这是本文的直接先驱。Luo et al. (2017) 和 Luo & Zhu (2020) 首次将线性 SDR 用于因果推断中的混杂调整,证明了用充分降维后的协变量替代全协变量不会引入偏误,且能提高估计精度。Huang & Chan (2017, 2018) 进一步将线性 SDR 与结果回归和加权估计器结合。Ma et al. (2019) 提出了基于稀疏 SDR 的稳健估计方法。这些工作的共同局限在于线性假设——当混杂结构本质非线性时,线性 SDR 可能无法充分降维。本文的定位正是填补这一空白:将非线性 SDR(GSIR)引入连续处理下的因果推断。

子线索聚类

被引文献大致落在以下三条子线索上:

  1. 连续处理下的双稳健/去偏估计(Kennedy et al., 2017; Colangelo & Lee, 2025; Smucler et al., 2019; Liu et al., 2024):关注如何在连续处理下构造具有 \(n^{-1/2}\) 收敛速度的估计器,核心工具是 influence function 和 cross-fitting。这条线索的瓶颈在于 nuisance 函数的估计精度要求。

  2. 非线性充分降维的理论与方法(Lee et al., 2013; Li & Song, 2017; Choi et al., 2026; Liang et al., 2022; Chen et al., 2024; Tang & Li, 2025; Xu et al., 2025):关注如何在 RKHS 中构造非线性充分降维估计量并建立收敛速度。Choi et al. (2026) 是本文作者的前作,将 GSIR 的收敛速度从 \(n^{-1/4}\) 提升到接近 \(n^{-1/3}\)。

  3. SDR 在因果推断中的应用(Luo et al., 2017; Luo & Zhu, 2020; Huang & Chan, 2017, 2018; Ma et al., 2019):关注如何用降维后的协变量替代全协变量进行因果调整。此前的工作局限于线性 SDR。

这个方向在追问的核心问题

  1. 充分协变量的构造与估计:如何从观测数据中估计满足条件独立性 (2.6) 的低维映射 \(z(X)\)?线性方法(MAVE、SIR)与非线性方法(GSIR)各自的适用条件和收敛速度如何?
  2. 降维误差的传播:当 \(z(X)\) 被估计而非已知时,估计误差如何影响最终的剂量-反应函数估计?需要什么样的收敛速度条件才能保证 \(n^{-1/2}\) 渐近正态性?
  3. 方差与效率的权衡:降维是否会影响渐近方差?本文定理 6.3 表明,使用充分协变量 \(Z\) 与使用全协变量 \(X\) 的 AIPW 估计量具有相同的渐近方差,这是一个关键的理论保证。

⚠️ 作者的 framing

作者将缺口 frame 为:"现有的 SDR-based 因果推断方法局限于线性降维,而线性降维在非线性混杂结构下无法充分降维;本文将非线性 SDR(GSIR)引入连续处理下的因果推断,并建立了完整的渐近理论。" 这是作者的说法,研究者可以自行判断这一 framing 是否成立——特别是,线性 SDR 在哪些实际场景下会失效,以及 GSIR 的收敛速度改进(从 \(n^{-1/4}\) 到接近 \(n^{-1/3}\))是否真的能转化为有限样本下的实质性收益。

张力

未见明显对立引用。不过有一个值得注意的潜在张力:Kennedy et al. (2017) 和 Colangelo & Lee (2025) 的方法直接在全协变量 \(X\) 上工作,依赖 nuisance 函数的收敛速度;而本文主张先降维再估计。这两种路径在理论上都能达到 \(n^{-1/2}\) 收敛,但有限样本下的相对优劣取决于具体的数据生成过程——当 \(p\) 很大但有效维度 \(d\) 很小时,降维显然有利;但当 \(p\) 适中且 \(d\) 接近 \(p\) 时,降维可能引入额外的估计误差。作者在模拟中展示了 \(p=10,20\) 的情形,但未系统比较两种路径在中等维度下的表现。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

在展开技术细节之前,先把记号一次性立清楚:

记号 含义 类型
\(T\) 连续处理变量,取值于紧集 \(\Omega_T \subset \mathbb{R}\) 可观测随机变量
\(X\) \(p\) 维协变量向量 可观测随机变量
\(Y(t)\) 在给定处理水平 \(t\) 下的潜在结果(potential outcome) 潜在量,不可观测
\(Y = Y(T)\) 实际观测到的结果 可观测随机变量
\(\mu(t) = \mathbb{E}[Y(t)]\) 剂量-反应函数(dose-response function),本文的 estimand 目标参数
\(z: \mathbb{R}^p \to \mathbb{R}^d\) 充分降维映射,\(d \ll p\) 未知函数,需估计
\(Z = z(X)\) 充分协变量(sufficient covariate) 由 \(X\) 导出的随机变量
\(f_{T \mid X}(t \mid x)\) 广义倾向得分(generalized propensity score) nuisance 函数
\(m(t, x) = \mathbb{E}[Y \mid T=t, X=x]\) 结果回归函数 nuisance 函数
\(f_T(t)\) 处理的边际密度 nuisance 函数
\(K_T, K_X, K_Z\) 核函数 已知
\(h, b\) 带宽参数 需选择
\(r_n\) GSIR 估计量的均匀收敛速度 理论量

模型设定:观测数据为 \((Y_i, T_i, X_i)_{i=1}^n\),i.i.d. 来自某个未知联合分布。因果识别依赖三个关键假设:

  • 一致性(Assumption 1):\(T = t \implies Y = Y(t)\)。即观测到的结果就是该处理水平下的潜在结果。
  • 正性(Assumption 2):\(f_{T \mid X}(t \mid x) > c > 0\) 对所有 \((t, x)\) 成立。即每个处理水平在任意协变量条件下都有正概率被接受。
  • 可忽略性(Assumption 3):\(Y(t) \perp\!\!\!\perp T \mid X\)。即给定协变量 \(X\),处理分配与潜在结果独立。

关键点:本文的核心假设 (2.6) 是 \(Y(t) \perp\!\!\!\perp T \mid z(X)\),即存在一个低维映射 \(z\) 使得条件独立性在降维后仍然成立。这比直接假设 \(Y(t) \perp\!\!\!\perp T \mid X\) 更强——它要求 \(z(X)\) 同时捕捉了 \(X\) 中与处理分配和潜在结果相关的所有信息。

第二步:最小内核

剥掉所有一般性假设后,本文在数学上干的事情是:

假设存在一个未知的低维映射 \(z: \mathbb{R}^p \to \mathbb{R}^d\),使得 \(Y(t) \perp\!\!\!\perp T \mid z(X)\)。我们先用 GSIR 从数据中估计 \(z\),然后用估计的 \(\hat{Z} = \hat{z}(X)\) 替代 \(X\) 来估计剂量-反应函数 \(\mu(t)\)。要证明的核心命题是:这个两步估计器与直接使用全协变量 \(X\) 的估计器具有相同的渐近分布(即降维不损失效率),且收敛速度更快(因为有效维度从 \(p\) 降到了 \(d\))。

最简特例:考虑 \(d = 1\),即充分协变量是一维的。假设数据生成机制为:

\[T = g(Z) + \epsilon_T, \quad Y(t) = h(t, Z) + \epsilon_Y,\]

其中 \(Z = z(X)\) 是一维的,\(\epsilon_T \perp\!\!\!\perp \epsilon_Y \perp\!\!\!\perp X\)。此时:

  • 可忽略性:\(Y(t) \perp\!\!\!\perp T \mid Z\) 自动成立,因为给定 \(Z\) 后,\(T\) 的变异完全由 \(\epsilon_T\) 驱动,而 \(\epsilon_T\) 与 \(\epsilon_Y\) 独立。
  • 识别:剂量-反应函数 \(\mu(t) = \mathbb{E}[h(t, Z)]\),只需对 \(Z\) 的分布取期望。
  • 估计:先用 GSIR 估计 \(Z\)(即找到一维投影方向),然后在一维空间上做核回归估计 \(m(t, z) = \mathbb{E}[Y \mid T=t, Z=z]\),最后对 \(Z\) 的样本均值取平均。

为什么这个特例能体现核心困难? 因为即使在这个最简单的设定下,也存在两个关键问题:

  1. GSIR 的估计误差:\(\hat{Z}\) 不是真实的 \(Z\),而是其估计。这个估计误差会通过 nuisance 函数估计传播到最终的 \(\mu(t)\) 估计中。本文需要证明,只要 GSIR 的收敛速度足够快(\(r_n\) 足够小),这个传播误差就是渐近可忽略的。

  2. 维数灾难的缓解:如果直接用 \(X\)(\(p\) 维)做核回归,收敛速度是 \(n^{-s/(2s+p)}\)(\(s\) 为光滑度);而用 \(Z\)(\(d\) 维)做核回归,收敛速度是 \(n^{-s/(2s+d)}\)。当 \(p \gg d\) 时,后者的速度显著更快。这正是降维带来的核心收益。

证明的核心逻辑(在特例下):

  • 步骤 1:证明 GSIR 估计量 \(\hat{z}\) 以速度 \(r_n\) 一致收敛到真实 \(z\)。
  • 步骤 2:证明基于 \(\hat{Z}\) 的 nuisance 函数估计(倾向得分、结果回归)与基于真实 \(Z\) 的估计之差以速度 \(r_n\) 收敛到零。
  • 步骤 3:利用 influence function 的展开,证明 \(\hat{\mu}(t) - \mu(t)\) 的主项只依赖于基于真实 \(Z\) 的 nuisance 函数估计,而 GSIR 的估计误差只出现在高阶项中。
  • 步骤 4:结合步骤 2 和 3,得到 \(\hat{\mu}(t)\) 的渐近正态性,且渐近方差与使用全协变量 \(X\) 的估计器相同。

三、这篇论文做了什么

三句话

  1. 研究了什么问题:在连续处理变量下,当协变量维度 \(p\) 较高时,如何通过非线性充分降维(GSIR)构造低维充分协变量,从而缓解剂量-反应函数估计中的维数灾难。
  2. 核心工具/方法:将广义切片逆回归(GSIR)与三种常用的因果估计器——逆概率加权(IPW)、结果回归(OR)、增强逆概率加权(AIPW)——相结合,提出 GSIR-IPW、GSIR-OR、GSIR-AIPW 三类估计器。
  3. 主要结论:建立了这三类估计器的收敛速度和渐近分布理论,证明降维后的估计器比基于全协变量的估计器具有更快的收敛速度和更弱的速率条件,且不增大渐近方差;模拟和实际数据验证了方法的有效性。

关键设定与假设

在第二节最小记号的基础上,本文的完整设定包括:

  • 假设 (A1)–(A7):这些是核估计和 GSIR 的标准技术条件,包括:
  • 核函数 \(K_T, K_X, K_Z\) 的阶数(\(q\) 和 \(s\))和光滑性条件;
  • 密度函数 \(f_{T \mid X}(t \mid x)\) 和 \(f_{T \mid Z}(t \mid z)\) 的光滑性(\(s\) 阶连续可微);
  • 结果回归函数 \(m(t, x)\) 和 \(m(t, z)\) 的光滑性(\(q\) 阶连续可微);
  • 带宽参数 \(h, b\) 的收敛速度条件;
  • GSIR 估计量的均匀收敛速度 \(r_n\)(由 Choi et al., 2026 建立)。

  • 关键假设 (2.6):\(Y(t) \perp\!\!\!\perp T \mid z(X)\)。这是整个框架的基石。相比已有工作(Luo et al., 2017; Huang & Chan, 2018)的线性充分降维假设,本文允许 \(z\) 是非线性映射,这是一个实质性的推广。

  • 相比已有工作的放宽:

  • 相比 Kennedy et al. (2017) 和 Colangelo & Lee (2025) 直接在全协变量 \(X\) 上工作,本文通过降维将 nuisance 函数估计的有效维度从 \(p\) 降到 \(d\),从而放宽了对 nuisance 函数收敛速度的要求。
  • 相比 Luo et al. (2017) 的线性 SDR,本文允许非线性充分降维,适用范围更广。

主要结果

定理 4.1 和 4.2(GSIR-IPW 的收敛速度):在假设 (A1)–(A7) 下,GSIR-IPW 估计器 \(\hat{\mu}_{\text{GSIR-IPW}}(t)\) 以速度 \(s_n\)(由公式 (4.2) 给出)一致收敛到 \(\mu(t)\)。这个速度比基于全协变量 \(X\) 的 IPW 估计器的速度更快,因为 \(s_n\) 中的维数项是 \(d\) 而非 \(p\)。

定理 4.4(GSIR-OR 的收敛速度):GSIR-OR 估计器具有与 GSIR-IPW 相同的收敛速度 \(s_n\)。

定理 6.1 和推论 6.1(GSIR-AIPW 的渐近正态性):在 cross-fitting 框架下,GSIR-AIPW 估计器满足:

\[\sqrt{nh}\{\hat{\mu}_{\text{GSIR-AIPW}}(t) - \mu(t) - h^q B_t\} \xrightarrow{d} N(0, V_t),\]
其中 \(V_t = \int K_T^2(u) du \cdot \mathbb{E}\left[\frac{\sigma^2(t, Z)}{f_{T \mid Z}(t \mid Z)}\right]\)。这个渐近方差与使用全协变量 \(X\) 的 AIPW 估计器相同(定理 6.3),说明降维不损失效率。

定理 6.3(方差分解):对于任意满足 (2.6) 的充分协变量 \(Z\),

\[V_Z(t) - V_X(t) = A(t) - B(t) + C(t),\]
其中 \(A(t) \geq 0\) 衡量结果回归信息的损失,\(B(t) \geq 0\) 衡量处理分配信息的损失,\(C(t)\) 是协方差项。对于平衡充分协变量(满足 (2.12)),\(B(t) = C(t) = 0\),所以 \(V_Z(t) \geq V_X(t)\);对于预后-平衡充分协变量(满足 (2.14)),\(A(t) = B(t) = C(t) = 0\),所以 \(V_Z(t) = V_X(t)\)。

表 H.1–H.4(数值比较):在 \(p = 5, 10, 15, 20, 25, 30\) 和 \(d = 1, 2\) 的设置下,比较了 GSIR 降维与全协变量方法的收敛速度。结果显示,当 \(p \geq 10\) 时,GSIR 降维带来的速度改进显著;当 \(p = 5\) 时,改进不明显甚至可能略差(因为 GSIR 自身的估计误差)。

证明路线与技术技巧

整体路线(以 GSIR-AIPW 为例):

  1. 第一步:建立 GSIR 的收敛速度。利用 Choi et al. (2026) 的结果,证明 \(\hat{z}\) 以速度 \(r_n\) 一致收敛到真实 \(z\)。这一步的关键是 RKHS 中算子的谱分解和摄动理论。

  2. 第二步:控制降维误差的传播。将 \(\hat{\mu}(t) - \mu(t)\) 分解为两部分:

    \[\hat{\mu}(t) - \mu(t) = [\hat{\mu}(t; \hat{z}) - \hat{\mu}(t; z)] + [\hat{\mu}(t; z) - \mu(t)],\]
    其中第一项是降维估计误差的传播,第二项是给定真实 \(z\) 时的估计误差。关键的技术难点在于证明第一项是 \(o_p((nh)^{-1/2})\)。

  3. 第三步:建立 influence function 展开。对于第二项,利用 AIPW 估计器的双稳健性质,将其展开为 influence function 的和加上高阶余项。这里用到了 cross-fitting 来避免 nuisance 函数估计的过拟合问题。

  4. 第四步:验证速率条件。证明在定理 6.1 的条件下,所有高阶余项都是可忽略的。关键的速率条件是 \(n^{1/2}h^{1/2}u_n v_n \to 0\),其中 \(u_n\) 和 \(v_n\) 分别是结果回归和倾向得分估计的收敛速度。

关键技术技巧:

  • Cross-fitting:将样本分成 \(L\) 折,每折用其余 \(L-1\) 折估计 nuisance 函数,然后在该折上评估 estimating equation。这避免了 Donsker 类条件,允许使用更灵活的机器学习方法。
  • 核密度估计的比值形式:在 IPW 估计器中,倾向得分的倒数通过核密度估计的比值来构造,避免了直接估计条件密度的困难。
  • 高阶核:为了达到所需的收敛速度,使用了 \(q\) 阶核函数(\(q \geq 2\)),这允许在带宽 \(h\) 的选择上有更大的灵活性。

🔎 结论是否比证明窄

  • 定理 6.1 的证明依赖于 GSIR 的收敛速度 \(r_n\),但文中没有给出 \(r_n\) 的具体形式,而是引用了 Choi et al. (2026) 的结果。这意味着定理 6.1 的适用性取决于 GSIR 在具体问题中的收敛速度,而这一速度可能对调参(如核函数的选择、正则化参数)敏感。
  • 定理 6.3 的方差分解是在"充分协变量已知"的假设下推导的。当 \(z\) 被估计时,额外的变异性是否会影响方差,文中没有给出明确的分析。作者在讨论部分承认了这一点,但未给出解决方案。
  • 模拟中的"已知充分协变量"设置:在模拟中,作者假设充分协变量的结构已知(如 \(Z_1 = (\sum_{i=1}^8 X_i^2 - 8)/4\)),这在实际中是不现实的。真实的 \(z\) 需要从数据中估计,而估计误差可能抵消部分降维收益。

真实例子与应用

数据:Job Corps 项目数据,样本量 \(n = 3,906\),协变量维度 \(p = 40\)。处理变量 \(T\) 为第一年接受的培训小时数(连续),结果 \(Y\) 为第二年就业周数比例。

方法应用: 1. 用 GSIR 对 \(\{Y, T\}\) 与 \(X\) 进行非线性充分降维,估计出一维充分协变量 \(\hat{Z}\)。 2. 基于 \(\hat{Z}\) 估计广义倾向得分 \(\hat{f}_{T \mid Z}(t \mid z)\) 和结果回归 \(\hat{m}(t, z)\)。 3. 使用 GSIR-AIPW 估计量(公式 5.5)估计剂量-反应函数 \(\hat{\mu}(t)\)。

结果:估计的剂量-反应函数呈现倒 U 形,在约 1,083 小时处达到峰值。这一发现与 Colangelo & Lee (2025) 的结果一致,但本文的方法在 40 维协变量下无需强参数假设即可实现。

该例子想说明什么:在高维协变量下,非线性充分降维可以有效地提取与因果效应相关的低维结构,使得非参数 nuisance 函数估计变得可行,同时保持与全协变量方法相同的渐近效率。


四、开放问题

  1. 预后充分协变量的直接估计(扎根于第 9 节讨论):文中指出,直接构造满足 (2.15) 的预后充分协变量(只保留结果相关信息,不保留处理分配信息)可以进一步降低 AIPW 方差,但这一目标涉及潜在结果 \(Y(t)\),超出了经典 SDR 的框架。作者提出这需要"部分 SDR"方法,但未给出具体估计方案。要确认这是否为真 gap,建议查阅 Chiaromonte et al. (2002) 之后的 partial SDR 文献,看是否有非线性版本可直接应用。

  2. 结构维度的选择(扎根于第 9 节):文中假设结构维度 \(d\) 已知,但在实际应用中 \(d\) 需要从数据中估计。虽然 Li et al. (2011) 和 Li & Song (2017) 提出了交叉验证的 BIC 准则,但将这些准则的误差纳入因果估计的渐近分析中,目前尚无结果。这是一个明确的开放问题:结构维度估计的不确定性如何影响剂量-反应函数的推断?

  3. GSIR 收敛速度的改进(扎根于定理 4.3 和 Choi et al., 2026):本文的收敛速度依赖于 GSIR 的 \(r_n\),而 Choi et al. (2026) 的改进速度(接近 \(n^{-1/3}\))是在特定条件下建立的。在更一般的条件下(如核函数的选择、特征值的衰减速度),\(r_n\) 的最优速度尚不明确。可以探索:是否存在比 GSIR 收敛更快的非线性 SDR 方法,从而进一步放宽 nuisance 函数的速率条件?

  4. 纵向或动态处理情形的推广(扎根于第 9 节):作者提到将框架扩展到纵向处理或动态处理方案是未来方向,但未给出具体思路。这是一个自然的延伸:在纵向设定下,充分协变量需要同时控制时变混杂,SDR 的结构会复杂得多。

  5. 一个值得注意的张力:本文的模拟显示,在 \(p = 5\) 的低维情形下,GSIR 降维并不比全协变量方法更好(甚至略差)。这意味着降维的收益存在一个"阈值维度"。这个阈值如何刻画?它与 \(d\)、\(r_n\) 和 nuisance 函数的光滑度有何关系? 这是一个可以量化的问题,建议从 minimax 视角分析。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论