跳转至

Score-Based Methods for Selecting Direct Causes in Reweighted Distributions

作者: Jacob M. Chen, Ilya Shpitser
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2610.09100


一、领域脉络与小综述

这个方向是什么

本文所解决的问题属于因果推断与模型选择的交叉领域:在观测数据存在混杂偏倚时,如何从一组候选变量中选出目标结果变量的"直接原因"。传统模型选择方法(如BIC、AIC)基于观测似然,但在因果推断中,我们关心的往往是干预分布(interventional distribution)下的模型,而非观测分布。当存在未观测混杂时,观测分布与干预分布不一致,直接套用基于观测似然的BIC会导致错误选择。本文提出一种重加权BIC(reweighted BIC, rBIC),使得模型选择可以在重加权分布(即边际结构模型所对应的伪分布)下进行,并证明其一致性。

该方向的成熟度:BIC一致性理论自 Schwarz (1978) 和 Haughton (1988) 以来已相当成熟;边际结构模型(MSM)自 Robins 等人提出以来也已有二十余年应用历史。但将两者结合——即在重加权分布下进行模型选择并给出理论保证——此前缺乏系统研究。本文填补了这一空白。

发展脉络

  • 奠基工作:Schwarz (1978) 提出BIC,Haughton (1988) 证明其在指数族中的一致性。这是本文的理论起点。本文在附录B.1-B.4中详细回顾并扩展了这一证明。
  • 因果推断中的重加权方法:Robins (1986) 提出 g-formula,Hernán et al. (2000) 将逆概率加权(IPW)与边际结构模型结合,用于处理时变混杂。本文的权重构造正是基于这一框架。
  • 模型选择在因果推断中的应用:Bahamyirou et al. (2022) 使用自适应LASSO在MSM中选择效应修饰变量(effect modifiers),Jaman et al. (2025) 使用SCAD惩罚在结构嵌套均值模型(SNMM)中选择效应修饰变量。这两篇工作与本文目标相似,但方法路径不同:它们使用惩罚回归(优化问题),本文使用BIC(离散搜索问题)。本文在引言中明确指出这一区别。
  • 重加权似然的模型选择:Greco and Agostinelli (2018) 讨论了加权似然下的混合模型选择,提出类似重加权BIC的准则,但未证明一致性,且不涉及因果推断中的权重构造。本文在Related Work中将其定位为"相似但不同"。

子线索聚类

  1. BIC一致性理论(Schwarz 1978; Haughton 1988; Chen & Chen 2008; Peterson et al. 2026):研究BIC在何种条件下能一致地选择真实模型。本文扩展了Haughton的证明到更一般的指数族。
  2. 因果效应识别与估计(Robins 1986; Pearl 2009; Shpitser & Pearl 2006; Huang & Valtorta 2006):研究在何种图结构下因果效应可识别,以及如何用g-formula或IPW估计。本文的权重构造依赖这一理论。
  3. 因果模型中的变量选择(Bahamyirou et al. 2022; Jaman et al. 2025):在MSM或SNMM中选择效应修饰变量。本文与这一线索最接近,但使用BIC而非惩罚回归。
  4. 重加权似然推断(Greco & Agostinelli 2018):在加权分布下进行统计推断。本文的rBIC属于这一范畴,但首次给出因果推断场景下的一致性证明。

这个方向在追问的核心问题

  1. 如何在干预分布下进行一致的模型选择? 观测分布下的BIC在存在混杂时可能选出错误的"原因"。本文的rBIC回答了这一问题。
  2. 权重估计误差如何影响模型选择? 实际中权重需从数据估计,估计误差会传播到rBIC。本文定理5.2给出了权重估计误差的容忍条件(α_W > 0 且 1 - α_W < α_d)。
  3. 如何构造"简单"的权重? 理论上有效的权重可能涉及复杂的条件分布,难以估计。本文附录A.6给出了一个启发式流程,但承认一般性刻画超出范围。

⚠️ 作者的 framing

作者将本文定位为"BIC在重加权分布下的推广",并强调以下三点(这是作者的说法,供你判断): - 经典BIC不能直接用于MSM,因为MSM的似然基于干预分布而非观测分布; - 现有方法(LASSO、SCAD)将变量选择视为优化问题,而BIC是离散搜索,两者在计算和理论上各有优劣; - 本文的一致性证明"略微扩展"了Haughton (1988) 的证明,但关键的修改在于惩罚项的缩放(从 log n 到 n^α_d)。

值得注意的张力:作者在引言中承认,对于一般图结构,如何找到"简单"的权重仍是一个开放问题(附录A.6最后一段)。这意味着本文的方法虽然理论上一致,但实际应用范围受限于能找到简单权重的图结构。此外,作者在模拟中使用的权重估计方法是参数化的(逻辑回归、线性回归),对于高维或非参数设置,权重估计的收敛速度可能不满足定理5.2的条件。

未见明显对立引用:本文引用的文献在因果推断框架内是一致的,没有发现相互矛盾的结论。

二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号清单(按类别分组):

类别 符号 含义
变量 \(V = C \cup U \cup A \cup M \cup \{Y\}\) 全部变量集合
\(C\) 观测混杂(observed confounders)
\(U\) 未观测混杂(unobserved confounders)
\(A = \{A_1, \dots, A_k\}\) \(k\) 个候选直接原因(potential direct causes)
\(M\) 中介变量(mediators)
\(Y\) 结果变量
\(O = V \setminus U\) 可观测变量
图模型 \(G\) 有向无环图(DAG)
\(\text{pa}_G(V)\) \(V\) 在 \(G\) 中的父节点集合
分布 \(p(V)\) 观测联合分布
\(p(V \setminus A \mid \text{do}(a))\) 干预分布(g-formula)
\(q(V, A')\) 目标重加权分布
权重 \(W(O, A')\) 重加权权重,满足 \(W p(V) = q(V, A')\)
\(\hat{W}\) 从数据估计的权重
参数 \(\theta\) MSM 中的有限维参数
\(\theta^*\) 真实参数值
\(\theta^*_W\) 重加权分布下的真实参数值
\(d_r\) 模型 \(M_r\) 的维度
样本 \(n\) 样本量
\(D = \{(O_i, A_i)\}_{i=1}^n\) \(n\) 个 i.i.d. 观测
准则 \(\gamma_W(D, W, M_r)\) rBIC 得分
\(\alpha_d\) 惩罚缩放参数(\(0 < \alpha_d < 1\))
\(\alpha_W\) 权重估计收敛速率参数

模型(数据生成机制):

  1. DAG 结构:\(G\) 满足偏序 \(C \cup U \prec A \prec M \prec Y\)。这意味着:
  2. 混杂(\(C, U\))先于处理(\(A\));
  3. 处理先于中介(\(M\));
  4. 中介先于结果(\(Y\))。

  5. 联合分布:\(p(V) = \prod_{V \in V} p(V \mid \text{pa}_G(V))\)。

  6. 边际结构模型(MSM):\(E[Y(a)] = g(a; \theta)\),其中 \(g\) 是已知函数形式,\(\theta\) 是待估参数。

  7. 指数族假设:\(p(Y \mid A, \cdot)\) 属于指数族,即 \(p(y \mid a, z; \theta) = h(y) \exp[T(y)\theta(a, z) - b(\theta(a, z))]\)。

可观测数据:\(D = \{(O_i, A_i)\}_{i=1}^n\),其中 \(O_i = (C_i, M_i, Y_i)\)(观测混杂、中介、结果)。注意: - \(U\)(未观测混杂)不可观测; - \(A'\)(模拟处理)不是观测数据,而是由研究者从 \(p^*(A')\) 中采样生成的。

关键区分: - 可观测:\(C, A, M, Y\)(有样本) - 不可观测:\(U\)(潜在混杂)、\(Y(a)\)(反事实结果)、\(A'\)(模拟处理,由研究者生成而非观测)

第二步:最小内核

核心问题:给定候选变量集 \(A = \{A_1, A_2, A_3\}\),判断哪些是 \(Y\) 的直接原因。直接原因定义为:在 MSM \(E[Y(a)] = g(a; \theta)\) 中,\(\theta\) 中对应 \(A_i\) 的系数非零。

最小例子(对应文中 Figure 1a,后门图):

  • 变量:\(C\)(观测混杂)、\(U\)(未观测混杂)、\(A = \{A_1, A_2, A_3\}\)、\(Y\)。
  • 结构:\(C \to A_i\),\(U \to A_i\),\(A_i \to Y\),\(C \to Y\),\(U \to Y\)。
  • 真实模型:\(Y = 1.5C + 1.5A_1 + 1.5A_2 + \epsilon\),其中 \(\epsilon \sim N(0,1)\)。
  • 目标:选出 \(\{A_1, A_2\}\),排除 \(A_3\)。

为什么朴素BIC会失败:

在观测分布下,\(A_3\) 与 \(Y\) 可能相关(通过 \(C\) 或 \(U\) 的混杂路径),导致 \(A_3\) 在 \(E[Y \mid A]\) 中系数非零。但 \(A_3\) 不是 \(Y\) 的原因——它只是与 \(Y\) 共享混杂因素。因此,基于观测似然的BIC可能错误地保留 \(A_3\)。

rBIC 的核心思想:

  1. 构造权重 \(W\),使得 \(W p(V) = q(V, A')\),其中 \(q\) 是目标重加权分布(干预分布)。
  2. 在重加权分布下拟合模型:使用加权似然 \(\sum_{i=1}^n W_i \log p(Y_i \mid A_i; \theta)\) 估计 \(\theta\)。
  3. 计算 rBIC 得分:\(\gamma_W(D, W, M_r) = \sum_{i=1}^n W_i \log p(Y_i \mid A_i; \hat{\theta}_W) - \frac{d_r}{2} n^{\alpha_d}\)。
  4. 选择得分最高的模型。

为什么 rBIC 有效:

在重加权分布 \(q\) 中,\(A'\) 与 \(Y\) 之间不存在混杂路径(因为 \(A'\) 是模拟的、随机化的)。因此,\(A_i\) 在 \(q\) 中的显著性直接反映其因果效应。rBIC 在 \(q\) 下进行模型选择,等价于在干预分布下选择直接原因。

关键数学困难:

  1. 权重估计误差:实际中 \(W\) 需从数据估计(如 IPW 权重 \(\hat{W} = \frac{p^*(A)}{p(A \mid C)}\)),估计误差会传播到 rBIC。定理 5.2 要求 \(\hat{W}\) 以 \(o_p(n^{-\alpha_W})\) 的速率收敛,且 \(\alpha_W > 0\)、\(1 - \alpha_W < \alpha_d\)。
  2. 惩罚项缩放:经典BIC使用 \(\frac{d}{2} \log n\) 作为惩罚,但 rBIC 使用 \(\frac{d}{2} n^{\alpha_d}\)。这是因为重加权似然的方差结构与观测似然不同,需要更强的惩罚来压制过拟合。
  3. 指数族假设:证明依赖于指数族的充分统计量结构,使得加权似然可以简化为加权均值的函数。

最小内核的数学表述:

设 \(T(Y)\) 为充分统计量,\(\bar{T}_W = \frac{1}{n} \sum_{i=1}^n W_i T(Y_i)\) 为加权均值。则 rBIC 得分可写为:

\[\gamma_W(D, W, M_r) = n \sup_{\theta \in M_r} \left[ \bar{T}_W \theta - b(\theta) \right] - \frac{d_r}{2} n^{\alpha_d}\]

一致性证明的关键步骤是:当 \(n \to \infty\) 时, - 若 \(M_r\) 包含真实模型,则 \(\sup_{\theta \in M_r} [\bar{T}_W \theta - b(\theta)]\) 收敛到真实值; - 若 \(M_r\) 不包含真实模型,则该值以 \(O_p(1)\) 的速率偏离真实值; - 惩罚项 \(n^{\alpha_d}\) 以 \(n^{\alpha_d}\) 的速率增长,其中 \(\alpha_d > 0\),因此能压制所有不包含真实模型的候选模型。

三、这篇论文做了什么

三句话

  1. 研究了什么问题:在存在未观测混杂的观测数据中,如何一致地选择边际结构模型(MSM)中的直接原因变量。
  2. 核心工具/方法:提出重加权BIC(rBIC),将BIC从观测分布推广到重加权分布,并证明其在指数族假设下的一致性;同时给出权重需从数据估计时的一致性条件。
  3. 主要结论:rBIC 在 oracle 权重下是一致的;当权重估计以 \(o_p(n^{-\alpha_W})\) 速率收敛且 \(\alpha_W > 0\)、\(1 - \alpha_W < \alpha_d\) 时,rBIC 在估计权重下仍一致。模拟实验表明,rBIC 在有限样本下优于朴素BIC和惩罚回归方法。

关键设定与假设

假设 含义 相比已有文献
指数族 \(p(Y \mid A, \cdot)\) 属于指数族 比 Haughton (1988) 更一般(允许条件分布)
偏序 \(C \cup U \prec A \prec M \prec Y\) 标准的时间顺序假设
一致性 \(Y(a) = Y\) 当 \(A = a\) 标准因果推断假设
权重有界 \(0 < W < \infty\) 比通常的 positivity 假设更强(要求权重不趋于0或无穷)
权重收敛 \(\|\hat{W} - W\| = o_p(n^{-\alpha_W})\) 本文新增,用于处理估计权重
惩罚缩放 \(\alpha_d \in (0, 1)\),且 \(\alpha_d > 1 - \alpha_W\) 本文新增,是 rBIC 与经典 BIC 的关键区别

相比已有文献的放宽/强化: - 放宽:Haughton (1988) 只考虑 \(Z = \emptyset\) 的边际分布;本文允许条件分布 \(X \mid Z\)。 - 强化:本文要求权重严格正且有界(\(0 < W < \infty\)),而通常的 positivity 假设只要求 \(P(A \mid C) > 0\) 几乎处处成立。

主要结果

定理 5.1(oracle 权重下 rBIC 的一致性): - 条件:\(X \mid Z\) 属于指数族,权重为 oracle 值 \(W\)。 - 结论:rBIC 是一致评分准则,即当 \(n \to \infty\) 时,rBIC 以概率 1 选择正确的模型(最小维度且包含真实参数)。

定理 5.2(估计权重下 rBIC 的一致性): - 条件:在定理 5.1 的基础上,增加 \(\|\hat{W} - W\| = o_p(n^{-\alpha_W})\),且 \(\alpha_W > 0\)、\(1 - \alpha_W < \alpha_d\)。 - 结论:rBIC 在估计权重下仍一致。 - 关键条件:\(\alpha_d > 1 - \alpha_W\)。这意味着惩罚项的增长速率必须快于权重估计误差的传播速率。

证明路线: 1. 简化加权似然(引理 B.4):利用指数族性质,将加权对数似然写成 \(\sum W_i \log h(Y_i) + n \sup_{\theta \in M_r} (\bar{T}_W \theta - b(\theta))\)。 2. oracle 权重情形:证明 \(\bar{T}_W \to E_q[T(Y)]\)(加权均值收敛到重加权分布下的期望),然后沿用 Haughton (1988) 的论证:若模型不包含真实参数,则 \(\sup\) 项以 \(O_p(1)\) 偏离;若包含,则收敛到真实值。惩罚项 \(n^{\alpha_d}\) 压制前者。 3. 估计权重情形:利用 \(\|\hat{W} - W\| = o_p(n^{-\alpha_W})\) 证明 \(\bar{T}_{\hat{W}} - \bar{T}_W = o_p(n^{-\alpha_W})\),然后要求 \(\alpha_d > 1 - \alpha_W\) 使得惩罚项 \(n^{\alpha_d}\) 仍能压制误差项 \(n^{1-\alpha_W}\)。

技术技巧: - 指数族充分统计量:将加权似然简化为加权均值的函数,避免了对高维参数的显式积分。 - Cauchy-Schwarz 不等式:用于估计 \(\bar{T}_{\hat{W}} - \bar{T}_W\) 的上界。 - 局部 Lipschitz 性质:证明 \(\sup\) 函数 \(g(Z, M_r)\) 在 \(\bar{T}_W\) 附近是局部 Lipschitz 的,从而将权重误差转化为均值误差。

真实例子

例子 1(急性肾损伤,后门图): - 数据:心脏手术患者的观测数据,\(C\) 为观测混杂(如年龄、合并症),\(A = \{A_1, A_2, A_3\}\) 为三个术中指标(最低氧输送量、低血压次数、体外循环时间),\(Y\) 为术后是否发生急性肾损伤。 - 方法:估计权重 \(\hat{W} = \frac{p^*(A)}{p(A \mid C)}\),其中 \(p^*(A)\) 是用户定义的(如均匀分布),\(p(A \mid C)\) 从数据中估计。然后计算每个候选模型的 rBIC 得分。 - 结果:rBIC 正确选出 \(\{A_1, A_2\}\) 作为直接原因,而朴素 BIC 错误地保留了 \(A_3\)。

例子 2(肺癌,前门图): - 数据:煤矿附近居民的健康数据,\(A = \{A_1, A_2, A_3\}\) 为三个潜在原因(吸烟、距煤矿距离、是否在煤矿工作),\(M\) 为中介(肺内粉尘沉积量),\(Y\) 为是否患肺癌,\(U\) 为未观测混杂(如基因易感性)。 - 方法:权重 \(\hat{W} = \frac{p^*(A') p(M \mid A')}{p(M \mid A)}\),其中 \(A'\) 是模拟的随机化处理。rBIC 在重加权分布下选择直接原因。 - 结果:rBIC 正确选出 \(\{A_1, A_3\}\),而基于观测分布的 BIC 错误地认为 \(A_2\) 也是原因。

模拟实验: - 两个 DAG(后门图、前门图),样本量从 500 到 10000。 - 比较方法:朴素 BIC、rBIC(三种惩罚缩放:\(\log n\)、\(n^{1/2}\)、\(n^{3/4}\))、自适应 LASSO、SCAD 回归。 - 结果:在后门图中,rBIC 的所有惩罚缩放都表现良好;在前门图中,\(\log n\) 惩罚的 rBIC 仅约 80% 准确率,而 \(n^{1/2}\) 和 \(n^{3/4}\) 惩罚的 rBIC 在 \(n \geq 1000\) 时接近 100% 准确率。SCAD 回归在两种设置下均表现良好,自适应 LASSO 表现不佳。

🔎 结论是否比证明窄

是的,存在几处"证明窄于结论"的地方:

  1. 定理 5.1 的证明假设 \(Z = \emptyset\):正文中定理 5.1 的证明(附录 B.8)首先处理 \(Z = \emptyset\) 的情形,然后通过"与推论 4.1 相同的论证"推广到 \(Z eq \emptyset\)。但这一推广依赖于将 \(Z\) 的边际分布用经验分布估计,而这一步骤在正文中并未详细展开。结论声称对一般条件分布成立,但证明细节只对 \(Z = \emptyset\) 完整。

  2. 定理 5.2 的证明假设权重估计误差是 \(o_p(n^{-\alpha_W})\):这个条件在正文中作为假设给出,但没有讨论哪些具体的权重估计方法(如 IPW、Hájek 估计、非参数估计)能满足这个条件。对于高维权重的非参数估计,收敛速率可能远慢于 \(n^{-1/2}\),此时 \(\alpha_W\) 可能很小,导致 \(\alpha_d\) 需要接近 1,惩罚项几乎与 \(n\) 同阶,可能过度惩罚。

  3. 模拟实验只覆盖了参数化权重估计:附录 C.2 中权重估计使用逻辑回归(参数模型),收敛速率为 \(O_p(n^{-1/2})\)。对于非参数权重估计(如核密度估计、随机森林),定理 5.2 的条件是否满足未经验证。

  4. "简单权重"的启发式过程(附录 A.6)没有理论保证:作者承认"一般性刻画超出本文范围",这意味着方法的应用范围受限于能找到简单权重的图结构。对于复杂图,权重可能涉及多个条件分布的比值,估计误差可能不满足定理 5.2 的条件。

四、开放问题

以下开放问题均扎根于论文的具体语句:

  1. "简单权重"的一般性刻画(扎根于附录 A.6 最后一句:"A general characterization of algorithms for finding weights with a simple form is beyond the scope of this work")。要证明什么:给定一个 DAG 和未观测变量集合,是否存在一个系统化的方法来判断能否找到"简单"(即仅涉及低维条件分布)的权重?这直接决定 rBIC 的适用范围。

  2. 权重估计误差的精确条件(扎根于定理 5.2 的假设 6)。要证明什么:对于常见的权重估计方法(IPW、Hájek、非参数),\(\|\hat{W} - W\| = o_p(n^{-\alpha_W})\) 中的 \(\alpha_W\) 具体是多少?在什么条件下 \(\alpha_W > 0\)?对于高维或非参数权重估计,这个条件可能不成立。

  3. rBIC 在非指数族中的行为(扎根于定理 5.1 的指数族假设)。要证明什么:当 \(Y \mid A\) 不属于指数族时,rBIC 是否仍然一致?如果不一致,偏差有多大?能否通过修改惩罚项来恢复一致性?

  4. rBIC 与惩罚回归的理论比较(扎根于 Related Work 中对 Bahamyirou et al. 2022 和 Jaman et al. 2025 的讨论)。要证明什么:rBIC(离散搜索)与自适应 LASSO / SCAD(连续优化)在何种条件下具有相同的选择一致性?两者的有限样本效率如何比较?是否存在 rBIC 一致而惩罚回归不一致的场景?

  5. rBIC 在缺失数据和纵向设置下的推广(扎根于引言中对 MSM 应用场景的描述,以及附录 A.2 的纵向 MSM 例子)。要证明什么:当存在时变混杂和缺失数据时,rBIC 的权重构造和一致性条件如何调整?


提醒:要确认上述问题是否为真 gap,建议去读以下近期文献的引言部分(各约 5 篇): - 因果变量选择(causal variable selection):Belloni et al. 2014, Chernozhukov et al. 2018, Farrell 2015 - 加权似然下的模型选择:Claeskens & Hjort 2008, Zhang 2010 - 高维因果推断:van de Geer et al. 2014, Zhang & Zhang 2014

如果这些文献的引言都指向"重加权分布下的模型选择缺乏理论保证",那么本文的 rBIC 确实是该方向的实质性进展;如果它们已经解决了类似问题,那么本文的贡献可能只是增量式的。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论