跳转至

Mixed-effects Outcome-Adaptive Lasso for Propensity Score Estimation under Partial Interference

作者: Satoshi Nakashima, Akira Okazaki, Shuichi Kawano
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2608.16365


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是存在干扰(interference)的因果推断。传统因果推断依赖 SUTVA 假设,即一个个体的处理不影响另一个体的结局。但在传染病防控、社会科学等场景中,这一假设常被违反:接种疫苗的个体可能降低周围人的感染风险。部分干扰(partial interference) 是其中一种结构化假设:个体被划分为互不重叠的组(如家庭、学校、村庄),组内存在干扰,组间无干扰。该方向的核心问题是:在观测性研究中,如何利用组水平倾向得分(group-level propensity score)通过逆概率加权(IPW)估计平均处理效应,并处理由此产生的统计推断问题。该方向已相对成熟,理论框架(识别条件、估计量构造)基本建立,当前前沿聚焦于高维协变量下的稳定性与效率问题。

发展脉络

  • 奠基工作:Sobel (2006) 提出部分干扰框架,将个体划分为互不干扰的组,为后续研究奠定概念基础。Hudgens and Halloran (2008) 在部分干扰下定义了直接、间接、总体和整体效应,并讨论了随机化实验中的识别问题。这两篇是本文引用的理论源头。
  • IPW 估计量的发展:Tchetgen Tchetgen and VanderWeele (2012) 提出基于组水平倾向得分的 IPW 估计量,并考虑了伯努利分配策略(每个个体独立以概率 θ 接受处理)。Liu et al. (2016) 指出组水平倾向得分更易取极端值,导致 IPW 估计量方差增大,并提出 Hájek 型稳定化估计量,证明其相合性和渐近正态性。这是本文的直接前驱。
  • 协变量选择方法:Shortreed and Ertefaie (2017) 提出 Outcome-Adaptive Lasso (OAL),利用结局回归模型的系数构造自适应权重,在倾向得分模型中同时进行变量选择,目标是保留混杂因素和预后因素、排除工具变量和虚假变量。这是本文方法的核心参照。
  • 当前 frontier:在部分干扰下,组水平倾向得分因乘积结构更易取极端值,高维协变量会加剧这一问题。现有 OAL 基于普通 logistic 回归,无法处理组内相关性和未观测的组水平异质性。本文的位置是:将 OAL 从普通 logistic 回归扩展到混合效应 logistic 回归,在变量选择的同时纳入随机效应,以应对部分干扰下的组内相关结构。

子线索聚类

  1. 干扰下的因果效应定义与识别:Sobel (2006)、Hudgens and Halloran (2008)、Tchetgen Tchetgen and VanderWeele (2012)。这条线索关注如何在干扰存在时定义有意义的因果参数,并给出识别条件。
  2. IPW 估计量的构造与改进:Liu et al. (2016)、Liu et al. (2019)、Kilpatrick et al. (2025)。这条线索关注估计量的有限样本性质,特别是极端权重问题,Hájek 型估计量是主要改进方向。
  3. 倾向得分模型的变量选择:Shortreed and Ertefaie (2017)、Baldé et al. (2023)。这条线索关注如何利用结局信息指导协变量选择,以提高因果估计的效率。本文属于这一线索在部分干扰下的延伸。

这个方向在追问的核心问题

  1. 如何在高维协变量下稳定估计组水平倾向得分? 组水平倾向得分是组内个体倾向得分的乘积,随组规模增大呈指数级衰减,导致 IPW 权重极端化。高维协变量加剧了这一问题。
  2. 如何在变量选择时兼顾组内相关性? 普通 OAL 假设个体独立,无法处理组内未观测的异质性。混合效应模型提供了一种自然框架,但变量选择与随机效应估计的联合渐近理论尚不清晰。
  3. 如何构造有效的推断程序? 倾向得分估计的不确定性需要被纳入最终因果估计的方差中,在部分干扰下这一传播机制更为复杂。

⚠️ 作者的 framing

作者将缺口 frame 为:"现有 OAL 基于普通 logistic 回归,无法直接应用于部分干扰下的组水平倾向得分估计,因为组内个体处理分配存在相关性(通过随机效应),且组水平倾向得分的极端值问题在高维协变量下更为严重。" 因此,本文的贡献被定位为"显然的下一步":将 OAL 推广到混合效应 logistic 回归,并证明其 oracle 性质。作者淡化了以下竞争路线:(i) 完全非参数或半参数倾向得分估计(如广义可加模型),(ii) 基于双重稳健估计量的替代方案(如 Liu et al. 2019 提出的 DR 估计量),(iii) 贝叶斯变量选择方法。这些路线在文中仅被简要提及或完全未讨论。

值得研究者去查的问题:作者声称"据我们所知,这是首次将 OAL 扩展到混合效应模型",但未讨论 Baldé et al. (2023) 的 GOAL 方法在部分干扰下的适用性。GOAL 通过弹性网络处理相关协变量,是否可以直接推广到混合效应场景?此外,作者未引用任何关于混合效应模型变量选择的惩罚似然理论(如 Fan and Li 2001 之后的发展),这些文献可能包含与本文定理重叠或竞争的结果。

张力

未见明显对立引用。各条线索之间是互补关系:定义(线索 1)→ 估计(线索 2)→ 变量选择(线索 3)。唯一的潜在张力在于:Shortreed and Ertefaie (2017) 强调结局模型的重要性,而 Liu et al. (2016) 强调权重稳定性,两者在协变量选择标准上可能产生冲突(例如,一个强预后因素但弱处理预测变量是否应纳入?),但本文未对此展开讨论。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号清单(按类别分组):

类别 符号 含义
数据 \(N\) 总个体数
\(G\) 组数
\(N_g\) 第 \(g\) 组的大小,\(\sum_{g=1}^G N_g = N\)
\(O_{gi} = (X_{gi}, A_{gi}, Y_{gi})\) 第 \(g\) 组第 \(i\) 个个体的观测数据
\(X_{gi} \in \mathbb{R}^p\) 协变量向量(\(p\) 维)
\(A_{gi} \in \{0,1\}\) 二元处理(1=处理,0=对照)
\(Y_{gi} \in \mathbb{R}\) 结局
\(O_g = (X_g, A_g, Y_g)\) 第 \(g\) 组的全部观测
潜在结果 \(Y_{gi}(a_g)\) 组 \(g\) 处理分配为 \(a_g\) 时个体 \(i\) 的潜在结局
\(Y_{gi}(a; \theta)\) 个体 \(i\) 在自身处理为 \(a\)、组内其他个体按策略 \(\theta\) 分配时的平均潜在结局
\(\bar{Y}(a;\theta)\) 总体平均潜在结局(estimand)
分配策略 \(\theta \in (0,1)\) 伯努利分配概率
\(\pi(a_g;\theta) = \prod_{i=1}^{N_g} \theta^{a_{gi}}(1-\theta)^{1-a_{gi}}\) 组 \(g\) 处理分配为 \(a_g\) 的概率
倾向得分 $f(a_g X_g; \psi)$
$p(a_{gi} X_{gi}, b_g; \alpha)$
\(b_g \sim N(0, \sigma^2)\) 组水平随机效应
参数 \(\alpha \in \mathbb{R}^p\) 固定效应系数
\(\sigma^2 > 0\) 随机效应方差
\(\psi^*\) 真实参数值
估计量 \(\hat{Y}^h(a;\theta)\) Hájek 型 IPW 估计量(\(h=1\))或 HT 型(\(h=0\))
\(\hat{\psi}\) 混合效应 OAL 估计量
其他 \(\lambda_G\) 正则化参数
$\hat{\omega}_j = \tilde{\beta}_j
\(I(\psi)\) Fisher 信息矩阵
\(\Sigma^D_{h,fix}\), \(\Sigma^D_{h,est}\) 已知/估计倾向得分时直接效应估计量的渐近方差

模型(数据生成机制):

  1. 处理分配机制:每个个体 \(i\) 在组 \(g\) 中的处理 \(A_{gi}\) 由混合效应 logistic 回归生成:

    \[\text{logit}\{P(A_{gi} = 1 | X_{gi}, b_g; \alpha)\} = \sum_{j=1}^p \alpha_j X_{gij} + b_g, \quad b_g \sim N(0, \sigma^2)\]
    组水平倾向得分是组内个体处理概率的乘积(在给定随机效应下条件独立):
    \[f(a_g | X_g; \psi) = \int \prod_{i=1}^{N_g} p(a_{gi} | X_{gi}, b_g; \alpha) \, \phi(b_g; 0, \sigma^2) \, db_g\]

  2. 结局生成机制:未显式建模,但假设条件可交换性 \(Y_g(a_g) \perp\!\!\!\perp A_g | X_g\) 和 positivity \(f(a_g | X_g) > 0\) 对所有 \(a_g \in \mathcal{A}(N_g)\) 成立。

  3. 可观测数据:研究者观测到 \(\{O_g\}_{g=1}^G = \{(X_g, A_g, Y_g)\}_{g=1}^G\),即每组内所有个体的协变量、处理和结局。关键点:组水平倾向得分 \(f(a_g | X_g)\) 是不可直接观测的,需要通过混合效应模型估计;随机效应 \(b_g\) 也是不可观测的潜在变量。

Estimand:总体平均潜在结果 \(\bar{Y}(a;\theta) = \frac{1}{N}\sum_{g=1}^N \sum_{i=1}^{N_g} \bar{Y}_{gi}(a;\theta)\),其中 \(\bar{Y}_{gi}(a;\theta) = \sum_{a_{g(-i)}} Y_{gi}(a, a_{g(-i)}) \pi(a_{g(-i)};\theta)\)。直接效应 \(DE(\theta) = \bar{Y}(1;\theta) - \bar{Y}(0;\theta)\)。

第二步:最小内核

剥掉所有一般性假设后,本文的核心数学问题是什么?

考虑最简单的情形:\(G\) 个组,每组 \(N_g = 2\) 个个体,\(p\) 个协变量,无随机效应(\(\sigma^2 = 0\))。此时组水平倾向得分退化为:

\[f(a_g | X_g) = \prod_{i=1}^2 p(a_{gi} | X_{gi}; \alpha) = \prod_{i=1}^2 \frac{e^{a_{gi} X_{gi}^\top \alpha}}{1 + e^{X_{gi}^\top \alpha}}\]

要估计的 estimand:\(\bar{Y}(a;\theta) = \frac{1}{2G}\sum_{g=1}^G \sum_{i=1}^2 \sum_{a_{g(-i)} \in \{0,1\}} Y_{gi}(a, a_{g(-i)}) \pi(a_{g(-i)};\theta)\)。

核心困难:当 \(p\) 较大时,直接最大化混合效应 logistic 回归的似然函数(涉及对随机效应 \(b_g\) 的积分)在计算上困难,且普通 Lasso 惩罚无法区分混杂因素、预后因素、工具变量和虚假变量。本文要证明的核心命题是:

若对混合效应 logistic 回归的固定效应施加自适应 Lasso 惩罚(权重由结局回归系数决定),则当 \(G \to \infty\) 且 \(\lambda_G\) 满足 \(\lambda_G/\sqrt{G} \to 0\)、\(\lambda_G G^{\zeta/2 - 1} \to \infty\) 时,估计量 \(\hat{\psi}\) 具有 oracle 性质:以概率趋于 1 正确识别零系数(即排除工具变量和虚假变量),且非零系数的估计量与已知正确模型的极大似然估计渐近等价。

为什么这个命题非平凡? 因为惩罚项 \(\lambda_G \sum_{j=1}^p \hat{\omega}_j |\alpha_j|\) 中的权重 \(\hat{\omega}_j = |\tilde{\beta}_j|^{-\zeta}\) 依赖于结局回归模型的系数估计 \(\tilde{\beta}\),而结局模型与处理模型是两个不同的模型。证明需要处理:(i) 随机效应 \(b_g\) 的存在使得观测似然不再是独立个体似然的乘积;(ii) 自适应权重的随机性需要额外的条件(如 \(\tilde{\beta}_j \xrightarrow{p} \beta_j^* \neq 0\) 对 \(j \in \mathcal{C} \cup \mathcal{P}\));(iii) 惩罚函数在零点不可导,需要 Fan and Li (2001) 的局部二次逼近技术。

这个最小内核的"加壳"过程:从 \(\sigma^2 = 0\) 推广到 \(\sigma^2 > 0\) 需要处理随机效应的积分;从 \(N_g = 2\) 推广到一般 \(N_g\) 需要处理组规模变化;从 \(p\) 固定推广到 \(p\) 随 \(G\) 增长需要更精细的概率不等式。但核心机制——自适应权重 + 混合效应模型的 oracle 性质——在最小内核中已经完整呈现。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在部分干扰下,如何通过混合效应 logistic 回归估计组水平倾向得分,同时进行协变量选择,以提高 IPW 估计量的有限样本效率。
  2. 核心工具/方法:将 Outcome-Adaptive Lasso (Shortreed and Ertefaie 2017) 从普通 logistic 回归扩展到混合效应 logistic 回归,用结局回归系数的绝对值倒数作为自适应权重,对固定效应施加惩罚。
  3. 主要结论:在正则条件下,混合效应 OAL 估计量具有 oracle 性质(选择一致性 + 渐近正态性),基于其的 IPW 估计量相合且渐近正态,且渐近方差不超过基于全模型的 IPW 估计量;模拟和 DRC 疟疾数据应用支持理论结果。

关键设定与假设

设定:观测数据 \(\{O_g\}_{g=1}^G\) 独立同分布于超总体。每组 \(N_g\) 个个体,组间无干扰,组内存在干扰。处理分配由混合效应 logistic 回归生成,随机效应 \(b_g \sim N(0, \sigma^2)\) 捕捉组水平未观测异质性。

假设(附录 B 的 (A)–(E)): - (A) 组间观测独立同分布。 - (B) Fisher 信息矩阵 \(I(\psi)\) 在 \(\psi^*\) 处有限且正定。 - (C) 简约处理模型正确设定,且 score 和信息等式成立。 - (D) 对数似然的二阶和三阶导数存在且有界(控制 Taylor 展开余项)。 - (E) 对 \(j \in \mathcal{A} = \mathcal{C} \cup \mathcal{P}\),\(\tilde{\beta}_j \xrightarrow{p} \beta_j^* \neq 0\);对 \(j \in \mathcal{A}^c = \mathcal{I} \cup \mathcal{S}\),\(\tilde{\beta}_j = O_p(G^{-1/2})\)。即结局回归模型能一致区分与结局相关的变量和无关变量。

相比已有工作的变化: - 相比 Shortreed and Ertefaie (2017):将 OAL 从独立观测推广到组内相关观测,增加了随机效应项。 - 相比 Liu et al. (2016):在估计倾向得分时引入变量选择,而非使用全模型。 - 相比 Baldé et al. (2023) 的 GOAL:GOAL 处理协变量相关性,本文处理组内相关性,两者针对不同问题。

主要结果

定理 1(oracle 性质):在假设 (A)–(E) 下,若 \(\lambda_G/\sqrt{G} \to 0\) 且 \(\lambda_G G^{\zeta/2 - 1} \to \infty\),则混合效应 OAL 估计量 \(\hat{\psi}\) 满足: - (i) 选择一致性:\(P(\hat{\alpha}_j = 0 \text{ for all } j \in \mathcal{I} \cup \mathcal{S}) \to 1\)。 - (ii) 渐近正态性:\(\sqrt{G}(\hat{\psi}_A - \psi^*_A) \xrightarrow{d} N(0, I_{11}^{-1})\),其中 \(I_{11}\) 是活跃变量的 Fisher 信息子矩阵。

定理 2(IPW 估计量的渐近性质):基于混合效应 OAL 估计的倾向得分,Hájek 型 IPW 估计量 \(\hat{Y}^h(a;\theta)\) 相合且渐近正态,且渐近方差 \(\Sigma^D_{h,est} \leq \Sigma^D_{h,fix}\)(即考虑倾向得分估计不确定性不会增加渐近方差)。

证明路线: 1. 引理 1(\(\sqrt{G}\)-相合性):证明在 \(\lambda_G/\sqrt{G} \to 0\) 条件下,局部极小值 \(\hat{\psi}\) 是 \(\sqrt{G}\)-相合的。证明思路:构造 \(V(u) = \ell_G(\psi^* + u/\sqrt{G}) - \ell_G(\psi^*)\),利用 Taylor 展开和中心极限定理证明 \(V(u)\) 在球面 \(\|u\| = M\) 上以概率趋于 1 取正值,从而存在局部极小值在球内。 2. 引理 2(score 方程):证明活跃参数的 score 方程在 \(\hat{\psi}_A\) 处以 \(o_p(G^{1/2})\) 成立。关键步骤:利用选择一致性(由 \(\lambda_G G^{\zeta/2-1} \to \infty\) 保证)将非活跃参数设为 0,然后证明惩罚项对 score 的贡献可忽略。 3. 命题 2(方差比较):通过分块矩阵运算证明 \(\Sigma^D_{h,est} \leq \Sigma^D_{h,fix}\),核心是 \(Q_{12} = -V_{12}\) 和 \(Q_{22} = -V_{22}\) 这两个恒等式,它们保证了估计倾向得分带来的额外不确定性被 score 方程的信息量所抵消。

技术技巧: - Fan and Li (2001) 的局部二次逼近:处理非光滑惩罚函数,将惩罚项在 \(\hat{\psi}\) 处展开为二次型。 - Geyer (1994) 的局部 argmin 定理:处理非凸目标函数的局部极小值,避免全局凸性假设。 - 自适应权重设计:\(\hat{\omega}_j = |\tilde{\beta}_j|^{-\zeta}\) 使得活跃变量(\(|\beta_j^*| > 0\))的惩罚权重趋于 0,而非活跃变量的惩罚权重趋于无穷,从而实现选择一致性。

真实例子与应用

数据:2013-2014 年刚果民主共和国人口与健康调查(DRC-DHS),包含 7,598 名 6-59 个月儿童,531 个调查集群(作为部分干扰组),中位组大小 14(IQR: 11-17)。

研究问题:使用杀虫剂处理蚊帐(ITN)对儿童疟疾感染的影响。处理 \(A_{gi}\) = 儿童是否使用 ITN,结局 \(Y_{gi}\) = 疟疾阳性(血涂片检测)。36 个候选协变量包括年龄、性别、人体测量指标、居住地、财富、卫生设施、饮用水源、电力、住房材料、蚊帐拥有量等。

方法应用: - 用混合效应 OAL 估计组水平倾向得分,随机效应捕捉集群层面的未观测异质性(如当地疟疾传播强度)。 - 用 Hájek 型 IPW 估计直接效应 \(DE(\theta)\) 和间接效应 \(IE(\theta_1, \theta_0)\)。 - 与全模型(包含所有 36 个协变量)和普通 OAL 进行比较。

结果: - 混合效应 OAL 倾向于选择人体测量指标(身高、身高/年龄、体重/年龄 z 分数)和家庭规模变量,排除性别、居住地等变量。 - 基于混合效应 OAL 的 IPW 估计量比全模型有更窄的置信区间(例如,\(DE(0.5)\) 的 95% CI 宽度约为全模型的 60-70%)。 - 直接效应估计为负(ITN 使用降低疟疾风险),间接效应在较高 \(\theta\) 水平下为正(群体保护效应),与传染病学预期一致。

例子想说明什么:在部分干扰下,通过变量选择排除与结局无关的协变量(工具变量、虚假变量)可以显著提高 IPW 估计量的有限样本效率,而混合效应模型正确捕捉了组内相关性,避免了普通 OAL 因忽略组结构而导致的倾向得分估计偏差。

🔎 结论是否比证明窄

是,存在明显差距: 1. 定理 1 的 oracle 性质是局部的:证明依赖于"存在一个 \(\sqrt{G}\)-一致的局部极小值",但并未证明该局部极小值是全局最优。对于非凸目标函数,算法可能收敛到其他局部极小值,实际表现可能不如理论保证。 2. 假设 (E) 是关键但未验证:\(\tilde{\beta}_j = O_p(G^{-1/2})\) 对 \(j \in \mathcal{A}^c\) 要求结局回归模型能一致排除无关变量。在 DRC 数据中,这一假设无法验证,且当 \(p\) 接近 \(G\) 时可能不成立。 3. 渐近方差比较是逐点而非一致:命题 2 证明 \(\Sigma^D_{h,est} \leq \Sigma^D_{h,fix}\) 在 \(\psi^*\) 处成立,但未证明该不等式在参数空间上一致成立,因此无法保证有限样本下估计量总是更高效。 4. 模拟设置有限:模拟仅考虑 \(p = 8, 20\) 和 \(\rho \leq 0.75\),未覆盖高维(\(p \gg G\))或强相关协变量的情形,而这些正是 OAL 方法声称要解决的场景。


四、开放问题

  1. 高维一致性:定理 1 要求 \(p\) 固定。当 \(p\) 随 \(G\) 增长(如 \(p = o(G^{1/2})\) 或 \(p = O(G)\))时,oracle 性质是否仍然成立?需要什么样的稀疏性条件?这直接关系到方法在高维观测数据中的适用性。

  2. 随机效应方差 \(\sigma^2\) 的推断:本文假设 \(\sigma^2\) 是未知参数但未讨论其推断。当 \(\sigma^2\) 接近 0 或很大时,oracle 性质的收敛速度是否会退化?如何构造 \(\sigma^2\) 的置信区间?

  3. 模型误设定鲁棒性:假设 (C) 要求简约处理模型正确设定。当处理模型误设定时,OAL 的选择一致性是否还能保证?能否构造对处理模型误设定鲁棒的权重?

  4. 双重稳健扩展:本文仅考虑 IPW 估计量。将混合效应 OAL 与结局回归结合构造双重稳健估计量(如 Liu et al. 2019 的 DR 估计量),是否能进一步提高效率?此时变量选择应基于哪个模型?

  5. 网络干扰的推广:部分干扰假设组间无干扰,但实际中组间可能存在弱干扰(如地理邻近集群)。如何将混合效应 OAL 推广到网络干扰(network interference)框架?

确认 gap 的建议:要判断上述哪条是真正的 gap,建议去读以下近期文献的引言部分(各约 5 篇):(i) 关于高维倾向得分估计的文献(如 Belloni et al. 2014, Farrell 2015);(ii) 关于干扰下因果推断的近期综述(如 Halloran and Hudgens 2018, Tchetgen Tchetgen et al. 2021);(iii) 关于混合效应模型变量选择的文献(如 Schelldorfer et al. 2014, Hui et al. 2017)。如果多条文献都指向同一问题,说明是共识性 gap;如果文献间结论矛盾,则可能是更有价值的机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论