A Bayesian machine learning approach to direct and spillover effects in cluster-randomized trials with noncompliance¶
作者: Saurabh Bhandari, Fan Li, Michael J. Daniels
主题: 因果推断
相关性: 8/10
链接: https://arxiv.org/abs/2610.27425
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是集群随机试验(CRT)中,存在治疗不依从(noncompliance)与个体间干扰(interference/spillover)时,因果效应的识别与估计。其根本科学问题是:当干预的效果不仅通过个体自身是否接受治疗来传导,还通过同伴的治疗状态(即溢出效应)来传导时,如何从观测数据中分离出"直接效应"(自身接受治疗带来的效果)与"溢出效应"(同伴接受治疗带来的效果)。该问题的统计困难在于:治疗接受(D)并非随机分配,且个体间的治疗状态相互依赖,使得传统的工具变量或主分层方法无法直接适用。当前该方向的成熟度处于"识别条件已基本清晰,但灵活估计与稳健推断仍在发展中"的阶段——已有工作多依赖参数模型或强可忽略性假设,而本文试图在贝叶斯非参数框架下放松函数形式假设。
发展脉络¶
- 奠基工作:Hudgens and Halloran (2008) 首次在两阶段随机设计中系统定义了存在干扰时的因果对比量(如个体平均因果效应、溢出效应),为后续研究提供了 estimand 的语言框架。这是该领域的"宪法性"文献,几乎所有后续工作都在其定义的框架内展开。
- 识别策略的分化:此后研究大致沿两条路线推进。一条是主分层(principal stratification)路线,以 Angrist and Imbens (1995) 对 LATE 的经典定义为基石,试图在依从类型(complier/never-taker 等)内定义效应;另一条是结果回归建模路线,如 Tchetgen and VanderWeele (2012) 在部分干扰假设下,通过建模个体结果对自身及同伴治疗状态的依赖来识别效应。这两条路线在 CRT 场景下各有局限:主分层需要强单调性假设,结果回归则对函数形式敏感。
- 近期进展与本文位置:Park and Kang (2022) 在部分干扰下推导了网络效应的有效影响函数与双稳健估计量,代表了半参数效率理论在该问题上的前沿。Cheng et al. (2025) 则通过扩展主可忽略性(principal ignorability)获得点识别。本文的定位是:放弃双稳健或半参数效率的追求,转而采用贝叶斯非参数(BART)框架,以换取对函数形式误设的稳健性,并引入一个"聪明协变量"来缓解正则化对效应分解的扭曲。这实质上是对 Park and Kang (2022) 与 Cheng et al. (2025) 所代表的"识别-效率"路线的补充——后者追求最优渐近性质,本文则追求有限样本下的稳健分解。
子线索聚类¶
- 干扰下的因果 estimand 定义(Hudgens and Halloran 2008; Tchetgen and VanderWeele 2012):这条线解决"我们到底想估计什么"的问题,包括直接/溢出/总效应的形式化定义,以及部分干扰假设的引入。
- 不依从与工具变量/主分层(Angrist and Imbens 1995; Cheng et al. 2025):这条线解决"在依从不完美时,效应在哪个子群体上可识别"的问题,核心工具是潜在结果类型和主可忽略性。
- 半参数效率与双稳健估计(Park and Kang 2022):这条线追求在弱假设下达到效率界,代表理论上的"黄金标准",但实现复杂且对 nuisance 估计质量敏感。
- 贝叶斯非参数因果推断(Josefsson and Daniels 2021; Bhandari et al. 2025a,b; Ohnishi and Li 2026):这条线用 BART 等灵活模型替代参数模型,通过正则化先验在偏差-方差间权衡,本文属于此线在 CRT+不依从场景的延伸。
这个方向在追问的核心问题¶
- 识别问题:在部分干扰下,直接与溢出效应需要哪些最小假设才能从观测数据中识别?特别是,当治疗接受存在不依从时,跨世界假设(如条件期望同质性、交叉世界独立性)是否可检验、可替代?
- 估计问题:在识别成立后,如何用有限样本数据估计这些效应?参数模型效率高但易误设,非参数模型稳健但收敛慢,如何在二者间取得平衡?
- 分解的可靠性问题:总效应分解为直接与溢出成分时,正则化(如 BART 的树先验)可能系统性地扭曲分解比例——这是本文特别强调的"新问题",此前文献较少关注。
⚠️ 作者的 framing(这是作者的说法)¶
作者将缺口 frame 为:现有方法要么依赖参数模型(如 probit),在误设时产生偏差;要么虽然灵活(如纯 BART),但正则化先验会扭曲直接/溢出效应的分解。因此,本文的贡献是"在 BART 框架中引入一个低维、预拟合的聪明协变量,以锚定分解方向,同时保留非参数灵活性"。作者淡化了与半参数效率文献的竞争关系,强调其方法在"模型误设下偏差更小"这一有限目标上的优势。注意:作者没有声称其方法达到效率界,也没有与 Park and Kang (2022) 的双稳健估计量进行效率对比——这是一个值得注意的回避。
张力¶
未见明显对立引用。但存在一个隐含张力:Park and Kang (2022) 的双稳健方法在正确指定 nuisance 时具有效率优势,而本文的 BART 方法在误设时更稳健——两者在不同数据生成机制下可能得出不同结论,但作者未在模拟中直接对比这两种方法(仅对比了参数 probit 模型)。这可能是作者有意回避的竞争关系。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号清单(逐个点名):
| 记号 | 含义 | 类型 |
|---|---|---|
| \( Z_j \in \{0,1\} \) | 集群 j 的随机化分配 | 随机变量(由设计决定) |
| \( D_{ji} \in \{0,1\} \) | 个体 i 在集群 j 中是否接受治疗 | 随机变量(观测) |
| \( Y_{ji} \in \{0,1\} \) | 个体 i 在集群 j 中的二值结果 | 随机变量(观测) |
| \( X_{ji} \in \mathbb{R}^p \) | 个体 i 的基线协变量(含个体与集群层面) | 随机变量(观测) |
| \( n_j \) | 集群 j 的规模 | 常数(观测) |
| \( \bar{D}_{j(-i)} = \frac{1}{n_j-1}\sum_{\ell\neq i} D_{j\ell} \) | 个体 i 的同伴治疗比例 | 由观测 D 构造的统计量 |
| \( D_{ji}(z) \) | 集群 j 被分配至 z 时个体 i 的潜在治疗接受 | 潜在变量(不可观测) |
| \( Y_{ji}(d_i, d_{-i}) \) | 给定自身治疗 \( d_i \) 与同伴治疗向量 \( d_{-i} \) 时的潜在结果 | 潜在变量(不可观测) |
| \( b^Y_j, b^D_j \) | 集群水平的随机截距(结果与治疗模型) | 潜在变量(随机效应) |
| \( \hat{\pi}^{\bar{D}}_{j(-i)}(z^*) \) | 聪明协变量:在分配 \( z^* \) 下同伴治疗比例的预测均值 | 由预拟合模型构造的估计量 |
| \( \Theta^{ITT}_{(z,z^*)} \), \( \Theta^{LATE}_{(z,z^*)} \) | 潜在结果均值(见下) | 参数 / estimand |
| \( ITT^C_{DE}, ITT^C_{SE}, LATE^C_{DE}, LATE^C_{SE} \) | 直接与溢出效应 | 参数 / estimand |
模型(数据生成机制,用直白语言):
-
治疗接受模型:给定集群分配 \( Z_j \) 与协变量 \( X_{ji} \),个体是否接受治疗由 probit-BART 模型决定,含集群随机截距 \( b^D_j \):
\[D_{ji} \mid Z_j, X_{ji}, b^D_j \sim \text{Bernoulli}\left(\Phi\left(f^D(Z_j, X_{ji}, n_j) + b^D_j\right)\right)\]其中 \( f^D \) 是 BART 树集成,捕捉非线性与交互。 -
结果模型:给定自身治疗 \( D_{ji} \)、同伴治疗比例 \( \bar{D}_{j(-i)} \)、协变量 \( X_{ji} \)、集群规模 \( n_j \),以及聪明协变量 \( \hat{\pi}^{\bar{D}}_{j(-i)} \),结果由 probit-BART 模型决定,含集群随机截距 \( b^Y_j \):
\[Y_{ji} \mid Z_j, D_{ji}, \bar{D}_{j(-i)}, X_{ji}, n_j, \hat{\pi}^{\bar{D}}_{j(-i)}, b^Y_j \sim \text{Bernoulli}\left(\Phi\left(f^Y(Z_j, D_{ji}, \bar{D}_{j(-i)}, X_{ji}, n_j, \hat{\pi}^{\bar{D}}_{j(-i)}) + b^Y_j\right)\right)\] -
可观测数据:研究者观测到 \( \{Z_j, X_{ji}, D_{ji}, Y_{ji}\}_{i=1}^{n_j} \) 对 \( j=1,\dots,J \)。关键点:\( D_{ji}(0) \) 和 \( D_{ji}(1) \) 永远无法同时观测;\( Y_{ji}(d_i, d_{-i}) \) 在不同分配下的取值也无法同时观测。这就是"可观测"与"想要但观测不到"的分界线。
第二步:最小内核¶
剥掉所有一般性设定后,本文的核心数学问题是:
在集群随机试验中,每个集群只被分配到 \( Z_j = 0 \) 或 \( Z_j = 1 \) 之一。我们想估计"如果所有集群都被分配到治疗组"与"如果所有集群都被分配到对照组"时,个体结果均值之差(即总效应 \( ITT^C \)),并将其分解为"自身治疗状态改变带来的效应"(直接效应)与"同伴治疗状态改变带来的效应"(溢出效应)。
最小例子:假设只有 1 个集群,\( n_j = 2 \)(两个个体 A 和 B),集群被随机分配到 \( Z = 1 \)。观测到 A 接受了治疗(\( D_A = 1 \)),B 未接受(\( D_B = 0 \)),两人的结果分别为 \( Y_A, Y_B \)。
- 可观测:\( Z=1, D_A=1, D_B=0, Y_A, Y_B \)。
- 不可观测:如果该集群被分配到 \( Z=0 \),A 和 B 是否会接受治疗?他们的结果会是什么?——这些反事实决定了直接与溢出效应的定义。
本文的识别策略(核心思想):
- 用随机化 \( Z_j \) 作为"工具":虽然 \( D_{ji} \) 不随机,但 \( Z_j \) 是随机的。这给了我们一个外生变异来源。
- 用模型预测反事实:通过拟合治疗接受模型(8),可以预测在 \( Z_j = z^* \) 下每个个体的治疗概率;通过拟合结果模型(6),可以预测在给定自身与同伴治疗状态下的结果概率。
- 聪明协变量的作用:在结果模型中,直接放入观测的同伴治疗比例 \( \bar{D}_{j(-i)} \) 会导致正则化偏差——因为 BART 的树先验倾向于将效应"平滑"到错误的变量上。聪明协变量 \( \hat{\pi}^{\bar{D}}_{j(-i)}(z^*) \) 是从治疗接受模型预拟合得到的预测值,它作为"锚点"进入结果模型,帮助 BART 正确分配直接与溢出效应的贡献。
为什么这个例子是"最小内核":它揭示了本文的全部困难——在只有部分个体接受治疗、且治疗状态相互依赖的情况下,如何用随机化分配作为支点,通过模型外推来分离两种效应。所有更复杂的设定(更多个体、更多协变量、非线性)都是在这个两样本反事实对比上叠加的"壳"。
数学上最核心的命题(Proposition 1 的简化版):
在假设 1-9 下,直接效应 \( ITT^C_{DE} \) 可以表示为:
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在集群随机试验存在治疗不依从和个体间干扰时,如何灵活且稳健地估计直接效应与溢出效应,并分解总效应。
- 核心工具/方法:将 BART 与集群随机截距结合(BART-RE),并在结果模型中引入一个"同伴治疗聪明协变量"(定义为预拟合治疗接受模型的预测均值),在贝叶斯 g-computation 框架下估计潜在结果均值。
- 主要结论:模拟表明,在模型误设下 BART-RE 比参数 probit 模型偏差更小;聪明协变量在中度或强溢出下显著改善效应分解的准确性,且在小集群中亦有增益;应用于肯尼亚驱虫数据,发现总效应主要由个体自身治疗贡献,同伴治疗贡献较小。
关键设定与假设¶
- 假设 1(部分干扰):个体结果只受同集群内其他个体的治疗状态影响,跨集群无干扰。这比完全干扰假设弱,但比无干扰假设强。
- 假设 2(集群随机化):\( Z_j \) 独立于所有潜在变量。这是设计的核心保证。
- 假设 3(相关性):\( Z_j \) 对 \( D_{ji} \) 有非零因果效应(即存在"第一阶段")。
- 假设 4(网络排除限制):给定自身与同伴的治疗状态,集群分配 \( Z_j \) 对结果无直接影响。这是本文与 Cheng et al. (2025) 的关键区别——后者允许分配效应存在。
- 假设 5(单调性):\( D_{ji}(1) \geq D_{ji}(0) \),排除 defiers。
- 假设 6(条件期望同质性):在给定协变量和集群规模下,个体在"自身治疗、同伴在分配 \( z^* \) 下治疗"的期望结果,与"自身治疗、同伴在分配 \( z \) 下治疗"的期望结果之差,只取决于同伴治疗状态而非分配本身。这是本文最核心、也最可能被质疑的假设——它要求跨世界的期望结果可交换。
- 假设 7(交叉世界独立性):不同个体在相反分配下的潜在治疗状态独立(给定协变量和集群规模)。在单侧不依从下自动满足。
- 假设 8(一致性):观测结果等于分配下对应的潜在结果。
- 假设 9(积极性):每个协变量模式下,集群被分配到治疗或对照的概率均大于 0。
相比已有工作的变化: - 相比 Park and Kang (2022):本文不追求半参数效率,而是用 BART 的灵活性换取对误设的稳健性;但本文的假设 6 比 Park and Kang 的单调结果限制更强。 - 相比 Cheng et al. (2025):本文保留网络排除限制,因此分解的是"通过治疗状态传导的效应",而非"包含分配直接效应的总效应"。
证明路线与技术技巧¶
整体路线(5 步):
- 定义 estimand:将 \( ITT^C_{DE} \)、\( ITT^C_{SE} \)、\( ITT^C \) 定义为潜在结果均值的对比(公式 1-5)。
- 建立识别公式:在假设 1-9 下,将每个 \( \Theta_{(z,z^*)} \) 表示为观测数据分布的泛函——具体地,通过对协变量、集群规模、随机截距和同伴治疗状态积分(公式 9)。
- 模型化观测分布:用 BART-RE 分别建模治疗接受(公式 8)和结果(公式 6),并引入聪明协变量 \( \hat{\pi}^{\bar{D}}_{j(-i)}(z^*) \) 作为结果模型的额外协变量。
- 贝叶斯 g-computation:从后验分布中抽取参数,对每个后验样本,用蒙特卡洛模拟生成反事实治疗状态,计算 \( \Theta \) 的近似值,从而得到 estimand 的后验分布。
- 推断:使用后验均值和 95% 可信区间进行推断,并通过模拟评估频率学性质。
关键技巧:
- 聪明协变量的构造:\( \hat{\pi}^{\bar{D}}_{j(-i)}(z^*) \) 不是观测数据,而是从治疗接受模型预拟合得到的预测值。它的作用是在结果模型中提供一个关于同伴治疗倾向的低维充分统计量,从而避免 BART 将效应错误地归因于个体自身治疗。这类似于倾向得分回归中的"协变量平衡"思想,但用于分解而非匹配。
- 随机截距的积分:在 g-computation 中,不是将随机截距固定为观测集群的估计值,而是从其后验分布中重新抽取,从而得到超总体(super-population)效应,而非仅限于观测集群的有限总体效应。
- 单侧不依从的利用:在 PSDP 中,对照集群无人接受治疗,这简化了 \( \Theta_{(0,0)} \) 的估计——它直接等于对照集群的观测结果均值,无需模型外推。
技术技巧点名:贝叶斯后验抽样(BART MCMC)、数据增强(Albert-Chib probit)、蒙特卡洛积分(g-computation)、贝叶斯 Bootstrap(超总体分布)、随机效应积分(Gauss-Hermite 求积)。
真实例子与应用¶
数据:肯尼亚小学驱虫项目(PSDP),49 所学校,2,383 名学生。治疗为 1998 年学校层面的驱虫药物分配,实际接受治疗率为 82%(单侧不依从),结果为 1999 年是否有中重度蠕虫感染。
应用方式: 1. 用 BART-RE 拟合治疗接受模型(仅用治疗组学校),预测每个学生在 \( Z=1 \) 和 \( Z=0 \) 下的治疗概率。 2. 用 BART-RE 拟合结果模型,包含自身治疗状态、同伴治疗比例、聪明协变量、协变量和随机截距。 3. 在 g-computation 中,对每个后验样本,模拟反事实治疗状态,计算 \( \Theta_{(1,1)} \)、\( \Theta_{(0,0)} \)、\( \Theta_{(1,0)} \),进而得到直接、溢出和总效应。
结果: - 总效应(ITT):感染概率降低约 0.150(95% CrI: −0.277, −0.029)。 - 直接效应:−0.123(95% CrI: −0.272, 0.016),即个体自身接受治疗降低感染风险。 - 溢出效应:−0.027(95% CrI: −0.160, 0.098),即同伴接受治疗的额外贡献较小且不显著。 - 结论:驱虫项目的效果主要通过个体自身接受治疗实现,同伴溢出效应有限。
例子想说明什么:验证方法在实际数据中的可行性,并展示即使存在不依从和干扰,也能得到有意义的效应分解。同时,宽可信区间提示了分解的不确定性——这呼应了模拟中发现的"分解比总效应更难估计"的结论。
🔎 结论是否比证明窄¶
是,存在明显的不匹配:
- 假设 6 的验证不足:作者在正文中承认假设 6 不可检验,但模拟中仅考察了假设成立时的表现,未模拟假设违反的场景(如未测量的集群层面混杂同时影响治疗接受和结果)。因此,"在模型误设下偏差更小"的结论仅适用于假设 6 成立的情形,不能推广到假设违反的情形。
- 聪明协变量的理论性质未证明:作者声称聪明协变量"缓解正则化扭曲",但未给出任何理论保证(如一致性、收敛速率)。模拟显示其收益随溢出强度变化,但未解释为何在弱溢出或无溢出时收益消失甚至为负(表 10 中无溢出时 MSE 比 >1)。
- LATE 的识别依赖更强的假设:LATE 的识别需要假设在治疗组中,接受治疗者的潜在结果与未接受治疗者可比(即排除"选择效应")。作者在正文中未明确讨论这一假设的可检验性,仅通过模拟验证。
- "保守可信区间"的表述模糊:作者称区间"保守",但未给出任何理论或模拟证据表明覆盖概率确实高于名义水平。表 10 显示覆盖率为 100%,但这是否因区间过宽而非校准良好,作者未加区分。
四、开放问题¶
- 假设 6 的可检验性与替代条件:能否构造可检验的充分条件,或发展对假设 6 违反稳健的估计量?扎根于 Proposition 1 的证明依赖假设 6 将 \( \Theta_{(1,0)} \) 与观测数据连接,若假设违反,估计量的一致性是否完全丧失?
- 聪明协变量的理论性质:在什么条件下,聪明协变量能保证分解的一致性?其收敛速率如何?能否构造数据自适应地选择是否包含聪明协变量(如通过模型比较)?扎根于第 5 节"其潜在收益是经验性的"这一表述。
- 两向不依从的扩展:本文仅处理单侧不依从(对照集群无人接受治疗)。在双侧不依从下,假设 7 不再自动满足,识别策略需要如何调整?扎根于第 10 节"未来工作可以进一步评估两向不依从下的表现"。
- 效率与稳健性的权衡:本文方法放弃了半参数效率,但未给出效率损失的具体刻画。能否在 BART 框架内构造渐近有效的估计量,同时保留对误设的稳健性?扎根于与 Park and Kang (2022) 的对比中未讨论效率差距这一事实。
- 分解不确定性的来源:模拟显示分解的区间远宽于总效应,这是否源于 \( \Theta_{(1,0)} \) 的外推本质?能否通过设计(如鼓励试验)减少对外推的依赖?扎根于第 8.2 节"分解依赖于对未观测治疗模式的预测"。
提示:要确认这些是否真 gap,建议去读 Park and Kang (2022)、Cheng et al. (2025)、Ohnishi and Li (2026) 近期的引言与讨论部分——若它们都提到"假设 6 的放松"或"两向不依从",则这是共识性 gap;若它们各自提出不同的替代假设,则存在竞争性机会。
Maintained by 陈星宇 · Homepage · Source on GitHub