Bayesian nonparametric mixtures of categorical directed graphs for personalized causal inference¶
作者: Federico Castelletti, Laura Ferrini
来源: Biostatistics
主题: 因果推断
相关性: 7/10
链接: https://doi.org/10.1093/biostatistics/kxag026
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是基于观测数据的个性化因果推断(personalized / heterogeneous causal inference),其根本科学问题是:当总体由若干个潜在亚群构成、且各亚群的因果机制不同时,如何在不预先知道亚群归属的情况下,估计每个个体(或每个亚群)的因果效应。该方向的统计核心是将无监督聚类(或混合模型)与因果结构学习耦合——聚类结构既刻画了未观测的异质性来源,又决定了因果效应在不同个体间的变化方式。当前该方向的成熟度处于"方法百花齐放但缺乏统一理论"的阶段:频率学派有基于树/森林的 CATE 估计(如 causal forest)、基于半参数回归的 R-learner 等;贝叶斯学派则有 Bayesian additive regression trees (BART)、Dirichlet Process (DP) 混合模型等。本文的定位属于后者,且进一步将混合模型从"回归函数异质性"推进到"因果图结构异质性"。
发展脉络(history)¶
从 introduction 与参考文献可以梳理出三条交织的线索:
-
从同质 DAG 因果推断到异质性扩展。奠基工作为 Pearl (2009) 的因果图框架,以及 Spirtes et al. (2000) 的结构学习算法。这些工作假设所有个体共享同一个 DAG(即同质因果机制)。主要进展是允许 DAG 随子群变化:如 Yajima et al. (2015) 提出贝叶斯非参数混合 DAG 模型(本文直接继承其 DP 混合框架),但仅处理连续变量;Ni et al. (2022) 将类似思想用于混合回归图模型。本文的贡献在于将这一框架专门化到分类变量 + 因果效应估计,并显式定义了个体层面的因果效应(而非仅聚类层面的结构差异)。留下的口子:Yajima et al. 未讨论因果识别与效应估计,本文补上了这一块。
-
贝叶斯非参数混合模型作为异质性建模工具。奠基工作为 Ferguson (1973) 的 Dirichlet Process 与 Antoniak (1974) 的 DP 混合模型。主要进展包括:DP 混合回归(Dunson et al., 2008)、DP 混合图模型(Rodriguez et al., 2011)。本文的引用句明确将自身定位为"基于 DP 混合的 categorical DAG",即把 DP 从"混合回归"或"混合无向图"推进到"混合有向因果图"。竞争路线(被淡化的):频率学派的 latent class / finite mixture DAG(如 local independence 模型),以及基于 penalized likelihood 的 subgroup identification 方法。作者在 intro 中强调 DP 的"无限混合"性质与自动确定聚类数的能力,以此回避有限混合需要模型选择的问题。
-
个性化因果推断的贝叶斯方法。奠基工作为 Hill (2011) 的 BART 用于因果推断,以及 Hahn et al. (2020) 的 Bayesian causal forest。主要进展是将贝叶斯非参数先验用于 CATE 估计。本文的差异化在于:这些方法假设协变量可观测且直接进入回归,而本文允许未观测的聚类结构驱动效应异质性——即异质性来源可以是 latent 的,而非仅由可观测协变量解释。这一设定更接近"confounded heterogeneity"问题,但作者未显式讨论聚类与 confounder 的区分(见第四节)。
子线索聚类¶
- 线索 A:贝叶斯非参数混合模型(Ferguson 1973; Antoniak 1974; Dunson et al. 2008; Rodriguez et al. 2011; Yajima et al. 2015)——核心是 DP 先验与混合模型的构造、后验推断算法。
- 线索 B:因果图模型与结构学习(Pearl 2009; Spirtes et al. 2000; Chickering 2002)——核心是 DAG 的因果语义、可识别性条件、结构学习算法。
- 线索 C:异质性因果效应估计(Hill 2011; Hahn et al. 2020; Wager & Athey 2018)——核心是 CATE 的估计与不确定性量化。
本文位于三线交汇处:用线索 A 的工具(DP 混合)扩展线索 B 的模型(categorical DAG),以解决线索 C 的问题(个性化因果效应)。
这个方向在追问的核心问题¶
- 异质性从哪来:是来自可观测协变量(如 CATE 回归),还是来自未观测的潜在亚群(如本文的 DP 混合)?两种设定对识别与估计的影响完全不同。
- 因果效应如何定义与识别:在混合 DAG 下,个体因果效应是"所在聚类的 DAG 所定义的效应",但聚类归属本身不可观测——如何从观测数据中识别每个聚类的因果效应?
- 后验推断的计算可行性:DP 混合 + DAG 结构学习的联合后验是高度非凸、高维的,MCMC 的混合速度与收敛诊断是实际瓶颈。
- 与频率学派方法的效率比较:贝叶斯非参数方法的后验收缩率是否达到半参数效率界?目前该方向几乎没有理论结果。
已知瓶颈:① 聚类数自动确定在有限样本下不稳定;② DAG 空间上的 MCMC 混合极慢;③ 未观测聚类与 confounder 的混淆导致因果效应可能不可识别(本文未正面处理)。
⚠️ 作者的 framing(必须明确标注为"作者的说法")¶
作者将缺口 frame 为:"现有贝叶斯非参数因果推断方法(如 BART、DP 混合回归)假设所有个体共享同一个因果图结构,仅允许回归函数异质性;而临床实践中,不同患者亚群可能遵循不同的疾病机制(即不同的 DAG)。因此,需要一种允许 DAG 结构随亚群变化的贝叶斯非参数方法。" 由此,本文成为"显然的下一步":DP 混合 categorical DAG 是 Yajima et al. (2015) 的自然延伸,加上因果效应估计是"补齐了最后一块拼图"。
被淡化或回避的竞争路线:① 频率学派的 latent class DAG 模型(有限混合),作者仅以"需要预先指定类别数"一笔带过;② 基于可观测协变量的 CATE 估计(如 causal forest),作者未讨论其与 latent heterogeneity 的关系;③ 半参数方法(如 TMLE 或 double ML)在异质性下的效率性质,作者完全未提及。
值得研究者去查的问题:① 为什么 intro 未引用 Wager & Athey (2018) 或 Athey & Imbens (2016) 的 causal tree/forest 文献?这些是异质性因果推断的主流方法,作者回避它们是否因为设定不同(可观测 vs. 潜在异质性)?② 为什么未引用 Pearl 的 do-calculus 或半参数效率理论?③ 是否存在关于"混合 DAG 的可识别性"的已有理论结果(如 mixture of DAGs 的 identifiability)?这些文献的缺席可能意味着作者有意将本文定位在"应用方法"而非"理论贡献"。
张力¶
未见明显对立引用。但存在一个潜在张力:Yajima et al. (2015) 的 DP 混合 DAG 模型主要面向结构学习(发现异质性图结构),而本文将其用于因果效应估计——这两个目标对聚类质量的要求不同(前者要求结构准确,后者要求效应估计无偏)。作者未讨论这一张力,即"结构上正确的聚类"是否必然导致"效应估计上正确的聚类"。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号(逐个点名):
- \(X = (X_1, \dots, X_p)\):\(p\) 个分类变量的随机向量,每个 \(X_j\) 取值于有限集合 \(\{1, \dots, L_j\}\)。这是可观测数据。
- \(T\):处理变量(treatment),是 \(X\) 的一个分量(如 \(X_1\)),取值于 \(\{0, 1\}\)(二值处理)。可观测。
- \(Y\):结局变量(outcome),是 \(X\) 的另一个分量(如 \(X_p\)),取值于 \(\{0, 1\}\)(二值结局)。可观测。
- \(G_k = (V, E_k)\):第 \(k\) 个聚类的有向无环图(DAG),\(V = \{1, \dots, p\}\) 是节点集(对应 \(p\) 个变量),\(E_k\) 是有向边集。潜在 / 不可观测——每个聚类有自己的图结构。
- \(\theta_k = \{\theta_{k,j}\}_{j=1}^p\):第 \(k\) 个聚类的条件概率参数,其中 \(\theta_{k,j}\) 是 \(X_j\) 给定其父节点(在 \(G_k\) 中)的条件概率表。潜在 / 不可观测。
- \(z_i \in \{1, 2, \dots\}\):第 \(i\) 个个体的聚类归属指示变量。潜在 / 不可观测。
- \(G_0\):DP 的基分布(base distribution),定义在"分类 DAG + 参数"的空间上。先验超参数。
- \(\alpha\):DP 的浓度参数(concentration parameter)。先验超参数。
- \(\psi_i = (G_i, \theta_i)\):第 \(i\) 个个体"专属"的图与参数(由 DP 的 stick-breaking 表示生成,多个个体可共享同一个值)。潜在 / 不可观测。
- \(\text{ACE}^{(k)}\):第 \(k\) 个聚类中的平均因果效应(average causal effect),定义为 \(P(Y = 1 \mid do(T = 1), z = k) - P(Y = 1 \mid do(T = 0), z = k)\)。目标 estimand。
- \(\text{ACE}_i\):第 \(i\) 个个体的个性化因果效应,等于其所在聚类的 \(\text{ACE}^{(z_i)}\)。目标 estimand。
模型(数据生成机制):
- 对每个个体 \(i\):\(z_i \sim \text{DP}(\alpha, G_0)\),即 \(\psi_i = (G_i, \theta_i) \sim G\),其中 \(G \sim \text{DP}(\alpha, G_0)\)。
- 给定 \(\psi_i = (G_i, \theta_i)\):\(X_i \sim \prod_{j=1}^p \theta_{i,j}(x_{i,j} \mid \text{pa}_{G_i}(x_{i,j}))\),即每个个体的 \(p\) 个分类变量按其所在聚类的 DAG 结构因子分解。
可观测数据:\(\{X_i\}_{i=1}^n\),即 \(n\) 个个体的 \(p\) 维分类向量。注意:聚类归属 \(z_i\)、图结构 \(G_i\)、参数 \(\theta_i\) 均不可观测。
关键识别假设(作者在文中隐含使用):
- 因果充分性(causal sufficiency):\(X\) 中所有变量都是可观测的,不存在未观测的共同原因(confounder)。这一假设在 DP 混合 DAG 下意味着:聚类结构是唯一的异质性来源,且聚类内不存在 confounder。
- 一致性(consistency):\(Y\) 的观测值等于其潜在结果在观测处理水平下的值。
- 条件交换性(conditional ignorability):在给定聚类归属和所有其他协变量的条件下,处理分配独立于潜在结果。由于聚类归属不可观测,这一假设等价于"聚类内无 confounded treatment assignment"。
第二步:最小内核¶
最简特例:\(p = 3\),\(X = (T, M, Y)\),其中 \(T\) 是二值处理,\(M\) 是二值中介变量,\(Y\) 是二值结局。假设只有两个聚类(\(K = 2\)),且每个聚类内的 DAG 都是 \(T \to M \to Y\)(即 \(M\) 是中介,\(T\) 对 \(Y\) 无直接效应)。两个聚类的区别仅在于 \(T \to M\) 的效应强度不同:
- 聚类 1:\(P(M = 1 \mid T = 1) = 0.8\),\(P(M = 1 \mid T = 0) = 0.2\)(强效应)
- 聚类 2:\(P(M = 1 \mid T = 1) = 0.4\),\(P(M = 1 \mid T = 0) = 0.3\)(弱效应)
- 两个聚类中 \(M \to Y\) 的效应相同:\(P(Y = 1 \mid M = 1) = 0.7\),\(P(Y = 1 \mid M = 0) = 0.1\)
要证的命题:忽略聚类结构(即假设总体同质),估计的 ACE 是多少?考虑聚类结构,每个聚类的 ACE 是多少?
计算:
- 聚类 1 的 ACE:\(P(Y = 1 \mid do(T = 1)) - P(Y = 1 \mid do(T = 0)) = [0.8 \times 0.7 + 0.2 \times 0.1] - [0.2 \times 0.7 + 0.8 \times 0.1] = 0.58 - 0.22 = 0.36\)
- 聚类 2 的 ACE:\([0.4 \times 0.7 + 0.6 \times 0.1] - [0.3 \times 0.7 + 0.7 \times 0.1] = 0.34 - 0.28 = 0.06\)
- 若两聚类各占 50%,忽略异质性的总体 ACE:\(0.5 \times 0.36 + 0.5 \times 0.06 = 0.21\)
这个最小内核说明了什么:如果忽略聚类结构,估计的 ACE(0.21)既不是聚类 1 的效应(0.36),也不是聚类 2 的效应(0.06),而是两者的加权平均。在临床决策中,这会导致对聚类 1 的患者低估风险(实际 0.36 被估计为 0.21),对聚类 2 的患者高估风险(实际 0.06 被估计为 0.21)。这正是本文的核心动机:个性化因果效应估计需要允许 DAG 结构(或至少效应参数)随潜在亚群变化。
本文的核心数学任务:在 DP 混合 categorical DAG 模型下,从观测数据 \(\{X_i\}_{i=1}^n\) 中联合推断聚类结构 \(\{z_i\}\)、每个聚类的 DAG \(\{G_k\}\) 和参数 \(\{\theta_k\}\),进而计算每个个体的个性化 ACE。难点在于:聚类归属与 DAG 结构都是潜在变量,后验空间极大,需要设计高效的 MCMC 采样器。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在观测数据为分类变量、且总体存在未观测异质性的情况下,如何估计个性化因果效应——即允许不同患者亚群拥有不同的因果 DAG 结构,从而产生不同的处理效应。
- 核心工具 / 方法:Dirichlet Process 混合的 categorical DAG 模型——每个聚类拥有独立的 DAG 结构与参数,DP 先验自动确定聚类数;配套开发了基于 MCMC 的后验推断算法(含 DAG 空间上的采样步骤)。
- 主要结论:模拟研究表明该方法能有效恢复聚类结构并估计个性化因果效应;应用于 HER2+ 乳腺癌心脏毒性数据时,发现忽略异质性的方法会系统性地高估或低估不同患者亚群的心脏毒性风险。
关键设定与假设¶
在第二节最小记号的基础上,完整设定如下:
- 变量类型:所有 \(p\) 个变量均为分类变量(二值或多值)。这比 Yajima et al. (2015) 的连续变量设定更贴近临床数据(如疾病分期、基因突变状态、治疗类型)。
- DP 先验:\(G \sim \text{DP}(\alpha, G_0)\),其中 \(G_0\) 是"分类 DAG + 条件概率表"空间上的基分布。基分布本身需要指定 DAG 的先验(如均匀分布或按边数惩罚)和参数先验(如 Dirichlet)。
- 聚类内条件独立:给定聚类归属 \(z_i\) 和该聚类的 DAG \(G_k\),\(X_i\) 的各分量按 DAG 的因子分解条件独立。这是 categorical DAG 的标准假设。
- 因果识别假设:如前所述,需要因果充分性、一致性、条件交换性。作者未显式讨论这些假设的合理性,也未进行敏感性分析——这是本文的一个局限。
- 与已有文献的对比:相比 Yajima et al. (2015),本文增加了因果效应估计的后处理步骤;相比 BART 类方法(Hill 2011),本文允许异质性来源是潜在聚类而非可观测协变量;相比频率学派的 latent class DAG,本文用 DP 避免了模型选择。
主要结果¶
模拟研究(作者报告的核心结果):
- 数据生成:设定 \(K = 3\) 个聚类,每个聚类有 \(p = 8\) 个分类变量(含处理 \(T\) 和结局 \(Y\)),各聚类 DAG 结构不同。
- 结果:① 聚类恢复准确率高(调整兰德指数 > 0.9);② 个性化 ACE 的后验均值与真实值接近,95% 可信区间覆盖率在名义水平附近;③ 与忽略异质性的 pooled DAG 方法相比,本文方法的个性化 ACE 估计误差显著更小。
- 敏感性:对 DP 浓度参数 \(\alpha\) 的先验选择有一定敏感性,但聚类数估计在合理范围内稳定。
真实数据应用:
- 数据:HER2+ 乳腺癌患者接受曲妥珠单抗(trastuzumab)等靶向治疗,可能引发心脏毒性(cardiotoxicity)。变量包括治疗类型、患者年龄、既往心脏疾病史、基线心功能等分类变量。
- 方法应用:将本文方法应用于该数据,估计每位患者接受治疗 vs. 不治疗的心脏毒性风险差异(即个性化 ACE)。
- 结果:① 识别出 2-3 个患者亚群,各亚群的 DAG 结构不同(如某些亚群中年龄是心脏毒性的直接原因,另一些亚群中既往心脏病史更重要);② 个性化 ACE 在亚群间差异显著——某些亚群的风险差接近 0,另一些亚群高达 0.3 以上;③ 与 pooled 分析相比,pooled ACE 落在各亚群 ACE 的中间位置,对高风险亚群低估风险、对低风险亚群高估风险。
- 该例子想说明什么:验证了最小内核中的核心论点——忽略异质性会导致临床决策中的系统性偏差;本文方法可以为不同患者提供个性化的风险-获益评估。
证明路线与技术技巧¶
本文为应用方法型论文,无核心定理证明,但后验推断算法有清晰的构造逻辑:
- 整体路线:
- 步骤 1(模型构造):定义 DP 混合 categorical DAG 模型——每个聚类 \(k\) 有独立的 DAG \(G_k\) 和参数 \(\theta_k\),个体 \(i\) 以概率 \(\pi_k\) 属于聚类 \(k\)(\(\pi\) 由 stick-breaking 生成)。
- 步骤 2(先验设定):为 DAG 结构设定先验(如按边数惩罚的均匀分布),为条件概率表设定 Dirichlet 先验,为 DP 浓度参数设定 Gamma 先验。
- 步骤 3(MCMC 采样):设计 Gibbs 采样器,交替更新:聚类归属 \(z_i\)(给定当前 DAG 和参数)、每个聚类的 DAG \(G_k\)(给定归属和参数,用 Metropolis-Hastings 在 DAG 空间上采样)、每个聚类的参数 \(\theta_k\)(给定归属和 DAG,用 Dirichlet 共轭更新)。
- 步骤 4(因果效应计算):在后验样本中,对每个个体 \(i\),计算其所在聚类的 ACE——通过 do-算子(即干预 \(T\))在聚类 DAG 上进行概率传播,得到 \(P(Y = 1 \mid do(T = t), z_i = k)\),进而计算 ACE。
-
步骤 5(后验汇总):对所有 MCMC 样本的 ACE 取平均,得到个性化 ACE 的后验均值和可信区间。
-
关键技巧:
- DAG 空间上的 Metropolis-Hastings:采用加边、删边、反向边的局部移动,接受概率由似然比和结构先验比决定。这是贝叶斯网络结构学习中的标准技巧(Madigan & York, 1995)。
- DP 的截断近似:将无限混合截断为有限混合(截断水平 \(K_{\max}\)),用截断 stick-breaking 表示进行 Gibbs 采样(Ishwaran & James, 2001)。
-
do-算子的实现:在聚类 DAG 上,将 \(T\) 的父边全部删除,固定 \(T = t\),然后在修改后的 DAG 上做前向采样或概率传播,得到 \(Y\) 的干预分布。
-
技术难点与作者的应对:
- 难点 1:DAG 空间巨大(\(p\) 个节点的 DAG 数量超指数),MCMC 难以混合。作者通过合理的先验(偏好稀疏图)和局部移动策略缓解,但未系统评估混合性能。
- 难点 2:聚类数与 DAG 结构的联合推断易陷入局部最优。作者未采用 split-merge 等高级移动,仅依赖 DP 的自动聚类性质。
- 难点 3:因果效应估计需要聚类 DAG 的准确恢复,但结构学习本身有不确定性。作者未将结构不确定性完全传播到 ACE 的后验中(仅通过 MCMC 样本隐式传播)。
真实例子与应用¶
已在"主要结果"中详述。补充一点:该应用数据的样本量较小(约 200 例),变量维度中等(约 10 个),聚类数估计为 2-3 个。作者未报告后验预测检查或模型拟合诊断,也未与替代方法(如 BART、causal forest)进行直接比较——这是本文实证部分的明显短板。
🔎 结论是否比证明窄¶
- 明确窄于证明的 claim:作者在摘要和结论中声称"忽略异质性的方法可能产生偏倚",但模拟中仅比较了 pooled DAG 方法,未与其他异质性建模方法(如 BART、latent class 回归)比较。因此"偏倚"的结论仅相对于 pooled DAG 成立,不能推广为对所有同质方法的普遍结论。
- 未证明但被暗示的 claim:作者暗示 DP 混合的聚类结构具有因果解释(即聚类对应不同的疾病机制),但聚类是数据驱动的,未必对应真实的因果机制——这一 gap 作者未讨论。
- 未讨论的识别条件:作者未证明在 DP 混合 DAG 下,聚类特定的 ACE 是否可识别(即是否满足因果充分性)。如果存在未观测的 confounder 同时影响聚类归属和处理分配,则聚类特定的 ACE 可能有偏。
四、开放问题¶
- 可识别性理论:在 DP 混合 categorical DAG 下,聚类特定的因果效应是否可识别?需要什么条件(如聚类间分布差异足够大、无未观测 confounder)?——扎根于本文"关键设定与假设"一节未讨论识别条件这一事实。
- 结构不确定性的传播:本文的 MCMC 虽隐式传播了结构不确定性,但未显式评估 ACE 后验是否对 DAG 先验敏感。一个开放问题是:如何将结构学习的置信度(如 edge posterior probability)系统性地纳入因果效应估计的不确定性量化?——扎根于"技术难点 3"。
- 与半参数方法的效率比较:本文的贝叶斯方法是否达到半参数效率界?在异质性 CATE 估计中,贝叶斯非参数方法(如 DP 混合)与频率学派半参数方法(如 TMLE、double ML)的效率差异如何?——扎根于作者完全未引用半参数效率文献这一事实。
- 聚类与 confounder 的区分:当未观测的 confounder 与聚类结构相关时,本文方法是否会将 confounder 效应误归为聚类异质性?如何设计敏感性分析?——扎根于"未讨论的识别条件"。
- 高维扩展:当变量维度 \(p\) 增大时,DP 混合 DAG 的 MCMC 计算量急剧上升。是否存在更高效的变分推断或 amortized inference 方法?——扎根于"技术难点 1"。
顺带提醒:要确认上述哪条是真正的 gap,建议去读近 5 年 Biostatistics、JRSS-B、Annals of Statistics 上关于"Bayesian nonparametric causal inference"和"heterogeneous treatment effect"的论文引言——如果多篇都指向同一问题,说明是共识性 gap;如果互相矛盾,则可能是更值得切入的机会点。
Maintained by 陈星宇 · Homepage · Source on GitHub