The promises of multiple experiments: identifying joint distribution of potential outcomes¶
作者: Peng Wu, Xiaojie Mao
来源: Journal of the Royal Statistical Society Series B
主题: 因果推断
相关性: 8/10
机构绿灯: Tsinghua University(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是因果推断中的数据融合(data fusion),其核心科学问题是:当单一实验/研究无法识别目标因果量时,如何通过合并多个实验或研究的数据来获得识别力。具体而言,本文聚焦于一个长期存在的难题——潜在结果联合分布(joint distribution of potential outcomes)的识别。典型的因果推断(如ATE、ATT)只依赖潜在结果的边际分布,但许多应用(个体处理效应、主分层效应、替代终点评估)需要知道 \((Y^0, Y^1)\) 的联合分布,而这在单个随机实验中因"每个个体只能看到一个潜在结果"而本质上不可识别。本文的贡献在于提出一个新的识别框架:利用多个实验数据,通过"状态转移概率的可迁移性"假设来识别联合分布。这一方向目前处于活跃发展阶段,已有工作(如Jiang et al. 2016)依赖较强的单调性假设,而本文试图用更弱的、可检验的假设替代之。
发展脉络¶
- 奠基工作:Rubin (1974) 建立了潜在结果框架,明确了因果推断的基本语言;Neyman (1923) 提出了随机化实验中的潜在结果模型。这两项工作奠定了"潜在结果"这一概念基础,但也揭示了联合分布不可识别的基本困难——每个个体只能观测到一个潜在结果,因此 \(P(Y^0, Y^1)\) 中的依赖结构(copula)无法从单一实验中识别。
- 主要进展:为应对这一困难,学界发展了两条路线。第一条是边界法(bounds approach),如 Tian and Pearl (2000) 对因果概率(probability of causation)给出不依赖额外假设的边界;第二条是结构假设法,如 Frangakis and Rubin (2002) 提出主分层(principal stratification)框架,通过引入中间变量 \(S\) 的潜在结果来刻画异质性。Jiang et al. (2016) 在此基础上提出利用多个实验数据识别主分层因果效应(PSACEs),其关键假设是单调性 \(S^1 \geq S^0\) 和主分层内结果可迁移性 \(Y^a \perp\!\!\!\perp G \mid (S^0, S^1)\)。
- 当前 frontier:本文(Wu & Mao 2025)代表了该方向的最新进展。作者指出 Jiang et al. (2016) 的单调性假设在实证中常常不可靠(如ACCT数据中 \(P(S^0=1, S^1=0)\) 的置信区间下界为正),因此提出替代的状态转移概率可迁移性假设(Assumption 2: \(Y^1 \perp\!\!\!\perp G \mid Y^0\)),该假设更弱、且具有可检验的观测含义。同时,本文的方法论贡献在于将识别问题转化为一个线性方程组求解问题,并提供了最小二乘估计和过识别检验。
- 本文位置:本文不是对现有方法的微调,而是提出了一条新的识别路线。它不依赖单调性,而是依赖跨实验的条件独立性结构,这更接近工具变量(IV)推理的逻辑——数据集指示符 \(G\) 充当"工具"。这一类比在文中被明确强调("the dataset indicator serving as a source of identifying variation")。
子线索聚类¶
被引文献大致落在三条子线索上:
- 潜在结果与因果推断基础(Rubin 1974; Neyman 1923; Holland 1986; Imbens and Rubin 2015):建立潜在结果框架,定义因果量,明确不可识别性问题。这条线索是本文的理论地基。
- 主分层与替代终点评估(Frangakis and Rubin 2002; Jiang et al. 2016; Gilbert and Hudgens 2008):通过中间变量 \(S\) 的潜在结果来刻画异质性,并利用多个实验识别主分层内的因果效应。本文直接与 Jiang et al. (2016) 对话,是其最直接的竞争路线。
- 数据融合与可迁移性(Dahabreh et al. 2018, 2019, 2021; Degtiar and Rose 2023; Colnet et al. 2023; Li et al. 2023; Wu et al. 2024b):研究如何结合随机实验与观测数据、或多个实验数据来识别因果量。本文的 Assumption 2 属于这一线索中的"条件可迁移性"假设家族,但将其应用于联合分布识别这一更困难的目标。
这个方向在追问的核心问题¶
- 联合分布识别的充分条件是什么? 即需要什么样的跨实验结构(可迁移性、单调性、工具变量)才能从边际信息中恢复联合分布?
- 这些假设的可检验性如何? 哪些假设有观测含义(可被数据拒绝),哪些是纯粹的先验信念?
- 识别后的估计与推断如何进行? 如何构造估计量、建立渐近理论、进行假设检验?
已知瓶颈:现有方法(如Jiang et al. 2016)依赖的单调性假设在实证中常被违反;而更弱的假设(如本文的Assumption 2)虽然更稳健,但需要足够多的实验数量(\(m \geq 3\))和跨实验的变异来满足秩条件,这在实践中可能限制其应用。
⚠️ 作者的 framing(这是作者的说法)¶
作者将本文的核心贡献框定为"利用多个实验识别潜在结果联合分布的新框架",其关键创新在于: - 用状态转移概率的可迁移性(\(Y^1 \perp\!\!\!\perp G \mid Y^0\))替代 Jiang et al. (2016) 的主分层内结果可迁移性(\(Y^a \perp\!\!\!\perp G \mid S^0, S^1\))+ 单调性(\(S^1 \geq S^0\)); - 将识别问题转化为线性方程组求解,从而可以借用工具变量/广义矩估计(GMM)的成熟工具; - 在过识别设定下提供对关键假设的检验(J统计量)。
作者淡化了这一假设的不可验证性——Assumption 2 本身是跨世界的条件独立假设,其观测含义仅在过识别(\(m > 3\))时才能部分检验。作者在文中承认"failure to reject should only be interpreted as a lack of evidence against Assumption 2",但未深入讨论假设违反时的偏倚方向。
张力¶
未见明显对立引用。但存在一个值得注意的方法论张力:Jiang et al. (2016) 的单调性假设与本文的转移概率可迁移性假设并非嵌套关系——前者约束 \(S\) 的潜在结果结构,后者约束 \(Y\) 的条件依赖结构。两者在不同数据生成机制下各有优劣,本文在ACCT数据上展示了单调性假设的不可靠性,但并未系统比较两种假设在一般情况下的相对合理性。这一张力是读者可以进一步探究的切入点。
二、最核心、最简单的例子 / 数学结构¶
第一步:符号、模型与可观测数据¶
符号清单(逐个说明):
| 符号 | 含义 | 类型 |
|---|---|---|
| \(A \in \{0,1\}\) | 二元处理变量 | 随机变量(观测) |
| \(Y \in \{0,1\}\) | 二元结局变量 | 随机变量(观测) |
| \(S \in \{0,1\}\) | 二元中间变量(如替代终点) | 随机变量(观测) |
| \(G \in \{1,\dots,m\}\) | 实验/数据集指示符 | 随机变量(观测) |
| \(Y^0, Y^1\) | 潜在结局(处理=0/1时的结局) | 潜在变量(不可观测) |
| \(S^0, S^1\) | 潜在中间变量 | 潜在变量(不可观测) |
| \(\pi_{b\|a} := P(Y^1 = b \mid Y^0 = a)\) | 状态转移概率(从 \(Y^0=a\) 到 \(Y^1=b\)) | 目标参数(跨实验不变) |
| \(\theta := (\pi_{1\|0}, \pi_{1\|1})^\top\) | 待估参数向量 | 目标参数 |
| \(\tilde{Y}_g = P(Y=1 \mid G=g, A=1)\) | 实验 \(g\) 中处理组的结局率 | 可识别量(由数据估计) |
| \(\tilde{X}_{1g} = P(Y=0 \mid G=g, A=0)\) | 实验 \(g\) 中对照组的 \(Y=0\) 比例 | 可识别量 |
| \(\tilde{X}_{2g} = P(Y=1 \mid G=g, A=0)\) | 实验 \(g\) 中对照组的 \(Y=1\) 比例 | 可识别量 |
| \(\tilde{X}_g = (\tilde{X}_{1g}, \tilde{X}_{2g})^\top\) | 设计向量 | 可识别量 |
| \(n_g\) | 实验 \(g\) 的样本量 | 已知 |
| \(n = \sum_{g=1}^m n_g\) | 总样本量 | 已知 |
模型(数据生成机制):
- 潜在结果框架:每个个体 \(i\) 有潜在结局 \((Y_i^0, Y_i^1)\) 和潜在中间变量 \((S_i^0, S_i^1)\)。观测到的是 \((A_i, S_i, Y_i)\),其中 \(S_i = S_i^{A_i}\),\(Y_i = Y_i^{A_i}\)。
- 实验内随机化(Assumption 1):在每个实验 \(g\) 中,\(A \perp\!\!\!\perp (Y^0, Y^1, S^0, S^1) \mid G=g\),且 \(0 < P(A=1 \mid G=g) < 1\)。这保证实验 \(g\) 中处理组和对照组的观测分布分别等于 \(P(Y^1 \mid G=g)\) 和 \(P(Y^0 \mid G=g)\)。
- 状态转移概率可迁移性(Assumption 2):\(Y^1 \perp\!\!\!\perp G \mid Y^0\),即给定 \(Y^0\) 后,\(Y^1\) 的分布不随实验 \(g\) 变化。等价地,\(\pi_{b\|a} := P(Y^1 = b \mid Y^0 = a)\) 对所有实验相同。
- 秩条件(Condition 1):矩阵 \((\tilde{X}_g)_{g=1}^m\) 满列秩(秩为2),即至少有两个实验的 \(P(Y^0 \mid G=g)\) 不同。
可观测数据:来自 \(m\) 个独立实验的样本 \(\{(G_i, A_i, S_i, Y_i)\}_{i=1}^n\)。每个实验 \(g\) 提供: - 处理组结局率 \(\tilde{Y}_g = P(Y=1 \mid G=g, A=1)\)(估计 \(P(Y^1=1 \mid G=g)\)) - 对照组结局分布 \(\tilde{X}_g = (P(Y=0 \mid G=g, A=0), P(Y=1 \mid G=g, A=0))\)(估计 \(P(Y^0 \mid G=g)\))
目标:识别并估计 \(\theta = (\pi_{1\|0}, \pi_{1\|1})\),进而得到每个实验 \(g\) 的联合分布 \(P(Y^0, Y^1 \mid G=g)\)。
第二步:最小内核¶
核心数学问题:给定 \(m\) 个实验,每个实验 \(g\) 提供两个可识别的边际量: - \(P(Y^1 = 1 \mid G=g) = \tilde{Y}_g\)(处理组结局率) - \(P(Y^0 = a \mid G=g) = \tilde{X}_{a+1,g}\)(对照组结局分布)
目标是从这些边际量中恢复联合分布 \(P(Y^0, Y^1 \mid G=g)\)。关键观察是:由全概率公式,
在 Assumption 2 下,\(P(Y^1 = 1 \mid Y^0 = a, G=g) = \pi_{1\|a}\) 不依赖于 \(g\),因此上式简化为:
这是一个关于 \(\theta = (\pi_{1\|0}, \pi_{1\|1})\) 的线性方程组:
为什么这个例子是"最小内核":整个论文的识别策略、估计方法、检验程序都建立在这个线性方程组上。当 \(m=2\) 时,方程组恰好有唯一解(just-identified);当 \(m>2\) 时,方程组过确定(over-identified),此时: 1. 可以用最小二乘估计 \(\theta\); 2. 可以检验 Assumption 2 是否与数据相容(J统计量)。
为什么这个例子"一看就懂":它把复杂的因果识别问题归结为一个简单的代数问题——用多个实验的"观测边际"去解一个线性方程组,从而恢复"不可观测的联合分布"。这类似于用多个角度的投影去重建一个高维物体:每个实验提供一个"投影"(边际分布),多个投影的组合足以唯一确定"物体"(联合分布)。
证明思路(Theorem 1 的直观): 1. 充分性:若 Assumption 2 和 Condition 1 成立,则线性方程组有唯一解 \(\theta\),进而 \(P(Y^0, Y^1 \mid G=g) = \pi_{Y^1\|Y^0} \cdot P(Y^0 \mid G=g)\) 被唯一确定。 2. 必要性(直觉):若 Assumption 2 不成立,则 \(\pi_{b\|a}\) 随 \(g\) 变化,方程组中未知参数超过方程数,无法唯一求解。Condition 1 确保有足够的"独立实验"来提供识别力。
估计与推断(Theorem 3 的直观): - 用样本频率 \(\hat{Y}_g, \hat{X}_g\) 替换 \(\tilde{Y}_g, \tilde{X}_g\),得到 \(\hat{\theta}\); - 由于 \(\hat{Y}_g, \hat{X}_g\) 是 \(\sqrt{n}\)-相合的,\(\hat{\theta}\) 也是 \(\sqrt{n}\)-相合的; - 渐近正态性通过 Delta method 或直接的中心极限定理获得; - 方差估计通过 bootstrap 实现(因为 \(\hat{Y}_g, \hat{X}_g\) 的联合渐近分布涉及跨实验的独立性结构)。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在多个随机实验数据可得的场景下,如何识别并估计潜在结果 \((Y^0, Y^1)\) 的联合分布,以及由此衍生的主分层因果效应(PSACEs)等因果量。
- 核心工具/方法:提出"状态转移概率可迁移性"假设(Assumption 2: \(Y^1 \perp\!\!\!\perp G \mid Y^0\)),将联合分布识别转化为一个线性方程组求解问题,并基于最小二乘构造估计量,同时提供过识别检验。
- 主要结论:在 Assumption 2 和秩条件(Condition 1)下,联合分布可被非参数识别;最小二乘估计量一致且渐近正态;该方法可扩展至主分层因果效应的识别,并在ACCT数据上验证了其实用性。
关键设定与假设¶
- Assumption 1(实验内随机化):\(A \perp\!\!\!\perp (Y^0, Y^1) \mid G=g\),且 \(0 < P(A=1 \mid G=g) < 1\)。这是随机实验的标准假设,保证实验 \(g\) 中处理组和对照组的观测分布分别等于 \(P(Y^1 \mid G=g)\) 和 \(P(Y^0 \mid G=g)\)。相比观测性研究,这一假设较强但由实验设计保证。
- Assumption 2(状态转移概率可迁移性):\(Y^1 \perp\!\!\!\perp G \mid Y^0\)。这是本文的核心假设,其含义是:给定未处理状态 \(Y^0\),处理效应(从 \(Y^0\) 到 \(Y^1\) 的转移)在不同实验间是相同的。这比 Jiang et al. (2016) 的假设更弱——后者要求 \(Y^a \perp\!\!\!\perp G \mid (S^0, S^1)\) 且 \(S^1 \geq S^0\),而本文不要求单调性,且只对 \(Y\) 的条件结构做假设。
- Condition 1(秩条件):矩阵 \((\tilde{X}_g)_{g=1}^m\) 满列秩。这要求至少有两个实验的 \(P(Y^0 \mid G=g)\) 不同,即不同实验的未处理结局分布有足够的变异。这是识别的必要条件,类似于工具变量中的相关性条件。
- Condition 2(过识别条件):\(m > 2\)(对二元结局而言),此时 Assumption 2 产生可检验的约束。
相比已有文献的放宽/强化: - 放宽:不要求单调性 \(S^1 \geq S^0\)(Jiang et al. 2016 的关键假设),允许更一般的潜在结果结构。 - 强化:要求 \(Y^1 \perp\!\!\!\perp G \mid Y^0\),而 Jiang et al. (2016) 要求 \(Y^a \perp\!\!\!\perp G \mid (S^0, S^1)\)。两者不可直接比较——前者约束 \(Y\) 的条件结构,后者约束 \(Y\) 在 \(S\) 分层内的结构。在 \(S\) 存在时,本文的假设可能更强(因为它不利用 \(S\) 的信息)。
主要结果¶
定理1(二元结局识别):在 Assumptions 1–2 和 Condition 1 下,\(P(Y^1, Y^0 \mid G=g)\) 对所有 \(g\) 可识别。证明基于线性方程组(式1)的唯一可解性。
定理2(分类结局识别):将二元结果推广至 \(k\) 分类结局,需要 \(m \geq k\) 且相应的秩条件。此时方程组为 \(m\) 个方程、\(k(k-1)\) 个未知参数,秩条件确保唯一解。
定理3(估计与推断):最小二乘估计量 \(\hat{\theta}\) 一致且 \(\sqrt{n}\)-渐近正态,渐近方差可通过 bootstrap 估计。
定理4(单调性强化版):在额外假设 \(Y^1 \geq Y^0\) 和 \(S^1 \geq S^0\) 下,识别所需的秩条件从 Condition 3 放宽为 Condition 4(仅需 \(m \geq 2\)),因为单调性减少了未知参数的数量。
推论(PSACE识别):一旦联合分布 \(P(Y^0, Y^1 \mid G=g)\) 被识别,PSACEs 可直接计算。
证明路线与技术技巧¶
整体路线(以 Theorem 1 为例): 1. 建立线性方程组:利用全概率公式,将每个实验 \(g\) 的可识别量 \(\tilde{Y}_g\) 表示为 \(\tilde{X}_g\) 和 \(\theta\) 的线性组合。 2. 秩条件保证唯一解:Condition 1 确保系数矩阵满秩,从而 \(\theta\) 被唯一确定。 3. 构造联合分布:由 \(\theta\) 和 \(P(Y^0 \mid G=g)\) 直接计算 \(P(Y^0, Y^1 \mid G=g)\)。
关键跳跃点: - 从"边际"到"联合"的跨越:这是整个论文的核心难点。作者通过引入跨实验的可迁移性假设,将"不可识别的联合分布"转化为"可识别的边际分布的线性组合",从而绕过了单个实验中潜在结果不可同时观测的根本障碍。 - 秩条件的充分性:作者证明秩条件不仅是充分的,而且在某种意义上是必要的(若秩条件失败,则存在不同的 \(\theta\) 产生相同的观测分布)。这一论证需要仔细处理参数空间的边界(概率为0或1的情况)。
技术技巧: - 最小二乘估计:将识别方程视为回归模型,\(\hat{\theta}\) 为OLS估计量。这简化了估计和推断,因为OLS的渐近理论是成熟的。 - 过识别检验:利用J统计量(Sargan-Hansen检验)检验 Assumption 2 的观测含义。这是对关键假设的间接检验。 - Bootstrap方差估计:由于 \(\hat{\theta}\) 是样本频率的平滑函数,bootstrap 提供了有效的方差估计,避免了复杂的Delta method计算。 - 约束最小二乘:在估计 \(\theta\) 时,需要施加概率约束(\(\pi_{b\|a} \in [0,1]\)),作者建议使用约束最小二乘或投影方法处理。
真实例子与应用¶
数据:ACCTs(Adjuvant Colon Cancer Clinical Trials),包含10个公开可用的III期随机临床试验,共9,102名患者。变量包括:处理 \(A\)(是否接受氟尿嘧啶化疗)、中间变量 \(S\)(3年内是否癌症复发)、结局 \(Y\)(5年内是否存活)。
应用步骤: 1. 估计边际量:对每个实验 \(g\),分别估计处理组结局率 \(\hat{Y}_g\) 和对照组结局分布 \(\hat{X}_g\)。 2. 估计转移概率:用最小二乘估计 \(\hat{\theta} = (\hat{\pi}_{1\|0}, \hat{\pi}_{1\|1})\)。 3. 检验 Assumption 2:计算J统计量,p值分别为0.846(\(S\))和0.325(\(Y\)),均不拒绝原假设。 4. 估计联合分布:由 \(\hat{\theta}\) 和 \(\hat{P}(Y^0 \mid G=g)\) 计算 \(\hat{P}(Y^0, Y^1 \mid G=g)\)。 5. 评估单调性:图2显示 \(\hat{P}(S^0=1, S^1=0 \mid G=g)\) 的置信区间下界为正,表明单调性假设 \(S^1 \geq S^0\) 在ACCT数据上可能不成立,从而支持本文方法相对于 Jiang et al. (2016) 的优势。
结果: - 转移概率估计:\(\hat{\pi}_{1\|0} = 0.379\)(SE 0.107),\(\hat{\pi}_{1\|1} = 0.896\)(SE 0.049)。即:未复发者中,37.9%在治疗下存活;已复发者中,89.6%在治疗下存活。 - 联合分布估计显示,治疗对 \(Y\) 的效应主要集中在 \(S^0=0\) 的亚组中。 - 过识别检验支持 Assumption 2 的合理性。
这个例子想说明什么: 1. 方法可行性:在真实数据上,最小二乘估计稳定,bootstrap置信区间合理。 2. 假设检验的价值:通过过识别检验,可以为关键假设提供实证支持。 3. 单调性假设的局限:图2的证据表明 Jiang et al. (2016) 的单调性假设可能不成立,而本文方法无需该假设,因此具有更广泛的适用性。
🔎 结论是否比证明窄¶
是的,存在几处结论比证明更宽泛的地方:
-
Theorem 2(分类结局):文中声称"分类结局的识别"成立,但证明仅给出了方程组的形式,未详细讨论秩条件的可验证性(如何从数据中检验秩条件)。对于 \(k > 2\),秩条件的验证涉及高阶矩的估计,文中未提供具体方法。
-
Theorem 4(单调性强化版):文中声称"在单调性下,秩条件放宽为 Condition 4",但未讨论 Condition 4 与 Condition 3 之间的严格关系——Condition 4 是否严格弱于 Condition 3?在什么条件下两者等价?文中未给出反例或充分性讨论。
-
协变量扩展:文中在 Supplementary Material S2 中讨论了协变量的纳入,但声称"结果可自然扩展"缺乏详细证明。特别是,当协变量为连续时,秩条件的验证和估计量的渐近性质需要更细致的处理。
-
过识别检验的有限样本性质:文中声称J统计量渐近卡方分布,但未讨论有限样本下的检验水平扭曲问题。考虑到每个实验的样本量可能较小(ACCT中最小实验约200人),bootstrap校准可能更可靠,但文中未对此进行模拟验证。
四、开放问题¶
-
协变量扩展的完整理论(扎根于 Supplementary Material S2):文中仅简要讨论了协变量的纳入,但未提供完整的识别条件和估计理论。一个自然的开放问题是:当协变量为高维或连续时,秩条件如何验证?估计量的收敛速度是否会因协变量维数而恶化?这与您熟悉的高维统计和半参数理论直接相关。
-
假设违反时的偏倚分析(扎根于 Section 4.2 的过识别检验):文中提供了对 Assumption 2 的检验,但未分析当 Assumption 2 违反时估计量的偏倚方向和大小。一个开放问题是:能否建立敏感性分析框架,量化 Assumption 2 的违反程度对联合分布估计的影响?这与您熟悉的因果推断敏感性分析(如E-value)相关。
-
最优实验选择(扎根于 Condition 1 的秩条件):文中仅要求秩条件成立,但未讨论如何选择实验以最大化识别精度。一个开放问题是:给定一组候选实验,如何选择最优子集以最小化 \(\hat{\theta}\) 的渐近方差?这与实验设计和最优运输理论相关。
-
连续结局的扩展(扎根于 Theorem 2 的分类结局):文中仅处理了分类结局,但许多实际应用涉及连续结局。一个开放问题是:如何将状态转移概率可迁移性假设推广到连续结局?此时需要估计转移密度而非转移概率,识别条件会如何变化?这与您熟悉的非参数估计理论相关。
-
与工具变量方法的深层联系(扎根于 Section 3 的"数据集指示符作为工具"类比):文中将 \(G\) 类比为工具变量,但未深入探讨这一类比的边界。一个开放问题是:在什么条件下,多实验数据融合问题可以完全等价于一个工具变量问题?这种等价性能否带来新的估计方法(如2SLS、GMM)?这与您熟悉的因果推断中的IV方法相关。
提示:若要确认上述开放问题是否为真 gap,建议阅读该子领域近期约5篇论文的引言部分(如 Shahn & Madigan 2025; Dahabreh et al. 2023; Colnet et al. 2023 等)。如果多篇论文都指向同一问题,则很可能是共识性 gap;如果各论文提出的问题互不相同,则说明该领域尚未形成聚焦的研究议程。
Maintained by 陈星宇 · Homepage · Source on GitHub