Bayesian sensitivity analysis for a missing data model¶
作者: B. Eggen, S.L. van der Pas, A.W. van der Vaart
来源: Electronic Journal of Statistics
主题: 因果推断
相关性: 8/10
机构绿灯: Delft University of Technology(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是因果推断与缺失数据中的贝叶斯敏感性分析。其根本的统计问题是:当我们依赖一个不可验证的识别假设(此处为 MCAR,即结果缺失完全随机)来估计总体均值时,结论对偏离该假设的敏感程度如何?该方向的成熟度处于"方法众多但理论支撑参差不齐"的阶段——大量敏感性分析框架已被提出(如频域的 bounds 方法、贝叶斯参数方法),但针对非参数贝叶斯模型下敏感性参数后验行为的渐近理论(尤其是 Bernstein-von Mises 定理)仍属空白。本文试图填补的正是这一理论缺口。
发展脉络(history)¶
- 奠基工作:Scharfstein et al. (2003) 是本文的直接起点。该文在 HIV 临床试验背景下提出了用指数倾斜(exponential tilt)模型刻画"缺失结局与观测结局分布差异"的敏感性分析框架,并首次系统性地将敏感性参数 α 引入缺失数据模型。本文作者明确表示"我们遵循 Scharfstein et al. (2003) 进行 MCAR 假设的敏感性分析",并指出该文"推测了 Bernstein-von Mises 定理"但未给出证明——这是本文要解决的核心问题之一。
- 贝叶斯非参数工具的发展:本文的第二个支柱是归一化完全随机测度(normalized completely random measures)的后验理论。James (2005) 和 James et al. (2009) 建立了泊松随机测度分解(Poisson process partition calculus)的工具,使得归一化完全随机测度的后验可以表示为混合分布。Ghosal and Van der Vaart (2017) 的教科书(Theorem 14.56)系统整理了这一理论。本文的关键技术贡献之一,就是将这一理论推广到"扩展 gamma 过程"(extended gamma process)的情形。
- 敏感性分析的频域方法:Liu et al. (2013) 提供了敏感性分析的综述性框架,将方法分为"bounds 方法"和"模型参数化方法"两类。本文属于后者,但作者强调其贝叶斯方法允许通过后验分布对敏感性参数进行概率式的陈述,而非仅给出确定性边界。
- 模块化贝叶斯推断:Jacob et al. (2017) 和 Moss and Rousseau (2022) 提出了"cut posterior"的概念——在模块化模型中,某些参数(此处为敏感性参数 α)不从后续数据模块中学习,以隔离错误设定模块的影响。本文在讨论第二种参数化时明确引用了这一思想,指出其"cut posterior"将满足通常的 Bernstein-von Mises 定理。
- 当前 frontier 与本文位置:当前前沿是半参数贝叶斯因果推断——Ray and van der Vaart (2020) 已证明在 MAR 假设下,带有高斯过程先验的贝叶斯方法对平均处理效应估计满足 Bernstein-von Mises 定理。本文的定位是:将这一理论从 MAR 扩展到"MCAR 失效"的敏感性分析场景,并比较两种参数化方式(对 H 建模 vs. 对 P 建模)在敏感性参数后验行为上的本质差异。
子线索聚类¶
- 敏感性分析的参数化策略(Scharfstein et al., 2003; Liu et al., 2013; Dorie et al., 2016):这一簇关注如何用有限维参数刻画"缺失机制依赖结局"的程度。频域方法用 bounds,贝叶斯方法用带先验的敏感性参数。本文的贡献在于比较了两种贝叶斯参数化(H-参数化 vs. P-参数化)的渐近差异。
- 归一化完全随机测度的后验渐近理论(James, 2005; James et al., 2009; Ghosal and Van der Vaart, 2017):这一簇提供技术工具。本文的 Theorem 8.1 是这一理论的新结果——扩展 gamma 过程的 Bernstein-von Mises 定理。
- 模块化贝叶斯推断与 cut posterior(Jacob et al., 2017; Moss and Rousseau, 2022):这一簇关注当模型部分错误设定时,如何避免错误模块污染正确模块的推断。本文在 P-参数化中讨论了 cut posterior 的 Bernstein-von Mises 性质。
这个方向在追问的核心问题¶
- 敏感性参数的可识别性:当 MCAR 失效时,α 从数据中完全不可识别。贝叶斯方法如何处理不可识别参数的后验?本文的答案是:后验不收缩,但敏感性参数与数据分布的后验独立性决定了最终推断的形式。
- 参数化的选择:对 H(观测数据分布)建模还是对 P(完整数据分布)建模,哪个更合理?本文的核心发现是:二者在 α 固定时渐近等价,但在 α 有先验时后验行为本质不同——H-参数化下 α 的后验等于先验(数据无信息),P-参数化下 α 的后验依赖数据(通过 η 的估计间接学习)。
- 贝叶斯推断的频率性质:在非参数模型下,后验是否满足 Bernstein-von Mises 定理?本文证明了在两种参数化下,目标参数(均值)的后验均满足 Bernstein-von Mises,但收敛速度不同(H-参数化是 n^{-1/2},P-参数化是 n^{-1/2} 但常数项不同)。
- 已知瓶颈:现有贝叶斯敏感性分析缺乏理论保证,尤其是当敏感性参数本身被赋予先验时,后验的渐近行为不明。本文的 Theorem 3.1 和 4.2 分别解决了两种参数化下的这一问题。
⚠️ 作者的 framing(这是作者的说法)¶
作者将缺口 frame 为:"Scharfstein et al. (2003) 推测了 Bernstein-von Mises 定理,但未证明;我们证明之,并发现两种参数化在敏感性参数后验行为上的本质差异。" 作者淡化了以下竞争路线:(1) 频域敏感性分析(如 bounds 方法)——作者仅在引言中一笔带过,未与其做系统比较;(2) 完全参数化贝叶斯模型(如给 α 和 P 都设参数族)——作者认为其"缺乏非参数灵活性"但未深入讨论;(3) 基于倾向 score 的加权方法——完全未提及。值得研究者去查的问题:为什么作者没有引用 Rosenbaum 的敏感性分析框架?为什么没有讨论多重插补下的敏感性分析?这些可能是作者刻意回避的竞争路线,也可能是本文的盲区。
张力¶
未见明显对立引用。但存在一个微妙的张力:Scharfstein et al. (2003) 的原始框架是频域的(给定 α 的 bounds),而本文将其转化为贝叶斯框架(给 α 设先验)。这两种哲学("报告所有可能结果" vs. "对可能性加权")在文献中确实存在对立,但本文未直接讨论这一张力。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号清单(逐个点名):
| 符号 | 含义 | 类型 |
|---|---|---|
| \(Y\) | 完整数据中的结果变量,取值于 Polish 空间 \(\mathcal{Y}\) | 随机变量 |
| \(R\) | 缺失指示变量,\(R=1\) 表示观测到 \(Y\),\(R=0\) 表示缺失 | 随机变量 |
| \(X\) | 观测变量,\(X=Y\) 若 \(R=1\),\(X=*\)(特殊符号)若 \(R=0\) | 随机变量(可观测) |
| \(P\) | \(Y\) 的边际分布(完整数据分布) | 未知分布(参数/estimand 的载体) |
| \(P_1\) | \(Y\) 给定 \(R=1\) 的条件分布(观测结果分布) | 未知分布(可识别) |
| \(P_0\) | \(Y\) 给定 \(R=0\) 的条件分布(缺失结果分布) | 未知分布(不可识别) |
| \(p\) | \(P(R=1)\),观测概率 | 标量参数(可识别) |
| \(q\) | 敏感性函数,满足 \(dP_0 \propto e^q dP_1\) | 给定函数(敏感性参数) |
| \(\alpha\) | 敏感性参数,\(q = q_\alpha\) 参数化 | 参数(不可识别) |
| \(\eta\) | 由 \(p\) 和 \(P_1\) 导出的参数,\(\eta = \log\frac{1-p}{p} - \log\int e^q dP_1\) | 参数(可识别) |
| \(g\) | 目标函数,估计 \(\mathbb{E}_P g(Y)\) | 已知函数 |
| \(H\) | 观测数据分布 \(H = (1-p)\delta_* + pP_1\) | 可识别分布 |
| \(a\) | DP 先验的基测度 | 先验超参数 |
| \(\mathbb{B}_{P_0}\) | \(P_0\)-Brownian bridge 过程 | 极限过程 |
模型(数据生成机制):
- 完整数据:\(Y \sim P\),\(R | Y \sim \text{Bernoulli}(\pi(Y))\),其中 \(\pi(y) = \Psi(\eta + q(y))\),\(\Psi\) 为 logistic 函数。
- 观测数据:\((X_i, R_i)_{i=1}^n\) i.i.d.,其中 \(X_i = Y_i\) 若 \(R_i=1\),否则 \(X_i = *\)。
- 关键恒等式:由贝叶斯公式,\(P_0\) 与 \(P_1\) 通过 \(dP_0 \propto e^q dP_1\) 联系。MCAR 对应 \(q \equiv 0\)。
- 目标 estimand:\(\theta = \mathbb{E}_P g(Y) = p \frac{P_1(ge^q)}{P_1(e^q)} + (1-p) \frac{P_1(g)}{P_1(e^q)}\)(由 \(P = pP_1 + (1-p)P_0\) 及 \(dP_0 \propto e^q dP_1\) 推出)。
可观测 vs 不可观测: - 可观测:\(R_i\)(缺失指示)、\(X_i\)(观测到的 \(Y\) 或 \(*\))、\(p\)(由 \(R_i\) 的频率估计)、\(P_1\)(由观测到的 \(Y\) 估计)。 - 不可观测:\(P_0\)(缺失结果分布)、\(q\)(敏感性函数)、\(\alpha\)(敏感性参数)。这些只能通过假设(如 \(q = q_\alpha\) 参数化)或先验来间接处理。
第二步:最小内核¶
最简特例:设 \(\mathcal{Y} = \mathbb{R}\),\(g(y) = y\)(估计均值),\(q_\alpha(y) = \alpha y\)(单参数指数倾斜)。此时模型简化为:
- \(P_1\) 是观测到的 \(Y\) 的分布(可识别)。
- \(P_0\) 的密度 \(f_0(y) \propto e^{\alpha y} f_1(y)\)。
- 目标:\(\theta = \mathbb{E}_P Y = p \frac{\int y e^{\alpha y} dP_1}{\int e^{\alpha y} dP_1} + (1-p) \frac{\int y dP_1}{\int e^{\alpha y} dP_1}\)。
核心数学问题:给定观测数据 \((X_i, R_i)\),如何对 \(\theta\) 做贝叶斯推断?由于 \(\alpha\) 不可识别,后验 \(p(\alpha | \text{data})\) 不收缩。但本文的关键发现是:
- H-参数化(对 \(H\) 设 DP 先验):\(\alpha\) 的后验 = 先验(数据无信息),\(\theta\) 的后验是"先验混合"——将 \(\alpha\) 固定时 \(\theta\) 的 Bernstein-von Mises 正态后验按先验 \(\Pi(\alpha)\) 混合。
- P-参数化(对 \(P\) 设 DP 先验):\(\alpha\) 的后验 ≠ 先验(数据通过 \(\eta\) 的估计间接影响 \(\alpha\)),\(\theta\) 的后验是"数据自适应混合"——混合分布依赖 \(H_n\)。
为什么这个例子是内核:它剥离了所有技术复杂性(一般 Polish 空间、一般 \(q\)、一般 \(g\)),保留了敏感性分析的本质矛盾——不可识别的参数如何进入后验推断。两种参数化对这个问题的回答不同,这正是本文的核心贡献。
证明的最小逻辑: - 对 H-参数化:\(H \sim DP(a)\),后验 \(H | \text{data} \sim DP(a + nH_n)\)。\(\alpha\) 与 \(H\) 先验独立,且数据 \(X\) 仅通过 \(H\) 影响 \(\theta\),故 \(\alpha\) 后验 = 先验。\(\theta\) 的后验 = \(\int \mathcal{N}(\theta_n(\alpha), \sigma^2(\alpha)/n) d\Pi(\alpha)\),其中 \(\theta_n(\alpha)\) 是固定 \(\alpha\) 时的后验均值。 - 对 P-参数化:\(P \sim DP(a)\),但 \(P_1\) 是 \(P\) 的"加权版本"(权重 \(\propto 1/(1+e^{\eta+q})\)),故 \(P_1\) 的后验不再是 DP,而是扩展 gamma 过程。\(\alpha\) 的后验通过 \(\eta\) 的估计依赖数据。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在 MCAR 假设可能失效的缺失数据模型中,如何对总体均值进行贝叶斯敏感性分析,并证明两种参数化方式(对观测分布 \(H\) 建模 vs. 对完整分布 \(P\) 建模)下后验的渐近行为。
- 核心工具/方法:Dirichlet 过程先验、扩展 gamma 过程(归一化完全随机测度)、Bernstein-von Mises 定理、cut posterior。
- 主要结论:两种参数化在敏感性参数固定时渐近等价(均满足 Bernstein-von Mises,极限分布相同);但当敏感性参数被赋予先验时,H-参数化下 \(\alpha\) 后验 = 先验(数据无信息),P-参数化下 \(\alpha\) 后验依赖数据(通过 \(\eta\) 间接学习),且 P-参数化的后验混合分布更"数据自适应",在敏感性分析中可能更合理。
关键设定与假设¶
- 设定:观测数据 \((X_i, R_i)_{i=1}^n\) i.i.d.,\(X_i \in \mathcal{X} = \mathcal{Y} \cup \{*\}\)。完整数据 \(Y \sim P\),\(R|Y \sim \text{Bernoulli}(\Psi(\eta + q(Y)))\)。
- 假设:
- 工作模型(working model):\(dP_0 \propto e^q dP_1\),即敏感性函数 \(q\) 完全刻画缺失机制对结果的依赖。这是 Scharfstein et al. (2003) 的核心假设,本文沿用。
- 先验独立性:\(\alpha\)(或 \(q\))与 \(H\)(或 \(P\))先验独立。
- 正则条件:\(g\) 有界可测,\(e^q\) 可积,\(P_1\) 的支撑包含 \(P_0\) 的支撑(即 \(e^q\) 的指数倾斜不改变支撑)。
- 技术条件:\(a\)(DP 基测度)有限、无原子;\(b = 1 + e^{\eta+q}\) 有界且远离 0;\(P_0 b^q < \infty\) 对某个 \(q > 2\)。
- 相比已有工作的变化:Scharfstein et al. (2003) 假设 \(P_1\) 已知或参数化,本文允许 \(P_1\) 完全非参数(DP 先验);Scharfstein et al. (2003) 未提供渐近理论,本文证明了 Bernstein-von Mises。
主要结果¶
定理 3.1(H-参数化的 Bernstein-von Mises): - 设定:\(H \sim DP(a)\),\(\alpha\) 独立先验。 - 结论:给定 \(q\),后验分布 \(\sqrt{n}(\theta - \theta_n(q)) | \text{data} \Rightarrow \mathbb{B}_{H_0}\) 的线性泛函,其中 \(\theta_n(q) = \chi(H_n, q)\) 是经验版本的 plug-in 估计。 - 关键点:后验的极限分布与频率学派极限分布一致(Bernstein-von Mises 性质),且不依赖先验 \(a\)。
定理 4.1(P-参数化的 Bernstein-von Mises): - 设定:\(P \sim DP(a)\),\((\eta, \alpha)\) 独立先验。 - 结论:给定 \(q\),\(P_1\) 的后验是扩展 gamma 过程,且 \(\sqrt{n}(P_1 - P_{1,n}) | \text{data} \Rightarrow \frac{1}{\sqrt{p_0}} \mathbb{B}_{P_{1,0}}\)。 - 关键点:扩展 gamma 过程的 Bernstein-von Mises 定理(Theorem 8.1)是本文的技术核心,证明依赖于泊松过程分解和鞅方法。
定理 4.2(P-参数化下目标参数的 Bernstein-von Mises): - 结论:\(\sqrt{n}(\kappa(p, P_1, q) - \kappa(N_n/n, P_{1,n}, q)) | \text{data} \Rightarrow Z_{H_0}\),其中 \(Z_{H_0}\) 与定理 3.1 的极限分布相同。 - 关键点:两种参数化在 \(q\) 固定时渐近等价——这是本文最重要的理论发现,说明参数化选择不影响一阶渐近。
核心差异(第 5 节): - 当 \(\alpha\) 有先验时,H-参数化下 \(\alpha\) 后验 = 先验(因为 \(\alpha\) 与 \(H\) 独立且数据仅通过 \(H\) 影响 \(\theta\)),故 \(\theta\) 的后验是"先验混合"。 - P-参数化下 \(\alpha\) 后验 ≠ 先验(因为 \(\alpha\) 通过 \(\eta\) 与 \(P\) 耦合),\(\theta\) 的后验是"数据自适应混合"。 - 作者认为 P-参数化更合理:如果专家对 \(\alpha\) 的先验与数据隐含的 \(\alpha\) 不一致,P-参数化会"修正"先验,而 H-参数化不会。
证明路线与技术技巧¶
整体路线(以 Theorem 8.1 为核心): 1. 后验表征:利用 James et al. (2009) 的泊松过程分解,将扩展 gamma 过程的后验表示为混合分布(定理 8.1 的出发点)。 2. 鞅中心极限定理:将后验过程 \(\sqrt{n}(P_n - P_n)\) 分解为鞅差序列的和,应用鞅 CLT 得到 Brownian bridge 极限。 3. 均匀性论证:证明收敛在 \(q\) 的紧集上一致(关键引理 8.4 的浓度不等式),从而允许对 \(q\) 积分。 4. Delta 方法:将目标泛函 \(\theta = \kappa(p, P_1, q)\) 视为 \((p, P_1)\) 的光滑泛函,应用泛函 delta 方法得到正态极限。
关键技术技巧: - 泊松过程分解(Poisson partition calculus):将 gamma 过程的后验分解为"旧原子"和"新原子"两部分,这是处理归一化完全随机测度后验的标准工具。 - 鞅差阵列的 CLT:用于处理后验过程的渐近正态性,关键条件是条件方差收敛(由 \(P_0 b^q < \infty\) 保证)。 - 浓度不等式(引理 8.4):证明混合分布集中在 \([cn/\log n, \infty)\) 上,从而控制"新原子"的贡献。 - cut posterior:在 P-参数化中,作者建议对 \(\alpha\) 使用 cut posterior(即不从数据学习 \(\alpha\)),以避免 \(\alpha\) 的后验被错误模型污染。
真实例子与应用¶
本文的模拟研究(第 6 节)设定如下: - 数据生成:\(Y \sim \text{Gamma}(2, 1)\),\(R | Y \sim \text{Bernoulli}(\Psi(\eta_0 + \alpha_0(\log Y - c)))\),其中 \(\eta_0 \approx -1.35\),\(\alpha_0 = 2\),\(c \approx 0.42\)。这对应 HIV 临床试验中"病情更重者更易脱落"的场景。 - 目标:估计总体均值 \(\mathbb{E}_P Y = 2.8\)。 - 方法:比较 H-参数化(DP 先验在 \(H\) 上)和 P-参数化(DP 先验在 \(P\) 上),\(\alpha\) 先验取 \(N(1, 0.25)\)(错设,因为真值 \(\alpha_0 = 2\))。 - 结果: - 当 \(\alpha\) 固定为真值时,两种参数化表现几乎相同(验证了定理 4.2 的渐近等价)。 - 当 \(\alpha\) 有错设先验时,P-参数化的后验均值更接近真值(2.8),且 90% 可信区间覆盖率更高(0.131 vs 0.026,\(n=10000\))。 - H-参数化的可信区间长度更短,但覆盖率极低(因为 \(\alpha\) 后验 = 先验,错设先验导致系统性偏差)。 - 模拟想说明什么:P-参数化通过 \(\eta\) 的估计间接修正 \(\alpha\) 的先验,这在敏感性分析中更稳健;H-参数化虽然计算简单,但对先验错设更敏感。
🔎 结论是否比证明窄¶
- 明确证明:定理 3.1、4.1、4.2 的 Bernstein-von Mises 性质(在 \(q\) 固定时)。
- 被泛化的声明:作者在第 5 节声称 P-参数化"更合理",但这一结论仅基于模拟(\(n\) 最大 10000),且只针对特定的 \(\alpha\) 先验和 \(q\) 函数。作者没有证明 P-参数化的后验混合分布在任何意义下"优于" H-参数化(如 minimax 或 Bayes 风险)。
- 被回避的声明:作者在第 7 节提到"扩展这些结果到 MAR 模型是未来工作",但未给出任何具体猜想或部分结果。Ray and van der Vaart (2020) 的 MAR 结果被引用,但未讨论如何将本文的敏感性分析框架与 MAR 结合。
- 值得注意的窄结论:定理 8.1 要求 \(b = 1 + e^{\eta+q}\) 有界且远离 0,这排除了 \(\eta \to \pm\infty\) 的退化情形。在有限样本中,如果 \(\eta\) 的后验接近边界,定理的结论可能不适用。
四、开放问题(点到为止,扎根具体语句)¶
-
MAR 模型的扩展(第 7 节):作者明确说"将结果扩展到 MAR 模型和协变量是未来工作"。要确认这是否为真 gap,可去读 Ray and van der Vaart (2020) 及近期 5 篇 MAR 敏感性分析文献的引言——若都指向同一缺口,则为共识;若已有其他方法解决,则需重新定位。
-
cut posterior 的理论性质(第 5 节):作者建议使用 cut posterior 但未证明其 Bernstein-von Mises 性质。Moss and Rousseau (2022) 的 cut posterior 理论是否可直接应用?需检查其条件是否在此处满足。
-
先验错设的稳健性(第 6 节):模拟显示 P-参数化对 \(\alpha\) 先验错设更稳健,但缺乏理论解释。能否证明 P-参数化的后验混合分布在某种距离下比 H-参数化更接近真值?这需要定义"先验错设"的度量。
-
高维扩展(第 7 节隐含):当 \(Y\) 是高维或函数型数据时,DP 先验的计算和理论是否仍然成立?这涉及随机测度的收敛速率问题。
-
效率下界(补充材料):作者在补充材料中推导了已知 \(q\) 时的半参数效率界,但未讨论 \(q\) 未知时的效率损失。能否构造自适应估计器在 \(q\) 未知时达到相同的效率界?
提醒:要确认上述哪条是真 gap,建议读同一子领域近期约 5 篇论文的引言——都指向同一缺口 = 共识(真 gap),互相打架 = 机会。
Maintained by 陈星宇 · Homepage · Source on GitHub