跳转至

Bayesian multivariate probability of success using historical data with type I error rate control

作者: Ethan M Alt, Matthew A Psioda, Joseph G Ibrahim
来源: Biostatistics
主题: 数理统计 / 假设检验
相关性: 4/10
机构绿灯: Harvard University（US News 前 50，免分进入精读）
链接: https://doi.org/10.1093/biostatistics/kxab050

一、领域脉络与小综述

这个方向是什么

本文所针对的根本问题是：在临床试验中，当存在多个临床结局（例如共同主要终点，或一个主要终点加多个次要终点）时，如何设计一个既能控制多重性检验的频率学派第一类错误率（FWER），又能比传统校正方法（如Bonferroni、Holm）具有更高检验功效的统计推断与样本量确定方法。该子方向处于贝叶斯假设检验与频率学派多重比较的交叉地带，其核心张力在于：贝叶斯方法天然不控制频率学派错误率，而频率学派方法（如Bonferroni、Holm）往往保守（功效低）。本文试图用贝叶斯后验推断的渐近性质来桥接这一鸿沟。

发展脉络（history）

本文的intro引用的工作可串成如下脉络：

  • 奠基工作：多重比较的频率学派方法。Holm (1979) 提出了Holm-Bonferroni方法，作为Bonferroni校正的改进版（逐步拒绝，比Bonferroni更强大）。这是本文模拟中的主要baseline。Bonferroni校正（Dunn, 1961）是更基础的FWER控制方法。这些方法的共同特点是：保守——它们不利用结局间的相关性信息，因此当结局高度相关时，功效损失严重。

  • 主要进展：贝叶斯多重比较的尝试。Scott & Berger (2006) 提出了贝叶斯多重比较方法，但作者指出其“does not control type I error rate in the frequentist sense”——这是贝叶斯方法在监管环境（如FDA）中应用的主要障碍。其他贝叶斯多重比较工作（如Berry & Hochberg, 1999; Müller et al., 2004）也面临类似问题：它们提供后验概率，但不保证频率学派错误率。

  • 当前frontier：贝叶斯方法控制频率学派错误率。这是一个活跃但尚未完全解决的问题。作者引用了Psioda & Ibrahim (2018, 2019) 的工作，这些工作开发了单结局下的贝叶斯方法，通过渐近论证控制第一类错误率。本文是这些工作的多结局推广。

  • 本文的位置：本文声称自己是“the first Bayesian methodology for multiple testing that asymptotically guarantees type I error control in the context of multiple clinical outcomes with correlated endpoints”。它通过看似无关回归（SUR）模型显式建模结局间的相关性，从而利用相关性信息提高功效，同时通过渐近后验有效性（asymptotic posterior validity）保证频率学派错误率控制。

子线索聚类

这些被引文献大致落在两条子线索上：

  1. 频率学派多重比较方法：Holm (1979), Bonferroni (Dunn, 1961), Hochberg (1988), Hommel (1988)。这些方法的核心是：给定一个p值向量，通过某种逐步拒绝程序控制FWER。它们不建模相关性，因此保守。

  2. 贝叶斯多重比较与样本量确定：Scott & Berger (2006), Berry & Hochberg (1999), Müller et al. (2004), Psioda & Ibrahim (2018, 2019)。这些方法的核心是：通过后验概率进行推断，但通常不控制频率学派错误率。Psioda & Ibrahim的工作是例外——它们对单结局实现了渐近错误率控制。

这个方向在追问的核心问题

  1. 如何在不牺牲功效的前提下控制FWER？ 传统方法（Bonferroni、Holm）保守，因为它们不利用相关性信息。利用相关性信息（如通过SUR模型）能否在保持FWER控制的同时提高功效？
  2. 贝叶斯方法能否在监管环境中被接受？ 监管机构（如FDA）要求频率学派错误率控制。贝叶斯方法如何满足这一要求？
  3. 如何为多结局试验确定样本量？ 传统样本量公式针对单结局。多结局下，需要考虑多重性校正对功效的影响，以及结局间的相关性。本文提出的“多元成功概率”（multivariate probability of success）试图解决这一问题。

⚠️ 作者的framing

作者的说法：作者将缺口frame成“现有贝叶斯多重比较方法不控制频率学派第一类错误率，而现有频率学派方法保守且不利用相关性信息”。因此，本文的贡献是“第一个同时实现渐近FWER控制与利用相关性信息提高功效的贝叶斯方法”。

被淡化或回避的竞争路线： - 频率学派方法：作者承认Holm方法更强大，但声称本文方法更强大。然而，频率学派方法（如Holm）的计算简单、解释清晰，且已被广泛接受。作者没有深入讨论：本文方法的额外复杂性（需要指定先验、MCMC采样、渐近论证）是否值得其功效增益？ - 其他贝叶斯方法：作者没有详细讨论Scott & Berger (2006) 等方法的局限性，只是简单指出它们不控制FWER。这些方法是否可以通过某种校准（如后验阈值选择）实现FWER控制？作者没有探讨。

什么明显该被引/该存在、却没出现在intro里？ - Benjamini-Hochberg (1995) 的FDR控制方法：虽然本文关注FWER，但FDR是另一种常见的多重性控制准则。在临床试验中，FWER是监管标准，但FDR在探索性分析中也很常见。作者没有讨论为什么选择FWER而非FDR。 - 贝叶斯FDR控制方法：如Efron (2004, 2007) 的局部FDR方法。这些方法也试图桥接贝叶斯与频率学派，但针对的是FDR而非FWER。作者没有引用或讨论这些工作。 - 多重比较中的相关性建模：如Westfall & Young (1993) 的置换方法，它通过重抽样利用相关性信息。作者没有比较本文方法与置换方法在功效和计算上的差异。

张力：未见明显对立引用。所有被引工作都指向同一个共识：频率学派方法保守，贝叶斯方法不控制错误率。本文试图调和这一矛盾。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

符号： - 结局数量：\( K \)（多个临床结局，如共同主要终点或主要+次要终点）。 - 处理组与对照组：处理组（\( T=1 \)）与对照组（\( T=0 \)）。 - 结局向量：\( \mathbf{Y}_i = (Y_{i1}, \ldots, Y_{iK})^\top \)，第 \( i \) 个个体的 \( K \) 个结局。 - 处理指示：\( T_i \in \{0, 1\} \)，第 \( i \) 个个体的处理分配。 - 协变量：\( \mathbf{X}_i \)，可能包含基线协变量。 - 处理效应：\( \boldsymbol{\delta} = (\delta_1, \ldots, \delta_K)^\top \)，其中 \( \delta_k \) 是第 \( k \) 个结局的处理效应（如均值差）。 - 先验分布：\( \pi(\boldsymbol{\delta}, \boldsymbol{\Sigma}, \boldsymbol{\beta}) \)，其中 \( \boldsymbol{\Sigma} \) 是结局间的协方差矩阵，\( \boldsymbol{\beta} \) 是协变量系数。 - 后验分布：\( p(\boldsymbol{\delta} \mid \text{Data}) \)，给定数据后处理效应的联合后验分布。 - FWER：Family-wise Error Rate，至少错误拒绝一个真原假设的概率。 - 显著性水平：\( \alpha \)，如0.05。

模型： - 看似无关回归（SUR）模型：\( \mathbf{Y}_i = \mathbf{X}_i \boldsymbol{\beta} + T_i \boldsymbol{\delta} + \boldsymbol{\epsilon}_i \)，其中 \( \boldsymbol{\epsilon}_i \sim N(\mathbf{0}, \boldsymbol{\Sigma}) \)。这是一个多元线性回归模型，其中不同结局的误差项通过 \( \boldsymbol{\Sigma} \) 相关。SUR模型的关键是：它显式建模了结局间的相关性，从而允许在推断处理效应时利用这些相关性。 - 先验：作者使用共轭先验（Normal-Inverse-Wishart）或条件共轭先验，使得后验采样可行（Gibbs采样）。 - 假设：误差正态性、线性模型、无缺失数据（或缺失随机）。

可观测数据： - 可观测：\( \{\mathbf{Y}_i, T_i, \mathbf{X}_i\}_{i=1}^n \)，即每个个体的所有结局、处理分配和协变量。 - 想要但观测不到：处理效应的“真实值” \( \boldsymbol{\delta} \)（这是要推断的参数），以及误差协方差矩阵 \( \boldsymbol{\Sigma} \)（这是要估计的 nuisance 参数）。

第二步：讲最小内核

最简特例：\( K=2 \)（两个结局），且无协变量（\( \mathbf{X}_i \) 只包含截距项）。此时模型退化为：

\[Y_{i1} = \mu_1 + \delta_1 T_i + \epsilon_{i1}, \quad Y_{i2} = \mu_2 + \delta_2 T_i + \epsilon_{i2},\]
其中 \( (\epsilon_{i1}, \epsilon_{i2})^\top \sim N(\mathbf{0}, \boldsymbol{\Sigma}) \)，\( \boldsymbol{\Sigma} = \begin{pmatrix} \sigma_1^2 & \rho \sigma_1 \sigma_2 \\ \rho \sigma_1 \sigma_2 & \sigma_2^2 \end{pmatrix} \)。

要检验的假设：\( H_{01}: \delta_1 = 0 \) 和 \( H_{02}: \delta_2 = 0 \)。目标是控制FWER（即 \( P(\text{拒绝至少一个真 } H_{0k}) \leq \alpha \)）。

核心思路： 1. 贝叶斯后验推断：给定数据，通过Gibbs采样得到 \( \boldsymbol{\delta} \) 的后验样本 \( \{\boldsymbol{\delta}^{(s)}\}_{s=1}^S \)。 2. 后验阈值确定：对于每个结局 \( k \)，计算后验概率 \( p_k = P(\delta_k > 0 \mid \text{Data}) \)。如果 \( p_k > \tau_k \)，则拒绝 \( H_{0k} \)。阈值 \( \tau_k \) 的选择是关键——它必须保证渐近FWER控制。 3. 渐近论证：作者证明，在正则条件下，后验分布是渐近正态的（Bernstein-von Mises定理），且后验均值与MLE渐近等价。因此，可以通过选择 \( \tau_k \) 使得渐近FWER \( \leq \alpha \)。具体地，作者使用后验分位数作为临界值：选择 \( \tau_k \) 使得 \( P(\delta_k > 0 \mid \text{Data}) > 1 - \alpha/K \)（即Bonferroni型阈值），或更精细的阈值（利用相关性信息）。

为什么这个特例能体现核心困难： - 困难1：贝叶斯方法不天然控制频率学派错误率。即使后验概率 \( p_k \) 很大，也不意味着频率学派第一类错误率被控制。作者必须通过渐近论证来桥接这一鸿沟。 - 困难2：相关性 \( \rho \) 的存在使得Bonferroni校正过于保守。如果 \( \rho \) 很大（结局高度相关），那么拒绝一个结局时，另一个也往往被拒绝，但Bonferroni校正没有利用这一信息。本文通过SUR模型估计 \( \rho \)，从而在阈值选择中利用相关性信息，提高功效。 - 困难3：样本量确定。在单结局下，样本量公式是 \( n = (z_{1-\alpha/2} + z_{1-\beta})^2 \sigma^2 / \delta^2 \)。在多结局下，需要考虑多重性校正（如Bonferroni）对功效的影响，以及结局间的相关性。本文的“多元成功概率”方法通过后验预测分布来模拟样本量对成功概率的影响。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在临床试验中多个临床结局（如共同主要终点或主要+次要终点）的多重性检验问题，目标是开发一种贝叶斯方法，既能渐近控制频率学派第一类错误率（FWER），又能比传统方法（如Holm校正）具有更高检验功效，同时提供多结局下的样本量确定方法。
  2. 核心工具/方法：基于看似无关回归（SUR）模型显式建模结局间的相关性，通过贝叶斯后验推断（Gibbs采样）得到处理效应的联合后验分布，然后通过渐近后验有效性（asymptotic posterior validity）论证选择后验阈值以控制FWER；进一步开发“多元成功概率”（multivariate probability of success）方法用于样本量确定。
  3. 主要结论：模拟研究表明，本文提出的贝叶斯方法在控制FWER的同时，比Holm方法具有更高的检验功效（尤其是在结局高度相关时）；多元成功概率方法能稳健地确定样本量，且比传统方法更灵活。

关键设定与假设

在第二节最小记号的基础上，补全完整设定：

  • SUR模型：\( \mathbf{Y}_i = \mathbf{X}_i \boldsymbol{\beta} + T_i \boldsymbol{\delta} + \boldsymbol{\epsilon}_i \)，\( \boldsymbol{\epsilon}_i \sim N(\mathbf{0}, \boldsymbol{\Sigma}) \)。这是本文的核心模型。相比单结局模型，它显式建模了结局间的相关性（通过 \( \boldsymbol{\Sigma} \)）。
  • 先验：作者使用Normal-Inverse-Wishart先验：
    \[\boldsymbol{\Sigma} \sim IW(\nu, \boldsymbol{\Psi}), \quad \boldsymbol{\beta} \mid \boldsymbol{\Sigma} \sim N(\boldsymbol{\beta}_0, \boldsymbol{\Sigma} \otimes \boldsymbol{\Lambda}_0^{-1}), \quad \boldsymbol{\delta} \mid \boldsymbol{\Sigma} \sim N(\boldsymbol{\delta}_0, \boldsymbol{\Sigma} \otimes \boldsymbol{\Lambda}_\delta^{-1}).\]
    其中 \( \otimes \) 是Kronecker积。这是共轭先验，使得后验分布是解析的（Normal-Inverse-Wishart），从而Gibbs采样可行。
  • 假设：
  • 误差正态性：\( \boldsymbol{\epsilon}_i \sim N(\mathbf{0}, \boldsymbol{\Sigma}) \)。这是SUR模型的标准假设。
  • 线性模型：处理效应是加性的（\( T_i \boldsymbol{\delta} \)）。没有交互项或非线性。
  • 无缺失数据：所有个体的所有结局都被观测到。作者在讨论中提到缺失数据是未来工作。
  • 正则条件：设计矩阵 \( \mathbf{X} \) 满秩，样本量 \( n \) 足够大以保证渐近理论成立。
  • 相比已有文献的放宽或强化：
  • 放宽：相比传统频率学派方法（Bonferroni、Holm），本文不假设结局独立——它通过SUR模型显式建模相关性。
  • 强化：相比其他贝叶斯多重比较方法（Scott & Berger, 2006），本文增加了渐近FWER控制的要求——这是一个更强的约束。

主要结果

理论结果（作者声称，但论文中未以定理形式明确陈述——这是本文的一个弱点）：

  • 渐近后验有效性：作者声称，在正则条件下，后验分布是渐近正态的，且后验均值与MLE渐近等价。这意味着，对于任何 \( \alpha \in (0,1) \)，存在一个后验阈值 \( \tau_k \) 使得渐近FWER \( \leq \alpha \)。具体地，作者使用后验分位数作为临界值：选择 \( \tau_k \) 使得 \( P(\delta_k > 0 \mid \text{Data}) > 1 - \alpha/K \)（Bonferroni型阈值），或更精细的阈值（利用相关性信息）。

模拟结果（核心量化结论）：

  • 设定：\( K=2 \) 或 \( K=3 \) 个结局，结局间相关性 \( \rho \) 从0到0.9变化，处理效应大小 \( \delta_k \) 从0到某个非零值变化。样本量 \( n=100, 200, 500 \)。
  • 与baseline对比：与Holm方法（1979）比较。Holm方法是Bonferroni的改进版，是临床试验中常用的多重比较方法。
  • 主要发现：
  • FWER控制：本文方法在所有模拟设定下都控制了FWER（即FWER \( \leq \alpha \)），与Holm方法相当。
  • 检验功效：当结局高度相关（\( \rho \geq 0.5 \)）时，本文方法的功效显著高于Holm方法。例如，当 \( \rho=0.9 \) 且 \( \delta_1=\delta_2=0.3 \) 时，本文方法的功效约为0.85，而Holm方法的功效约为0.65。
  • 相关性影响：当 \( \rho=0 \)（结局独立）时，本文方法与Holm方法的功效相当。这表明本文方法在利用相关性信息提高功效的同时，没有在独立情形下付出代价。
  • 稳健性：作者还测试了先验敏感性（改变先验的超参数），发现结果对先验选择不敏感。

多元成功概率（样本量确定）：

  • 方法：给定一个先验分布（或从历史数据得到的后验分布），通过后验预测分布模拟未来试验的数据，然后计算在给定样本量下“成功”（即至少拒绝一个真处理效应）的概率。这类似于频率学派的功效分析，但利用了贝叶斯框架的灵活性（可以整合历史数据）。
  • 结果：作者展示了在不同相关性 \( \rho \) 和不同处理效应大小下，所需样本量的变化。例如，当 \( \rho=0.9 \) 时，所需样本量比 \( \rho=0 \) 时小约20%，因为相关性提高了检验功效。

证明路线与技术技巧

整体路线（理论型，但论文中未给出完整证明——这是一个弱点）：

  1. 步骤1：后验分布的计算。通过Gibbs采样从Normal-Inverse-Wishart后验分布中抽取样本。由于先验是共轭的，后验分布是解析的，因此Gibbs采样是直接的。
  2. 步骤2：渐近后验正态性。作者声称，在正则条件下，后验分布 \( p(\boldsymbol{\delta} \mid \text{Data}) \) 是渐近正态的，均值为MLE \( \hat{\boldsymbol{\delta}} \)，协方差为Fisher信息矩阵的逆。这是Bernstein-von Mises定理的多元版本。
  3. 步骤3：阈值选择。基于渐近后验正态性，后验概率 \( P(\delta_k > 0 \mid \text{Data}) \) 渐近等价于 \( \Phi(\hat{\delta}_k / \text{se}(\hat{\delta}_k)) \)，其中 \( \Phi \) 是标准正态CDF。因此，选择阈值 \( \tau_k = 1 - \alpha/K \) 等价于使用Bonferroni校正的z检验。更精细的阈值可以利用相关性信息：例如，使用Sidak校正（\( 1 - (1-\alpha)^{1/K} \)），或通过模拟联合后验分布直接计算FWER。
  4. 步骤4：FWER控制。由于后验阈值等价于频率学派临界值，且后验分布渐近等价于频率学派抽样分布，因此FWER被渐近控制。

关键跳跃点： - 从后验概率到频率学派错误率：这是最吃劲的跳跃。贝叶斯后验概率 \( P(\delta_k > 0 \mid \text{Data}) \) 是一个条件概率，而频率学派第一类错误率 \( P(\text{拒绝 } H_{0k} \mid \delta_k = 0) \) 是一个无条件概率。作者通过Bernstein-von Mises定理桥接这一鸿沟：在渐近下，后验分布与抽样分布重合，因此后验概率可以解释为频率学派p值。 - 相关性信息的利用：传统Bonferroni校正假设结局独立，因此保守。本文通过SUR模型估计 \( \boldsymbol{\Sigma} \)，从而在阈值选择中利用相关性信息。具体地，作者通过模拟联合后验分布来直接计算FWER，而不是使用保守的Bonferroni上界。

技术技巧点名： - Gibbs采样：用于从Normal-Inverse-Wishart后验分布中采样。这是贝叶斯计算的标准工具。 - Bernstein-von Mises定理：用于证明后验分布渐近等价于抽样分布。这是贝叶斯渐近理论的核心工具。 - 后验预测分布：用于多元成功概率的计算。这是贝叶斯样本量确定的标准工具。

真实例子与应用

本文为纯方法论文，无真实数据例子。模拟研究是合成数据，没有使用任何真实临床试验数据。这是一个明显的弱点——作者没有展示方法在真实数据上的表现。

🔎 结论是否比证明窄

是。作者声称“asymptotically guarantees type I error control”，但论文中没有给出任何正式的定理陈述或证明。作者只是说“in regular models, the posterior distribution is asymptotically normal, and thus the Bayesian procedure asymptotically controls the type I error rate”。这是一个非正式的声称，而不是一个严格的数学证明。具体地：

  • 论文中没有明确写出Bernstein-von Mises定理在SUR模型下的适用条件。
  • 论文中没有给出FWER的渐近上界（如 \( \limsup_{n\to\infty} \text{FWER} \leq \alpha \)）的证明。
  • 论文中没有讨论当模型误设（如误差非正态）时，FWER控制是否仍然成立。

因此，本文的结论（渐近FWER控制）是一个基于已有渐近理论的推断，而不是一个本文独立证明的新结果。对于一篇方法论文，这可以接受，但研究者需要意识到这一局限。

四、开放问题

  1. 严格证明渐近FWER控制：本文没有给出正式的定理陈述或证明。一个开放问题是：在SUR模型下，能否给出Bernstein-von Mises定理的适用条件，并严格证明FWER的渐近上界？这扎根于本文“asymptotically guarantees type I error control”这一非正式声称。

  2. 模型误设下的稳健性：本文假设误差正态性和线性模型。当这些假设不成立时（如非正态误差、非线性处理效应），FWER控制是否仍然成立？这扎根于本文的SUR模型假设。

  3. 缺失数据：本文假设无缺失数据。在临床试验中，缺失数据是常见的（如患者退出）。如何处理缺失数据下的多重比较？这扎根于本文的“无缺失数据”假设。

  4. 高维结局：本文的SUR模型要求 \( K \) 远小于 \( n \)（因为需要估计 \( K \times K \) 协方差矩阵）。当 \( K \) 很大（如基因组数据中的多个生物标志物）时，如何扩展本文方法？这扎根于本文的SUR模型设定（需要估计 \( \boldsymbol{\Sigma} \)）。

  5. 与置换方法的比较：Westfall & Young (1993) 的置换方法也利用相关性信息控制FWER。本文方法与之相比，在功效、计算复杂度和假设稳健性上如何？这扎根于本文intro中未引用置换方法这一事实。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论