E-Values For Multiplicity Control In Multiverse Analysis¶

作者: Paul Rognon-Vael, David Rossell
主题: 数理统计 / 假设检验
相关性: 7/10
链接: https://arxiv.org/abs/2607.17596

一、领域脉络与小综述¶

这个方向是什么¶

本文研究的核心问题是：在多宇宙分析（multiverse analysis） 中，当研究者同时检验多种处理定义、多种结果定义及多种子群体组合下的关联性时，如何对多重比较进行有效的统计控制，特别是控制错误发现率（FDR）。多宇宙分析本身是一个探索性工具，旨在评估结果对分析规格变化的敏感性，但当它被用于正式的统计推断时，必须正视多重比较带来的假阳性膨胀问题。本文的切入点是使用e-value这一新兴框架，利用其在任意依赖结构下都能严格控制FDR的特性，来解决多宇宙分析中检验统计量之间依赖结构复杂、难以建模的痛点。

发展脉络（history）¶

奠基工作：FDR控制与多宇宙分析的提出
- Benjamini & Hochberg (1995) [10]：提出了经典的BH过程，用于在多重检验中控制FDR。其核心假设是检验统计量之间独立或具有某种正相依结构（PRDS）。这是整个领域的基石。
- Simonsohn, Simmons & Nelson (2020) [1]：正式提出了规格曲线分析（Specification Curve Analysis, SCA），作为多宇宙分析的一种具体实现。SCA通过报告所有规格下中位效应估计的显著性来规避多重比较问题，但本文作者指出，这种做法在存在效应异质性时会产生严重误导。
主要进展：对SCA的批判与e-value框架的兴起
- Semken & Rossell (2022) [2]：对SCA进行了严厉的统计批判。他们通过实证（[3]的数据）指出，SCA因错误地调整协变量、掩盖效应异质性，导致得出“科技使用与青少年心理健康无关”的错误结论。他们提出了贝叶斯规格曲线分析（BSCA）作为替代，但BSCA在有限样本下无法提供严格的频率学派FDR控制。
- Wang & Ramdas (2022) [5]：提出了e-BH过程，这是本文的核心技术工具。e-BH过程利用e-value（期望≤1的随机变量）来执行BH式筛选，其关键优势在于：无论e-value之间的依赖结构如何，都能在有限样本下严格控制FDR，无需任何独立性或正相依假设。
- Vovk & Wang (2021) [6]、Grünwald et al. (2024) [7]、Chugg et al. (2026) [8]：这些是e-value理论的开创性工作，定义了e-value的基本性质、最优性准则（如GROW）和与p-value、贝叶斯因子的关系。Ramdas & Wang (2025) [9] 是这一领域的权威专著。
当前Frontier与本文位置
- 当前前沿在于将e-value理论应用于具体、复杂、高维的统计推断问题，并评估其在实际场景中的统计功效（power）。e-value的强项（任意依赖下的FDR控制）伴随着一个公认的弱点：统计功效通常低于基于p-value的方法（当后者的假设成立时）。
- 本文的位置：本文是e-value理论在多宇宙分析这一特定应用场景下的首次系统性评估。它没有提出新的e-value理论，而是比较了三种现成的e-value构造策略（通用混合e-value、软秩e-value、p-to-e校准）在GLM框架下的功效，并给出了一个具体的应用案例。其核心贡献在于实证比较和应用指导，而非理论创新。

子线索聚类¶

传统FDR控制方法：包括BH过程 [10]、其正相依变体 [11]、q-value [12]、局部FDR [13]、最优发现过程 [14] 和贝叶斯发现过程 [15]。这些方法通常需要独立性或特定依赖结构假设，或需要估计大量 nuisance 参数，在多宇宙分析中应用受限。
e-value理论与方法：包括e-value的定义与性质 [6-9]、e-BH过程 [5]、通用推断 [17]、软秩e-value [18]、p-to-e校准 [24]。这一簇的核心优势是稳健性（对依赖结构不敏感）和可组合性（可跨数据集相乘或平均）。
多宇宙分析框架：包括SCA [1]、BSCA [2] 和本文的GLM框架。这一簇关注如何定义、估计和推断多个处理-结果-子群体组合下的效应。本文的框架明确排除了SCA中“选择协变量子集”的做法，以避免产生无统计意义的边际/条件混合效应。

这个方向在追问的核心问题¶

如何在多宇宙分析中实现严格且高效的FDR控制？ 传统方法依赖强假设，e-value方法虽稳健但功效低。如何平衡二者？
e-value的统计功效是否足以在实际应用（如社会科学）中产生有意义的发现？ 本文的核心追问正是这一点。
当模型设定错误时，e-value的稳健性如何？ 软秩e-value通过置换提供了对模型错误设定的稳健性，但代价是计算成本和功效损失。
如何为多宇宙分析设计更优的e-value？ 当前最优e-value（如GROW）在复合假设下难以计算，而通用方法（如通用混合）功效极低。是否存在介于两者之间的、计算可行且功效可观的e-value构造？

⚠️ 作者的 framing¶

作者的缺口frame：作者将缺口frame成“多宇宙分析需要一种在任意依赖结构下都能严格控制FDR的方法，而e-value正好满足这一需求”。他们进一步将问题具体化为“哪种e-value构造策略在多宇宙分析的典型设定下功效最高？”。这使得本文成为“显然的下一步”：既然e-value理论已成熟，那么就该测试它在具体问题中的表现。
淡化/回避的竞争路线：
- BSCA [2]：作者承认BSCA在渐近意义上更有效，但指出它“不提供有限样本下的严格I类错误控制”。这淡化了贝叶斯方法在模型正确时的潜在优势。
- 传统FDR方法（如BH）：作者强调它们需要独立性或正相依假设，这在多宇宙分析中“通常不成立”。这回避了一个可能性：在某些特定多宇宙分析中，检验统计量可能近似满足这些假设，从而BH过程可能比e-value更有效。
- 直接使用p-value并做Bonferroni校正：这是最保守的方法，但作者未将其作为主要比较基线。
什么明显该被引/该存在、却没出现在intro里？
- 关于e-value在广义线性模型（GLM）中具体构造的文献：本文的核心设定是GLM，但引用的e-value构造文献（如[17, 18]）并非专门针对GLM。是否存在更优的、利用GLM似然函数结构的e-value构造？例如，针对GLM的“通用似然比检验”的e-value版本。
- 关于“多宇宙分析”中多重比较的贝叶斯方法：除了BSCA，是否有其他贝叶斯多重比较方法（如Dirichlet过程混合模型）被应用于多宇宙分析？作者仅引用了[15]作为贝叶斯发现过程，但未讨论其在多宇宙分析中的适用性。
- 关于“依赖结构”的量化：作者反复强调e-value对依赖结构稳健，但未引用任何量化多宇宙分析中检验统计量之间依赖结构的工作。这种依赖结构具体有多复杂？是弱相关、强相关还是混合符号相关？这会影响e-value相对于其他方法的相对优势。

张力¶

未见明显对立引用。所有被引工作基本在各自的框架内自洽，没有出现“在相同条件下得出相反结论”的情况。主要的张力存在于不同方法之间的权衡（如稳健性 vs. 功效），而非根本性的矛盾。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
- l：结果（outcome）的索引，l = 1, ..., L。
- j：处理（treatment）的索引，j = 1, ..., p_x。
- k：子群体（subpopulation）的索引，k = 1, ..., p_g。
- i：观测个体的索引，i = 1, ..., n。
- y^{(l)}：第l个结果的n维观测向量。可观测。
- X：n × p_x 的处理变量矩阵。可观测。
- Z：n × p_z 的控制协变量矩阵。可观测。
- G：n × p_g 的子群体编码矩阵。可观测。
- β_j^{(l)}：处理j对结果l的平均处理效应（ATE）。这是要估计和检验的参数。
- δ_j^{(l)}：处理j对结果l的子群体特异性效应。这是要估计的参数。
- θ^{(l)}：包含所有回归系数的完整参数向量。这是要估计的参数。
- H_{lj}：零假设，即β_j^{(l)} = 0。这是要检验的命题。
- E_{lj}：用于检验H_{lj}的e-value。这是检验统计量。
- π_{lj}：用于检验H_{lj}的p-value。这是检验统计量。
- α：用户指定的FDR控制水平。
- K = L * p_x：总假设检验数。
模型：
- 数据生成机制由广义线性模型（GLM） 描述： F(E(y_i^{(l)} | x_i, z_i, g_i)) = β_0^{(l)} + z_i^T η_z^{(l)} + g_i^T η_g^{(l)} + Σ_{j=1}^{p_x} (β_j^{(l)} + g_i^T δ_j^{(l)}) x_{ij}
- 其中F是链接函数（如线性回归的恒等函数，逻辑回归的logit函数）。
- 关键假设：模型设定正确（即GLM是真实的数据生成过程），且W^T W可逆（W = [X, Z, G]）。
- 要估计的对象是β_j^{(l)}，它被定义为所有个体上的平均边际效应，通过特定的子群体编码（加权和为零约束）实现。
可观测数据：
- 研究者能观测到的是：y^{(l)}（所有L个结果）、X、Z、G。
- 想要但观测不到的是：真实的参数β_j^{(l)}、δ_j^{(l)}等。我们只能通过GLM拟合来估计它们。此外，在置换检验中，我们通过构造“合成处理”来模拟零假设下的数据，这些合成数据是不可直接观测的，而是通过算法生成的。

第二步：讲最小内核¶

本文的核心思路可以简化为一个最简特例：只有一个结果（L=1）、一个处理（p_x=1）、没有子群体（p_g=0）、且使用线性回归（F为恒等函数）。

最简设定：
- 模型：y_i = β_0 + β_1 x_i + z_i^T η + ε_i，其中ε_i ~ N(0, σ^2)。
- 零假设：H: β_1 = 0。
- 备择假设：H_1: β_1 ≠ 0。
- 可观测数据：(y_i, x_i, z_i) for i = 1, ..., n。
核心思路：
1. 计算p-value：首先，用标准的似然比检验（或t检验）计算检验H: β_1 = 0的p-value，记为π。这个p-value在零假设下服从（或渐近服从）均匀分布U(0,1)。
2. p-to-e校准：使用一个p-to-e校准函数将p-value π转换为e-value E。本文比较了两个校准函数：
  - 混合校准器：E_{c1} = (1 - π + π log π) / (π (log π)^2)。
  - 逆根校准器：E_{c2} = π^{-1/2} - 1。
3. e-value的性质：关键性质是，对于任何零假设下的分布，E[E] ≤ 1。这是因为校准函数被设计为满足∫_0^1 f(u) du = 1（对于E_{c1}）或E[π^{-1/2}] = 2（对于E_{c2}，但需要调整）。实际上，对于均匀分布的p-value，E[E_{c2}] = ∫_0^1 (u^{-1/2} - 1) du = 2 - 1 = 1。
4. FDR控制：当有多个这样的假设（H_{lj}）时，我们得到一组e-value {E_{lj}}。然后应用e-BH过程：
  - 将e-value从大到小排序：e_{[1]} ≥ e_{[2]} ≥ ... ≥ e_{[K]}。
  - 找到最大的k，使得k * e_{[k]} / K ≥ 1/α。
  - 拒绝所有k个最大的e-value对应的零假设。
5. 为什么成立：e-BH过程控制FDR的证明依赖于一个关键引理：对于任何一组e-value（无论依赖结构如何），E[ Σ_{j in rejected set} 1_{H_j is true} / max(1, |rejected set|) ] ≤ α。证明的核心是利用了e-value在零假设下期望≤1的性质，以及一个巧妙的“反向归纳”或“对偶”论证，该论证不依赖于独立性。
这个最小内核揭示了什么：
- 本文的整个方法可以看作是这个最简例子的直接推广：将线性回归换成GLM，将单个检验换成L * p_x个检验，并引入子群体效应。
- 核心数学困难不在于e-value理论本身（e-BH过程是现成的），而在于如何为GLM下的复合假设构造一个有效的、且功效尽可能高的e-value。p-to-e校准提供了一个简单、通用的解决方案，其功效取决于p-value本身的质量。通用混合e-value和软秩e-value则是另外两种构造思路，但本文的模拟表明，在典型设定下，p-to-e校准的功效最高。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在多宇宙分析（同时检验多种处理-结果-子群体组合）中，如何利用e-value在任意依赖结构下控制FDR，并比较了不同e-value构造策略的统计功效。
核心工具/方法：在广义线性模型（GLM）框架下，使用e-BH过程进行FDR控制，并比较了三种e-value构造方法：通用混合e-value、软秩e-value和p-to-e校准（混合校准器与逆根校准器）。
主要结论：p-to-e校准（特别是混合校准器）在典型的多宇宙分析设定下，统计功效显著优于通用混合和软秩e-value；但即使如此，其功效仍可能中等，除非样本量或效应量足够大。在青少年科技使用与心理健康关联的真实数据中，该方法发现了与先前研究（[3]）相反的显著关联。

关键设定与假设¶

完整设定：在第二节的GLM框架（公式1）下，考虑L个结果、p_x个处理、p_z个控制协变量和p_g个子群体。零假设为H_{lj}: β_j^{(l)} = 0（处理j对结果l无平均效应）。
关键假设：
1. GLM模型正确：数据由公式(1)中的GLM生成，链接函数F正确指定。
2. W^T W可逆：设计矩阵W = [X, Z, G]满秩，确保MLE存在且唯一。
3. 子群体编码约束：子群体编码g_{ik}采用特定的加权和为零约束，使得β_j^{(l)}可解释为平均处理效应（ATE）。
4. 对于p-to-e校准：p-value π_{lj}在零假设下是（或渐近是）均匀分布的。这依赖于似然比检验的卡方渐近分布，对于有限样本并非精确成立。
5. 对于通用混合e-value：先验分布p(θ^{(l)} | H_l)（如Zellner's g-prior）被正确指定，且MLE \hat{p}_{lj}在零假设下是密度的一致估计。
6. 对于软秩e-value：通过置换构造的检验统计量T_1, ..., T_B在零假设下与T_0可交换。这依赖于置换方案的正确性（如通过回归残差置换来保持协变量结构）。
相比已有文献的放宽/强化：
- 放宽：相比BH过程[10]，e-BH过程放宽了对检验统计量独立或正相依的假设，允许任意依赖结构。
- 强化：相比BSCA [2]，本文的框架强化了有限样本下的严格FDR控制，但代价是可能牺牲了BSCA在模型正确时的渐近功效优势。
- 对比SCA [1]：本文明确反对SCA中“报告所有规格的中位效应”的做法，并坚持对每个规格单独进行假设检验，从而避免了SCA因效应异质性而产生的误导性结论。

主要结果¶

理论结果：本文没有提出新的理论定理。其主要理论贡献是应用了已有的e-BH过程[5]和p-to-e校准[24]理论，并证明了在GLM框架下，这些方法可以用于多宇宙分析中的FDR控制。核心理论保证是：e-BH过程在任意依赖结构下控制FDR ≤ α（[5]的定理）。
模拟结果：
- I类错误控制：所有四种e-value（通用混合、软秩、混合校准、逆根校准）在逻辑回归和线性回归中均表现出保守性，即实际I类错误率低于名义水平α（表1）。
- 统计功效比较：这是本文的核心实证发现。
  - p-to-e校准（特别是混合校准器E_{c1}） 在大多数模拟场景下（不同n和效应量β^*）显著优于通用混合和软秩e-value，积累了更强的证据（更大的log e-value）（图1、图2）。
  - 逆根校准器E_{c2} 在小样本下表现良好，但随着n增大，其相对优势下降。
  - 通用混合e-value 在所有场景下功效极低，几乎无法检测到效应，作者称其“practically useless”。
  - 软秩e-value 在n较大时功效有所提升，但仍不及混合校准器。
- 结论：作者推荐使用混合校准器E_{c1} 作为多宇宙分析中构造e-value的默认选择，但警告其功效可能中等，需要足够大的样本量或效应量。

证明路线与技术技巧¶

本文是应用型论文，没有复杂的证明路线。其技术核心在于如何构造e-value，而非证明e-BH过程。因此，这里拆解的是e-value构造背后的逻辑和技巧。

整体路线：
1. 定义目标：为每个假设H_{lj}构造一个随机变量E_{lj}，满足E_P[E_{lj}] ≤ 1对所有P ∈ H_{lj}成立。
2. 策略一：通用混合e-value：
  - 思路：使用一个在备择假设下定义的先验分布p(θ^{(l)} | H_l)，计算边际似然q_l(y^{(l)})。然后将其与零假设下的MLE \hat{p}_{lj}(y^{(l)}) 的比值作为e-value。
  - 技巧：利用\hat{p}_{lj}(y^{(l)}) ≥ p(y^{(l)})（MLE的性质），证明E_P[E_{lj}] ≤ ∫ q_l(y^{(l)}) dy^{(l)} = 1。这个证明非常简洁，不依赖于任何渐近性质。
  - 计算：对于线性回归，边际似然有闭式解（公式涉及Gamma函数和样本统计量）。对于其他GLM，使用Laplace近似。
3. 策略二：软秩e-value：
  - 思路：基于置换检验。计算原始检验统计量T_0（如似然比），然后通过置换生成B个在零假设下与T_0可交换的统计量T_1, ..., T_B。
  - 技巧：e-value定义为E_{sr} = (B+1) T_0 / Σ_{b=0}^B T_b。证明其期望≤1的关键在于，在零假设下，T_0与T_1, ..., T_B是可交换的，因此T_0在排序中的位置是均匀的，从而E[T_0 / (Σ T_b / (B+1))] = 1。
  - 计算：计算量大，需要为每个假设运行B次置换和模型拟合。
4. 策略三：p-to-e校准：
  - 思路：先计算一个有效的p-value π_{lj}，然后应用一个校准函数f，使得E[f(U)] ≤ 1，其中U ~ Uniform(0,1)。
  - 技巧：校准函数的设计是关键。混合校准器E_{c1}是对一个校准函数族κ u^{κ-1}的混合，其期望为∫_0^1 κ u^{κ-1} du = 1。逆根校准器E_{c2}的期望为E[U^{-1/2} - 1] = 2 - 1 = 1。
  - 计算：最简单，只需计算p-value，然后代入一个解析表达式。

真实例子与应用¶

数据：2015年英国千禧队列研究（MCS）数据，n=11,884名青少年。
场景：研究科技使用（p_x=5：电视、游戏、互联网、社交媒体、个人电脑）与心理健康（L=8：抑郁、低自尊、多动等）的关联，控制p_z=14个协变量。
方法应用：
1. 对每个L * p_x = 40个假设，拟合逻辑回归模型。
2. 计算每个假设的p-value（基于似然比检验）。
3. 使用混合校准器E_{c1}将p-value转换为e-value。
4. 应用精炼e-BH过程（refined e-BH）在FDR水平α=0.05下进行多重比较校正。
结果：
- 在未校正多重比较时，有6个假设的1/E_{c1} > 20（即个体I类错误<0.05）。
- 经精炼e-BH校正后，4个假设被拒绝（表2）：
  - 互联网使用 → 低自尊（OR=4.20）
  - 社交媒体使用 → 抑郁症状（OR=3.02）
  - 互联网使用 → 高同伴问题（OR=2.14）
  - 互联网使用 → 抑郁症状（OR=2.81）
- 这些关联的比值比在2到4之间，被认为具有实际意义。
这个例子想说明什么：
- 验证方法：展示了所提框架在真实数据上的完整应用流程。
- 展示相对优势：与先前使用SCA [3] 得出“无实际关联”的结论相反，本文的方法发现了显著且实际重要的关联。这直接支持了作者对SCA的批判，并展示了多宇宙分析中正确进行多重比较控制的必要性。
- 说明局限性：作者指出，如果使用功效较低的e-value（如通用混合或软秩），则没有任何假设被拒绝。这生动地说明了e-value选择对结果的决定性影响，以及p-to-e校准在实际应用中的优势。

🔎 结论是否比证明窄¶

是。作者在结论中声称“e-values may be an appealing FDR control strategy in this setting”，但模拟和真实数据例子都表明，只有精心选择的e-value（如p-to-e校准）才具有实际可用性。通用混合e-value被证明“practically useless”。因此，结论“e-values是吸引人的策略”是有条件的，依赖于具体的e-value构造。
作者在讨论中承认了这一点：“e-values can be conservative... Our simulations show that this issue is much more marked for some e-values than for others”。这是一个诚实的表述，但读者需要警惕，不要将“e-value方法”整体等同于“p-to-e校准方法”。
另一个窄化之处在于：p-to-e校准的FDR控制保证依赖于p-value的精确性。作者在3.1节末尾指出，对于非高斯族，p-value基于卡方渐近分布，因此“is not exact for finite n, neither is the resulting calibrated e-value”。然而，在模拟中他们发现I类错误控制良好。这是一个经验性结论，而非理论保证。对于更复杂的模型或更小的样本量，这种控制可能失效。

四、开放问题¶

p-to-e校准在模型错误设定下的稳健性：本文的模拟和真实例子都假设GLM模型正确。当模型存在错误设定（如非线性、异方差）时，p-value的分布可能偏离均匀分布，从而破坏p-to-e校准的FDR控制保证。扎根点：作者在3.2节末尾提到“soft-rank e-variables may be preferable for being more robust to model misspecification”，但未对此进行系统研究。一个开放问题是：在何种程度的模型错误设定下，p-to-e校准的FDR控制会失效？能否设计出对模型错误设定更稳健的p-to-e校准器？
e-value在高维多宇宙分析中的表现：本文的模拟和例子中，处理数p_x和结果数L都较小（p_x=5, L=8）。当p_x或L达到几十甚至上百时，e-BH过程的功效会如何变化？扎根点：作者在引言中讨论局部FDR时提到，其需要“the number of hypotheses being tested to be larger than is common in multiverse analyses (at least in the hundreds)”。e-value方法是否能在假设数较少时（如几十个）仍保持可接受的功效？这是一个重要的实际考量。
e-value在时间序列或纵向多宇宙分析中的推广：本文的框架是截面数据。如果多宇宙分析涉及纵向数据（如重复测量），处理效应可能随时间变化，且观测之间存在依赖。如何在此类设定下构造有效的e-value并控制FDR？扎根点：作者在引言中提到了e-value的“anytime-valid inference”特性，但本文并未利用这一点。一个开放问题是：如何将e-value的序贯检验能力与多宇宙分析中的多重比较问题结合起来？
e-value与贝叶斯方法的结合：本文的通用混合e-value使用了贝叶斯边际似然，但功效极低。能否设计出更优的、基于贝叶斯思想的e-value，使其在保持FDR控制的同时，接近BSCA [2] 的统计功效？扎根点：作者在讨论中承认“e-values are a recent framework and that there is active research in designing more powerful procedures”。一个具体方向是：能否将BSCA中的贝叶斯模型平均（BMA）思想与e-value的FDR控制框架结合起来，构造出既稳健又高效的检验？

Maintained by 陈星宇 · Homepage · Source on GitHub