跳转至

No Universal Multiplicative FDR Bound for the Benjamini-Hochberg Procedure with Correlated Two-Sided Gaussian Tests

作者: Lihua Lei
主题: 数理统计 / 假设检验
相关性: 8/10
链接: https://arxiv.org/abs/2607.14812

一、领域脉络与小综述

这个方向是什么

这个子方向研究的是多重假设检验中，Benjamini-Hochberg (BH) 程序在检验统计量存在相关性时的假发现率 (FDR) 控制问题。核心问题是：当p值不独立时，BH程序是否仍然能控制FDR在名义水平q之下？如果不能，其最坏情况下的FDR膨胀程度有多大？该方向当前处于一个从“猜想”到“反例”再到“精细刻画”的活跃期，经典结论正在被重新审视。

发展脉络

  1. 奠基工作：BH程序与PRDS条件

    • Benjamini & Hochberg (1995)：提出了BH程序，并证明在独立p值下，FDR ≤ q * (m0/m) ≤ q。这是整个领域的起点。
    • Benjamini & Yekutieli (2001)：将BH的FDR控制推广到一种特定的正相关结构——正回归依赖子集 (PRDS)。这是当时最广为人知的、保证BH有效的相关结构。同时，他们提出了一个在任何相关下都保守的BY过程（带log修正）。

  2. 主要进展：FDR-linking定理与猜想

    • Su (2018)：提出了FDR-linking定理，这是一个强大的非渐近分析工具。该定理将BH的FDR行为与仅由null p值的联合分布联系起来。Su指出，如果null p值满足一种比PRDS更弱的正依赖条件（PRDN），则BH的FDR可以被一个与假设总数无关的界所控制。这为分析相关p值下的BH提供了新框架。
    • Reiner-Benaim (2007), Sarkar (2023), Sarkar & Zhang (2025)：这些工作支持或陈述了一个长期存在的猜想：对于双侧高斯检验，无论相关矩阵如何，BH程序都能在名义水平q下控制FDR。这个猜想在文献中被广泛相信，部分原因是数值模拟结果的支持。

  3. 当前Frontier：反例与精细刻画

    • Dobriban (2026)：首次严格证明了这个猜想是错误的。他构造了一个因子模型，在q=0.01时，通过区间算术证明FDR > 0.0104。这打破了二十年的共识，但留下了一个更精细的问题：FDR的膨胀有多大？是否有一个通用的乘法常数C，使得FDR ≤ Cq？
    • 本文 (Lei, 2026)：直接回答了上述问题。本文证明，不存在这样的通用常数C。具体地，FDR的膨胀因子FDR/q可以随着q→0而发散，达到至少c √log(1/q)的量级。同时，本文对一个包含其反例的公共因子高斯模型类，证明了匹配的上界O(q √log(1/q))，从而在该类中给出了精确的阶。

子线索聚类

  1. BH程序在相关p值下的FDR控制理论：这是主线。包括BH的原始工作、PRDS条件、FDR-linking定理、以及最新的反例和精细界（Dobriban, 2026; Lei, 2026）。核心问题是：BH在什么条件下可靠？最坏情况有多坏？
  2. 利用依赖信息进行FDR控制的替代方法：当BH不可靠时，有哪些替代方案？
    • 条件校准 (Conditional Calibration)：Fithian & Lei (2022) 提出的dBH程序，通过为每个假设校准一个依赖数据的阈值来达到精确的FDR控制。它统一优于BY，且在PRDS下优于BH。
    • Knockoffs：Barber & Candès (2015) 提出的框架，通过构造“诱饵”变量来控制FDR。Li & Fithian (2021) 将其重新解释为对高斯估计量添加噪声的“白化”过程，揭示了其与相关高斯检验的联系。Luo et al. (2025) 的校准knockoffs进一步提升了其在小拒绝集下的功效。

这个方向在追问的核心问题

  1. BH的FDR控制边界：对于给定的相关结构类（如因子模型、稀疏相关、任意相关），BH的FDR最坏情况膨胀的精确阶是什么？
  2. 依赖信息的价值：在已知或可估计相关结构时，如何设计比BH更稳健、更高效的程序？dBH和knockoffs的适用条件和局限性是什么？
  3. 检验统计量的影响：上述结论对单侧检验、双侧检验、或其他非高斯检验统计量（如U-统计量）是否成立？双侧检验的“符号对称性”如何影响依赖结构？
  4. 有限样本 vs 渐近行为：现有结果（如本文的下界）多是渐近的（q→0）。对于固定的、实际中常用的q（如0.05, 0.1），最坏情况的膨胀因子是多少？

⚠️ 作者的framing

  • 作者的缺口frame：作者将缺口frame成“没有通用乘法常数界”。在Dobriban (2026) 证明BH可能失败后，一个自然的后续问题是：失败的程度是否有限？作者通过证明膨胀因子可以发散，彻底否定了“有界”的猜想，从而将问题从“是否存在反例”推进到“最坏情况有多坏”。
  • 被淡化或回避的竞争路线：作者在讨论部分提到了dBH和knockoffs作为替代方案，但并未深入比较。他回避了一个关键问题：对于他构造的反例，dBH或knockoffs的表现如何？ 它们是否能达到FDR控制？如果能，其功效损失有多大？这可能是作者留给读者的开放问题。
  • 什么明显该被引/该存在、却没出现在intro里？：作者引用了Su (2018) 的FDR-linking定理，但并未深入讨论该定理在PRDN条件下给出的O(q log(1/q))上界。本文的上界是O(q √log(1/q))，比这个通用上界更紧。一个值得研究者去查的问题是：FDR-linking定理在公共因子模型下是否能被改进到O(q √log(1/q))？或者，本文的上界证明是否隐含了对FDR-linking定理的某种改进？

张力

  • 未见明显对立引用，但存在一个高价值信号：Sarkar (2023) 的论文标题是“On Controlling the False Discovery Rate...”，其摘要声称对已知协方差矩阵的情况给出了BH控制FDR的“部分证明”。这与Dobriban (2026) 和本文的结论（BH可能失败）存在直接矛盾。这个矛盾是理解该领域当前状态的关键。研究者需要仔细阅读Sarkar (2023) 的假设和证明，看其“部分证明”是否依赖于某些被Dobriban/Lei的构造所违反的隐含条件。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：

    • m: 假设总数。
    • T = (T_1, ..., T_m): 一个m维高斯随机向量，代表检验统计量。
    • θ = (θ_1, ..., θ_m): T的均值向量。原假设H_i: θ_i = 0。
    • Σ: T的协方差矩阵，对角元Σ_ii = 1（即每个T_i的方差为1）。
    • P_i = p(|T_i|): 第i个假设的双侧高斯p值，其中p(x) = 2Φ(-x)，Φ是标准正态CDF。
    • q: BH程序的名义FDR水平。
    • V: 被错误拒绝的真原假设个数。
    • R: 被拒绝的假设总数。
    • FDP = V / (R ∨ 1): 假发现比例。
    • FDR = E[FDP]: 假发现率。
    • Z: 一个公共的、不可观测的潜在因子，服从标准正态分布。
    • a_i: 第i个变量在公共因子Z上的载荷，满足|a_i| ≤ 1。
    • ε_i: 第i个变量的特异噪声，独立标准正态。
    • π_0, π_1: 真原假设和备择假设的比例。
    • u_q: 满足p(u_q) = q的临界值，即u_q = Φ^{-1}(1 - q/2)。

  • 模型：

    • 数据生成机制：T_i = θ_i + a_i Z + √(1 - a_i²) ε_i，其中Z和所有ε_i独立同分布于N(0,1)。
    • 这是一个单公共因子模型。所有T_i通过共享的Z而相关，相关系数为a_i a_j。
    • 已知：a_i是已知的载荷参数。θ_i是未知的均值参数。
    • 要估的对象：我们并不直接估计参数，而是进行假设检验，控制FDR。

  • 可观测数据：

    • 研究者能观测到的是T_i的样本实现（一个m维向量）。
    • 由此可以计算出每个假设的p值P_i。
    • 潜在/不可观测的是：每个T_i背后的Z和ε_i的具体实现，以及θ_i是否为0（即哪些是真正的原假设）。我们只能通过假设（如θ_i=0）和观测到的T_i来推断。

第二步：讲最小内核

本文的核心数学问题是：在公共因子模型下，BH程序的FDR膨胀因子FDR/q的上界是多少？

最简特例：考虑一个极端简化的单因子模型，其中所有变量都是原假设（即所有θ_i = 0），且所有载荷都相等，即a_i = a（0 < a < 1）。那么： * T_i = a Z + √(1-a²) ε_i，所有T_i共享同一个Z。 * 所有p值P_i = p(|T_i|)都是同分布的，且高度相关。

在这个特例下，要证的命题退化成什么？ 本文的Theorem 2要证明的是：对于任何公共因子模型（包括这个特例），FDR ≤ q * [1 + π_0 * ( (1-q)/2 + u_q/√(2π) )]。 在这个特例中，π_0 = 1（所有都是原假设），所以上界简化为： FDR ≤ q * [1 + (1-q)/2 + u_q/√(2π)] = q * [3/2 - q/2 + u_q/√(2π)]。 当q很小时，u_q ≈ √(2 log(1/q))，因此上界约为 q * (3/2 + √(log(1/q)/π))，即 O(q √log(1/q))。

证明怎么走？ 证明的核心是一个留一法 (leave-one-out) 恒等式（公式34）： FDR = Σ_{i∈H₀} E[ 1{P_i ≤ q R_i / m} / R_i ] 其中R_i是将第i个p值替换为0后，BH程序拒绝的总数。

关键想法：这个恒等式将FDR分解为每个原假设的贡献。关键在于，条件于公共因子Z，第i个p值P_i与R_i是独立的（因为R_i只依赖于其他变量的p值，而P_i只依赖于ε_i，ε_i与所有其他变量独立）。因此，条件期望可以写成： E[ 1{P_i ≤ q R_i / m} / R_i | Z] = E[ (1/R_i) * P(P_i ≤ q R_i / m | Z, R_i) | Z] = E[ (1/R_i) * F_{i,Z}(q R_i / m) | Z] 其中F_{i,Z}(t) = P(P_i ≤ t | Z)是条件于Z的p值CDF。

为什么成立？ 因为F_{i,Z}(t) / t的上确界可以被控制。对于原假设，P_i = p(|aZ + √(1-a²)ε|)。通过精细的尾概率分析（公式36），可以证明： ϕ(z) * sup_{0<t≤q} F_{i,z}(t)/t ≤ (1/(2√(2π))) * [exp(-(ru_q - |z|)²_+ / (2s²)) + exp(-(ru_q + |z|)² / (2s²))] 其中r = |a|, s = √(1-r²)。 这个上界在|z| ≤ u_q的区间内积分后，可以得到一个与u_q成正比的界（公式37-38），最终导致O(q √log(1/q))的上界。

总结：这个最小内核展示了，即使所有变量都是原假设且高度相关，BH的FDR膨胀也是有限的，其阶为q √log(1/q)。证明的关键在于利用公共因子Z进行条件独立分解，然后对条件p值的尾概率进行精细控制。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：本文研究了Benjamini-Hochberg (BH) 程序在双侧高斯检验下，当相关矩阵可以任意设定时，其最坏情况下的假发现率 (FDR) 膨胀问题。
  2. 核心工具/方法：通过构造性分析（构建一个公共因子模型的反例）和高维概率不等式（对公共因子模型类推导匹配的上界），来刻画FDR膨胀的精确阶。
  3. 主要结论：证明了不存在一个通用乘法常数C使得FDR ≤ Cq；具体地，FDR膨胀因子FDR/q可以随着名义水平q→0而发散，其下界至少为c q √log(1/q)。同时，对一个包含该反例的公共因子高斯模型类，证明了匹配的上界FDR = O(q √log(1/q))。

关键设定与假设

  • 设定：观测到一个高斯向量T ~ N(θ, Σ)，其中Σ的对角元均为1。原假设为H_i: θ_i = 0，使用双侧p值P_i = 2Φ(-|T_i|)。BH程序在名义水平q下运行。
  • 假设：
    • 无限制的相关矩阵：下界证明中，Σ可以是任意半正定矩阵，对角元为1。这是最坏情况分析。
    • 公共因子模型：上界证明中，假设T_i = θ_i + a_i Z + √(1-a_i²) ε_i，其中Z和ε_i独立标准正态，|a_i| ≤ 1。这是一个比任意相关更窄的模型类，但包含了本文构造的反例。
    • 与已有文献的对比：相比Benjamini & Yekutieli (2001) 的PRDS假设，本文的上界模型允许负相关（因为a_i a_j可以为负）。相比Su (2018) 的PRDN假设，本文的上界模型是一个更具体的子类，因此可以得到更紧的界（O(q √log(1/q)) vs O(q log(1/q))）。

主要结果

  • Theorem 1 (下界)：对于任意δ > 0，存在q₀ > 0，使得对所有q < q₀，有 sup_{m, θ, Σ} FDR(BH_q) ≥ (1/(2√π) - δ) * q * √log(1/q)。

    • 直觉：这个下界是通过构造一个特定的公共因子模型得到的。该模型包含一个“强信号”的Y-block，其均值很大，使得它们的p值非常小，从而“欺骗”BH程序做出大量拒绝。同时，一个“弱相关”的X-block（原假设）的p值在BH阈值附近有异常高的密度，导致大量假发现。
    • 必要条件：q必须足够小，使得构造中的参数选择（如a, b, c, π₁）能够满足一系列不等式。
    • 解决的技术难点：如何构造一个模型，使得在BH阈值附近，原假设p值的条件密度被放大，同时备择假设的p值又足够小以驱动BH阈值上升。这需要精细地平衡载荷a、均值µ和比例π₀, π₁。

  • Theorem 2 (上界)：对于公共因子模型，当q ≤ 2Φ(1) ≈ 0.3173时，有 FDR(BH_q) ≤ q * [1 + π₀ * ((1-q)/2 + u_q/√(2π))]。

    • 直觉：这个上界表明，即使在最坏情况下，FDR的膨胀也是有限的，且其阶为q √log(1/q)。当q很小时，u_q ≈ √(2 log(1/q))，因此上界约为q * (1 + π₀ * √(log(1/q)/π))。
    • 与下界的匹配：由于下界构造也属于公共因子模型类，因此O(q √log(1/q))是该类中FDR膨胀的精确阶。

证明路线与技术技巧

下界证明 (Theorem 1) 路线：

  1. 构造模型：构建一个包含两个block的公共因子模型。X-block（m₀个）是原假设，载荷为a；Y-block（m₁个）是备择假设，载荷为-1，其均值µ_j从精心设计的分布ν_q中抽取。
  2. 极限比较 (Lemma 2)：利用经验过程理论（Glivenko-Cantelli定理），证明当m→∞时，有限样本的FDR可以近似为条件于公共因子Z的某个积分。这个引理将问题从有限样本的随机性转化为对条件概率R_{0,z}(s)和R_{1,z}(s)的分析。
  3. 参数选择与不等式验证：选择特定的参数（a, b, c, π₁, ϵ等），使得在Z的一个区间[b u_q, c u_q]内，条件于Z的p值CDF满足两个关键性质：
    • 下界：在某个点t_z = p(z/a)处，q R_z(t_z) > t_z，确保BH阈值至少为t_z。
    • 上界：在区间[(1+ϵ)t_z, q]内，q R_z(s) < s，确保BH阈值不会超过(1+ϵ)t_z。
    • 这些性质的验证依赖于对正态尾概率的精细估计（Mills比率，Lemma 1）和对构造的分布ν_q的巧妙定义。
  4. 积分得到下界：将Lemma 2的结论与上述性质结合，将FDR的下界转化为一个关于Z的积分。利用Mills比率渐近公式（公式4），计算出该积分的主项为(π₀(c-b) / (2(1+ϵ)σ√π)) * q u_q，再结合u_q ~ √(2 log(1/q))，得到最终的下界。

上界证明 (Theorem 2) 路线：

  1. 留一法恒等式：使用标准的留一法技巧（公式34），将FDR分解为每个原假设的贡献。
  2. 条件独立：条件于公共因子Z，第i个原假设的p值P_i与留一法的拒绝数R_i独立。这使得条件期望可以分解。
  3. 控制条件p值CDF：对于每个原假设i，需要控制sup_{0<t≤q} F_{i,z}(t)/t，其中F_{i,z}(t)是条件于Z=z的p值CDF。通过将F_{i,z}(t)表示为高斯尾概率的积分，并利用一个关键的不等式（公式36），可以得到一个关于|z|的指数型上界。
  4. 积分与尾概率处理：将条件期望对Z积分。将积分区域分为|Z| ≤ u_q和|Z| > u_q两部分。
    • 在|Z| ≤ u_q区域，利用上一步得到的指数型上界进行积分，得到一个与u_q成正比的界（公式37-38）。
    • 在|Z| > u_q区域，直接使用FDP ≤ 1，其概率为P(|Z| > u_q) = q。
  5. 合并得到上界：将两部分结果合并，得到最终的FDR上界。

技术技巧点名： * 留一法 (Leave-one-out)：用于分解FDR，是BH分析的标准技巧。 * 经验过程 (Empirical Process)：Lemma 2中使用Glivenko-Cantelli定理进行极限比较。 * Mills比率 (Mills Ratio)：用于精细估计正态分布的尾概率，是推导下界和上界中许多不等式的核心工具。 * 条件独立 (Conditional Independence)：利用公共因子Z进行条件分解，是上界证明的基石。 * 正态尾概率的指数型上界：公式36的推导，通过将条件密度与标准正态密度之比进行放缩，得到了一个简洁的指数型上界。

真实例子与应用

本文为纯理论论文，无实证例子。 作者在讨论部分提到了dBH和knockoffs作为替代方法，但并未进行任何模拟或数据应用来比较它们与BH在构造的反例下的表现。

🔎 结论是否比证明窄

  • Theorem 1 (下界) 的结论是渐近的（对所有足够小的q成立），并且是存在性的（存在一个模型使得FDR至少为...）。它没有给出对于固定q（如q=0.05）的精确下界，也没有给出一个“最坏情况”相关矩阵的显式构造（虽然构造是显式的，但依赖于参数选择）。
  • Theorem 2 (上界) 的结论是非渐近的（对q ≤ 0.3173成立），但仅限于公共因子模型类。作者在讨论中承认，对于更一般的相关结构，这个上界是否成立是未知的。论文的标题“No Universal Multiplicative FDR Bound”是一个很强的声明，但它的证明只依赖于一个特定的构造。 这个声明是否意味着对于任何非平凡的模型类，膨胀因子都可以发散？论文没有回答这个问题。

四、开放问题

  1. 更一般相关结构下的上界：本文的上界仅限于公共因子模型。对于更一般的相关结构（如稀疏相关、Toeplitz相关），BH的FDR膨胀是否仍然有O(q √log(1/q))的上界？或者是否存在其他模型类，其膨胀阶更大？（扎根于：Theorem 2的证明依赖于公共因子结构进行条件独立分解，无法直接推广。）
  2. 有限q下的精确下界：本文的下界是渐近的（q→0）。对于实际中常用的固定q（如0.05, 0.1），能否构造出具体的模型，使得FDR/q的膨胀因子达到多大？这个值是否显著大于1？（扎根于：Theorem 1的证明依赖于“对所有足够小的q”，没有给出固定q下的数值结果。）
  3. 替代方法的表现：对于本文构造的反例，dBH (Fithian & Lei, 2022) 和knockoffs (Barber & Candès, 2015) 是否能成功控制FDR？如果能，其功效（power）与BH相比如何？如果不能，是否存在一个统一的、对任意相关都稳健且高效的FDR控制程序？（扎根于：Discussion部分提到了这些方法，但未进行任何比较。）
  4. 检验统计量的推广：本文的结论是否依赖于双侧高斯检验的特殊性？对于单侧高斯检验，或者基于U-统计量的p值，类似的反例和上界是否成立？特别是，U-统计量的p值通常具有更复杂的依赖结构，其FDR控制问题可能更具挑战性。（扎根于：论文的设定明确限定于双侧高斯检验，这是研究者自身在U-统计量方面工作的一个自然延伸点。）

Maintained by 陈星宇 · Homepage · Source on GitHub

评论