Optimal Certified Multiple Testing with E-values¶
作者: Soumyabrata Bose, Jay Bartroff
主题: 数理统计 / 假设检验
相关性: 6/10
链接: https://arxiv.org/abs/2611.01333
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是基于 e-values 的假设检验与多重检验。其根本问题在于:在传统 p-value 框架下,处理任意相依结构(arbitrary dependence)的多重检验通常需要保守的校正(如 Bonferroni 或 Benjamini-Yekutieli),导致功效损失。e-values 作为一种替代的"证据度量",其核心优势在于:每个 e-value 只需满足边际期望上界(null 下 E[E_i] ≤ 1),即可在任意相依结构下获得 FDR 控制(Wang and Ramdas, 2022)。这个方向的成熟度处于"框架已建立、最优性理论正在完善"的阶段——基础性质(合并、校准)已清楚,但"如何最优地利用 e-values 做决策"仍是开放问题。
发展脉络¶
- 奠基工作:Vovk and Wang (2019) 系统引入 e-values 作为 p-values 的替代,证明其数学上的便利性(如简单平均即可合并),奠定了理论基础。Wang and Ramdas (2022) 提出 e-BH 过程,证明其在任意相依结构下控制 FDR 于 αK₀/K,这是本领域的里程碑——它展示了 e-values 相对于 p-values 在相依性鲁棒性上的本质优势。
- 主要进展:Xu and Ramdas (2025) 引入随机化技术,通过一个独立的均匀随机变量对 e-values 做"随机舍入"(stochastic rounding),证明可以严格提升 e-BH 的功效,同时保持 FDR 控制。其核心操作是:将每个 e-value 随机映射到相邻的阈值网格点上,保持期望不变。这一工作将"随机化"引入 e-value 多重检验,并提出了一个未解决的优化问题。同期,Ignatiadis et al. (2024) 提出 compound e-values 框架,Xu et al. (2025) 建立 e-closure 原理,将 e-value 方法与更一般的闭包检验原理统一。
- 当前 frontier:在 Xu and Ramdas (2025) 之后,核心问题是:在给定 e-values 观测值 x 时,每个坐标的最大可达包含概率(inclusion probability)是多少?能否构造一个同时达到所有坐标最优的规则? 这正是本文要解决的问题。
- 本文的位置:本文在 Xu and Ramdas (2025) 的基础上,引入条件认证(conditional certification) 约束,将随机化 e-BH 的优化问题形式化,并给出显式最优解。它填补了"随机化 e-BH 缺乏最优性保证"这一缺口。
子线索聚类¶
- e-values 基础理论与校准:Vovk and Wang (2019)、Wang and Ramdas (2022)、Blier-Wong and Wang (2026)。这条线关注 e-values 的定义、性质、与 p-values 的转换,以及在单假设检验中的最优阈值。
- 随机化与不等式改进:Ramdas and Manole (2026)、Croci et al. (2022)。这条线从数值分析中的 stochastic rounding 出发,发展出随机化的 Markov 不等式,为随机化检验提供理论基础。
- 多重检验的最优性与完备类:Rosset et al. (2022)、Sun and Wang (2026)、Xu et al. (2025)。这条线关注在给定误差控制约束下,何种检验规则是最优的(或至少是 admissible 的),以及如何刻画所有最优规则的集合。
- 加权与信息整合:Genovese et al. (2006)、Ignatiadis et al. (2024)。这条线关注如何利用先验信息(权重)提升功效,以及 e-values 作为权重的特殊性质。
这个方向在追问的核心问题¶
- 最优性:在给定 e-values 观测值 x 和 FDR 约束下,每个坐标的最大可达包含概率是多少?什么规则能达到这个上界?
- 相依性鲁棒性:如何在完全不假设相依结构的情况下,设计既控制 FDR 又最大化功效的规则?
- 随机化的价值:外部随机化(independent of data)能带来多少功效提升?其最优利用方式是什么?
- 与 p-value 框架的关系:e-value 方法相对于 p-value 方法(如 BY 校正)在何种条件下有实质优势?
已知瓶颈:在任意相依结构下,e-BH 的 FDR 上界 αK₀/K 是紧的,但逐坐标的包含概率缺乏刻画;随机化方法虽然提升功效,但缺乏最优性保证。
⚠️ 作者的 framing¶
作者将缺口 frame 为:"Xu and Ramdas (2025) 提出了随机化 e-BH 的优化问题,但未解决;本文通过条件认证约束,给出了显式最优解。" 具体而言,作者声称: - 现有随机化 e-BH 改进(U-eBH、J-eBH 等)满足条件认证约束,但没有最优性保证("have no established optimality guarantee")。 - 本文证明在条件认证类中,存在一个规则同时达到所有坐标的包含概率上界,且该规则在达到所有界的规则中具有唯一的条件拒绝集分布。 - 作者将结果扩展到 BY 校准的 p-values,建立了 e-value 方法与经典 p-value 方法的联系。
作者淡化的竞争路线包括:compound e-values(Ignatiadis et al., 2024)和 e-closure(Xu et al., 2025)——作者明确说明这些框架"可以允许不满足预算约束的规则,因此不受本文结果约束",暗示这些框架解决的是不同的问题。
值得研究者去查的问题:作者声称"唯一性"是在"达到所有界的规则"中成立,但没有讨论:如果只要求达到部分界(例如只关心加权和最大),是否还有其他最优规则?此外,作者没有讨论计算复杂度——虽然规则形式简单(前缀拒绝),但计算 G_i(x) 需要 O(K²) 的运算,在高维(K 很大)时是否有更快的算法?
张力¶
未见明显对立引用。但有一个微妙的张力值得注意:Rosset et al. (2022) 的最优检验理论是在"给定模型"下优化的,而本文是在"给定观测值 x"下优化的——前者是频率学派的条件最优,后者是逐点最优。这两者的关系(何时一致、何时不同)在文中未讨论。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号清单(逐个点名):
| 符号 | 含义 | 类型 |
|---|---|---|
| K | 假设总数 | 常数(已知) |
| α | 目标 FDR 水平 | 常数(用户设定) |
| X = (X₁,…,X_K) | e-values 观测向量,X_i ≥ 0 | 随机变量(可观测) |
| E_P[X_i] ≤ 1 当 P ∈ H_i | e-value 定义:null 下期望 ≤ 1 | 假设(模型) |
| V | 外部随机化变量,V ~ Uniform(0,1) | 随机变量(辅助,独立于 X) |
| D(x, V) | 随机化拒绝规则,输出拒绝集 ⊆ [K] | 决策规则(待设计) |
| π_i^D(x) = P_V{i ∈ D(x,V)} | 条件包含概率(给定 x 时坐标 i 被拒绝的概率) | 目标量(estimand) |
| Z_i(A) = (K/(α( | A | ∨1)))·1{i∈A} |
| 𝒞 | 条件认证类:满足 E_V[Z_i(D(x,V))] ≤ x_i 对所有 i 的规则 | 规则空间 |
| G_i(x) = (α/K)·Σ_j min(x_i, x_j) | 包含概率上界 | 关键函数 |
| q_r = K/(αr) | e-BH 阈值 | 常数 |
| r_e(x) | e-BH 拒绝秩 | 统计量 |
模型(数据生成机制):
- 对每个假设 i ∈ [K],观测到一个 e-value X_i。
- 关键假设:对每个 null 假设 i ∈ N(P),有 E_P[X_i] ≤ 1。没有对 X 的联合分布做任何假设——这就是"任意相依结构"的含义。
- 决策规则 D 可以依赖 X 和一个独立的外部随机化 V(V ~ Uniform(0,1))。
- 可观测数据:X(e-values 向量)和 V(随机化种子)。不可观测:真实的 null 集合 N(P)。
条件认证约束(本文核心定义):
对每个坐标 i,给定观测到的 e-values x,其期望证书不得超过其 e-value: E_V[Z_i(D(x,V))] ≤ x_i, 对所有 i ∈ [K]。
直观理解:如果 x_i 很大(强证据),则允许坐标 i 有较高的被拒绝概率;如果 x_i 很小(弱证据),则被拒绝概率必须低。这个约束比 FDR 控制更强——它逐坐标地限制了"虚假拒绝"的可能性。
第二步:最小内核¶
最简特例:K = 2,两个假设,e-values x₁, x₂。
核心问题:在条件认证约束下,坐标 1 的最大可达包含概率是多少?
关键等式(证书恒等式,式 3):
对任意拒绝集 A 和坐标 i: 1{i ∈ A} = (α/K)·Σ_{j=1}^K min{Z_i(A), Z_j(A)}
验证(K=2 情形): - 若 i ∈ A,则 Z_i(A) = K/(α|A|)。设 |A| = r。 - 若 j ∈ A,则 Z_j(A) = K/(αr),min = K/(αr) - 若 j ∉ A,则 Z_j(A) = 0,min = 0 - 右边 = (α/K)·[r·(K/(αr))] = (α/K)·(K/α) = 1 ✓ - 若 i ∉ A,则 Z_i(A) = 0,所有 min = 0,右边 = 0 ✓
核心推导(命题 3.3 的 K=2 版本):
对任意 D ∈ 𝒞,坐标 1 的包含概率: π₁^D(x) = E_V[1{1 ∈ D(x,V)}] = E_V[(α/K)·Σ_j min{Z₁(D), Z_j(D)}] (用恒等式) = (α/K)·[E_V[min{Z₁, Z₁}] + E_V[min{Z₁, Z₂}]] ≤ (α/K)·[min{E[Z₁], E[Z₁]} + min{E[Z₁], E[Z₂]}] (min 的凹性 + Jensen) ≤ (α/K)·[min{x₁, x₁} + min{x₁, x₂}] (用认证约束 E[Z_i] ≤ x_i) = (α/K)·[x₁ + min(x₁, x₂)] = (α/K)·Σ_j min(x₁, x_j) = G₁(x)
为什么这个推导是"最小内核": 1. 它展示了证书恒等式如何将"包含概率"转化为"证书的期望"——这是全文的技术核心。 2. 它展示了Jensen 不等式(min 是凹函数)如何将"期望的 min"上界为"min 的期望"。 3. 它展示了认证约束如何将"期望证书"上界为"观测 e-value"。 4. 一般 K 的情形只是这个推导的逐项推广——对每个 j,用 E[min{Z_i, Z_j}] ≤ min{x_i, x_j}。
最优规则的构造(定理 4.1 的直观):
定义 D*(x, U) = {i : U ≤ G_i(x)},其中 U ~ Uniform(0,1)。
- 包含概率:π_i^*(x) = P{U ≤ G_i(x)} = G_i(x)(因为 U 均匀)
- 认证验证:需要证明 E_U[Z_i(D(x,U))] ≤ x_i。证明的关键是前缀性质:由于 G_i(x) 关于 x_i 单调,D(x,U) 是 e-values 排序的前缀。对排序后的坐标,证书 Z_i 在拒绝时等于 K/(αr),其中 r 是拒绝数。通过精细的求和计算(定理 4.1 的证明),可以验证认证约束成立。
这个最小内核告诉我们的核心数学事实:
在条件认证约束下,坐标 i 的最大可达包含概率恰好是 G_i(x) = (α/K)·Σ_j min(x_i, x_j),且这个上界可以被一个简单的阈值规则同时达到。
为什么这个结果非平凡: - 上界不是简单的 x_i 的单调函数,而是所有坐标的 min 之和——体现了多重检验的"竞争"结构。 - 达到上界的规则是前缀规则(按 e-values 排序后拒绝前 r 个),这从优化中"涌现"而非预先假设。 - 唯一性(定理 4.2)说明这个规则在"达到所有界"的意义下是唯一最优的。
三、这篇论文做了什么¶
三句话¶
- 研究问题:在任意相依结构下,给定 e-values 观测值 x,条件认证约束(每个坐标的期望证书不超过其 e-value)对每个坐标的包含概率施加了什么上界?是否存在一个规则同时达到所有上界?
- 核心方法:引入证书恒等式 1{i∈A} = (α/K)Σ_j min{Z_i(A), Z_j(A)},结合 Jensen 不等式和认证约束,推导出包含概率的逐坐标上界 G_i(x) = (α/K)Σ_j min(x_i, x_j);构造阈值规则 D*(x,U) = {i : U ≤ G_i(x)} 并证明其达到所有上界。
- 主要结论:D* 是条件认证类 𝒞 中的同时最优规则——它最大化任何非负加权包含概率和(包括期望真发现数);其条件拒绝集分布在达到所有界的规则中唯一;且 D* 的拒绝集路径包含 e-BH 和 U-eBH 的拒绝集(命题 4.1)。
关键设定与假设¶
核心假设(相比已有文献):
- e-value 条件:每个坐标 X_i 在 null 下满足 E[X_i] ≤ 1。这是 e-value 框架的标准假设,比 p-value 的均匀性假设更弱(p-value 要求 P 值在 null 下均匀,e-value 只要求期望上界)。
- 任意相依结构:对 X 的联合分布不做任何假设。这是 e-value 框架的核心优势——p-value 方法(如 BH)在任意相依下需要 BY 校正,而 e-value 方法天然鲁棒。
- 外部随机化:允许规则依赖一个独立于 X 的均匀随机变量 V。这是 Xu and Ramdas (2025) 引入的设定,本文沿用。
- 条件认证(本文新增):E_V[Z_i(D(x,V))] ≤ x_i 对所有 i。这个约束比 FDR 控制更强,但作者证明它足以推出 FDR 控制(命题 3.2),且所有已知的随机化 e-BH 改进都满足它。
相比已有文献的放宽/强化: - 放宽:不假设 e-values 的联合分布、不假设独立性、不假设 null 的已知性。 - 强化:要求逐坐标的认证约束(比 FDR 控制更强),这使得最优性刻画成为可能。
主要结果¶
定理 4.1(认证与最优性):D(x,U) = {i : U ≤ G_i(x)} 属于条件认证类 𝒞,且其包含概率 π_i^(x) = G_i(x) 达到所有坐标的上界。
推论 4.1(同时最优性):对任何非负权重 w_i,D* 最大化 Σ_i w_i π_i^D(x)。特别地: - 取 w_i = 1 得期望拒绝数最优; - 取 w_i = 1{i ∉ N(P)} 得期望真发现数最优(对任意 truth configuration)。
定理 4.2(唯一性):若一个规则达到所有坐标的包含概率上界且权重全正,则其条件拒绝集分布与 D* 相同。
命题 4.1(路径包含):对每个 x 和 U,D_e(x) ⊆ D_U(x,U) ⊆ D(x,U)。即 D 的拒绝集总是包含 e-BH 和 U-eBH 的拒绝集。
命题 3.2(FDR 控制):任何满足条件认证的规则 D 都有 FDR_P(D) ≤ αK₀(P)/K ≤ α。
证明路线与技术技巧¶
整体路线(3-5 步):
- 证书恒等式:建立 1{i∈A} = (α/K)Σ_j min{Z_i(A), Z_j(A)}。这是纯组合恒等式,将"是否拒绝"转化为"证书的 min 之和"。
- 期望与 Jensen:对随机拒绝集 D(x,V) 取期望,用 min 的凹性(Jensen 不等式)将 E[min{Z_i, Z_j}] 上界为 min{E[Z_i], E[Z_j]}。
- 认证约束:用 E[Z_i] ≤ x_i 替换,得到 π_i^D(x) ≤ (α/K)Σ_j min(x_i, x_j) = G_i(x)。
- 构造与验证:定义 D*,验证其属于 𝒞(需要精细的求和计算,利用前缀性质和 G_i 的单调性)。
- 唯一性:通过等式条件(Jensen 取等、认证约束取等)反推规则的结构,证明唯一性。
技术技巧点名:
- Jensen 不等式(用于 min 的凹性):核心上界工具,将"期望的 min"转化为"min 的期望"。
- 前缀规则:最优规则的形式是"按 e-values 排序后拒绝前缀",这是从优化中涌现的结构,而非预设。
- 路径包含论证:通过比较阈值(G_i(x) ≥ (αr/K)x_[r] ≥ U 的条件),证明 D* 包含 U-eBH 的拒绝集。
- 组合恒等式:证书恒等式是全文的"钥匙",将概率问题转化为代数问题。
- 等式条件分析:唯一性证明依赖于 Jensen 取等和认证约束取等的条件,这需要仔细分析 min 函数的等式条件。
真实例子与应用¶
模拟设置:K = 100 个假设,目标 FDR α = 0.05,30 个真实备择(K₁ = 30),信号强度 μ ∈ [1, 4],两种相依结构: - 正 Toeplitz 相依:Σ_ij = ρ^{|i-j|},ρ ∈ [0, 0.9] - 负等相关:Σ_ii = 1,Σ_ij = -ρ/(K-1),ρ ∈ [0, 0.9]
数据生成:Z ~ N_K(θ(𝒜), Σ),其中 θ_i(𝒜) = μ·1{i ∈ 𝒜};e-values 取 X_i = exp(λZ_i - λ²/2),λ = √(2 log(K/(2α)))。这是对数正态 e-values,null 下 E[X_i] = 1。
结果: - D* 在所有设置下达到最高估计功效(图 1)。 - 最大功效增益:对 e-BH 达 16.4 个百分点,对 U-eBH 达 3.43 个百分点(图 2),集中在中间信号强度 μ ∈ [2.2, 2.8]。 - 所有程序的 FDR 均低于参考界 αK₀/K = 0.035(图 1 底部)。 - BY 校准版本(D*_BY)同样优于 BY 和 U-BY(图 5),增益达 16 个百分点(对 BY)。
模拟想说明什么:理论最优性(定理 4.1)在实际有限样本下确实转化为功效提升,且增益在中间信号强度最大——这是"随机化 + 最优阈值"的实质价值。
🔎 结论是否比证明窄¶
值得注意的"窄结论":
-
最优性限于条件认证类:作者明确说明最优性是相对于 𝒞 类(满足逐坐标认证约束的规则),而非所有 FDR 控制规则。作者在引言中承认:"The optimization is relative to the certified class... not admissibility among all FDR-controlling rules." 这意味着可能存在不满足认证约束但 FDR 控制且功效更高的规则——作者没有排除这种可能性。
-
逐点最优 vs 频率最优:定理 4.1 是逐点(给定 x)最优。但实际比较的是期望功效(对 X 积分)。逐点最优蕴含期望最优,但反过来不成立——可能存在频率最优但不逐点最优的规则。
-
唯一性依赖权重全正:定理 4.2 要求 w_i > 0。若允许零权重(只关心部分坐标),唯一性可能不成立。
-
模拟仅覆盖对数正态 e-values:理论结果对任意 e-values 成立,但模拟只验证了对数正态情形。其他 e-value 构造(如贝叶斯因子、赌分)下的表现未验证。
-
BY 扩展的证明:命题 A.3 的证明依赖于 f_BY 的特定形式(分段常数、非增),对更一般的 p-value 校准函数是否成立未讨论。
四、开放问题¶
以下问题均扎根于论文的具体语句:
-
超越条件认证类的最优性(扎根于引言:"The optimization is relative to the certified class... not admissibility among all FDR-controlling rules")。是否存在不满足逐坐标认证约束、但 FDR 控制且功效更高的规则?这需要刻画所有 FDR 控制规则的完备类(Sun and Wang, 2026 的工作可能相关,但作者明确说"address a separate question")。
-
计算复杂度(扎根于 D* 的定义:G_i(x) = (α/K)Σ_j min(x_i, x_j) 需要 O(K²) 计算)。对大规模 K(如基因组学中 K ~ 10⁶),是否有近似算法或数据结构加速?作者未讨论。
-
加权最优性的完整刻画(扎根于定理 4.2 的权重条件 w_i > 0)。若权重允许为零(只关心部分假设),唯一性是否仍成立?最优规则的形式会如何变化?
-
其他 e-value 构造下的表现(扎根于模拟设置:"The evidence supplied to the procedures is X_i = exp(λZ_i - λ²/2)")。理论结果对任意 e-values 成立,但模拟只验证了对数正态情形。贝叶斯因子、赌分等构造下的有限样本表现未知。
-
BY 扩展的推广(扎根于命题 A.3 的证明依赖 f_BY 的分段常数、非增性质)。对更一般的 p-value 校准函数(如自适应校准),最优性是否保持?
-
与 compound e-values 的关系(扎根于引言:"Frameworks based on compound e-values (Ignatiadis et al., 2024)... can permit procedures that need not satisfy these budgets")。compound e-values 框架下的最优规则是什么?与 D* 有何关系?
验证建议:要确认某条是否真 gap,去读 Sun and Wang (2026)、Ignatiadis et al. (2024)、Xu et al. (2025) 的近期版本——若它们都指向"条件认证类之外的最优性"这一缺口,则共识成立;若互相矛盾,则可能是更值得深挖的机会。
Maintained by 陈星宇 · Homepage · Source on GitHub