Improved thresholds for e-values¶
作者: Christopher Blier-Wong, Ruodu Wang
来源: Annals of Statistics
主题: 数理统计 / 假设检验
相关性: 5/10
机构绿灯: University of Toronto(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv
一、领域脉络与小综述¶
这个方向是什么¶
本文研究的核心问题是:在 e 值(e-values)框架下,如何为拒绝域选择更紧的阈值。e 值是近年来兴起的一种证据度量,其定义要求在原假设下期望不超过 1。默认的拒绝阈值 1/α 直接来自马尔可夫不等式,但这一阈值仅在 e 值分布完全未知时才是紧的。本文的核心问题是:当我们对 e 值的分布施加额外假设(如递减密度、单峰性、对数变换后的对称性等)时,能否在保持 I 类错误控制的前提下,显著降低拒绝阈值,从而提升检验功效?这一问题的本质是在分布假设与检验保守性之间做权衡——假设越强,阈值越紧,但假设的合理性需要在实际应用中验证。
发展脉络¶
- 奠基工作:Vovk 和 Wang (2019) [30] 系统建立了 e 值的校准理论,证明了 e 值到 p 值的校准器存在最小元(即 x ↦ 1/x ∧ 1),并指出在无分布假设时马尔可夫不等式是紧的。这一工作奠定了 e 值作为检验证据的理论基础,也明确了默认阈值的保守性来源。
- 主要进展:Wang (2020) [33] 引入 p* 值的概念,并证明对具有递减密度的 e 值,2E − 1 是 p 值——这隐含了阈值可减半的结论。Wang 和 Ramdas (2022) [35] 建立了 e-BH 多重检验程序,证明其在任意相依结构下控制 FDR,但同样依赖默认阈值 1/α。同期,Wasserman 等 (2020) [37] 提出通用推断(universal inference),将 e 值方法推广到含 nuisance 参数的复杂模型,但其阈值同样保守。
- 当前 frontier:Tse 和 Davison (2022) [29] 基于通用推断 e 值的渐近分布提出阈值改进,但有限样本的 I 类错误控制无法从理论上保证——这是本文要填补的一个直接缺口。Lee 和 Ren (2024) [19] 通过条件校准提升 e-BH 功效,但需要额外的相依结构信息。本文的位置是:在纯分布假设(而非渐近或相依结构假设)下,给出有有限样本保证的阈值改进。
- 本文的位置:本文系统性地将"分布形状假设→阈值改进"这一思路推广到多种假设类别(递减、单峰、对数变换后递减/单峰对称),并首次将 comonotonicity 结构引入阈值改进,证明取上确界不破坏 I 类错误控制。这是对 Wang (2020) [33] 中单一结果的系统性推广。
子线索聚类¶
- e 值的基础理论(Vovk & Wang 2019 [30], Shafer 2021 [25], Ramdas & Wang 2024 [23]):建立 e 值的定义、校准器理论、与赌博/贝叶斯因子的联系。这一线索为本文提供了理论框架。
- e 值的分布假设与阈值改进(Wang 2020 [33], Huber 2018 [14], 本文):在递减密度、单峰性、对数变换等假设下改进阈值。本文是这一线索的集大成者。
- e 值的多重检验(Wang & Ramdas 2022 [35], Ren & Barber 2024 [24], Ignatiadis et al. 2024 [16, 17], Lee & Ren 2024 [19]):e-BH 程序及其功效提升。本文第 7 节属于这一线索。
- e 值的序贯/在线推断(Vovk & Wang 2020 [20], Fischer & Ramdas 2024 [10], Ramdas et al. 2022 [22]):e 过程与任意时点有效性。本文第 6 节涉及这一线索。
这个方向在追问的核心问题¶
- 阈值改进的极限:在给定的分布假设类别下,最优阈值是多少?是否存在比 1/2α 或 1/eα 更紧的界?
- 假设的可验证性:递减密度、单峰性等假设在实际应用中如何验证?如果假设近似成立,I 类错误控制会损失多少?
- 相依结构下的推广:comonotonicity 是极强的相依假设,能否推广到更一般的正相依结构(如关联性、MTP₂)?
- 与 p 值框架的桥接:改进后的 e 值阈值能否转化为更紧的 p 值校准器,从而直接改进现有 p 值方法?
⚠️ 作者的 framing¶
作者将缺口 frame 为:默认阈值 1/α 基于马尔可夫不等式,但该不等式在 e 值分布满足常见形状假设时远非紧的。作者强调这些假设"naturally plausible and empirically observable"(第 1 节),即不需要知道 e 值的完整分布,只需验证密度形状。作者还指出,虽然 Tse 和 Davison [29] 提出了渐近阈值改进,但"the finite-sample type-I error control is not guaranteed theoretically"(第 1 节),从而将本文的贡献定位为在有限样本下有严格保证的阈值改进。
张力¶
未见明显对立引用。但存在一个微妙的张力:Wang (2020) [33] 的 p* 值框架给出的递减密度阈值是 1/2α,而本文对 log 变换后递减密度给出的阈值是 1/eα ≈ 1/2.718α,两者在不同假设下成立,并不矛盾。另一个张力是:Huber (2018) [14] 通过平滑化将马尔可夫界减半,但需要辅助随机化;本文的改进不需要随机化,但需要更强的分布假设——这是两种不同的改进路径。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
- E:e 值(e-value),一个 [0, ∞] 取值的随机变量,满足在原假设 H 下 E_Q[E] ≤ 1 对所有 Q ∈ H 成立。这是可观测的检验统计量。
- α ∈ (0,1):目标 I 类错误水平。
- γ ∈ (0,1]:阈值参数,拒绝域为 {E ≥ 1/γ},对应的 I 类错误上界为 R_γ(E) = sup_{E∈E} P(E ≥ 1/γ)。
- E₀:所有 e 值的集合(无分布假设)。
- E_D:具有递减密度的 e 值集合。
- E_U:具有单峰密度的 e 值集合。
- E_LS:log E 具有对称分布的 e 值集合。
- E_LD:log E 具有递减密度的 e 值集合。
- E_LUS:log E 具有单峰对称密度的 e 值集合。
- E_LN:log E 服从正态分布的 e 值集合。
- R_γ(E):给定 e 值类别 E 下的最坏情况 I 类错误概率。
- T_α(E):给定 e 值类别 E 下的最优拒绝阈值,即满足 R_{1/T}(E) ≤ α 的最小 T。
- comonotonicity:一族随机变量 (E_θ)_{θ∈Θ} 若存在共同随机变量 Z 使得每个 E_θ 是 Z 的单调函数,则称它们 comonotonic。
- e-BH 过程:对 K 个 e 值 e_1, ..., e_K,令 e_(1) ≥ ... ≥ e_(K) 为降序排列,拒绝所有 e_(k) ≥ K/(αk) 的假设。
- 可观测数据:研究者观测到的是 e 值的实现值(realized values),以及(在部分应用中)对 e 值密度形状的验证。关键点在于:研究者不需要知道 e 值的完整分布,只需验证密度形状假设(如递减、单峰),这些假设可以通过直方图或核密度估计来检查。
第二步:最小内核¶
核心数学问题:给定 e 值类别 E(如 E_D、E_U、E_LS 等),计算最坏情况 I 类错误概率
并找到满足 R_{1/T}(E) ≤ α 的最小阈值 T_α(E)。
最简例子:考虑 E_D(递减密度)。设 E 有递减密度 f,支撑在 [0, ∞) 上,且 E[E] ≤ 1。我们要最大化 P(E ≥ z)(其中 z = 1/γ > 1)。
关键观察:在递减密度约束下,最坏情况分布不是两点分布(那是无约束时的最坏情况),而是"均匀密度 + 点质量"的混合。具体地,最坏情况分布为:在 [0, z) 上有均匀密度 c,在 z 处有质量 p,且满足 E[E] = 1。
计算:设 f(x) = c 对 x ∈ [0, z),P(E = z) = p,且 1 - p = cz(总概率为 1)。则
由 1 - p = cz 得 c = (1-p)/z,代入得
因此 P(E ≥ z) = p = 2/z - 1。令 z = 1/γ,得 R_γ(E_D) = 2γ - 1。令 R_γ(E_D) ≤ α,得 γ ≤ (α+1)/2,即 T_α(E_D) = 2/(α+1)。当 α 很小时,T_α(E_D) ≈ 2/α,恰好是默认阈值 1/α 的两倍——即阈值可减半。
为什么这是最小内核:这个例子展示了本文所有结果的核心逻辑——在分布假设下,最坏情况分布从"两点分布"变为"均匀+点质量"的混合,从而得到更紧的概率上界。所有后续定理(单峰、对数变换等)都是这个逻辑在不同假设类别下的推广。读者掌握这个例子后,就能理解全文的技术路线:对每个假设类别,构造最坏情况分布,计算 R_γ(E),然后反解阈值。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在 e 值满足额外分布假设(递减密度、单峰密度、对数变换后的递减/单峰对称密度)时,如何构造比默认 1/α 更紧的拒绝阈值,同时保持有限样本的 I 类错误控制。
- 核心工具/方法:最坏情况分布分析——对每类分布假设,构造使 P(E ≥ 1/γ) 最大化的分布(通常为"均匀密度 + 点质量"的混合),计算精确的 R_γ(E),再反解阈值;对 e-BH 过程,利用 comonotonicity 结构取上确界。
- 主要结论:递减密度下阈值可减半(T_α(E_D) = 2/(α+1));单峰密度下阈值略高于减半(T_α(E_U) = 2/(α+1) 对 α ≤ 1/3);对数变换后递减密度下阈值可除以 e(T_α(E_LD) ≈ e/α);对数变换后单峰对称密度下阈值介于两者之间。对 e-BH 过程,证明了 comonotonic e 值的上确界保持 I 类错误控制,并给出初步的 boosting 方法。
关键设定与假设¶
- E_D(递减密度):E 的密度函数在 [0, ∞) 上递减。这包含指数分布、Pareto 分布(尾部)等。相比无假设情形,这一假设排除了"质量集中在远处"的分布,从而允许更紧的阈值。
- E_U(单峰密度):E 的密度函数先增后减(或先减后增,取决于定义),存在唯一众数。这比递减密度更宽松,包含正态分布、Gamma 分布(形状参数 > 1)等。
- E_LS(log 对称):log E 的分布关于某点对称。这等价于 E 服从对数对称分布,如对数正态分布。
- E_LD(log 递减):log E 的密度在 [0, ∞) 上递减。这比 E_D 更强,因为 log 变换会压缩大值区域。
- E_LUS(log 单峰对称):log E 的密度单峰且对称。
- E_LN(对数正态):log E 服从正态分布,是 E_LUS 的子集。
- 关键假设:所有假设都是关于边际分布的,不涉及 e 值之间的相依结构。对于 e-BH 部分,额外假设 e 值comonotonic(存在共同驱动随机变量)。
- 相比已有文献:Wang (2020) [33] 只处理了递减密度情形(2E − 1 是 p 值),本文将其推广到单峰、对数变换等多种情形,并首次将 comonotonicity 引入阈值改进。
主要结果¶
定理 2(核心结果):对 γ ∈ (0,1], - (i) R_γ(E_D) = γ/2(γ ≠ 1),R_1(E_D) = 1; - (ii) R_γ(E_{D>1}) = γ/(1 + √(1-γ²)); - (iii) R_γ(E_U) = (γ/2) ∨ (2γ-1)。
直觉:对递减密度,最坏情况是"均匀密度 + 点质量"的混合,得到 R_γ = γ/2。对单峰密度,当 γ 较小时(α ≤ 1/3),单峰约束不收紧界(仍为 γ/2);当 γ 较大时,单峰约束起作用,界变为 2γ-1。对 E_{D>1}(只需在 [1, ∞) 上递减),界介于两者之间。
定理 3(对数变换):对 γ ∈ (0,1], - (i) R_γ(E_LS) = γ ∧ (1/2); - (ii) R_γ(E_LU) = γ(无改进); - (iii) R_γ(E_{LD>0}) = γ/t_γ,其中 t_γ 是 t(1 - log t) = γ 的唯一解,t_γ ↑ e 当 γ ↓ 0; - (iv) R_γ(E_LD) = R_γ(E_LUS),且 γ/e ≤ R_γ(E_LD) ≤ γ/(e(1-γ²)) ∧ (γ/(1+√(1-γ²))); - (v) R_γ(E_LN) = Φ(-√(-2 log γ))。
直觉:log 变换后的递减密度给出约 e 倍的改进(阈值 ≈ e/α),这是本文最强的改进结果。对数正态分布给出精确的阈值 Φ(-√(-2 log α)),当 α = 0.05 时约为 3.87,比默认阈值 20 有显著改进。
定理 5(e-BH boosting):对 comonotonic e 值,取上确界不破坏 I 类错误控制。具体地,若 E_θ 是 comonotonic 的 e 值,则 sup_θ E_θ 在适当条件下仍是 e 值,且可用改进阈值。
命题 6-7(e-BH 的 boosting 因子):对 E_LS(log 对称),boosting 因子约为 1/(α - α log α);对 E_LD(log 递减),boosting 因子介于 1/(α - α log α) 和 e/α 之间。
证明路线与技术技巧¶
整体路线(以定理 2(i) 为例): 1. 约化到简单分布类:证明对任意 E ∈ E_D,存在一个"均匀密度 + 点质量"的分布 E' ∈ E_D,使得 P(E ≥ z) ≤ P(E' ≥ z) 且 E[E'] ≤ E[E]。这一步通过"密度递减"假设,将质量向左移动不会增加均值,但会增加尾部概率。 2. 求解约化问题:在"均匀密度 + 点质量"类中,最大化 P(E ≥ z) 受 E[E] ≤ 1 约束。这是一个简单的优化问题,得到 P(E ≥ z) ≤ 1/(2z)。 3. 紧性验证:构造达到上界的分布序列,证明界是紧的。
关键技巧: - 密度形状的变分刻画:利用递减密度假设,将任意分布"单调化"为均匀+点质量混合,这是整个证明的核心。 - 对数变换:对 E_LD,先对 log E 应用递减密度结果,再变换回 E 的尺度,得到 e 倍的改进。 - comonotonicity 与上确界:利用 comonotonic 变量的分位数函数可加性,证明 sup_θ E_θ 的尾部概率受控。 - 优化问题的对偶:在求解最坏情况分布时,使用 Lagrange 对偶或 Karamata 表示定理。
技术难点: - 对 E_U(单峰),需要处理"峰的位置"这一额外自由度,证明最坏情况分布的峰在 z 处或 0 处。 - 对 E_LD(log 递减),需要处理 log 变换后的支撑边界,证明最坏情况分布的支撑在 [0, z] 上。 - 对 e-BH 的 boosting,需要处理离散化带来的误差,证明 boosting 因子在 K → ∞ 时的极限。
真实例子与应用¶
例子 1:模型 X knockoffs(图 1)。在线性回归中,knockoffs 构造的统计量在原假设下是 e 值(更准确地说,是复合 e 值)。图 1 显示,knockoffs 的分布具有明显的单峰性,且峰值在 0 附近。使用本文的改进阈值 T_α(E_U) = 2/(α+1)(当 α = 0.05 时约为 1.9,而默认阈值为 20),可以显著提高变量选择的能力。作者在附录 A 中给出了具体构造。
例子 2:通用推断(图 2)。Wasserman 等的通用推断 e 值在零假设下通常具有递减密度(因为似然比统计量在零假设下通常集中在 1 附近)。图 2 显示,e 值的密度在 1 之后递减,log e 值的密度在 0 之后递减。使用改进阈值 T_α(E_D) = 2/(α+1) 或 T_α(E_LD) ≈ e/α,可以将阈值从 1/α 降低到约 1/2α 或 1/eα,从而显著提升检验功效。
例子 3:Gamma 分布检验(图 12-13)。在 Gamma 分布族的检验中,似然比 e 值具有对数正态分布(属于 E_LN),因此可以使用精确阈值 T_α(E_LN) = Φ(-√(-2 log α))。当 α = 0.05 时,阈值为 3.87,而默认阈值为 20,功效提升显著。
模拟结果:在 Gaussian 检验中(表 3),使用改进阈值后,达到 90% 功效所需的样本量从约 500 降至约 200(对于 μ = 0.3 的情形)。在 e-BH 多重检验中(表 4),使用 boosting 因子后,在 α = 0.05 时发现数从 0 提升到 65-294(取决于信号强度 b)。
🔎 结论是否比证明窄¶
结论比证明窄的地方: 1. 定理 2(iii) 对 E_U 的结果:文中证明的是 R_γ(E_U) = (γ/2) ∨ (2γ-1),但作者在讨论中承认,对于 γ ∈ (1/3, 1/2) 的中间区域,最坏情况分布可能不是文中构造的"均匀+点质量"形式,而是更复杂的混合。因此,定理 2(iii) 在 γ ∈ (1/3, 1/2) 时可能不是紧的。 2. 定理 3(iv) 对 E_LD 的结果:文中给出的是上下界 γ/e ≤ R_γ(E_LD) ≤ γ/(e(1-γ²)) ∧ (γ/(1+√(1-γ²))),而非精确值。作者在附录 D 中承认,精确值需要求解一个更复杂的变分问题,目前尚未解决。 3. e-BH 的 boosting(第 7 节):作者明确标注这些结果是"preliminary"和"exploratory"(第 7 节),且 boosting 因子只在 K → ∞ 时精确,有限 K 时可能有偏差。模拟中使用的 boosting 因子是近似值。 4. 定理 5 的适用条件:comonotonicity 是极强的假设,作者在文中承认"comonotonicity is not preserved in general"(第 5.1 节),因此该结果不能直接推广到一般的相依结构。
值得注意的 gap:作者在定理 2 的证明中,对 E_D 使用了"密度递减"假设,但没有讨论密度递减假设本身的可验证性。在实际应用中,如何检验一个 e 值的密度是否递减?如果检验本身消耗数据,是否会抵消阈值改进带来的功效增益?这是一个值得后续研究的问题。
四、开放问题¶
-
E_U 在中间区域的紧界:定理 2(iii) 在 γ ∈ (1/3, 1/2) 时可能不是紧的。要找到这个区域的最坏情况分布,可能需要求解一个更复杂的变分问题。扎根于定理 2(iii) 的证明(附录 B)和作者在讨论中的承认。
-
E_LD 的精确值:定理 3(iv) 只给出上下界。要找到 R_γ(E_LD) 的精确表达式,需要求解一个涉及 log 变换后密度约束的变分问题。扎根于定理 3(iv) 的陈述和附录 D 的讨论。
-
有限 K 的 e-BH boosting:第 7 节的 boosting 因子只在 K → ∞ 时精确。对于有限 K,boosting 因子的有限样本校正是什么?扎根于第 7 节和命题 6-7 的陈述。
-
密度假设的可验证性:本文的所有改进阈值都依赖于密度形状假设(递减、单峰等)。如何在实际应用中验证这些假设?如果假设近似成立,I 类错误控制会损失多少?扎根于第 1 节的 framing 和第 8 节的模拟设计。
-
comonotonicity 的推广:定理 5 依赖 comonotonicity,但这一假设在实际中很难验证。能否将结果推广到更一般的正相依结构(如关联性、MTP₂)?扎根于第 5.1 节的讨论和命题 3 的陈述。
-
高维设定下的行为:本文的所有结果都是固定维数下的有限样本结果。在高维设定下(如 p >> n),改进阈值是否仍然有效?扎根于第 1 节的引言和第 9 节的结论。
提醒:要确认上述问题是否是真 gap,建议去读 e 值理论近期约 5 篇论文的引言(如 Ramdas & Wang 2024 [23] 的综述、Ignatiadis et al. 2024 [17] 的渐近 e 值、Lee & Ren 2024 [19] 的条件校准)。如果多篇论文都指向同一个问题,那很可能是共识性的真 gap;如果各论文对同一问题的处理方式互相矛盾,那可能是一个机会。
Maintained by 陈星宇 · Homepage · Source on GitHub