跳转至

Uniformly Improved Adaptive Filtering Procedures for Replicability Testing with FWER Control

作者: Ninh Tran
主题: 数理统计 / 假设检验
相关性: 6/10
链接: https://arxiv.org/abs/2610.29266


一、领域脉络与小综述

这个方向是什么:本文属于多重检验与可重复性分析(replicability analysis)的交叉领域。其根本统计问题是:在多个独立研究中检验同一组特征(如基因)时,如何判断一个信号是否在至少 \(u\) 个研究中"可重复地"出现,同时控制族wise错误率(FWER)。该子方向的核心张力在于:部分联合(partial conjunction, PC)零假设的高度复合性(允许 \(u-1\) 个研究为假阳性)使得有效的 p 值构造天然保守,而多重性校正又进一步加剧保守性。当前成熟度:方法学上已有较完整的框架(PC 检验、自适应过滤),但校正程序的精细优化仍有空间。

发展脉络(history):从 introduction 与参考文献可梳理出以下主线:

  • 奠基工作:Benjamini and Heller (2008) 首次系统提出 PC 检验框架,给出了 Bonferroni 型 PC p 值的构造(式 1.1),并证明其在一般零假设下的有效性。这是整个领域的起点,其留下的口子是:Bonferroni 校正过于保守,尤其在 \(u\) 接近 \(n\) 时。
  • p 值构造的改进:Wang and Owen (2019) 从可采纳性(admissibility)角度研究了 PC p 值的构造,指出 Bonferroni 型构造在某种意义下是"不可改进"的,但这是在不利用过滤信息的前提下的结论。这为后续"过滤 + 条件检验"的思路埋下伏笔。
  • 自适应过滤框架:Wang et al. (2022, Annals of Statistics) 提出 AdaFilter 框架,核心洞察是:先用较弱的证据(\(u-1\) 重可重复性)过滤特征,再对通过过滤的特征进行 \(u\) 重可重复性检验。其关键理论贡献是证明了 Bonferroni PC p 值满足"条件有效性"(式 2.1),从而允许在过滤后进行检验而不破坏 FWER 控制。留下的口子:过滤和检验两步都用了 Bonferroni 校正,各自保守。
  • 条件检验的进一步改进:Liang et al. (2025) 通过条件化方法改进了 PC p 值的保守性,但该方法与 AdaFilter 的过滤框架结合时,其条件有效性性质尚未被验证。
  • 本文位置:Tran (2026) 在 AdaFilter 框架内,用 Šidák 校正同时替换两处 Bonferroni 校正(PC p 值构造和过滤统计量),并证明在相同独立性假设下保持 FWER 控制且逐点改进拒绝集。这是对现有框架的"精修"而非"重构"。

子线索聚类:被引文献大致落在三条线索上:

  1. PC p 值的构造与有效性(Benjamini-Heller 2008; Wang-Owen 2019; Liang et al. 2025):关注如何在复合零假设下构造有效且尽量不保守的 p 值。核心工具是 p 值合并与概率不等式。
  2. 自适应过滤与条件检验(Wang et al. 2022; Dickhaus et al. 2026):关注如何利用过滤步骤减少多重性负担,同时保证过滤后的条件检验仍然有效。核心工具是条件概率不等式与序贯拒绝原理。
  3. FWER 控制程序的精细校正(Holm 1979; Hommel 1988; Goeman-Solari 2010, 2011):关注在给定 p 值集合后,如何设计多重性校正程序以在控制 FWER 的前提下最大化拒绝数。本文属于此线索与线索 2 的交汇。

这个方向在追问的核心问题:

  1. PC p 值能否在保持有效性的前提下做到"几乎均匀"? 即是否存在比 Bonferroni 型构造更紧的 p 值,使得在零假设下分布尽可能接近均匀?Wang-Owen (2019) 的可采纳性结果给出了否定答案(在无过滤时),但过滤框架可能绕开这一障碍。
  2. 过滤步骤本身能否被优化? AdaFilter 的过滤统计量 \(F_i\) 与检验统计量 \(S_i\) 高度相关,过滤阈值的选择直接影响最终拒绝集。是否存在比 Bonferroni 型过滤更优的过滤规则?
  3. 条件有效性是否是过滤后检验的必要条件? 还是说存在更弱的充分条件,允许使用更激进的 p 值构造?
  4. 依赖结构下的鲁棒性:现有理论框架几乎都假设基 p 值独立,实际应用中(如基因表达数据)特征间存在复杂依赖,FWER 控制在依赖下是否仍然成立?

⚠️ 作者的 framing(这是作者的说法):作者将缺口 frame 为"AdaFilter 框架中两处 Bonferroni 校正各自保守,且可以独立地替换为 Šidák 校正而不破坏 FWER 控制"。他通过 Lemma 3.1 的"有效变换"框架,将问题转化为寻找满足条件有效性的逐点最小变换,并证明 Šidák 变换是该框架下的最优解。被淡化或回避的竞争路线包括:(i) Liang et al. (2025) 的条件化方法——作者仅引用其存在,未讨论为何不与之结合;(ii) 依赖结构下的重抽样方法(如 Westfall-Young),完全未提及;(iii) 贝叶斯或经验贝叶斯方法,未进入讨论范围。值得注意的缺失:introduction 未讨论 FDR 控制下的类似问题(如 Benjamini-Hochberg 在 PC 检验中的推广),也未提及可重复性分析中"反向"问题(即负结果的可重复性)。

张力:未见明显对立引用。但存在一个微妙的张力:Wang-Owen (2019) 的可采纳性结果表明,在不过滤时 Bonferroni PC p 值是"不可改进"的;而本文及 Wang et al. (2022) 的工作表明,在过滤框架下可以绕过这一结论。这并非逻辑矛盾,而是说明"过滤"这一额外结构改变了可行域。另一个潜在张力是:Dickhaus et al. (2026) 的 CoFilter 使用 Fisher 合并(对 \(u-1\) 个最小 p 值做 Fisher 合并),与本文的 Šidák 过滤统计量在极端情形下行为差异显著,但作者未在模拟中系统比较两者在强信号下的表现差异。


二、最核心、最简单的例子 / 数学问题

第一步:把符号、模型、可观测数据交代清楚

  • \(m\):特征总数(如基因数),\(i \in [m]\) 为特征索引。
  • \(n\):研究总数,\(j \in [n]\) 为研究索引。
  • \(\theta_{ij}\):特征 \(i\) 在研究 \(j\) 中的效应量(参数,未知)。
  • \(\Theta_{0i}\):特征 \(i\) 的零假设区域(跨研究共同),\(\theta_{ij} \in \Theta_{0i}\) 表示特征 \(i\) 在研究 \(j\) 中无信号。
  • \(H_{ij}: \theta_{ij} \in \Theta_{0i}\):基零假设(base null)。
  • \(H_i^{u/n}\):PC 零假设,即特征 \(i\) 在少于 \(u\) 个研究中存在信号。形式化:\(|\{j: \theta_{ij} \notin \Theta_{0i}\}| < u\)。
  • \(P_{ij}\):基 p 值,检验 \(H_{ij}\)。假设在 \(H_{ij}\) 下 \(P_{ij} \sim \text{Unif}(0,1)\) 或至少随机上界(stochastically no smaller than uniform)。
  • \(P_{i(1)} \le \cdots \le P_{i(n)}\):特征 \(i\) 的基 p 值排序统计量。
  • \(S_i = S_i^{u/n} := (n-u+1) P_{i(u)}\):Bonferroni PC p 值(式 1.1)。
  • \(F_i := (n-u+1) P_{i(u-1)}\):过滤统计量(注意:\(F_i\) 与 \(S_i\) 共享 \(P_{i(u-1)}\) 与 \(P_{i(u)}\) 的相邻关系,\(F_i \le S_i\) 恒成立)。
  • \(\tilde{S}_i := g_{\text{Sid}}(S_i) = 1 - (1 - P_{i(u)})^{n-u+1}\):Šidák PC p 值。
  • \(\tilde{F}_i := g_{\text{Sid}}(F_i) = 1 - (1 - P_{i(u-1)})^{n-u+1}\):Šidák 过滤统计量。
  • \(N(t) := \sum_{i=1}^m \mathbf{1}\{F_i < t\}\):在阈值 \(t\) 下通过过滤的特征数(Bonferroni 版本)。
  • \(\tilde{N}(t) := \sum_{i=1}^m \mathbf{1}\{\tilde{F}_i < t\}\):在阈值 \(t\) 下通过过滤的特征数(Šidák 版本)。
  • \(\hat{t}_{\text{Bon}} := \sup\{t \in [0,\alpha] : t N(t) \le \alpha\}\):AdaFilter-Bon 的数据依赖阈值。
  • \(\hat{t}_{\text{Sid}} := \sup\{t \in [0,\alpha] : 1 - (1-t)^{\tilde{N}(t)} \le \alpha\}\):AdaFilter-Sid 的数据依赖阈值。
  • \(\alpha\):目标 FWER 水平。
  • 可观测数据:\(m \times n\) 的基 p 值矩阵 \(\{P_{ij}\}\)。研究者能看到的只有这些 p 值(由各研究的检验统计量转换而来),\(\theta_{ij}\) 与基零假设的真伪是未知的。关键点:PC 零假设 \(H_i^{u/n}\) 的真伪决定了 \(P_{i(1)}, \ldots, P_{i(u)}\) 的联合分布——若 \(H_i^{u/n}\) 为真,则至多 \(u-1\) 个基 p 值可以"任意小"(来自假零假设),其余 \(n-u+1\) 个来自真零假设的 p 值必须随机上界于均匀分布。

第二步:讲最小内核

剥掉所有一般性设定后,本文的核心数学问题可以归结为如下最小情形:

设定:\(n=2\) 个研究,\(u=2\)(即要求信号在两个研究中都出现才算"可重复")。此时 PC 零假设 \(H_i^{2/2}\) 等价于"至少有一个基零假设为真",即 \(H_{i1} \vee H_{i2}\)。Bonferroni PC p 值为 \(S_i = P_{i(2)}\)(因为 \(n-u+1 = 1\)),过滤统计量为 \(F_i = P_{i(1)}\)(因为 \(n-u+1 = 1\),\(P_{i(u-1)} = P_{i(1)}\))。

要证明的命题:在 \(H_i^{2/2}\) 为真的条件下,\(\tilde{S}_i = 1 - (1 - P_{i(2)})^2\) 是有效 p 值,即 \(\Pr(\tilde{S}_i \le t) \le t\) 对所有 \(t \in [0,1]\) 成立。同时,\(\tilde{S}_i \le S_i\) 逐点成立(因为 \(1 - (1-x)^2 = 2x - x^2 \le x\) 对 \(x \in [0,1]\)),因此 \(\tilde{S}_i\) 比 \(S_i\) 更不保守。

为什么成立:关键在于条件有效性。考虑过滤事件 \(\{\tilde{F}_i < t\} = \{1 - (1 - P_{i(1)})^2 < t\} = \{P_{i(1)} < 1 - \sqrt{1-t}\}\)。在 \(H_i^{2/2}\) 为真时,\(P_{i(1)}\) 是两个基 p 值的最小值。若两个基零假设均为真,则 \(P_{i(1)}\) 的分布函数为 \(1 - (1-p)^2\),恰好是 Šidák 变换的逆;若恰有一个基零假设为真,则 \(P_{i(1)}\) 可能更小(来自假零假设的 p 值可以任意小),但此时 \(P_{i(2)}\) 来自真零假设,条件分布仍受控。Šidák 变换 \(g_{\text{Sid}}(x) = 1 - (1-x)^2\) 的巧妙之处在于:它恰好是"两个独立均匀分布的最小值的分布函数",因此当两个基零假设均为真时,\(\tilde{S}_i\) 在过滤条件下精确服从均匀分布;当只有一个基零假设为真时,\(\tilde{S}_i\) 的条件分布被随机上界于均匀分布。这就是 Theorem 3.2(ii) 的核心内容。

一般情形:对一般的 \(u\) 和 \(n\),\(g_{\text{Sid}}(x) = 1 - (1-x)^{n-u+1}\) 是 \(n-u+1\) 个独立均匀分布最小值的分布函数。过滤事件 \(\{\tilde{F}_i < t\}\) 意味着 \(P_{i(u-1)}\) 很小,即至少有 \(u-1\) 个基 p 值很小。在 \(H_i^{u/n}\) 为真时,至多 \(u-1\) 个基零假设为假,因此 \(P_{i(u)}, \ldots, P_{i(n)}\) 中至少有 \(n-u+1\) 个来自真零假设,它们的联合分布随机上界于独立均匀分布。Šidák 变换恰好利用了这一结构,使得条件有效性成立。

本文的推广:Lemma 3.1 将上述论证抽象为"有效变换"类 \(\mathcal{G}\):任何满足 \(g(0)=0\)、\(g\) 连续严格递增、\(g(x) \le x\) 且 \(g(S_i)\) 保持条件有效性的变换,都可以替换 AdaFilter 中的 Bonferroni 校正。Theorem 3.4 证明 \(\mathcal{G}\) 中逐点最小的变换就是 \(g_{\text{Sid}}\)。这个"最小性"是本文的核心技术贡献——它说明在保持 FWER 控制的前提下,Šidák 变换是最不保守的选择。


三、这篇论文做了什么

三句话: 1. 研究了什么问题:在 AdaFilter 框架下,如何通过替换 Bonferroni 校正为更紧的 Šidák 校正,在不牺牲 FWER 控制的前提下提高 PC 检验的拒绝数。 2. 核心工具/方法:构造 Šidák PC p 值 \(\tilde{S}_i = 1 - (1 - P_{i(u)})^{n-u+1}\) 和 Šidák 过滤统计量 \(\tilde{F}_i = 1 - (1 - P_{i(u-1)})^{n-u+1}\),并证明其满足条件有效性;进一步刻画所有有效变换的类 \(\mathcal{G}\),证明 Šidák 变换是逐点最优。 3. 主要结论:AdaFilter-Sid 和 AdaFilter-SeqSid 在相同独立性假设下保持 FWER 控制,且对每个数据实现,其拒绝集都包含 AdaFilter-Bon 和 AdaFilter-SeqBon 的拒绝集(即逐点支配)。

关键设定与假设:

  • 假设 1(基 p 值有效性):每个 \(P_{ij}\) 在 \(H_{ij}\) 下是有效 p 值,即 \(\Pr(P_{ij} \le t) \le t\)。这是最弱的假设,允许 p 值保守。
  • 假设 2(基 p 值独立性):所有 \(m \times n\) 个基 p 值相互独立。这是 AdaFilter 框架的核心假设,也是本文理论证明的基础。作者在附录 G 中通过模拟检验了 AR(1) 依赖下的稳健性,但未给出理论保证。
  • 假设 3(跨研究零假设区域一致):\(\Theta_{0i}\) 对所有研究相同。这是 PC 检验的标准设定。
  • 无假设 4(关于效应分布):本文不假设效应大小或备择假设的分布,属于非参数设定。

与已有文献的对比: - 相比 Wang et al. (2022) 的 AdaFilter-Bon:本文在相同假设下改进了拒绝集,且改进是逐点的(不是期望意义下的)。 - 相比 Liang et al. (2025) 的条件化方法:本文的方法不需要对 p 值做额外的条件化处理,而是直接构造更紧的 p 值;但本文未与条件化方法做系统比较。 - 相比 Dickhaus et al. (2026) 的 CoFilter:CoFilter 使用 Fisher 合并,本文使用 Šidák 变换;两者在不同信号模式下各有优劣,但本文的逐点支配性质是 CoFilter 不具备的。

证明路线与技术技巧:

  • 整体路线(以 Theorem 3.2 为例):
  • 步骤 1:将 PC 零假设 \(H_i^{u/n}\) 下的基 p 值分解为"假零假设部分"(至多 \(u-1\) 个)和"真零假设部分"(至少 \(n-u+1\) 个)。
  • 步骤 2:利用独立性,将过滤事件 \(\{\tilde{F}_i < t\}\) 的概率分解为对真零假设 p 值的积分。
  • 步骤 3:利用 Šidák 变换的特定形式(\(g_{\text{Sid}}(x) = 1 - (1-x)^{n-u+1}\)),证明在过滤条件下,\(\tilde{S}_i\) 的条件分布被随机上界于均匀分布。
  • 步骤 4:结合跨特征独立性,用 Boole 不等式或更精细的并集界得到 FWER 控制。

  • 关键技术技巧:

  • Šidák 变换的"最小性"证明(Theorem 3.4):作者构造了一个特殊的"最坏情形"配置——恰好 \(u-1\) 个假零假设的 p 值取 0,其余真零假设的 p 值独立均匀。在此配置下,任何有效变换 \(g\) 都必须满足 \(g(x) \ge g_{\text{Sid}}(x)\),否则条件有效性被破坏。这个"最坏情形"论证是证明的核心,也是本文最精巧的技术点。
  • 条件有效性的递推证明(Lemma A.3):作者没有直接证明 \(\Pr(\tilde{S}_i < t | \tilde{F}_i < t) \le t\),而是先证明了一个更强的"逐点条件"性质:对任意固定的假零假设配置,条件概率都被 \(t\) 控制。这个更强的性质使得后续的 FWER 论证可以逐特征进行。
  • 序贯拒绝原理的应用(Theorem 4.3(ii)):作者验证了 AdaFilter-SeqSid 满足 Goeman-Solari (2010) 序贯拒绝原理的两个条件,从而将单步 FWER 控制推广到序贯设定。这里的技巧在于证明"单调性"条件——即已拒绝的特征不会影响剩余特征的检验有效性。

真实例子与应用:

本文使用 GEO 数据集 GSE30495(Georgiadi et al. 2012)进行实证分析。该数据集包含 45,101 个基因探针在 5 种处理条件下的表达数据(野生型 vs PPARα 敲除小鼠,分别施加 4 种脂肪酸处理和 1 种合成激动剂)。作者将每种处理视为一个"研究",目标是识别在至少 \(u\) 个处理中差异表达的基因。

关键实证结果(Table 6.1): - 在 \(u=3\)(至少 3 个研究中可重复)时,AdaFilter-SeqSid 识别出 178 个基因,而 AdaFilter-SeqBon 识别出 175 个,AdaFilter-Bon 识别出 144 个。 - 在 \(u=5\)(所有 5 个研究中可重复)时,AdaFilter-SeqSid 识别出 139 个基因,比 AdaFilter-SeqBon 多 1 个。 - 改进幅度随 \(u\) 增大而减小,这与理论预期一致——当 \(u\) 接近 \(n\) 时,Šidák 与 Bonferroni 的差异缩小。

这个例子的意义:它展示了逐点支配性质的实际效果——改进不是平均意义上的,而是对每个数据实现都成立。但需要注意的是,改进幅度在常规设定下可能很小(如 \(u=5\) 时仅多 1 个),只有在 p 值高度集中在阈值附近时(如模拟设定 2)改进才显著。

🔎 结论是否比证明窄:

  • 明确证明的:Theorem 3.2 证明了 Šidák PC p 值的有效性和条件有效性;Theorem 4.3 证明了 AdaFilter-Sid 和 AdaFilter-SeqSid 的 FWER 控制及对 Bonferroni 版本的逐点支配。
  • 被泛化陈述但未严格证明的:作者在 Section 5 和附录 G 中声称"模拟结果表明在 AR(1) 依赖下 FWER 仍然受控",但附录 G 仅报告了经验 FWER 的数值,未给出任何理论界。这是一个窄于结论的地方——正文摘要和引言中的措辞可能让读者误以为依赖鲁棒性已被理论保证。
  • 被回避的:Theorem 3.4 的"最优性"仅在类 \(\mathcal{G}\) 内成立,而 \(\mathcal{G}\) 的定义排除了非单调变换和依赖 p 值联合分布的变换。作者在讨论中未明确说明这一限制的后果——例如,是否存在 \(\mathcal{G}\) 之外的变换能进一步改进?这是一个结论窄于证明的典型例子:最优性声明被限定在一个人为的类内。
  • 值得注意的:作者在 Lemma 3.1 中要求 \(g\) 严格递增且 \(g(0)=0\),但未讨论 \(g\) 的连续性是否必要。Theorem 3.4 的证明依赖于连续性,但实际应用中可能允许非连续变换(如阶梯函数)获得更好的有限样本表现。

四、开放问题

以下问题均扎根于本文的具体语句,供你自行判断价值:

  1. 依赖结构下的理论保证(扎根于附录 G 的措辞):作者仅通过模拟验证了 AR(1) 依赖下 FWER 受控,未给出理论界。一个自然的问题是:在何种依赖条件下(如 \(\rho\)-mixing、\(m\)-dependence),AdaFilter-Sid 的 FWER 控制仍然成立?能否用 Stein's method 或 coupling 技术给出有限样本界?这与你的随机矩阵理论背景可能相关——如果基 p 值来自高维相关数据,能否利用谱信息改进过滤阈值?

  2. \(\mathcal{G}\) 类之外的变换(扎根于 Theorem 3.4 的陈述):作者证明了 Šidák 变换在 \(\mathcal{G}\) 内逐点最优,但 \(\mathcal{G}\) 排除了非单调变换。是否存在非单调变换 \(g\) 使得 \(g(S_i)\) 在保持条件有效性的同时,在某些配置下比 \(\tilde{S}_i\) 更小?这需要重新审视 Lemma 3.1 的证明,看单调性假设在何处被使用。

  3. 序贯过程的停止时间分析(扎根于 Theorem 4.3(ii) 的证明):作者验证了 Goeman-Solari 序贯原理的两个条件,但未分析停止时间的分布。在 AdaFilter-SeqSid 中,迭代次数 \(k^*\) 的期望是多少?是否存在高概率界?这与你的 M-估计理论背景相关——能否将序贯过程视为一种在线决策问题,用 regret 分析框架刻画其效率损失?

  4. 与条件化方法的结合(扎根于引言中对 Liang et al. 2025 的引用):Liang et al. 的条件化方法在无过滤时优于 Bonferroni,而本文的 Šidák 方法在过滤框架内优于 Bonferroni。两者能否结合?具体而言,能否构造"条件化 Šidák PC p 值",在过滤后进一步利用条件信息?这需要验证条件化后的 p 值是否仍满足 Lemma 3.1 的条件有效性。

  5. 高维情形的计算效率(扎根于 Section 5 的模拟设定):当 \(m\) 很大(如 \(10^5\))时,AdaFilter-Sid 需要计算 \(\tilde{N}(t)\) 的逆函数来求解阈值。能否用二分法或牛顿法加速?能否利用 \(\tilde{F}_i\) 的排序结构将计算复杂度从 \(O(m \log m)\) 降到 \(O(m)\)?这与你的软件开发和计算背景直接相关。

顺带提醒:要确认上述问题是否是真 gap,建议去读 PC 检验领域近 5 年的约 5 篇论文的引言(特别是 Wang et al. 2022 之后的后续工作)。如果多篇论文都提到"依赖结构下的理论保证"是开放问题,那这就是共识性 gap;如果各论文对"过滤后检验的有效性条件"说法不一,那可能是一个更根本的概念分歧,值得深挖。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论