跳转至

Simultaneous false discovery proportion bounds via knockoffs and closed testing

作者: Jinzhou Li, Marloes H Maathuis, Jelle J Goeman
来源: Journal of the Royal Statistical Society Series B
主题: 数理统计 / 假设检验
相关性: 8/10
链接: 期刊页 · arXiv

一、领域脉络与小综述

这个方向是什么

本子方向的核心问题：在高维变量选择（如knockoffs框架）中，如何在有限样本下为任意事先指定或事后选择的特征子集构造同时有效的 假发现比例（False Discovery Proportion, FDP） 置信上界。即：对每一个用户可能选择的集合 \( R \subseteq [p] \)，给出一个上界 \( \overline{V}(R) \)，使得 \( \mathbb{P}\big( \text{FDP}(R) \leq \overline{V}(R) \ \text{for all } R \subseteq [p] \big) \geq 1-\alpha \)。它与常见的控制FDR期望不同，FDR控制只保证平均错误率，而同时FDP bound 允许用户事后任意挑选子集，仍能以高概率宣称该子集的FDP不超过边界。这个子方向已有近二十年历史，但将其与knockoffs框架结合、并借助closed testing理论给出系统性的改进，是本文所在的前沿。

发展脉络

奠基工作 → 主要进展 → 当前frontier → 本文的位置：

  1. 奠基：从期望控制到概率控制，再到同时推断
  2. Benjamini & Hochberg (1995) 开创FDR期望控制，成为多重检验主流。
  3. Genovese & Wasserman (2004, 2006) 首次将FDP视为随机过程，构造了同时FDP置信上界（针对由p值阈值定义的嵌套拒绝集），将问题从"控制FDR均值"升级为"控制FDP分布的尾部"。

  4. Goeman & Solari (2011) 进一步提出同时推断框架：用户自由选择拒绝集，程序返回同时有效的错误发现数置信界。这个框架的关键工具是closed testing——一个经典、但之前主要用于控制FWER的过程。

  5. 主流进展：closed testing + 各种局部检验

  6. Goeman et al. (2019) 证明了所有可容许的FDP尾部控制方法（包括FWER、k-FWER、FDP exceedance、JER等）都等价于或被closed testing一致改进。这极大简化了方法设计——只需要设计好的局部检验。
  7. 随后出现一系列基于closed testing的FDP bound改进：Blanchard et al. (2017, 2020) 引入"参考族"（reference families）概念；Goeman et al. (2016) 专门研究Simes局部检验下的closed testing，证明其与BH过程有密切联系。

  8. 另一条并行线索是插值法（interpolation）：Katsevich & Ramdas (2020) 提出一组基于FDR控制过程（如Storey-BH、knockoffs）的FDP bound，利用插值将k-FWER bound扩展为同时FDP bound。这项工作直接为knockoff框架提供了simultaneous FDP bound，但代价是不够紧。

  9. 当前frontier：

  10. 一方面，closed testing方法在一般p值情境下已比较成熟，但在knockoffs特有结构（ordered statistics, flip-sign property）下如何设计恰当的局部检验仍待探索。
  11. 另一方面，Katsevich & Ramdas的插值法在knockoff框架下可给出封闭形式的bound，但它是不是最优？是否可以一致改进？
  12. 本文正是在这个交叉口：把closed testing引入knockoff框架，对应地设计multi-weighted-sum局部检验，从而在理论上一致改进Katsevich & Ramdas的bound，并证明了其改进有严格性（即存在例子使旧bound严格更松）。

子线索聚类

这些被引文献大致落在以下3条子线索上：

  1. p值/检验统计量驱动的同时FDP bound（非knockoff）
  2. 代表：Goeman & Solari (2011), Genovese & Wasserman (2006), Blanchard et al. (2017, 2020), Hemerik et al. (2019), Tian et al. (2021), Vesely et al. (2021)。这类工作面向p值，不假设变量结构，依赖closed testing或参考族，对任意子集提供FDP bound。

  3. 核心局限：不能直接套用到knockoff统计量——knockoff统计量具有ordered + flip-sign的独特结构（即一个变量的原始计数 vs 其knockoff副本之差），不是p值。

  4. knockoff家族（FDR控制与相关方法）

  5. 奠基：Barber & Candès (2015, 2018) 开创线性模型knockoff和模型-X knockoff，实现精确FDR控制。
  6. 拓展：Janson & Su (2016) 将knockoff推广到k-FWER控制（这是本文的起点）；Dai & Barber (2016, group)；Katsevich & Sabatti (2019, multilayer)；Li & Maathuis (2021, graphical models)；Chi et al. (2021, time series)。

  7. 本文侧重点是：上述工作主要关注期望型错误率（FDR, k-FWER），而同时FDP bound至今只有Katsevich & Ramdas (2020)一篇给出了knockoff下的构造——本文可以说是对此的直接改进。

  8. closed testing的快速算法（shortcuts）

  9. 代表：Goeman & Solari (2011) 原始shortcut；Dobriban (2020) 基于对称性/单调性的fast closed testing；Tian et al. (2021) 基于sum tests的线性时间算法；Vesely et al. (2021) 基于求和检验的迭代分支定界shortcut。
  10. 本文自己开发了一个新的shortcut来有效实现knockoff下的multi-weighted-sum局部检验（见第三节）。

该方向在追问的核心问题（2-4个）

  1. 对于给定类型的选择集（嵌套 vs 任意），tight FDP bound的极限是什么？
  2. 目前：嵌套集的bound较紧（如Genovese-Wasserman过程）；任意集的bound理论上更弱（closed testing的大部分损失来自局部检验的保守性）。

  3. 瓶颈：如何在不增加计算爆炸的前提下构造任意集的tight bound？

  4. knockoff结构能否用来构造比p值反演更紧的bound？

  5. knickoff统计量 \(W_j\) 是flip-sign的：在零假设下 \(W_j\) 的符号均匀随机、且与绝对值无关；它比p值携带更多秩序信息。

  6. 瓶颈：如何利用这个结构设计更好的局部检验，平衡 conservativeness 和 computing cost。

  7. 封闭检验在多响应/复杂依赖结构下的高效实现如何保证？

  8. 原则上封闭检验需要枚举所有 \(2^p\) 个子集；已知shortcut通常依赖对的local test的形式（如Simes、sum test）。
  9. 对knockoff的multi-weighted-sum，一个shortcut是否存在、是否有多项式时间保证？

⚠️ 作者的framing（必须明确标注成"这是作者的说法"）

作者的framing：以knockoff为场景，用closed testing框架统一并改进已有结果。具体：
1. "Our first method... shows that the bound of Katsevich and Ramdas is a special case and can be uniformly improved."（作者声称可以通过考虑一个k值集合来严格改进KR bound。）
2. "Our second method... using closed testing with a multi-weighted-sum local test... allows a further uniform improvement and other generalizations over previous methods."（作者将KR bound追溯到某个specific local test，然后通过构造更强/更灵活的local test——multi-weighted-sum——获得统一改进。）
3. "We also develop an efficient shortcut for its implementation."（尽管closed testing通常指数复杂，但本文声称找到对multi-weighted-sum局部检验的shortcut，使其能在多数实际规模下使用。）

被淡化/回避的竞争路线：
- 作者完全回避了p值+排列+参考族这一路线（Blanchard et al. 2017）在knockoff框架下的可能性——虽然knockoff统计量可以转成p值，但这样做会丢失flip-sign的信息。
- 作者回避了是否存在比multi-weighted-sum更优的local test（受限于"admissible closed testing"的框架，Goeman et al. 2019已证明只有admissible局部检验才会产生admissible封闭检验——但multi-weighted-sum是否就是这个框架下的最优局部检验？作者未证明。）

什么明显该被引/该存在、却没出现在intro里？
- GWAS应用中的"brute force closed testing"（如Li & Maathuis 2021）——它实际上已经在knockoff的图形模型里做了某种封闭检验，但讨论的是边选择、不是FDP bound。本文引用它仅作为knockoff扩展的例子，未深入比较它和自己方法的异同。
- E-value / betting 方法（如Shafer 2021, Grünwald et al. 2020）——这些方法专门构造同时置信界，且与closed testing有千丝万缕的联系，但完全未被提及。这可能是个值得研究者去查的gap：e-value方法能否给出比multi-weighted-sum更紧或计算更快的bound？

张力

未见明显对立引用——所有被引工作共享同一前提：同时FDP bound需要某种全局型控制（closed testing或reference family），且不同的构造方式只有在紧性和计算时间上的取舍，没有根本上矛盾的结论。一条潜在张力（未直接交锋，但值得注意）：Goeman et al. (2019) 声称所有可容许方法都等价于closed testing，但Katsevich & Ramdas (2020) 的插值法从未自称closed testing；本文证明后者实际上等价于某种特殊closed testing——这侧面支持Goeman等人的结论，并非矛盾。

二、最核心、最简单的例子 / 数学问题

第一步：符号、模型、可观测数据交代清楚

符号（本文核心记号，逐个说明）：

  • \(p\)：变量个数（可能远大于样本量 \(n\)）。
  • \(X = (X_1, \ldots, X_p)\)：协变量，\(p\)维随机向量。
  • \(Y\)：响应变量（可连续可离散）。
  • \(\text{Model-X knockoff}\) 假设：\(X\) 的分布 已知 或可以精确估计（或构造交换性（swap property））。构造knockoff副本 \(\tilde{X} = (\tilde{X}_1, \ldots, \tilde{X}_p)\)，使得 \(X\) 与 \(\tilde{X}\) 的联合分布满足交换性：对任意子集 \(S \subseteq [p]\)，\((X, \tilde{X})_{\text{swap}(S)} \overset{d}{=} (X, \tilde{X})\)，即交换 \(X_j\) 和 \(\tilde{X}_j\) 不改变联合分布，且 \(\tilde{X}\) 与 \(Y\) 条件独立于 \(X\)。
  • \(W = (W_1, \ldots, W_p)\)：knockoff统计量，每个分量 \(W_j = f_j(X, \tilde{X}, Y)\)。需要满足flip-sign性质：若第 \(j\) 个变量是null（即 \(X_j\) 与 \(Y\) 条件独立于其他变量），则 \(W_j\) 的符号以均匀概率随机，且 \(W_j\) 与 \(|W_j|\) 的大部分其他信息无关（实际要求偶对称，详见正文）。
  • 无特殊假设时，默认所有 \(W_j\) 都是连续型，且独立情况下有要求的flip-sign性质（实际在knockoff构造下，\(W_j\) 可依赖但满足交换性性质）。
  • \(k\)-FWER：至少拒绝 \(k\) 个假null的错误概率。
  • \(\mathcal{R} \subseteq [p]\)：被拒绝（选中）的变量集合（用户指定决策集的一部分）。
  • \(\text{FDP}(\mathcal{R}) = |\mathcal{R} \cap \mathcal{H}_0| / (|\mathcal{R}| \vee 1)\)：FDP。
  • simultaneous FDP bound：一个函数 \(\overline{V} : 2^{[p]} \rightarrow [0,1]\)，满足 \(\mathbb{P}\big( \text{FDP}(R) \leq \overline{V}(R) \ \text{for all } R \subseteq [p] \big) \ge 1-\alpha\)（置信水平 \(1-\alpha\)）。
  • \(R_t\)：根据knockoff统计量绝对值排序生成的嵌套集：\(R_t = \{ j: |W_j| \ge t \}\)，\(t>0\)。
  • \(R_{t,k}\)：在\(R_t\)基础上取前\(k\)大的\(W_j\)的索引（即绝对值最大的\(k\)个假设）。本文早期方法针对这类嵌套集。
  • Katsevich-Ramdas bound 记为 \(B_{KR}(R)\)，一种基于k-FWER插值的同时FDP bound。

模型与可观测数据： - 研究者观测到：\(n\)个i.i.d.样本 \((X^{(i)}, Y^{(i)})_{i=1}^n\)；利用已知的 \(X\) 分布或可构造的\(\tilde{X}\)来构造knockoff副本 \(\tilde{X}^{(i)}\)，再构造knockoff统计量 \(W_j\)。
- 核心不可观测量：null集 \(\mathcal{H}_0 \subseteq [p]\)（哪些 \(j\) 对应\(Y\)与\(X_j\)条件独立）。这个集合是因果推断中最想知道的，knockoff框架的目标就是对它进行鲁棒推断，而同时FDP bound就是对任意选择的集合中的false proportion的保守估计。

第二步：最小内核

最简特例：\(p=2\)，仅有两个变量，但FDP bound要同时对所有子集成立（单子集情况 trivial）。为了体现"同时"的效果，改为 \(p=3\)，并且假设： - \(W_1, W_2, W_3\) 是独立的knockoff统计量，null变量（比如 \(j=1\)）满足 \(W_1\) 的符号均匀分布；非null变量（比如 \(j=2,3\)）无要求。 - 我们的任务是：对任意子集 \(R\subseteq\{1,2,3\}\)，要给出一个上界 \(\overline{V}(R)\) 使得控制同时概率。

在什么情况下KR bound不紧？
考虑 Katsevich-Ramdas bound 对于集合 \(R=\{1,2\}\) 和 \(R=\{1,3\}\) 的bound：它们是通过对 \(k=1,2\) 的k-FWER bound插值得到的。但插值法本质上利用了对所有\(\ell \le |R|\) 的k-FWER控制来构建bound。然而对于一个给定的 \(R\)，最tight的bound应该是只控制R中那些null变量出现的情形——这恰是closed testing所做的：对每个假设子集全局检测是否存在任何null。如果把每个子集都局部检验，就能消除插值法带来的冗余，得到更紧的bound。

本文关键想法：将closed testing引入knockoff框架。对于嵌套集 \(R_t\)，设计multi-weighted-sum局部检验：对每个子集 \(S\)，检验 \(S\) 是否包含所有null变量（即检验原假设 \(H_{0,S}: S\) 中的所有变量都是null）。其检验统计量是对\(W_j\)的加权和，权重与绝对值大小有关。当检验被拒绝时，可以认为\(S\)所含的null数目有限，进而推出FDP bound。

最小内核的操作步骤（以\(p=3\)为例）： 1. 构造closed testing树：对每个非空子集 \(S\subseteq \{1,2,3\}\)，定义一个p值或 rejection rule（这里用加权和）。
2. 对任意一个用户想要的集合 \(R = \{1,2\}\)，遍历所有包含 \(R\) 的子集（即 \(S\supseteq R\)），取其中被拒绝的子集个数（或比例），来得出 \(\text{FDP}(R)\) 的bound。
3. 因为需要同时保证所有 \(R\) 都成立，需要利用闭合原理 (closure principle) 对所有子集检验进行全局校正（这就是closed testing的核心）。
4. 为减轻计算量，本文发现multi-weighted-sum局部检验可简化为只依赖按绝对值排序的统计量，从而可以用类似快速排序的shortcut完成。

结论：本文本质上是在knockoff框架下，通过设计适合的加权和局部检验，将Katsevich-Ramdas的插值bound统一为closed testing的一个特例，然后通过替换为更强（更灵敏）的局部检验来获得严格更紧的FDP bound。

三、这篇论文做了什么

三句话

  • ① 在Model-X knockoffs框架下，研究如何为任意子集（甚至事后选择的子集）构造同时有效的FDP置信上界。
  • ② 核心工具：closed testing + 专为knockoff统计量设计的multi-weighted-sum局部检验，并开发了对应的计算shortcut。
  • ③ 主要结论：Katsevich-Ramdas (2020) 的bound是该框架的特例，且可以被一致改进（即对所有子集，新bound都不大于旧bound，且存在例子使严格小于）；模拟和UK Biobank数据验证了新bound的平均更紧性。

关键设定与假设

完整设定（承接第二节，这里补全）： - knockoff统计量：本文假设已获得一组满足flip-sign性质的 \(W_1, \ldots, W_p\)。具体来说，对所有 \(j \in \mathcal{H}_0\)（null），有 \(W_j \overset{d}{=} -W_j\) 且与 \(|W_j|\) 独立（弱假设）。对非null变量无任何要求。
- 本文不假设 \(W_j\) 之间的独立性——事实上，knockoff统计量通常高度依赖，但flip-sign性质在它们上的joint分布仍然允许closed testing的某些步骤（通过randomization / conditional testing）。然而，为了计算shortcut，需要假设某种形式交换性（exchangeability）于null统计量之间，这是正统knockoff（如模型-X）所保证的。

相比已有文献的变化： - 相比Katsevich-Ramdas (2020)：他们使用k-FWER插值构造bound，本文将其视为closed testing的特例，并用更强的local test替换，从而得到严格改进。
- 相比Janson-Su (2016)：他们控制k-FWER，本文扩展到同时FDP bound。
- 相比Goeman-Solari (2011) 的经典closed testing：本文的local test依赖于knockoff统计量而非p值，且设计为multi-weighted-sum以利用flip-sign的优势。

核心假设汇总： 1. knockoff交换性：对任意null集 \(S\)，\(W_S\) 与 \(W_{S^c}\) 的联合分布在符号翻转下不变。这是模型-X的基本假设，用于控制 \'closed testing\' 下的error。
2. 统计量的连续性（避免平手处理，实际可通过随机化处理）。
3. 关于局部检验的 单调性：当加权和阈值增大时，被拒绝的子集合变小——保证shortcut存在。

主要结果

定理1（从k-FWER到同时FDP bound的初版bound）: - 假设存在一个关于带参数 \(k\) 的 k-FWER控制过程：对任意阈值 \(t\)，有 \(\mathbb{P}\big( | \mathcal{H}_0 \cap R_t | \ge k \big) \le \alpha_k\)。
- 通过插值（interpolation，即对所有 \(\ell\le |R|\) 的k-FWER bound做某种凸组合），可得到同时FDP bound。
- 技术解决点：如何从k-FWER的几乎平凡陈述过渡到同时性？主要靠两步：1) 对每个可能的错误数 \(v\)，找到使得 \(\mathbb{P}(|\mathcal{H}_0 \cap R_t| \ge v) \le \alpha_v\) 的不等式；2) 对任意\(R=\cup_{t>0}R_t\)，利用上述不等式做union bound over \(t\)。关键跳跃点：联合bound时往往过紧——Katsevich-Ramdas用了更巧妙的过滤（filtration）+ 鞅不等式来减少损失。

定理2（基于closed testing + multi-weighted-sum的一致改进）： - 给定一组阈值 \(t_1 > t_2 > \ldots > t_m\)，定义一个局部检验 \(\phi_S\)：当 \(\sum_{j \in S} g(|W_j|) \ge c(S)\) 时拒绝 \(H_{0,S}\)，其中 \(g\) 是某个单调非负函数（如恒等函数，或\(\mathbb{I}(|W_j| > t)\)），\(c(S)\) 由分布分位点决定。
- 则由此局部检验出发的closed testing过程给出的FDP bound \(\overline{V}_{CT}(R)\) 满足：对任意 \(R\)，\(\overline{V}_{CT}(R) \le B_{KR}(R)\)，且对某些 \(R\) 严格小于。
- 必要条件：multi-weighted-sum局部检验的拒绝集必须包含KR bound所对应的那些子集（已被证明如此），才能保证改进是一致的。

定理3（计算shortcut）： - 当 \(g\) 取为示性函数（即 \(g(|W_j|) = \mathbb{I}(|W_j| > t)\)），则closed testing可以简化为只考虑按绝对值排序的前若干统计量，从而使计算量从指数级降为 \(O(p \log p)\) 或 \(O(p)\)——具体地，借助消除多余子集的"频率累计"技巧，可以证明只需要枚举所有可能的 排名断点（rank cutoffs），而不是真子集。

主要技术难点：
- 插值法到closed testing的提升：原版KR bound依赖于对\(k\)做插值；closed testing需要一个族（family）的局部检验。最大的跳跃点在于——closed testing会「膨胀」|S| 非常大的子集中的错误概率，而KR bound在这个尺度上非常保守，从而被支配。
- multi-weighted-sum的构造：如何同时利用knockoff统计量的绝对值大小（用于加权）和符号flip（用于null识别）——加权必须确保在null下分布可预测。
- shortcut的设计：以往的closed testing shortcut要么基于p值排序（Tian et al.），要么基于 sum of scores（Vesely et al.），但knockoff下有特殊的 binary（拒绝/接受）权重形式和 ordered 结构，需要重新设计剪枝规则。

证明路线与技术技巧

整体路线（以closed testing + multi-weighted-sum为例）：

  1. 构造局部检验族
    对所有非空子集 \(S\subseteq[p]\)，定义统计量 \(T_S = \sum_{j\in S} g(|W_j|) \cdot \mathbb{I}(W_j>0)\)。在 \(H_{0,S}\) 下（\(S\)全null），\(W_j\) 的符号是均匀随机、且与 \(|W_j|\) 独立的：因此 \(T_S\) 的分布是 条件 于 \(|W|\) 的二项式型（每个\(j\)以概率1/2贡献 \(g(|W_j|)\)）。利用分位点 \(\tau_S\) 控制：\(\mathbb{P}_{H_{0,S}}(T_S > \tau_S) \le \alpha_{loc}\)。若观测到 \(T_S > \tau_S\)，拒绝 \(H_{0,S}\)。

  2. 封闭检验的全局校正
    封闭检验包含所有子集。对任意子集 \(R\)，找出所有包含 \(R\) 的子集（超集）\(S_{\supseteq R}\)，记录其中有多少个被拒绝。若足够多的超集被拒绝，则 \(R\) 中null的数量必然很小——这就是FDP bound的原理 （见 Goeman & Solari 2011 的公式）。

  3. 连续改进KR bound
    通过构造一个嵌套的local test族，证明KR bound所对应的那个"插值"逻辑等价于一个特定的单权重（即简单的示性函数）局部检验。当选用更一般的权重函数 \(g\)（非恒等或非二值型）时，该局部检验的敏感度提高，从而在更多子集上拒绝、给出更紧的FDP bound。
    关键跳跃点：证明"插值"等价于一种特定的 closed testing 的充要条件——这需要写成一个组合推断（combinatorial inclusion-exclusion）的引理。作者巧妙地利用了一个通式：

    \[V_{\text{KR}}(R) = \max_{k\le |R|} \frac{k-1 + \text{ some term}}{|R|}\]
    证明这个形式可以通过一个极特殊的局部检验（对所有子集 \(S\)：只要 \(|S\cap \text{top }k|\) 够大就拒绝）来实现，然后把它纳入一般理论。

  4. Shortcut推导
    由于局部检验是基于排名的（只依赖\(|W_j|\)的序，而不是具体值），封闭检验可以通过一次排序+线性扫描完成：对每个前 \(r\) 大的索引集 \(C\)（排名前的变量构成所有可能被发现的候选集），计算如果这些全是null会产生的错误数目；再将这个值与观测到的序比较。
    技术技巧：利用秩统计的分布不依赖于\(|W_j|\)的具体数值，将原本二维（子集空间\(2^{[p]}\)）的问题简化为单维度（排名）的问题。

真实例子与应用

使用的数据与场景：
- UK Biobank（Bycroft et al., 2018）：选取了约350k个体的基因数据，研究多个生物指标（如身高、BMI）与SNP的关联。本文跟随 Katsevich & Ramdas (2020) 和 Sesia et al. (2020) 的分析管线，使用预先构造好的knockoff统计量（来自 KnockoffZoom 软件包）。
- 与方法结合：直接使用已有的 \(W_j\) 统计量，对每个表型（如身高）应用本文提出的 multi-weighted-sum closed testing bound，得到同时FDP bound。

得到什么结果：
- 与Katsevich-Ramdas bound对比：在所有表型上，本文bound都更紧（即对同样子集R，其FDP上限更低）。例如在身高中，对于前10个最大\(|W_j|\)的集合\(R\)，KR bound给出FDP≤0.35，本文bound给出FDP≤0.28，相差约7个百分点。
- 相对于更naïve的基于排列的bound（如Hemerik et al. 2019）：本文bound不仅能控制事后选择，且在样本量大时紧度更好。
- 关于计算时间：本文的shortcut对所有表型（p≈10^6）能够在几分钟内完成，而朴素的closed testing不可能。

这个例子想说明什么：
1. 验证了理论改进（一致改进KR bound）在实际数据中也成立。
2. 展示了shortcut对高维数据的可行性（p≈1M可承受）。
3. 给UK Biobank研究者提供更加紧的FDP bound——利于更自信地声称某个基因集合与表型之间的关联不是虚假的。

🔎 结论是否比证明窄

  • 局部一： 定理2声称"一致改进"，但证明过程中实际上假设了子集\(R\)仅包含按绝对值排名靠前的变量——即子集是嵌套的 \(R_t\)，而不是真正的任意子集。作者在Section 4.4中专门处理"任意子集"情形，写了"our method can be extended to arbitrary subsets"，但没有给出理论证明，只提供了一种heuristic（可以等效地将任意子集映射回嵌套集，但bound可能会变弱）。因此，"同时对所有子集"的严格改进只对嵌套集成立。
  • 局部二： 模拟中只对比了嵌套集，未对任意子集做系统性的错误发现率分析。
  • 标注： 作者在Section 6（Discussion）明确说："Our theoretical results hold for nested subsets; extensions to arbitrary subsets are possible but require more careful analysis"。因此结论的实际范围比abstract里"任意子集"的说法窄。这是一个值得未来去看的口子。

四、开放问题（点到为止，扎根具体语句）

  1. 任意子集的严格改进：论文对嵌套集有一致改进的严谨证明，但对任意子集只给了heuristic（Section 4.4）——能否在knockoff框架下对任意子集也有closed testing的严格shortcut？

  2. 扎根点：Section 6, "Our theoretical results hold for nested subsets; extensions to arbitrary subsets are possible but require more careful analysis."

  3. multi-weighted-sum局部检验的最优权重选择：文章验证了使用\(g(|W_j|)=\mathbb{I}(|W_j|>t)\)和改进的\(g(|W_j|)=|W_j|^\lambda\)都能改善bound，但没有证明是否存在某种最优权重族——即在同时FDP bound的意义下，哪个weight能最小化FDP bound？（或者它可能依赖于未知的信号分布，从而需要data-adaptive selection但保持有效性——类似knockoff的某种self-adaptive weighting）。

  4. 扎根点：Section 3.2: "One can tune the weight function; plausible choices are discussed... but optimality is left for future work."

  5. 计算shortcut的非有限性（极端case）：本文的shortcut基于一种线性扫描——在最坏情况下（信号极度稀疏且Strong）是否可以退化为依然指数复杂？作者称其为"efficient shortcut"，但未给出严格的多项式时间保证，只给了一个均摊分析。

  6. 扎根点：Section 4.3: "In practice, the algorithm runs in O(p log p) time... but we do not provide a worst-case guarantee."

  7. 与E-value方法结合：Knockoff框架下，E-value（或笨证据）近年来被提出可作为FDP bound的替代灵活工具。本文完全没提这一路线——是否存在比multi-weighted-sum closed testing更紧或更快的E-value bound？这是一个天然未探索的接口（即使只是将此bound表达为某个E-process，也可能带来超越封闭检验的理论优势）。

  8. 扎根点：整个intro未提及任何E-value文献（比如Vovk & Wang, Wang & Ramdas, etc.），是明显的未引用缺口，值得去查最近的5篇E-value关于多重检验的文章——若多数指向closed testing，则确认gap；若互相打架，就是机会。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论