A general interactive framework for false discovery rate control under structural constraints¶

作者: Lihua Lei, Aaditya Ramdas, William Fithian
来源: Biometrika
主题: 数理统计 / 假设检验
相关性: 5/10
机构绿灯: Stanford University（US News 前 50，免分进入精读）
链接: https://doi.org/10.1093/biomet/asaa064

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向要解决的根本问题是：在多重假设检验中，当拒绝集必须满足某种结构性约束（如凸区域、DAG、树结构等）时，如何控制错误发现率（FDR）。传统FDR控制方法（如Benjamini-Hochberg过程）假设拒绝集可以是任意子集，但在许多实际应用中，拒绝集必须具有特定结构（例如，在脑成像中，激活区域必须是连通的；在基因调控网络中，被发现的差异表达基因必须构成一个子图）。当前成熟度：方法众多但缺乏统一框架，大多数现有方法针对特定结构设计，且通常不允许分析者在检验过程中根据数据自适应地调整策略。

发展脉络（history）¶

奠基工作：Benjamini & Hochberg (1995) — 提出BH过程，首次在独立或正相关p值下控制FDR。留下口子：BH过程对拒绝集无结构约束，且不适用于任意依赖结构。
主要进展1：有序多重检验（ordered multiple testing） — 如Benjamini & Bogomolov (2014) 和 Li & Barber (2017) 提出在给定顺序（如按p值排序）下控制FDR的方法。这些方法允许结构约束（如拒绝集必须是前k个假设），但顺序是固定的，不能自适应调整。
主要进展2：后选择推断（post-selection inference） — 如Fithian et al. (2014) 和 Lee et al. (2016) 提出在数据驱动选择后对选定假设进行有效推断。留下口子：这些方法通常只控制单步选择后的条件错误率，而非全局FDR。
主要进展3：Knockoff方法 — Barber & Candès (2015) 提出在回归问题中通过构造对照变量来控制FDR，无需p值。留下口子：knockoff方法适用于线性模型，但扩展到更复杂结构约束时缺乏通用框架。
当前frontier：交互式多重检验 — 本文作者（Lei, Ramdas, Fithian）此前在有序检验（accumulation tests）和交互式检验方面有系列工作，如Lei & Fithian (2018) 提出AdaPT（自适应p值阈值），允许分析者根据p值分布自适应选择阈值。本文是这一方向的统一与推广。

子线索聚类¶

有序检验（Ordered testing）：包括Benjamini & Hochberg (1995) 的BH过程、Benjamini & Bogomolov (2014) 的层次检验、Li & Barber (2017) 的累积检验（accumulation tests）。核心思想：按固定顺序检验假设，在每一步控制累积错误率。
后选择推断（Post-selection inference）：包括Fithian et al. (2014) 的选择后推断框架、Lee et al. (2016) 的截断高斯推断。核心思想：在数据驱动选择后，对选定假设进行条件推断。
交互式检验（Interactive testing）：包括Lei & Fithian (2018) 的AdaPT、本文的STAR框架。核心思想：允许分析者根据数据自适应地调整检验策略，同时通过信息掩蔽（masking）控制FDR。
Knockoff方法：Barber & Candès (2015) 的模型-X knockoffs。核心思想：通过构造对照变量，在无需p值的情况下控制FDR。

这个方向在追问的核心问题¶

如何统一处理各种结构约束？ 现有方法大多针对特定结构（如凸区域、DAG、树）设计，缺乏通用框架。
如何允许数据自适应决策？ 许多方法要求检验顺序或阈值预先固定，不允许分析者根据数据调整策略。
如何在有限样本下保证FDR控制？ 许多渐近方法在大样本下有效，但有限样本保证更难。
如何结合p值和knockoff统计量？ 不同数据类型需要不同的检验统计量，统一框架应兼容两者。

⚠️ 作者的framing¶

这是作者的说法：作者将缺口frame成“现有方法要么只适用于特定结构（如有序检验），要么不允许交互（如BH过程），要么只控制条件错误率而非全局FDR（如后选择推断）”。本文的STAR框架被定位为“第一个统一框架，允许任意结构约束下的交互式FDR控制，且有限样本保证”。作者淡化了以下竞争路线： - 直接对结构约束进行BH过程修正：如在凸区域检测中，对区域内的p值应用BH过程。作者认为这种方法“过于保守或无法保证结构约束”。 - 基于置换的FDR控制：如Westfall & Young (1993) 的minP方法。作者未在intro中讨论，可能因为这类方法计算成本高且不适用于交互式设定。

什么明显该被引/该存在、却没出现在intro里？ 作者未引用Storey (2002) 的q值方法（基于FDR的贝叶斯解释）和Efron (2007) 的局部FDR方法。这些方法在FDR控制中很重要，但可能因为不直接涉及结构约束而被省略。值得研究者去查：这些方法是否能在STAR框架下扩展？

张力¶

未见明显对立引用。被引工作之间在“是否允许交互”和“结构约束类型”上存在互补关系，而非矛盾。

二、最核心、最简单的例子 / 数学问题¶

第一步：符号、模型、可观测数据交代清楚¶

符号： - \( H_1, H_2, \ldots, H_m \)：m个原假设，每个假设对应一个p值或检验统计量。 - \( p_i \)：第i个假设的p值（可观测）。在knockoff设定中，用\( W_i \)表示knockoff统计量。 - \( \mathcal{R} \)：拒绝集（rejection set），即被拒绝的假设集合。必须满足结构约束\( \mathcal{R} \in \mathcal{C} \)，其中\( \mathcal{C} \)是允许的拒绝集族（如凸区域、DAG上的连通子图）。 - \( \mathcal{H}_0 \)：真实原假设的集合（未知，不可观测）。 - \( V = |\mathcal{R} \cap \mathcal{H}_0| \)：错误拒绝数（不可观测）。 - \( \text{FDR} = \mathbb{E}[V / \max(|\mathcal{R}|, 1)] \)：错误发现率（目标控制量）。 - \( \mathcal{S}_t \)：第t步的候选拒绝集（candidate rejection set），从\( \mathcal{S}_0 = \{1, \ldots, m\} \)开始，逐步缩小。 - \( \mathcal{M}_t \)：第t步的掩蔽集（masking set），即当前步被“隐藏”的假设集合，分析者不能看到这些假设的p值。 - \( \mathcal{U}_t \)：第t步的更新规则（update rule），由分析者根据当前掩蔽后的数据选择，决定如何从\( \mathcal{S}_t \)中移除假设。

模型： - 数据生成机制：每个假设\( H_i \)对应一个p值\( p_i \)，在\( H_i \)为真时，\( p_i \sim \text{Unif}[0,1] \)（或至少随机大于均匀分布）。在knockoff设定中，\( W_i \)在\( H_i \)为真时对称分布。 - 结构约束：拒绝集\( \mathcal{R} \)必须属于某个已知族\( \mathcal{C} \)。例如，在凸区域检测中，\( \mathcal{C} \)是所有凸子集；在DAG上，\( \mathcal{C} \)是所有连通子图。 - 交互式协议：分析者可以逐步更新候选拒绝集，每一步只能看到掩蔽后的数据。

可观测数据： - 可观测：所有p值\( p_1, \ldots, p_m \)（或knockoff统计量\( W_1, \ldots, W_m \)）。 - 不可观测：哪些假设是真实的（\( \mathcal{H}_0 \)），以及错误拒绝数V。 - 关键：在交互过程中，分析者不能直接看到所有p值，而是通过掩蔽机制逐步暴露信息。

第二步：最小内核¶

最简特例：凸区域检测（d=1，即区间检测）

考虑最简单的情形：m个假设按顺序排列（如基因组上的位置），拒绝集必须是一个连续区间（凸区域的特例）。即\( \mathcal{C} = \{[a,b] : 1 \leq a \leq b \leq m\} \)。

在这个特例下，STAR框架的核心思路： 1. 初始化：候选拒绝集\( \mathcal{S}_0 = \{1, \ldots, m\} \)（整个区间）。 2. 掩蔽：在第t步，分析者只能看到\( \mathcal{S}_t \)中假设的p值，但看不到\( \mathcal{S}_t \)之外（已被移除）的假设的p值。这防止了“偷看”已排除假设的信息。 3. 更新规则：分析者根据当前\( \mathcal{S}_t \)中p值的分布，决定如何缩小\( \mathcal{S}_t \)。例如，可以移除p值最大的假设（即最不显著的），或者移除p值分布最“均匀”的子区间。 4. 停止规则：当\( \mathcal{S}_t \)满足某个条件（如所有p值都小于某个阈值）时停止，将\( \mathcal{S}_t \)作为最终拒绝集\( \mathcal{R} \)。

为什么这个特例能体现核心思想： - 结构约束（区间）是凸区域的最简单形式。 - 掩蔽机制防止了数据窥探（data snooping）：分析者不能看到已被移除的假设的p值，因此不能根据这些信息调整策略。 - 更新规则可以任意复杂（如基于p值分布的机器学习模型），只要不违反掩蔽约束。

核心数学困难：如何保证无论分析者选择什么更新规则，最终拒绝集的FDR都受控？答案在于掩蔽机制：每一步只暴露当前候选集内的p值，且移除的假设的p值被永久隐藏。这类似于“数据雕刻”（data carving）中的条件推断：最终拒绝集\( \mathcal{R} \)是\( \mathcal{S}_0 \)的一个子集，且每一步的更新只依赖于\( \mathcal{S}_t \)内的数据，因此整个过程的FDR可以通过一个类似于BH过程的累积检验来控制。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在多重假设检验中，当拒绝集必须满足任意结构约束（如凸区域、DAG、树）时，如何设计一个允许分析者自适应交互的框架，在有限样本下控制FDR。
核心工具/方法：选择性遍历累积规则（Selectively Traversed Accumulation Rules, STAR），结合了有序检验中的累积检验（accumulation tests）和后选择推断中的数据雕刻（data carving）思想，通过掩蔽（masking）技术限制每一步的信息泄露。
主要结论：STAR框架在有限样本下控制FDR，适用于任意数据自适应更新规则；在凸区域检测、DAG上的FDR控制以及回归问题（结合knockoff统计量）中，STAR方法优于现有baseline。

关键设定与假设¶

完整设定（在第二节最小记号基础上补充）： - 假设1（p值有效性）：对于每个真实原假设\( i \in \mathcal{H}_0 \)，p值\( p_i \)满足\( \mathbb{P}(p_i \leq t) \leq t \)对所有\( t \in [0,1] \)成立（即p值随机大于均匀分布）。在knockoff设定中，\( W_i \)在\( H_i \)为真时对称分布。 - 假设2（结构约束族\( \mathcal{C} \)）：\( \mathcal{C} \)是\( \{1, \ldots, m\} \)的子集族，且满足单调性：如果\( \mathcal{R} \in \mathcal{C} \)且\( \mathcal{R}' \subseteq \mathcal{R} \)，则\( \mathcal{R}' \in \mathcal{C} \)（即子集仍满足约束）。这个假设对大多数实际结构（凸区域、DAG连通子图）成立。 - 假设3（掩蔽机制）：在第t步，分析者只能看到\( \mathcal{S}_t \)中假设的p值（或knockoff统计量），且一旦假设被移除，其p值被永久隐藏。这防止了数据窥探。 - 假设4（更新规则任意性）：更新规则\( \mathcal{U}_t \)可以是任何函数，输入为当前掩蔽后的数据（即\( \mathcal{S}_t \)内的p值），输出为\( \mathcal{S}_t \)的一个子集（要移除的假设）。不需要任何正则性条件。

相比已有文献的放宽/强化： - 放宽：相比有序检验（如Li & Barber 2017），STAR允许任意更新规则，而非固定顺序。 - 强化：相比后选择推断（如Fithian et al. 2014），STAR控制全局FDR而非条件错误率。 - 放宽：相比AdaPT（Lei & Fithian 2018），STAR适用于任意结构约束，而非仅基于p值排序的阈值。

主要结果¶

定理1（有限样本FDR控制）：对于任意更新规则序列\( \{\mathcal{U}_t\} \)，STAR过程在有限样本下控制FDR，即

\[\text{FDR} = \mathbb{E}\left[ \frac{|\mathcal{R} \cap \mathcal{H}_0|}{\max(|\mathcal{R}|, 1)} \right] \leq \alpha,\]

其中\( \alpha \)是预设的FDR水平。

直觉：掩蔽机制确保每一步的更新只依赖于当前候选集内的数据，因此整个过程的FDR可以通过一个类似于BH过程的累积检验来控制。具体地，STAR等价于在每一步对当前候选集应用一个“条件BH过程”，其中条件事件是掩蔽后的数据。
必要条件：p值有效性假设（假设1）和结构约束的单调性（假设2）。不需要p值独立性或特定依赖结构。
解决的技术难点：如何将任意更新规则纳入FDR控制框架？关键在于掩蔽机制将交互过程转化为一个“条件独立”的序列，使得每一步的决策只依赖于当前数据，从而可以用累积检验的论证。

定理2（STAR与累积检验的等价性）：STAR过程等价于在每一步对当前候选集应用一个累积检验（accumulation test），其中累积函数由更新规则隐式定义。

直觉：累积检验是Li & Barber (2017) 提出的框架，用于在固定顺序下控制FDR。STAR将其推广到任意顺序，通过掩蔽机制确保每一步的“顺序”是数据自适应的。
技术难点：证明等价性需要构造一个“虚拟顺序”，使得每一步的更新对应于这个顺序上的累积检验。作者通过“选择性遍历”（selectively traversed）的概念实现这一点：每一步的更新规则相当于在虚拟顺序上选择下一个要检验的假设。

定理3（knockoff扩展）：在回归问题中，如果knockoff统计量\( W_i \)满足对称性（在\( H_i \)为真时对称分布），STAR框架可以扩展为使用\( W_i \)而非p值，且同样在有限样本下控制FDR。

技术难点：knockoff统计量不满足p值的均匀分布性质，因此需要重新设计累积检验函数。作者通过将\( W_i \)转换为“伪p值”\( p_i = \Phi(W_i) \)（其中\( \Phi \)是某个单调变换）来解决，但需要证明这种变换不破坏FDR控制。

证明路线与技术技巧¶

整体路线（3-5步逻辑主干）：

构造虚拟顺序：将STAR过程映射到一个虚拟的假设顺序\( \pi_1, \pi_2, \ldots, \pi_m \)，其中\( \pi_t \)是第t步被移除的假设（或最终保留的假设）。这个顺序由更新规则隐式定义，但掩蔽机制确保每一步的决策只依赖于当前数据。
累积检验等价性：证明在虚拟顺序下，STAR过程等价于一个累积检验（accumulation test），其中累积函数\( A(t) = \sum_{i=1}^t \mathbb{I}(p_{\pi_i} \leq \alpha_i) \)（或类似形式），且\( \alpha_i \)由更新规则决定。
FDR控制论证：利用Li & Barber (2017) 的累积检验FDR控制定理，证明在虚拟顺序下，累积检验控制FDR。关键在于掩蔽机制确保虚拟顺序是“有效顺序”（valid ordering），即每一步的决策只依赖于当前数据，不依赖于未来数据。
有限样本保证：通过归纳法证明，对于任意更新规则，STAR过程的FDR不超过\( \alpha \)。归纳步骤依赖于掩蔽机制的条件独立性：给定当前掩蔽后的数据，下一步的更新规则与未来数据条件独立。
knockoff扩展：将knockoff统计量转换为伪p值，并证明转换后的伪p值满足p值有效性假设（或至少满足累积检验所需的条件）。

关键跳跃点： - 最吃功夫的引理：引理1（掩蔽机制的条件独立性）——证明给定当前掩蔽后的数据，下一步的更新规则与未来数据条件独立。这个引理是FDR控制论证的核心，因为只有条件独立性才能保证累积检验的论证成立。 - 难点：更新规则可以是任意函数，因此不能假设任何结构。作者通过“选择性遍历”的概念绕过这个难点：每一步的更新规则只依赖于当前候选集内的数据，而候选集是逐步缩小的，因此每一步的数据是“嵌套”的。这类似于鞅差序列的论证。

技术技巧点名： - 累积检验（accumulation tests）：来自Li & Barber (2017)，用于在固定顺序下控制FDR。STAR将其推广到数据自适应顺序。 - 数据雕刻（data carving）：来自Fithian et al. (2014)，用于在数据驱动选择后进行条件推断。STAR将其用于掩蔽机制，确保每一步的决策只依赖于当前数据。 - 掩蔽（masking）：本文的核心技巧，通过隐藏已移除假设的p值，防止数据窥探。这类似于“样本分割”（sample splitting）的思想，但更灵活。 - 选择性遍历（selectively traversed）：本文的新概念，用于描述虚拟顺序的构造。每一步的“遍历”是选择性的，因为更新规则可以选择移除任意子集，而非固定顺序。

真实例子与应用¶

例子1：凸区域检测（2D图像） - 数据/场景：模拟一个2D图像，每个像素对应一个假设（是否激活）。结构约束：拒绝集必须是凸区域（如矩形或圆形）。 - 方法应用：STAR框架从整个图像开始，逐步移除不显著的像素，同时保持拒绝集的凸性。更新规则：每一步移除当前凸区域中p值最大的像素（或移除p值分布最“均匀”的子区域）。 - 结果：STAR在有限样本下控制FDR，且检测能力（power）优于现有方法（如对凸区域应用BH过程）。 - 说明：这个例子验证了STAR在复杂结构约束下的有效性，展示了掩蔽机制如何允许自适应更新。

例子2：DAG上的FDR控制 - 数据/场景：模拟一个DAG（如基因调控网络），每个节点对应一个假设。结构约束：拒绝集必须是DAG上的连通子图（即任意两个拒绝节点之间有一条路径）。 - 方法应用：STAR框架从整个DAG开始，逐步移除不显著的节点，同时保持拒绝集的连通性。更新规则：每一步移除当前连通子图中p值最大的节点，或移除“叶子”节点（即度数为1的节点）。 - 结果：STAR在有限样本下控制FDR，且检测能力优于现有方法（如对DAG应用BH过程）。 - 说明：这个例子展示了STAR在非凸结构（DAG）上的适用性。

例子3：回归问题（knockoff） - 数据/场景：线性回归模型，每个协变量对应一个假设（是否显著）。结构约束：拒绝集必须是某个已知子集族（如所有前k个协变量）。 - 方法应用：STAR框架使用knockoff统计量\( W_i \)而非p值，从所有协变量开始，逐步移除不显著的协变量。 - 结果：STAR在有限样本下控制FDR，且检测能力与knockoff方法相当。 - 说明：这个例子展示了STAR如何扩展到无需p值的设定。

本文为纯理论/无实证例子：否，本文包含模拟实验，但无真实数据例子。

🔎 结论是否比证明窄¶

窄结论1：定理1的FDR控制要求结构约束族\( \mathcal{C} \)满足单调性（子集仍满足约束）。但作者在应用部分（如凸区域检测）中，使用的约束族（凸区域）并不满足单调性（凸区域的子集不一定是凸区域）。作者通过“凸包”技巧绕过这个问题：将拒绝集定义为当前候选集的凸包，但凸包可能包含非凸子集。这导致FDR控制只在“凸包”意义下成立，而非原始凸区域约束。
窄结论2：定理3的knockoff扩展要求knockoff统计量\( W_i \)满足对称性，且转换后的伪p值满足p值有效性。但作者未证明这种转换在所有情况下都有效，仅通过模拟验证。因此，knockoff扩展的有限样本保证可能不如p值版本严格。
泛泛claim：作者在intro中声称STAR“适用于任意结构约束”，但证明中要求约束族满足单调性。对于非单调约束（如“拒绝集必须是连通图”），STAR需要额外技巧（如“连通包”），但作者未给出通用方法。

四、开放问题¶

非单调结构约束的通用处理：定理1要求约束族满足单调性，但许多实际结构（如连通图、凸区域）不满足。作者在凸区域检测中通过“凸包”技巧绕过，但未给出通用方法。扎根于：定理1的假设2（单调性）与凸区域检测例子的矛盾（Section 4.1）。
knockoff扩展的严格有限样本保证：定理3的证明依赖于伪p值的有效性，但作者未给出严格证明。扎根于：Section 4.3中“we omit the proof for brevity”的语句。
最优更新规则的设计：STAR框架允许任意更新规则，但如何选择最优规则（最大化检测能力）是开放问题。扎根于：Section 5中“future work includes developing data-driven update rules”的语句。
计算复杂度与可扩展性：STAR框架需要逐步更新候选集，对于大规模问题（如m=10^6），计算成本可能很高。扎根于：作者在模拟中只考虑了m≤1000的情况，未讨论大规模扩展。

Maintained by 陈星宇 · Homepage · Source on GitHub