跳转至

Mirror and knockoff+ thresholds under dependence

作者: Xianyang Zhang
主题: 数理统计 / 假设检验
相关性: 6/10
链接: https://arxiv.org/abs/2607.17084

一、领域脉络与小综述

这个方向是什么

这个子方向关注的是多重假设检验中的错误发现率（FDR）控制，特别是当检验统计量之间存在依赖关系时，如何保证FDR控制的有效性。核心问题是：一个看似合理的FDR控制程序（如基于对称性的mirror阈值或knockoff+阈值），在依赖数据下是否会失效？当前成熟度：对于独立或弱依赖数据，已有成熟理论（如BH程序）；但对于强依赖或特定依赖结构，失效机制仍在被揭示中。

发展脉络（history）

  • 奠基工作：Benjamini & Hochberg (1995) 提出了FDR概念和BH程序，在独立p值下证明FDR控制。这是整个领域的起点。
  • 主要进展1：依赖下的BH程序。Benjamini & Yekutieli (2001) 证明BH程序在PRDS（正回归依赖子集）条件下仍然有效，这是依赖下FDR控制的重要里程碑。Sarkar (2002) 进一步扩展了相关结果。
  • 主要进展2：knockoff框架。Barber & Candès (2015) 提出knockoff滤波器，在线性模型下实现精确有限样本FDR控制，不依赖设计矩阵。Candès et al. (2018) 将其推广到模型-X knockoffs，允许任意响应分布和高维设定。核心创新是通过构造“knockoff”变量实现条件符号翻转性质。
  • 主要进展3：mirror统计量方法。Xing, Zhao & Liu (2023) 提出Gaussian Mirror方法，通过数据扰动构造对称统计量。Dai et al. (2023a, 2023b) 提出数据分割和尺度无关的mirror方法。这些方法通常依赖弱依赖条件或显式假设。
  • 主要进展4：自适应与条件校准方法。Lei & Fithian (2018) 提出AdaPT，Lei, Ramdas & Fithian (2021) 提出STAR，Deng, He & Zhang (2024) 提出联合mirror程序。这些方法通过控制信息揭示过程来实现FDR控制。Fithian & Lei (2022) 提出条件校准方法，当联合零分布足够已知时提供另一条路径。
  • 当前frontier：依赖结构下mirror/knockoff类方法的失效边界。Zhang (2026) 本文系统性地构造反例，证明即使满足PRDS、高斯性、边际对称性等常见条件，mirror/knockoff+阈值仍可严重失效。
  • 本文位置：本文是揭示依赖下mirror/knockoff+阈值失效机制的关键工作，通过构造三类反例（非高斯PRDS、固定高斯等相关、两区块高斯），证明“共享计数规则本身不保证FDR有效性”。

子线索聚类

  1. 基于p值的方法：BH程序（Benjamini & Hochberg 1995, Benjamini & Yekutieli 2001）、Storey型估计（Storey 2002, Storey et al. 2004）、AdaPT（Lei & Fithian 2018）、条件校准（Fithian & Lei 2022）。这些方法依赖p值的均匀性或特定依赖结构。
  2. 基于knockoffs的方法：固定-X knockoffs（Barber & Candès 2015）、模型-X knockoffs（Candès et al. 2018）、鲁棒knockoffs（Barber, Candès & Samworth 2020）、条件knockoffs（Huang & Janson 2020）。核心是构造交换性变量实现条件符号翻转。
  3. 基于mirror统计量的方法：Gaussian Mirror（Xing, Zhao & Liu 2023）、数据分割mirror（Dai et al. 2023a）、尺度无关mirror（Dai et al. 2023b）、联合mirror（Deng, He & Zhang 2024）、Bi-Gaussian Mirror（Wu, Yuan & Jiang 2026）、PRADAS（Guo, Lin & Liu 2026）。这些方法通常依赖弱依赖条件或显式假设。

这个方向在追问的核心问题

  1. 依赖结构对FDR控制的影响：什么类型的依赖会导致FDR控制失效？什么依赖结构是安全的？
  2. mirror/knockoff类方法的充分条件：除了条件符号翻转性质，还有哪些条件能保证FDR控制？
  3. PRDS的充分性边界：PRDS对BH程序充分，但对mirror阈值是否充分？本文证明不充分。
  4. 失效的量化特征：依赖强度、假设数量、信号稀疏性如何影响FDR膨胀程度？

⚠️ 作者的framing

这是作者的说法：作者将缺口frame成“mirror/knockoff+阈值在缺乏条件符号翻转性质时可能严重失效”，从而将本文定位为“揭示依赖下失效机制”的显然下一步。作者淡化/回避的竞争路线包括： - 数据分割方法（Dai et al. 2023a）和条件校准方法（Fithian & Lei 2022）——作者承认它们通过不同方式（限制数据使用、利用已知联合分布）来保证有效性，但未深入讨论这些方法在本文构造的反例下是否也会失效。 - 作者在Section 1.2提到“这些方法将有效性负担放在不同地方”，但未系统比较。

什么明显该被引/该存在、却没出现在intro里？ - Dobriban (2026) 关于BH程序在相关双尾高斯检验下失效的反例——本文引用在Section 5，但未在intro中提及。这是一个值得研究者去查的问题：BH程序在什么依赖下失效？与mirror失效机制有何异同？ - 更一般的依赖结构分类（如m-dependence、强混合、因子模型）下的FDR控制理论——本文只聚焦于特定反例，未系统综述。

张力

未见明显对立引用。各被引工作基本在各自设定下成立，本文通过构造反例揭示的是“某些常见条件（如PRDS、高斯性）对mirror阈值不充分”，而非直接矛盾。一个值得注意的张力是：Benjamini & Yekutieli (2001) 证明PRDS对BH程序充分，而本文证明PRDS对mirror阈值不充分——这暗示PRDS的充分性依赖于具体程序结构，而非依赖本身的“友好性”。

二、最核心、最简单的例子 / 数学问题

第一步：符号、模型、可观测数据交代清楚

符号： - \( m \)：假设总数（正整数）。 - \( H_1, \ldots, H_m \)：待检验的假设。 - \( H_0 \subseteq \{1, \ldots, m\} \)：真实零假设的指标集。 - \( \hat{R} \subseteq \{1, \ldots, m\} \)：数据依赖的拒绝集。 - \( \text{FDP} = |\hat{R} \cap H_0| / (|\hat{R}| \vee 1) \)：错误发现比例。 - \( \text{FDR} = \mathbb{E}[\text{FDP}] \)：错误发现率。 - \( q \in (0, 1) \)：目标FDR水平。 - \( P_i \)：第 \( i \) 个假设的p值（可观测）。 - \( W_i \)：第 \( i \) 个假设的分数（signed score），大正值倾向于拒绝（可观测）。 - \( u \)：p值阈值（\( 0 < u \leq 1/2 \)）。 - \( t \)：分数阈值（\( t > 0 \)）。 - \( R(u) = \#\{i : P_i \leq u\} \)：p值小于等于 \( u \) 的个数。 - \( L(u) = \#\{i : P_i \geq 1 - u\} \)：p值大于等于 \( 1 - u \) 的个数。 - \( N_+(t) = \#\{i : W_i \geq t\} \)：分数大于等于 \( t \) 的个数。 - \( N_-(t) = \#\{i : W_i \leq -t\} \)：分数小于等于 \( -t \) 的个数。 - \( \hat{u} \)：mirror阈值（公式(1)）。 - \( \hat{t} \)：knockoff+阈值（公式(2)）。 - \( Z_0, Z_1, \ldots, Z_m \)：独立标准正态变量（用于构造依赖）。 - \( \rho \in (0, 1) \)：等相关系数。 - \( \varepsilon \)：非高斯PRDS反例中的混合参数（\( 0 < \varepsilon < 1/2 \)）。 - \( H \)：非高斯PRDS反例中的潜在伯努利变量（公平硬币）。 - \( f_0, f_1 \)：条件密度函数。

模型： - 多重假设检验框架。每个假设 \( H_i \) 对应一个可观测统计量（p值 \( P_i \) 或分数 \( W_i \)）。零假设下，统计量应具有某种对称性（如p值均匀、分数对称于0）。 - 对于mirror阈值（公式(1)）：p值 \( P_i \) 在零假设下应均匀分布（\( P_i \sim \text{Unif}(0,1) \)）。 - 对于knockoff+阈值（公式(2)）：分数 \( W_i \) 在零假设下应关于0对称（\( W_i \stackrel{d}{=} -W_i \)）。 - 依赖结构：各统计量之间可能存在任意依赖关系。

可观测数据： - 可观测：p值向量 \( (P_1, \ldots, P_m) \) 或分数向量 \( (W_1, \ldots, W_m) \)。研究者能直接看到每个假设的p值或分数。 - 想要但观测不到：零假设的真实指标集 \( H_0 \)、每个统计量的“符号”是否独立于其大小（条件符号翻转性质）、潜在因子（如 \( Z_0 \)）的值。这些只能通过假设来识别。

第二步：讲最小内核

最简特例：所有 \( m \) 个假设都是零假设（全局零假设），且 \( m \) 很小（如 \( m = 11 \)），目标水平 \( q = 0.1 \)。

核心思路：mirror/knockoff+阈值通过比较“发现侧”和“控制侧”的计数来估计错误发现数。如果大量零假设同时落在发现侧（如所有分数为正），则控制侧计数很小，导致阈值被满足，从而错误拒绝所有假设。失效的关键是：零假设的符号不是条件独立的公平硬币翻转，而是倾向于同时为正或同时为负。

最简例子（非高斯PRDS反例）： - 设 \( m = 11 \)，所有假设为零。 - 构造一个潜在变量 \( H \sim \text{Bernoulli}(1/2) \)（公平硬币）。 - 给定 \( H = 0 \)，p值 \( P_1, \ldots, P_{11} \) 独立同分布，密度为：

\[f_0(u) = \begin{cases} 2(1-\varepsilon), & 0 < u < 1/2, \\ 2\varepsilon, & 1/2 < u < 1, \end{cases}\]
其中 \( \varepsilon = 0.1 \)。 - 给定 \( H = 1 \)，p值独立同分布，密度为 \( f_1(u) = f_0(1-u) \)。 - 可观测数据：p值向量 \( (P_1, \ldots, P_{11}) \)。每个p值的边际分布是均匀的（因为 \( (f_0 + f_1)/2 = 1 \)）。联合密度在 \( (0,1)^{11} \) 上严格正。向量满足PRDS（作者证明）。 - 失效机制：当 \( H = 0 \) 时，所有p值倾向于小于1/2（概率 \( (1-\varepsilon)^{11} \approx 0.3138 \)）；当 \( H = 1 \) 时，所有p值倾向于大于1/2（概率 \( \varepsilon^{11} \approx 10^{-11} \)）。在 \( H = 0 \) 的事件上，所有 \( W_i = 1/2 - P_i > 0 \)，即所有分数为正。此时，对于任何阈值 \( t > 0 \)，\( N_+(t) = 11 \)，\( N_-(t) = 0 \)，因此 \( (1 + N_-)/(N_+ \vee 1) = 1/11 < 0.1 = q \)，阈值被满足，所有假设被拒绝。由于所有假设为零，FDP = 1。 - FDR计算：FDR = P(至少一次拒绝) = P(所有分数为正) = P(H=0) × P(所有p值<1/2 | H=0) + P(H=1) × P(所有p值>1/2 | H=1) = \( \frac{1}{2}[(1-\varepsilon)^{11} + \varepsilon^{11}] \approx 0.1569 \)（严格<q）或 \( \frac{1}{2}[(1-\varepsilon)^{10} + \varepsilon^{10}] \approx 0.1743 \)（边界情况）。名义水平10%，实际FDR约17.4%。

这个例子说明了什么：即使每个p值边际均匀、联合密度严格正、满足PRDS，mirror阈值仍可严重失效。失效的根本原因是：零假设的符号（p值小于或大于1/2）不是条件独立的公平硬币翻转，而是通过潜在变量 \( H \) 耦合在一起。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：当mirror/knockoff+阈值应用于缺乏条件符号翻转性质的依赖p值或分数时，FDR控制是否仍然有效？
  2. 核心工具/方法：构造三类反例（非高斯PRDS、固定高斯等相关、两区块高斯），通过精确概率计算和渐近分析证明FDR膨胀。
  3. 主要结论：mirror/knockoff+阈值在依赖数据下可严重失效——FDR可超过名义水平（如10%→17.4%），甚至可接近1/2或1；有效性依赖于零假设符号的联合行为，而非仅边际对称性、高斯性或PRDS。

关键设定与假设

完整设定（在第二节最小记号基础上补充）： - mirror阈值（公式(1)）：\( \hat{u} = \max\{ u \in U : (1 + L(u))/(R(u) \vee 1) \leq q \} \)，拒绝 \( P_i \leq \hat{u} \)。其中 \( U = \{ \min(P_i, 1-P_i) : 1 \leq i \leq m \} \cap (0, 1/2] \)。 - knockoff+阈值（公式(2)）：\( \hat{t} = \min\{ t \in T : (1 + N_-(t))/(N_+(t) \vee 1) \leq q \} \)，拒绝 \( W_i \geq \hat{t} \)。其中 \( T = \{ |W_i| : |W_i| > 0 \} \)。 - 等价性（Proposition 1）：当 \( W_i = 1/2 - P_i \) 时，mirror阈值和knockoff+阈值等价。

关键假设： - 条件符号翻转性质（Assumption 1）：给定分数大小和非零分数，零假设的符号是相互独立的公平硬币翻转。这是knockoff+有效的充分条件。 - PRDS（正回归依赖子集）：p值向量 \( P \) 满足PRDS，如果对每个递增集 \( D \) 和每个零指标 \( i \)，映射 \( u \mapsto P(P \in D | P_i = u) \) 非减。这是BH程序有效的条件（Benjamini & Yekutieli 2001）。 - 全局零假设：所有假设为零（用于简化FDR计算，但Section 5也给出含非零假设的例子）。

相比已有文献的放宽/强化： - 相比knockoff理论（Barber & Candès 2015, Candès et al. 2018），本文放宽了条件符号翻转性质，研究其缺失时的后果。 - 相比PRDS文献（Benjamini & Yekutieli 2001），本文强化了依赖结构（通过潜在变量或共同因子），证明PRDS对mirror阈值不充分。

主要结果

结果1：非高斯PRDS反例（Proposition 3） - 陈述：存在整数 \( m \) 和全零向量 \( P = (P_1, \ldots, P_m) \)，使得每个 \( P_i \) 均匀分布、联合密度在 \( (0,1)^m \) 上严格正、满足PRDS，但mirror阈值（公式(1)）的FDR大于 \( q \)。 - 直觉：通过一个潜在伯努利变量 \( H \) 耦合所有p值的符号。当 \( H=0 \) 时所有p值倾向于小于1/2，当 \( H=1 \) 时倾向于大于1/2。边际均匀性通过混合 \( f_0 \) 和 \( f_1 \) 实现。 - 必要条件：\( m > 1/q \)（确保单个正区块足以触发阈值）。 - 技术难点：构造同时满足边际均匀、全支撑、PRDS的联合分布，且使所有p值同时落在同一侧的概率足够大。

结果2：固定高斯等相关反例（Theorem 1） - 陈述：设 \( W_i^{(m)} = \sqrt{\rho} Z_0 + \sqrt{1-\rho} Z_i \)，\( i=1,\ldots,m \)，其中 \( Z_0, Z_1, \ldots, Z_m \) 独立标准正态，\( \rho \in (0,1) \) 固定。则对任意 \( q \in (0,1) \)，\( \liminf_{m \to \infty} \text{FDR}_m \geq 1/2 \)。特别地，若 \( q < 1/2 \)，FDR控制对所有足够大的 \( m \) 失效。 - 直觉：当共同因子 \( Z_0 \) 略为正时，所有分数获得一个正偏移。在足够远的尾部，正超出的概率远大于负超出的概率。随着 \( m \) 增长，经验比率收敛到尾部概率比，低于 \( q \)。 - 必要条件：\( \rho > 0 \) 固定，不依赖于 \( m \)。 - 技术难点：需要证明对任意 \( \rho > 0 \)（无论多小），失效都会发生。证明使用Mills不等式和条件大数定律。

结果3：两区块高斯反例（Theorem 2） - 陈述：对任意 \( q \in (0,1) \) 和 \( \eta > 0 \)，存在全零分数向量，服从中心高斯分布且协方差正定，使得knockoff+阈值的FDR大于 \( 1 - \eta \)。 - 直觉：构造两个区块，一个与共同因子正相关（尺度 \( a \)），一个负相关（尺度 \( b \)），且 \( a > b \)。当共同因子为正时，正区块被选中；当共同因子为负时，负区块的分数变为正且数量足够多，仍能触发阈值。 - 必要条件：区块大小满足 \( 1/n_1 < q \) 和 \( (1+n_1)/n_2 < q \)。 - 技术难点：需要证明对任意小的残差噪声 \( \sigma \)，FDR可任意接近1。证明使用条件概率和支配收敛定理。

证明路线与技术技巧

整体路线（以Theorem 1为例）： 1. 步骤1：条件化共同因子。给定 \( Z_0 = z \)，分数 \( W_i^{(m)} \) 独立同分布，服从 \( \mathcal{N}(\sqrt{\rho}z, 1-\rho) \)。 2. 步骤2：尾部概率比分析。对固定阈值 \( t \)，计算条件上尾概率 \( a_z(t) = P(W_i \geq t | Z_0 = z) \) 和下尾概率 \( b_z(t) = P(W_i \leq -t | Z_0 = z) \)。证明当 \( z > 0 \) 时，\( b_z(t)/a_z(t) \) 可任意小。 3. 步骤3：选择通过阈值。选择足够大的 \( t_\delta \) 使得 \( b_\delta(t_\delta)/a_\delta(t_\delta) < q \)。由单调性，对所有 \( z \geq \delta \) 该不等式成立。 4. 步骤4：大数定律。条件于 \( Z_0 = z \geq \delta \)，\( (1+N_-(t_\delta))/(N_+(t_\delta) \vee 1) \xrightarrow{a.s.} b_z(t_\delta)/a_z(t_\delta) < q \)，因此阈值以概率1被满足。 5. 步骤5：积分下界。由Fatou引理，\( \liminf_{m \to \infty} \text{FDR}_m \geq P(Z_0 \geq \delta) = \Phi(\delta) \)。令 \( \delta \downarrow 0 \) 得下界 \( 1/2 \)。

关键跳跃点： - Mills不等式的应用（Lemma 1的证明）：需要精确控制 \( b_z(t)/a_z(t) \) 的衰减速度。标准Mills不等式 \( x/(1+x^2) \phi(x) \leq \bar{\Phi}(x) \leq \phi(x)/x \) 给出：

\[\frac{b_\delta(t)}{a_\delta(t)} \leq \frac{1+x_t^2}{x_t y_t} \exp\left\{ -\frac{2t\sqrt{\rho}\delta}{1-\rho} \right\},\]
其中 \( x_t = (t-\sqrt{\rho}\delta)/\sqrt{1-\rho} \)，\( y_t = (t+\sqrt{\rho}\delta)/\sqrt{1-\rho} \)。指数项确保比率可任意小。 - 单调性论证：\( a_z(t) \) 关于 \( z \) 递增，\( b_z(t) \) 关于 \( z \) 递减，因此 \( b_z(t)/a_z(t) \) 关于 \( z \) 递减。这允许从 \( z = \delta \) 推广到所有 \( z \geq \delta \)。

技术技巧点名： - Mills不等式：用于控制高斯尾部概率比（Theorem 1证明）。 - 条件概率+大数定律：用于证明给定共同因子后，经验比率收敛到理论比率（Theorem 1）。 - Fatou引理：用于从条件概率下界得到无条件FDR下界（Theorem 1）。 - 支配收敛定理：用于证明两区块模型中FDR收敛到1（Theorem 2）。 - 引理1（正区块导致拒绝）：核心组合引理，将FDR下界简化为正区块概率。

真实例子与应用

本文为纯理论，无真实数据例子。但包含数值实验（Section 8, Figure 1）： - 数据/场景：模拟数据，所有假设为零，目标水平 \( q = 0.1 \)。 - 方法应用：对三种反例模型计算mirror/knockoff+阈值的FDR。 - 结果： - 面板(a)：非高斯PRDS模型，\( m=11, \varepsilon=0.1 \)，FDR精确值0.1743。 - 面板(b)：固定高斯等相关模型，\( \rho=0.1 \) 时 \( m=200 \) 的FDR为0.0996，\( m=1000 \) 为0.1520；\( \rho=0.9 \) 时 \( m=5000 \) 的FDR达0.4596。 - 面板(c)：两区块高斯模型，\( \sigma=0.5 \) 时FDR为0.1681，\( \sigma=0.02 \) 时达0.9513。 - 说明目的：验证理论结果在有限样本下的可见性，证明失效不是极端渐近现象。

🔎 结论是否比证明窄

  • Theorem 1 的结论是 \( \liminf_{m \to \infty} \text{FDR}_m \geq 1/2 \)，但作者在Remark 1中给出的定量下界是 \( \text{FDR}_m \geq 1/2 - O((\log m)^{-1/2}) \)，并未证明收敛到1/2。作者明确写道“The bound is one-sided and does not assert that FDR_m converges to 1/2.” 这是结论比证明窄的一个例子。
  • Theorem 2 的结论是FDR可任意接近1，但构造依赖于分数尺度不同（\( a > b \)）。作者在Section 7末尾指出“Theorem 1, rather than Theorem 2, is the relevant negative result when identical N(0,1) margins and exactly uniform Gaussian p-values are required.” 这意味着对于标准化分数，最坏情况是1/2而非1。
  • Section 5的非高斯例子中，FDR计算依赖于 \( m=11 \) 和 \( \varepsilon=0.1 \) 的具体选择。作者未证明对任意 \( m \) 和 \( \varepsilon \) 的失效程度，只给出了一个具体反例。

四、开放问题

  1. PRDS反例的紧性：Proposition 3构造的PRDS反例中，FDR可达约17.4%（名义10%）。PRDS下mirror阈值的最大可能FDR是多少？是否存在PRDS反例使FDR任意接近1？扎根点：Section 5末尾“Within the same family, the FDR can be made arbitrarily close to one half.”——作者只证明可接近1/2，未证明可接近1。

  2. 弱依赖下的充分条件：本文证明PRDS和边际对称性不充分。是否存在比条件符号翻转更弱的充分条件？例如，mixing条件或因子模型下的特定结构是否足以保证mirror阈值有效？扎根点：Section 1.2提到“Related covariate-adaptive work proves asymptotic FDR control...provided the p-value–covariate sequence satisfies explicit mixing and regularity conditions [21]”——但本文的持久共同因子依赖不满足这些条件。

  3. 与BH程序的对比：本文证明PRDS对mirror阈值不充分，但对BH程序充分（Benjamini & Yekutieli 2001）。Dobriban (2026) 证明BH程序在相关双尾高斯检验下也可失效。mirror阈值和BH程序在依赖下的失效机制有何异同？是否存在一个统一的依赖结构分类，能同时刻画两者的有效性边界？ 扎根点：Section 5提到“PRDS is not sufficient for the mirror threshold”——但未与BH程序的失效条件对比。

  4. 对实际knockoff应用的启示：本文反例针对“裸”mirror/knockoff+阈值。在实际knockoff应用中，如果协变量分布估计有误（如Barber, Candès & Samworth 2020讨论的鲁棒性问题），是否会导致类似程度的FDR膨胀？扎根点：Section 9“Misspecification can break the sign-flip property, and robustness then needs a separate argument [2]”——但未量化鲁棒性损失的程度。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论