Split Knockoffs for Multiple Comparisons: Controlling the Directional False Discovery Rate¶

作者: Yang Cao, Xinwei Sun, Yuan Yao
来源: Journal of the American Statistical Association
主题: 数理统计 / 假设检验
相关性: 7/10
链接: 期刊页 · arXiv

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向要解决的根本问题是：在高维多重比较中，当待检验的假设或参数受到已知的线性结构约束（例如，相邻参数的差、小波系数、总变分等）时，如何同时控制方向性错误发现率（directional FDR, dFDR）。dFDR 是 FDR 的推广，它不仅惩罚错误地拒绝零假设（即“假阳性”），还惩罚在拒绝零假设后错误地判断效应方向（例如，把“增加”说成“减少”）。该方向当前处于方法快速发展但理论保障仍不完善的阶段，尤其是对于带有复杂线性约束的问题，现有方法要么无法控制 dFDR，要么功效极低。

发展脉络（history）¶

奠基工作：Knockoffs 框架的诞生
- Barber & Candès (2015)：提出了 Model-X Knockoffs 框架，用于在高维线性模型中控制 FDR。其核心思想是构造与原始变量“相似”但已知与响应变量条件独立的“knockoff”变量，通过比较原始变量与 knockoff 变量的统计量来筛选重要变量。这是整个领域的基石。
- Candès et al. (2018)：将 Model-X Knockoffs 推广到更一般的模型（如广义线性模型），并证明了其在有限样本下控制 FDR 的能力。这项工作确立了 Knockoffs 作为高维变量选择中 FDR 控制主流方法的地位。
主要进展：从变量选择到方向性推断
- Barber & Candès (2015) 的原始工作：虽然能控制 FDR，但无法处理方向性推断。当拒绝一个变量时，它无法告诉你该变量的效应是正还是负，更无法控制方向性错误。
- Weinstein et al. (2013)：提出了方向性 FDR（dFDR）的概念，并给出了一个通用的控制方法。但该方法依赖于对效应大小的估计，在高维或存在结构约束时效果不佳。
- Li & Barber (2017)：首次将 Knockoffs 框架扩展到方向性推断，提出了“Sign-Flip Knockoffs”方法。该方法通过构造 knockoff 变量并比较原始变量与 knockoff 变量的符号，来控制 dFDR。然而，该方法假设变量之间是独立的，这在许多实际问题中（如结构 MRI 的相邻体素）不成立。
当前 Frontier：处理结构约束的挑战
- 本文的定位：作者明确指出，对于带有线性变换约束（如总变分、小波变换、融合 LASSO、趋势滤波）的问题，现有的 Knockoffs 方法（包括 Li & Barber 2017）无法直接应用。因为这些约束意味着参数空间是一个线性流形（linear manifold），而 Knockoffs 方法要求构造的 knockoff 变量与原始变量具有相同的协方差结构，这在流形上几乎不可能实现。
- 本文的贡献：作者提出了一种“Split Knockoffs”方法，通过变量分裂（variable splitting） 技术将严格的线性流形约束松弛到其邻域，从而构造出近似正交的设计，使得 Knockoffs 框架得以应用，并最终实现对 dFDR 的控制。

子线索聚类¶

Knockoffs 框架的扩展：这条线索主要关注如何将 Knockoffs 从原始的变量选择问题扩展到更复杂的推断问题，如方向性推断（Li & Barber 2017）、因果推断、以及带有结构约束的推断（本文）。核心挑战在于如何构造合适的 knockoff 变量，使其在满足条件独立性的同时，还能适应新的推断目标。
方向性 FDR 控制：这条线索独立于 Knockoffs，关注如何定义和估计 dFDR，并提出通用的控制方法（Weinstein et al. 2013）。这些方法通常依赖于对效应大小的估计或某种形式的“符号”检验，但在高维或结构约束下，其理论保证和实际功效往往不足。
高维统计中的结构约束推断：这条线索关注在参数受到线性约束（如融合 LASSO、趋势滤波）时，如何进行统计推断（如置信区间、假设检验）。传统方法（如基于 Lasso 的后选择推断）往往计算复杂或理论性质不清晰。本文提出的 Split Knockoffs 为这类问题提供了一个新的、基于 FDR 控制的推断框架。

这个方向在追问的核心问题¶

如何在高维且存在结构约束时，构造有效的 knockoff 变量？ 这是 Knockoffs 框架面临的核心瓶颈。当参数空间是流形时，构造满足协方差匹配条件的 knockoff 变量变得极其困难。
如何将 FDR 控制从变量选择推广到方向性推断？ 这需要同时控制“假阳性”和“方向错误”，对统计量的构造和理论分析提出了更高要求。
如何平衡统计功效与 FDR/dFDR 控制？ 在结构约束下，为了满足理论保证，方法往往会牺牲功效。如何设计方法，在保证 FDR/dFDR 控制的前提下，尽可能提高发现能力，是一个持续的挑战。
当前主流方法与已知瓶颈：主流方法是基于 Knockoffs 的扩展（如 Sign-Flip Knockoffs），但其瓶颈在于无法处理变量间的复杂依赖结构，尤其是由线性变换约束所引入的依赖。另一种方法是基于后选择推断（如 selective inference），但其计算成本高，且理论性质（如 FDR 控制）不如 Knockoffs 清晰。

⚠️ 作者的 framing¶

作者把缺口 frame 成什么：作者将缺口 frame 为“现有 Knockoffs 方法无法处理线性流形约束下的 dFDR 控制问题”。他们通过指出 Li & Barber (2017) 的 Sign-Flip Knockoffs 方法假设变量独立，而实际问题（如结构 MRI）中变量存在强依赖，从而将本文的方法定位为“显然的下一步”——即通过变量分裂松弛约束，使得 Knockoffs 框架能够应用于这类问题。
哪些竞争路线被他淡化或回避了：作者在引言中没有详细讨论基于后选择推断（selective inference）的方法，例如 Lee et al. (2016) 或 Tibshirani et al. (2016) 的工作。这些方法也能处理结构约束下的推断，但通常不直接控制 FDR，而是控制单次检验的 Type I error。作者可能认为这些方法与 FDR 控制的目标不同，因此未将其作为主要竞争对手。
什么明显该被引 / 该存在、却没出现在 intro 里？：作者没有引用任何关于计算-统计权衡（computational-statistical tradeoff）的文献。对于高维问题，尤其是涉及线性变换（如总变分）的问题，其计算复杂度（如求解融合 Lasso）本身就是一个重要议题。本文提出的变量分裂方法在计算上是否比直接求解原问题更高效？是否存在计算上的瓶颈？作者没有讨论这一点。（这是一个值得研究者去查的问题：本文的方法在计算上是否优于直接求解原问题？其计算复杂度如何？）

张力¶

未见明显对立引用。所有被引工作都指向一个共识：Knockoffs 是控制 FDR 的有力工具，但将其扩展到方向性推断和结构约束是一个开放且有挑战性的问题。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
- n：样本量。
- p：变量（特征）的个数。
- X：n × p 的设计矩阵，每一行是一个样本，每一列是一个变量。可观测。
- y：n × 1 的响应向量。可观测。
- β：p × 1 的未知参数向量。这是要估计和检验的对象。
- M：一个 m × p 的已知矩阵，代表线性变换约束。例如，在融合 Lasso 中，M 是相邻参数的差分矩阵。
- θ = Mβ：m × 1 的变换后的参数向量。我们关心的是 θ 中每个分量的符号（正、负、零）。
- H_0j: θ_j = 0：第 j 个变换后参数的零假设。
- H_1j: θ_j ≠ 0：备择假设，且我们进一步关心其方向（θ_j > 0 或 θ_j < 0）。
- dFDR：方向性错误发现率，定义为 E[V / max(R, 1)]，其中 V 是错误地拒绝零假设或正确拒绝但方向判断错误的个数，R 是总拒绝个数。
模型：
- 考虑一个线性模型：y = Xβ + ε，其中 ε 是均值为 0、方差为 σ² 的独立同分布噪声。
- 参数 β 受到一个线性流形约束：Mβ = 0。这意味着 β 位于 M 的零空间中。例如，如果 M 是差分矩阵，那么 Mβ = 0 意味着 β 是分段常数。
- 我们不直接检验 β，而是检验变换后的参数 θ = Mβ。例如，我们关心的是相邻 β 的差异是否为 0（即是否发生跳跃）。
可观测数据：
- 我们能观测到的是 (X, y)。
- 我们想要但观测不到的是：β 的真实值，以及 θ = Mβ 的真实符号。我们只能通过数据去推断。

第二步：讲最小内核¶

最简特例：考虑一个一维总变分（1D Total Variation） 问题，即 p 个参数 β = (β_1, ..., β_p) 是分段常数，我们关心的是相邻参数的差 θ_j = β_{j+1} - β_j 是否为 0（即是否发生跳跃），以及跳跃的方向（向上还是向下）。

设定：n = 1（只有一个样本），X = I_p（单位矩阵），所以 y = β + ε。M 是 (p-1) × p 的差分矩阵：
```
M = [ -1  1  0 ...  0 ]
    [  0 -1  1 ...  0 ]
    [ ... ... ... ... ]
    [  0  0 ... -1  1 ]
```
约束是 Mβ = 0，即 β_1 = β_2 = ... = β_p（没有跳跃）。但我们想检验的是 θ = Mβ 是否不为 0（即是否有跳跃）。
核心困难：经典的 Knockoffs 方法要求构造一个 p × p 的 knockoff 矩阵 X̃，使得 [X, X̃] 的协方差矩阵与 X 的协方差矩阵匹配。但这里 X = I_p，其协方差是单位矩阵。构造 X̃ 很容易（例如，取另一个独立同分布的单位矩阵）。然而，由于 β 受到 Mβ = 0 的约束，β 实际上只有 1 个自由度（所有分量相等）。这意味着我们无法独立地检验每个 θ_j，因为它们共享同一个 β。Knockoffs 方法无法直接处理这种“参数空间是流形”的情况。
本文的关键想法（变量分裂）：
1. 松弛约束：不要求 Mβ = 0 严格成立，而是允许 β 在一个“邻域”内变化。具体地，引入一个松弛变量 z，使得 Mβ = z，其中 z 很小。这样，β 就不再受严格约束，而是有 p 个自由度。
2. 构造正交设计：通过变量分裂，我们实际上是在处理一个增广的线性模型： y = Xβ + ε，且 0 = Mβ - z。这可以写成： [y; 0] = [X; M] β + [ε; -z]。作者的关键技巧是：对 X 和 M 进行正交化处理，使得新的设计矩阵 [X; M] 变成正交的。例如，如果 X = I_p，那么 [I_p; M] 不是正交的。但作者通过一个巧妙的线性变换，构造了一个新的设计矩阵 A，使得 A^T A = I。这个 A 就是“Split Knockoffs”中的“split”设计。
3. 应用 Knockoffs：一旦设计矩阵是正交的，构造 knockoff 变量就变得非常简单（例如，直接取另一个独立同分布的正交矩阵）。然后，就可以使用标准的 Knockoffs 流程来检验 θ = Mβ 的每个分量，并控制 dFDR。
一句话总结：本文的最小内核是：通过变量分裂将线性流形约束松弛到其邻域，并通过对设计矩阵进行正交化，使得原本无法应用的 Knockoffs 框架变得可行，从而实现对变换后参数的方向性 FDR 控制。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在高维线性模型中，当参数受到已知线性变换约束（如总变分、小波变换）时，如何控制关于变换后参数的方向性错误发现率（dFDR）。
核心工具 / 方法：提出了一种扩展的 Split Knockoffs 方法，该方法通过变量分裂技术将严格的线性流形约束松弛到其邻域，并构造一个正交设计，使得 Knockoffs 框架能够应用于方向性推断。
主要结论：在松弛邻域足够大时，Split Knockoffs 方法能够将 dFDR 有效控制到目标水平（如 0.05），并且随着邻域的扩大，dFDR 可以降至零。模拟和真实数据实验验证了其有效性。

关键设定与假设¶

模型：线性模型 y = Xβ + ε，其中 ε ~ N(0, σ²I_n)。
约束：β 受到线性流形约束 Mβ = 0，其中 M 是 m × p 的已知矩阵，且 rank(M) = r < p。这意味着 β 位于一个 (p-r) 维的子空间中。
目标：检验 θ = Mβ 的每个分量 θ_j 是否为 0，并控制 dFDR。
关键假设：
1. X 是固定的设计矩阵（非随机）。
2. M 是行满秩的（rank(M) = m），这是一个技术性假设，可以放宽。
3. 噪声方差 σ² 已知（或可以精确估计）。这是一个较强的假设，作者在讨论中提到了可以放宽。
4. 松弛邻域的大小：作者引入了一个松弛参数 λ，控制 ||Mβ|| 的大小。方法在 λ → ∞ 时达到最优的 dFDR 控制（降至 0），但 λ 过大会降低功效。这是一个偏差-方差权衡。

主要结果¶

定理 1（dFDR 控制）：在 Split Knockoffs 框架下，通过选择合适的统计量（如 Lasso 系数或边际相关系数），并采用 Knockoffs 的“max”或“min”筛选规则，可以证明： E[dFDR] ≤ α，其中 α 是预设的 FDR 水平。
- 直觉：这个定理的证明遵循了 Barber & Candès (2015) 的经典证明路线。关键在于，由于构造了正交设计，原始变量和 knockoff 变量在统计上是“对称”的，因此它们的统计量在零假设下具有相同的分布。通过比较原始变量和 knockoff 变量的统计量，可以有效地控制 FDR。
- 必要条件：松弛邻域 λ 必须足够大，以保证正交设计的构造是可行的。λ 越大，正交性越好，dFDR 控制越严格。
- 解决的技术难点：如何在线性流形约束下构造正交设计。作者通过变量分裂和矩阵分解（如 QR 分解）解决了这个问题。
定理 2（dFDR 降至零）：当松弛邻域 λ → ∞ 时，Split Knockoffs 方法能够将 dFDR 降至 0。
- 直觉：当 λ 很大时，松弛后的模型几乎等同于一个无约束的模型。此时，构造的 knockoff 变量与原始变量几乎完全正交，使得任何假阳性发现都变得极其困难。
- 必要条件：λ 必须趋于无穷。这在实际中意味着需要选择一个非常大的松弛参数，但这会严重损害统计功效（因为会引入大量偏差）。因此，这是一个理论上的极限性质，实际应用中需要在 dFDR 控制和功效之间权衡。

证明路线与技术技巧¶

整体路线：
1. 变量分裂与松弛：将原问题 y = Xβ + ε, s.t. Mβ = 0 松弛为 y = Xβ + ε, s.t. ||Mβ|| ≤ λ。引入辅助变量 z = Mβ，得到增广模型 y = Xβ + ε, z = Mβ。
2. 构造正交设计：对增广设计矩阵 [X; M] 进行正交化。具体地，找到矩阵 A 和 B，使得 A^T A = I，且 A 的列空间与 [X; M] 的列空间相同。然后，将原始数据 (y, 0) 投影到 A 上，得到新的响应 ỹ 和设计矩阵 A。此时，ỹ = Aβ + ε̃，且 A^T A = I。
3. 构造 Knockoffs：由于设计矩阵 A 是正交的，构造 knockoff 变量 Ã 非常简单：只需取另一个与 A 独立同分布的正交矩阵即可。然后，将 Ã 与 A 合并，得到增广设计矩阵 [A, Ã]。
4. 计算统计量：在增广设计矩阵 [A, Ã] 上拟合一个模型（如 Lasso），得到原始变量和 knockoff 变量的系数估计。然后，为每个变量计算一个统计量 W_j，例如 W_j = |β̂_j| - |β̃_j|，其中 β̂_j 和 β̃_j 分别是原始变量和 knockoff 变量的系数估计。
5. 筛选与 dFDR 控制：使用 Knockoffs 的“max”或“min”规则，根据 W_j 的大小和符号来筛选重要变量，并证明该过程能控制 dFDR。
关键跳跃点：
- 如何从 Mβ = 0 到正交设计？ 这是最核心的跳跃。作者没有直接对 X 和 M 进行简单的拼接，而是通过一个巧妙的线性变换，将问题转化为一个等价的正交设计问题。这个变换的构造依赖于对 M 的零空间和行空间的分析。
- 如何保证 dFDR 控制？ 证明的关键在于，在正交设计下，原始变量和 knockoff 变量的统计量在零假设下是可交换的（exchangeable）。作者通过证明 W_j 的分布关于 0 对称，且对于零假设下的变量，W_j 为正和为负的概率相等，从而将 dFDR 控制问题转化为经典的 FDR 控制问题。
技术技巧点名：
- 变量分裂（Variable Splitting）：来自优化领域的技术，用于将约束问题转化为无约束问题。本文将其用于统计推断，是一个巧妙的迁移。
- 正交设计（Orthogonal Design）：通过 QR 分解或奇异值分解（SVD）实现。正交性是整个 Knockoffs 框架能够工作的关键。
- 样本分裂（Sample Splitting）：作者使用样本分裂来估计噪声方差 σ²，并用于构造统计量。这是一种常见的技巧，可以避免过度拟合。
- Knockoffs 框架的“max”和“min”规则：标准的 Knockoffs 筛选规则，用于控制 FDR。

真实例子与应用¶

数据 / 场景：
1. 阿尔茨海默病（AD）结构 MRI 分析：数据来自 Alzheimer's Disease Neuroimaging Initiative (ADNI)。目标是识别与 AD 相关的脑区萎缩模式。这里，β 代表每个体素的灰质体积，M 是总变分矩阵，用于捕捉相邻体素之间的差异。检验 θ = Mβ 可以识别出“萎缩区域”的边界，即从正常到萎缩的过渡区域。
2. 人类年龄比较：数据来自一个关于人类年龄和基因表达的研究。目标是识别在不同年龄组之间表达有显著差异的基因。这里，M 是用于比较不同年龄组的对比矩阵。
如何应用：
- 对于每个数据集，作者首先将数据标准化，然后应用 Split Knockoffs 方法。
- 他们需要选择一个松弛参数 λ。作者通过交叉验证或基于理论指导（如 BIC）来选择 λ。
- 他们使用 Lasso 作为基学习器，计算原始变量和 knockoff 变量的系数，并构造统计量 W_j。
- 最后，使用 Knockoffs 的“max”规则，在目标 dFDR 水平（如 0.2）下筛选出显著的变量。
结果：
- AD 分析：Split Knockoffs 识别出了一系列与 AD 相关的脑区，这些区域与已知的 AD 病理学一致（如海马体、内嗅皮层）。更重要的是，它识别出了这些区域的边界，即萎缩区域与正常区域的过渡带。这比简单地识别出萎缩区域提供了更丰富的信息。
- 年龄比较：Split Knockoffs 识别出了一组与年龄相关的基因。与传统的 FDR 控制方法（如 BH 过程）相比，Split Knockoffs 在控制 dFDR 的同时，发现了更多具有一致方向性（如随年龄增长而表达上调）的基因。
这个例子想说明什么：
- 验证理论：模拟实验验证了 Split Knockoffs 能够有效控制 dFDR，且功效优于现有方法（如 Sign-Flip Knockoffs 和 BH 过程）。
- 展示相对 baseline 的优势：在真实数据上，Split Knockoffs 能够发现一些被传统方法遗漏的、但具有生物学意义的模式（如 AD 的萎缩边界）。这展示了其在处理结构约束问题上的独特优势。

🔎 结论是否比证明窄¶

是。作者在定理 2 中证明了当松弛邻域 λ → ∞ 时，dFDR 可以降至 0。但在实际应用中，λ 必须是一个有限值，此时 dFDR 的控制水平取决于 λ 的选择。作者在模拟和真实数据中展示了 dFDR 控制的有效性，但没有给出一个通用的、数据驱动的方法来选择 λ 以保证 dFDR 严格控制在目标水平以下。这是一个重要的 gap：理论上的“极限性质”并不能直接转化为实际中的“有限样本保证”。
另一个窄化：作者假设噪声方差 σ² 已知。在真实应用中，σ² 通常是未知的，需要估计。作者在讨论中提到了可以使用样本分裂来估计 σ²，但没有给出在 σ² 被估计的情况下，dFDR 控制的理论保证。这是一个值得进一步研究的问题。

四、开放问题¶

数据驱动的松弛参数选择：如何在实际中自适应地选择松弛参数 λ，使得在保证 dFDR 控制的前提下，最大化统计功效？作者没有给出一个通用的、有理论保证的选择方法。（扎根于：定理 2 的 λ → ∞ 假设，以及模拟中手动选择 λ 的做法。）
未知噪声方差下的理论保证：当噪声方差 σ² 未知且需要估计时，Split Knockoffs 的 dFDR 控制性质是否仍然成立？作者在讨论中提到了样本分裂，但未给出理论证明。（扎根于：作者在设定中假设 σ² 已知，并在讨论中提及了未知情况。）
更一般的结构约束：本文的方法主要针对线性变换约束 Mβ = 0。能否将其推广到非线性约束（如 β 位于某个流形上）或凸约束（如 ||β||_1 ≤ t）？（扎根于：作者在引言中明确将问题限定为“线性变换约束”。）
计算-统计权衡：本文的变量分裂方法在计算上是否比直接求解原问题（如融合 Lasso）更高效？其计算复杂度如何？是否存在一个计算上的“瓶颈”，使得该方法无法应用于超大规模问题？（扎根于：作者没有讨论计算复杂度，且该问题与研究者对计算-统计权衡的兴趣相关。）

Maintained by 陈星宇 · Homepage · Source on GitHub