Controlling the false discovery rate in transformational sparsity: Split Knockoffs¶
作者: Yang Cao, Xinwei Sun, Yuan Yao
来源: Journal of the Royal Statistical Society Series B
主题: 数理统计 / 假设检验
相关性: 6/10
机构绿灯: Hong Kong University of Science and Technology（US News 前 50，免分进入精读）
链接: 期刊页 · arXiv
一、领域脉络与小综述¶
这个方向是什么： 这个子方向要解决的根本统计问题是：在“变换稀疏性”设定下，如何为变量选择提供有限样本、可证明的假发现率（FDR）控制。所谓变换稀疏性，是指模型参数本身不稀疏，但其某个线性变换（如差分矩阵、小波变换）是稀疏的。这在图像边缘检测、基因组融合LASSO、趋势滤波等结构稀疏问题中极为常见。当前，经典稀疏线性模型下的FDR控制已有成熟框架，但在变换稀疏性下，由于变换引入异质噪声、破坏了经典方法的核心交换性条件，FDR控制的理论与工具几乎处于空白状态，本文正是试图填补这一空白。
发展脉络： - 奠基工作：Barber & Candès (2015) 提出了固定设计下的 Knockoff 框架，首次在有限样本内实现了线性模型变量选择的精确 FDR 控制，不依赖噪声水平或设计矩阵的具体结构。Candès et al. (2018) 将其推广至随机设计的 Model-X Knockoff，只要特征分布已知即可构造伪变量作为控制组。 - 主要进展：针对高维与复杂结构，Barber & Candès (2016) 利用数据拆分在高维筛选后做 Knockoff 推断；Dai & Barber (2016) 发展了 Group Knockoff 处理组稀疏；Romano et al. (2018) 用深度生成模型构造非参数分布的 Knockoff；Ren & Candès (2020) 引入侧信息提升 power；Barber et al. (2018) 证明 Model-X Knockoff 对特征分布估计误差具有鲁棒性；Ren et al. (2020) 提出去随机化聚合多次 Knockoff 结果以控制 PFER/k-FWER。 - 当前 frontier 与本文位置：上述所有进展均默认稀疏性直接施加在回归参数 \(\beta\) 上。然而，在变换稀疏性 \(D\beta\) 下，经典 Knockoff 的交换性条件因异质噪声而失效。本文（Cao, Sun & Yao, 2020）提出 Split Knockoff，通过变量与数据双重拆分，在提升参数空间中构造正交 Knockoff，并利用逆超鞅结构在无需交换性的条件下实现 FDR 控制，定位为“变换稀疏性下 FDR 控制的首个可证明方法”。
子线索聚类： 1. 经典与高维 Knockoff 框架：Barber & Candès (2015, 2016), Candès et al. (2018)。这一簇在标准线性模型或高维筛选设定下，依赖交换性或特征分布已知来构造伪变量，实现 FDR 控制。 2. 结构化与非参数 Knockoff 扩展：Dai & Barber (2016) 处理组结构，Romano et al. (2018) 处理非参数分布，Ren & Candès (2020) 利用侧信息。这一簇试图将 Knockoff 推广到更复杂的特征依赖与结构，但仍未触及“参数本身不稀疏、其变换稀疏”的根本设定。 3. 变换稀疏性与结构化正则推断：Tibshirani & Taylor (2010) 给出广义 Lasso 解路径；Osher et al. (2016), Huang et al. (2017) 利用微分包含与 Split LBI 算法在变换稀疏下实现路径一致性，但只解决估计与模型选择一致性，未触及 FDR 的有限样本控制。
这个方向在追问的核心问题： 1. 在变换稀疏性引入异质噪声、破坏交换性时，能否构造某种伪变量或替代结构，使得 FDR 控制仍然可行？ 2. 如何在不牺牲统计功效的前提下，为变换稀疏性下的变量选择提供有限样本、非渐近的 FDR 保证？ 3. 当设计矩阵因变换而高度相关、不满足不相干条件时，如何绕过模型选择一致性对设计矩阵的严苛要求，仍能做出可复现的发现？
⚠️ 作者的 framing： - 作者的说法：作者将缺口 frame 为“变换稀疏性下的 FDR 控制因异质噪声破坏交换性而 largely open”，并将 Split Knockoff 定位为“通过变量与数据拆分、在提升空间获得正交设计与逆超鞅，无需交换性即可控制 FDR”的显然下一步。 - 被淡化或回避的竞争路线：Intro 中未讨论是否可以通过对异质噪声进行加权或变换（如 Whitening），直接在原参数空间修复交换性；也未对比多步筛选+推断（如 Sample-splitting + selective inference）在变换设定下的潜力。 - 明显该被引却缺失的：Selective inference 领域在广义 Lasso 下的近期进展（如 Taylor & Tibshirani 等人对广义 Lasso 选择事件的精确推断），这些工作同样针对变换稀疏性下的推断，但走的是条件推断路线而非 Knockoff 路线，缺失此引用使得“变换稀疏性下推断几乎空白”的 framing 显得过于绝对。此外，半参数有效推断在结构化约束下的工作也未出现。
张力： 未见明显对立引用。Knockoff 路线与 Selective inference 路线在标准设定下各有优劣，但在变换稀疏性下，前者因交换性失效而停滞，后者因选择事件复杂化而困难，两者并未在本文引用网络中直接交锋，而是各自回避了对方的领地。
二、最核心、最简单的例子 / 数学问题¶
第一步：符号、模型、可观测数据交代清楚
- \(n\)：样本量（观测数）。
- \(p\)：原参数 \(\beta\) 的维数（特征数）。
- \(m\)：线性变换 \(D\beta\) 的维数（通常 \(m \leq p\)，如差分矩阵的行数）。
- \(X \in \mathbb{R}^{n \times p}\)：设计矩阵（可观测，固定设计）。
- \(y \in \mathbb{R}^n\)：响应变量（可观测）。
- \(\beta \in \mathbb{R}^p\)：原回归参数（不可观测，要估的对象，本身不稀疏）。
- \(D \in \mathbb{R}^{m \times p}\)：线性变换矩阵（已知/给定，如一阶差分算子）。
- \(\gamma = D\beta \in \mathbb{R}^m\)：变换参数（不可观测，这是本文真正要做稀疏变量选择的目标 estimand）。
- \(\epsilon \sim \mathcal{N}(0, \sigma^2 I_n)\)：噪声（不可观测）。
- 模型（数据生成机制）：\(y = X\beta + \epsilon\)，且 \(\gamma = D\beta\)，其中 \(\gamma\) 是稀疏的（即大部分分量为 0）。
- 可观测数据：\((y, X)\)。\(D\) 作为结构约束由研究者根据问题设定给出。\(\beta, \gamma, \epsilon\) 均不可观测，只能靠假设与方法去识别与推断。
第二步：最小内核——一阶差分（Total Variation, \(d=1\)）下的 Split Knockoff
剥掉所有高维、一般 \(D\) 的技术外壳，支撑整篇论文的最小内核是 \(d=1\) 的一阶差分变换，即 \(p\) 个参数的相邻差分稀疏（Total Variation / Fused LASSO 的最简特例）。
在此特例下： - \(D\) 是 \((p-1) \times p\) 的差分矩阵，\(D_{i,i}=1, D_{i,i+1}=-1\)，其余为 0。 - \(\gamma_i = \beta_{i+1} - \beta_i\)，共 \(m=p-1\) 个差分参数，我们要选出哪些 \(\gamma_i \neq 0\)（即断点）。
核心数学困难与破法： 若直接在 \(\gamma\) 空间做经典 Knockoff，模型需写为 \(y = X D^\dagger \gamma + \epsilon\)（\(D^\dagger\) 为 \(D\) 的伪逆），噪声变为 \(X D^\dagger \epsilon\) 的等价形式，协方差为 \(\sigma^2 (X D^\dagger)(X D^\dagger)^T\)——这是一个异质且高度相关的噪声，经典 Knockoff 要求伪变量与原变量在给定响应下联合分布可交换，此异质噪声彻底破坏了交换性。
Split Knockoff 的破法（最小内核走法）： 1. 变量拆分（提升参数空间）：将约束 \(\gamma = D\beta\) 松弛为邻近约束，引入提升参数 \(\alpha \in \mathbb{R}^p\)，模型变为 \(y = X\alpha + \epsilon\)，同时加惩罚 \(\|\gamma - D\alpha\|_2^2\)。当惩罚足够强时，\(\gamma \approx D\alpha\)，恢复了原问题；但在提升空间 \((\alpha, \gamma)\) 中，设计矩阵变为 \(\tilde{X} = [X, 0]\)（对 \(\alpha\) 部分）与对 \(\gamma\) 部分的正交结构，关键在于：\(\gamma\) 对应的子设计矩阵变成了正交的，这允许构造正交 Split Knockoff \(\tilde{\gamma}\)，满足 \(\tilde{\gamma}\) 与 \(\gamma\) 在设计上对称、且与响应的协方差结构可控。 2. 数据拆分（构造逆超鞅）：将样本 \(y\) 拆分为 \(y^{(1)}\) 和 \(y^{(2)}\)。用 \(y^{(1)}\) 做正则化路径（如 Split LASSO）筛选候选非零 \(\gamma\)；用 \(y^{(2)}\) 构造 Knockoff 统计量 \(W_j = |Z_j| - |\tilde{Z}_j|\)（\(Z_j\) 为 \(\gamma_j\) 的某种统计量，\(\tilde{Z}_j\) 为其 Knockoff 对应量）。由于 \(y^{(2)}\) 独立于筛选步骤，且正交设计下 \(Z_j\) 与 \(\tilde{Z}_j\) 的分布具有特定对称性，作者证明：\(W_j\) 的符号与绝对值构成一个逆超鞅，即 \(\mathbb{P}(W_j \leq -t \mid \text{过去步骤})\) 可被上界控制。利用此逆超鞅结构，无需交换性，即可证明按 \(W_j\) 阈值选出的变量集，其 FDR \(\leq q\)。
一句话总结最小内核：在差分稀疏下，通过提升参数空间把异质噪声问题转化为正交设计问题，再用数据拆分构造逆超鞅绕过交换性，实现 FDR 控制。
三、这篇论文做了什么¶
三句话： ①研究了变换稀疏性（参数的线性变换稀疏）下变量选择的 FDR 控制问题，此时经典 Knockoff 的交换性因异质噪声而失效。 ②核心工具是变量拆分（提升参数空间获得正交设计）与数据拆分（构造逆超鞅结构）。 ③主要结论是 Split Knockoff 在有限样本下实现 FDR \(\leq q\) 的可证明控制，且在正交设计下不牺牲统计功效。
关键设定与假设： - 设定：线性模型 \(y = X\beta + \epsilon\)，变换稀疏 \(\gamma = D\beta\)，\(D \in \mathbb{R}^{m \times p}\)，\(\epsilon \sim \mathcal{N}(0, \sigma^2 I_n)\)。 - 提升参数空间：引入 \(\alpha \in \mathbb{R}^p\)，松弛为 \(y = X\alpha + \epsilon\)，惩罚 \(\|\gamma - D\alpha\|_2^2\)。当 \(\|\gamma - D\alpha\|_2^2 \to 0\) 时退化为原约束。 - Split Knockoff 构造：在提升空间中，\(\gamma\) 对应的设计子矩阵正交，构造 Knockoff \(\tilde{\gamma}\) 满足 \([\gamma, \tilde{\gamma}]^T [\gamma, \tilde{\gamma}] = \Sigma\)（特定协方差结构），且 \(\tilde{\gamma}\) 与 \(y\) 独立（给定真实 \(\gamma\)）。 - 数据拆分：\(y\) 拆为 \(y^{(1)}\)（筛选）、\(y^{(2)}\)（推断），\(y^{(2)}\) 独立于筛选步骤。 - 假设： - 正交性假设：提升空间中 \(\gamma\) 的设计子矩阵正交（这是构造正交 Knockoff 的前提，也是本文方法的核心限制；若 \(D\) 导致提升空间不正交，方法需调整或可能失效）。 - 子高斯噪声：\(\epsilon\) 为子高斯分布（用于逆超鞅的浓度不等式）。 - 相比已有文献的放宽：无需经典 Knockoff 的交换性条件，无需设计矩阵的不相干条件（irrepresentable condition），仅要求提升空间正交。
主要结果： - 定理 1（FDR 控制）：在正交提升参数空间与数据拆分下，Split Knockoff 选出的变量集 \(\hat{S}\) 满足 \(\text{FDR}(\hat{S}) \leq q\)，对任意目标 FDR 水平 \(q \in (0,1)\) 成立，有限样本、非渐近。 - 直觉：逆超鞅保证了“假发现被选中的概率”被“真发现被选中的概率”的某个比例所控制，类似于经典 Knockoff 中交换性保证的“假发现与真发现对称出现”，但这里用更弱的鞅结构替代。 - 必要条件：正交提升设计、数据拆分的独立性、子高斯噪声。 - 定理 2（功效保证）：在正交设计下，Split Knockoff 的功效（选出真非零 \(\gamma_j\) 的概率）不低于经典 Knockoff 在对应正交设定下的功效，即不牺牲 power。 - 直觉：正交设计下，Split Knockoff 统计量 \(W_j\) 的分布与经典 Knockoff 的 \(W_j\) 分布在信号强度足够时具有相同的尾部性质，因此阈值选取不会更保守。 - 解决的技术难点：在异质噪声下绕过交换性，用逆超鞅替代；在变换约束下获得正交设计，用提升参数空间替代。
证明路线与技术技巧： - 整体路线： 1. 提升与正交化：将 \(\gamma = D\beta\) 松弛为提升参数 \((\alpha, \gamma)\)，证明在特定惩罚下，\(\gamma\) 的设计子矩阵正交，且解路径退化为原问题。 2. Split Knockoff 构造：在正交子空间上构造 \(\tilde{\gamma}\)，满足协方差对称性与独立性。 3. 数据拆分与统计量构造：用 \(y^{(1)}\) 做筛选路径，用 \(y^{(2)}\) 构造 \(Z_j\)（如 LASSO 的停止时间或系数绝对值）与 \(\tilde{Z}_j\)，定义 \(W_j = |Z_j| - |\tilde{Z}_j|\)。 4. 逆超鞅证明：证明 \(W_j\) 的符号过程构成逆超鞅，即对任意阈值 \(t>0\)，\(\sum_{j: \gamma_j=0} \mathbb{I}(W_j \leq -t) / (1 + \sum_{j: \gamma_j \neq 0} \mathbb{I}(W_j \geq t))\) 的期望被 \(q\) 控制。 5. FDR 结论：由逆超鞅的期望上界直接推出 FDR \(\leq q\)。 - 关键跳跃点： - 引理：逆超鞅结构：证明在数据拆分与正交 Knockoff 下，\(W_j\) 对零变量的指示过程满足逆超鞅性质。这是最吃功夫的步骤，难点在于 \(W_j\) 的分布因筛选步骤而依赖，但数据拆分保证了 \(y^{(2)}\) 的独立性，正交 Knockoff 保证了 \(\tilde{Z}_j\) 与 \(Z_j\) 在零变量下的对称性，两者结合才得以构造鞅。 - 提升空间的正交性：证明在 Split LBI/Split LASSO 的提升参数空间中，\(\gamma\) 的设计矩阵正交。这依赖于 \(D\) 的结构与惩罚的特定形式，是方法可行的前提。 - 技术技巧点名： - 变量拆分 / 提升参数空间：将约束 \(\gamma = D\beta\) 松弛为欧氏邻近约束 \(\|\gamma - D\alpha\|_2^2\)，获得正交设计。用于构造正交 Knockoff。 - 数据拆分：\(y\) 拆为 \(y^{(1)}, y^{(2)}\)，用于分离筛选与推断，保证推断步骤的独立性。 - 逆超鞅：替代经典 Knockoff 的交换性，用于 FDR 上界的鞅不等式证明。 - 正交 Knockoff 构造：在正交子空间上直接构造满足协方差对称的伪变量，无需估计特征分布。
真实例子与应用： - 阿尔茨海默病结构 MRI 数据： - 数据：ADNI 数据集的结构 MRI，提取脑区皮层厚度与体积作为特征 \(X\)，疾病状态或认知评分作为 \(y\)。 - 怎么用上去：将脑区连接的差分（相邻脑区的厚度差异）作为变换 \(D\beta\)，用 Split Knockoff 选出哪些连接差异显著（即 \(\gamma_j \neq 0\)），对应脑区萎缩的异常连接。 - 结果：选出了涉及杏仁核、海马体、下顶叶等区域的异常连接，与已知 AD 早期病理（Knafo 2012, Schuff 2008, Greene 2010）一致，且 FDR 控制在目标水平。 - 说明什么：验证 Split Knockoff 在真实变换稀疏设定下能做出与医学知识吻合的发现，且 FDR 可控；同时展示了方法在 \(D\) 为脑区图差分时的适用性。
🔎 结论是否比证明窄： - FDR 控制的正交性前提：定理 1 严格在“提升参数空间中 \(\gamma\) 的设计子矩阵正交”条件下证明，但 Intro 与 Abstract 中泛泛 claim 方法适用于“total variations, wavelet transforms, fused LASSO, trend filtering”等变换稀疏场景。并非所有这些场景的 \(D\) 都自然导致正交提升设计（如趋势滤波的高阶差分、小波变换），此时正交性可能不成立，方法需调整或 FDR 保证可能失效。这一泛化 claim 缺乏严格证明支撑。 - 功效不牺牲的限定：定理 2 仅在正交设计下证明功效不低于经典 Knockoff，对于非正交提升设计（\(D\) 导致相关），功效是否仍不牺牲未给出证明，仅在模拟中展示。
四、开放问题（点到为止）¶
- 非正交提升设计下的 FDR 控制：当 \(D\) 使得提升参数空间中 \(\gamma\) 的设计子矩阵不正交时（如高阶差分、小波变换），Split Knockoff 的正交构造与逆超鞅证明均失效，如何构造非正交 Knockoff 并证明 FDR 控制？扎根于定理 1 的正交性假设与 Intro 对 trend filtering 等的泛化 claim 之间的缺口。
- 变换稀疏性下的半参数有效界：Split Knockoff 在正交设定下实现了 FDR 控制且不牺牲 power，但此 power 是否达到了变换稀疏性下变量选择的半参数有效下界？扎根于定理 2 的功效保证与半参数理论中有效影响函数的缺失。
- Selective inference 路线的对比与融合：广义 Lasso 的选择性推断（Taylor & Tibshirani 等人的工作）在变换稀疏性下走条件推断路线，Split Knockoff 走 Knockoff 路线，两者在 FDR 控制、功效、计算代价上的理论对比尚未展开，Intro 中缺失的引用暗示了这一 gap。扎根于 Intro 未引用 Selective inference 领域这一事实。
- 逆超鞅在更一般异质噪声下的适用性：本文逆超鞅依赖数据拆分的独立性与正交 Knockoff 的对称性，若噪声非子高斯或存在更复杂的依赖结构，逆超鞅结构是否仍可构造或需修正？扎根于定理 1 的子高斯假设与逆超鞅引理的证明步骤。
Maintained by 陈星宇 · Homepage · Source on GitHub