跳转至

FDR-Controlled Variable Selection for Generalized Linear Models and Cox Regression with Virtual Dummies

作者: Helena Mehler, Taulant Koka, Michael Muma
主题: 数理统计 / 假设检验
相关性: 6/10
链接: https://arxiv.org/abs/2609.29335


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是高维变量选择中的 FDR 控制。其根本的统计问题是:在预测变量数 p 远大于样本量 n 的设定下(如全基因组关联研究、单细胞测序、影像遗传学),如何从海量候选变量中筛选出真正与响应变量关联的少数"活性"变量,同时将错误发现的比例(FDR)控制在用户预设的水平之下。该方向的成熟度处于"方法快速迭代但理论滞后于应用"的阶段:一方面,T-Rex 选择器及其虚拟哑变量扩展已在百万级变量规模上展示了可行性;另一方面,FDR 控制的理论保证仍依赖于较强的统计假设(如活性变量与零变量的独立性),且缺乏对非线性模型(GLM、Cox)的系统性理论支撑。

发展脉络

  • 奠基工作:Benjamini-Hochberg (1995) 与 Benjamini-Yekutieli (2001)。FDR 作为多重检验的误差准则被引入,其核心思想是控制"错误发现比例"的期望。但 BH/BY 程序基于 p 值,在高维联合模型中(如多元回归)p 值往往不满足有效性与独立性要求,导致 FDR 控制失效。本文在实验部分明确指出,边际检验(marginal tests)在联合模型下会严重违反 FDR 目标(表 2 中 BH/BY 的 FDP 远超目标水平)。

  • 主要进展:Model-X Knockoffs (Candès et al., 2018)。Barber & Candès (2015) 的 knockoff 方法在线性模型下实现了有限样本 FDR 控制,Candès et al. (2018) 将其推广到任意响应分布("Model-X"框架),核心思想是构造与原始变量分布相同但与响应条件独立的"knockoff"副本,通过对比真实变量与 knockoff 的统计量来筛选变量。然而,knockoff 的构造需要精确估计预测变量的联合分布,在高维(p 达数十万)时计算不可行,且对分布估计误差敏感。本文引用 [7, 8] 指出其"prohibitively computationally demanding beyond a few tens of thousands of variables"。

  • 当前 frontier:T-Rex 选择器 (Machkour et al., 2021) 与虚拟哑变量 (Koka et al., 2026)。T-Rex 通过融合多个提前终止的随机实验(每次实验将真实变量与随机生成的哑变量混合进行向前选择),利用哑变量被选入的频率来估计 FDR,从而避免了 p 值和分布估计的需求。其计算复杂度关于 p 线性,可扩展至百万变量。虚拟哑变量框架 [10] 进一步解决了显式哑变量矩阵的内存瓶颈(p 达百万时,存储 n×p 的哑变量矩阵需 TB 级内存),通过自适应 stick-breaking 构造仅需存储哑变量在低维子空间上的投影系数,并证明了选择路径与显式增广在分布上等价。

  • 本文的位置:本文是虚拟哑变量框架从线性模型到 GLM 和 Cox 回归的推广。其核心贡献在于:(1) 将虚拟哑变量构造从最小二乘残差推广到基于得分的向前选择(score-based forward selection),覆盖 Bernoulli、Poisson、multinomial 和 Cox 四种响应类型;(2) 证明了虚拟哑变量选择路径与显式增广在分布上等价,从而将 T-Rex 的 FDR 控制保证(原定理针对线性模型)推广到 GLM/Cox 设定;(3) 通过模拟和真实数据验证了正确模型设定带来的功效提升。

子线索聚类

  • 线索一:基于 p 值的多重检验校正(BH/BY,[5, 6])。适用于边际检验,计算简单,但在联合模型下 FDR 控制失效。本文将其作为"不控制联合 FDR"的基线。

  • 线索二:基于 knockoff 的 FDR 控制([7, 8])。理论优雅,有限样本保证强,但计算瓶颈严重,需估计预测变量分布。本文将其作为"理论正确但不可扩展"的对比。

  • 线索三:基于哑变量竞争的 FDR 控制(T-Rex [9],虚拟哑变量 [10],本文)。无需 p 值、无需分布估计,计算线性扩展,但 FDR 控制的理论保证依赖于哑变量与真实变量的交换性(即哑变量必须与响应独立且与真实变量同分布),这在模型设定错误时可能失效。

核心问题

  1. 如何在高维联合模型下实现 FDR 控制? 当前主流方法(BH/BY)在边际检验下失效,knockoff 在计算上不可行,T-Rex 提供了第三条路径。
  2. 如何在不存储显式哑变量矩阵的前提下保持选择路径的分布等价性? 虚拟哑变量框架通过投影系数和 stick-breaking 构造解决了这一问题,但仅在线性模型下被证明。
  3. FDR 控制的理论保证在非线性模型(GLM、Cox)下是否仍然成立? 这是本文要回答的核心问题。

⚠️ 作者的 framing

作者将缺口 frame 为:"T-Rex 的 FDR 控制理论虽然 embraces more general settings,但 to date 该选择器仅被指定用于线性模型(least squares residual),这可能导致在非线性响应下功效损失。" 作者声称,通过将虚拟哑变量构造推广到 score-based forward selection,可以在保持 FDR 控制的同时,通过正确指定模型来提升功效。作者淡化的竞争路线是:knockoff 方法虽然理论更成熟,但其计算瓶颈使其无法应用于大规模基因组数据;而 BH/BY 虽然计算简单,但控制的是边际而非联合 FDR。值得注意的缺失:作者没有讨论 T-Rex 框架在模型误设定(如活性变量与零变量相关)下的稳健性,也没有与更近期的 FDR 控制方法(如借助机器学习模型的稳定性选择、基于 data splitting 的 FDR 控制)进行比较。

张力

未见明显对立引用。但存在一个隐含张力:T-Rex 的 FDR 控制保证依赖于哑变量与真实变量的交换性,而这一交换性在 GLM/Cox 的 score-based 选择中是否严格成立,本文仅通过模拟验证,未给出理论证明(见第三节"结论是否比证明窄")。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

  • 响应变量:\( y \in \mathbb{R}^n \),是可观测的随机向量。在 GLM 中,\( y_i \) 服从指数族分布(如 Bernoulli、Poisson、multinomial);在 Cox 模型中,\( y_i = (t_i, \delta_i) \),其中 \( t_i \) 是生存时间(可观测),\( \delta_i \) 是事件指示(可观测,1 表示事件发生,0 表示右删失)。
  • 预测变量矩阵:\( X = (x_1, \dots, x_p) \in \mathbb{R}^{n \times p} \),是可观测的。每列已中心化并做 \( \ell_2 \) 归一化,因此 \( x_j \in \mathcal{H} = \{ x \in \mathbb{R}^n : \mathbf{1}^\top x = 0 \} \),即中心化子空间,维度 \( m = n - 1 \)。
  • 线性预测子:\( \eta = b_0 \mathbf{1} + X\beta \),其中 \( \beta \in \mathbb{R}^p \) 是未知参数(要估计的对象),\( b_0 \) 是截距。
  • 活性集:\( \mathcal{A} = \{ j : \beta_j \neq 0 \} \),是目标 estimand(要恢复的集合)。
  • 哑变量:\( d_1, \dots, d_L \in \mathcal{H} \),是人工生成的随机向量,独立于 \( (X, y) \),在单位球面上均匀分布(中心化后)。它们是辅助构造,不是数据。
  • 虚拟哑变量系数:\( \alpha_{i\ell} = \langle d_\ell, e_i \rangle \),其中 \( \{ e_i \} \) 是逐步揭示的子空间 \( V_k \) 的标准正交基。这些系数是可计算的随机量,通过 stick-breaking 递推(公式 2)从条件分布中采样。
  • 选择路径:\( \widehat{\mathcal{A}}_k \) 是第 \( k \) 步选中的变量集合;\( C_{b,L}(T) \) 是第 \( b \) 次随机实验中,当第 \( T \) 个哑变量被选中时已选入的真实变量集合。
  • 投票频率:\( \Phi_{T,L}(j) = \frac{1}{B} \sum_{b=1}^B \mathbf{1}\{ j \in C_{b,L}(T) \} \),是变量 \( j \) 在 \( B \) 次随机实验中被选中的比例。
  • 最终选择:\( \widehat{\mathcal{A}}(v, T) = \{ j : \Phi_{T,L}(j) > v \} \),其中 \( v \in [0.5, 1) \) 是投票阈值。
  • FDR 估计量:\( \widehat{\text{FDP}}(v, T, L) \),基于哑变量被选中的频率来估计错误发现比例。

模型:数据生成机制为 \( y_i \sim \text{指数族}(\eta_i) \)(GLM)或 \( \lambda(t) = \lambda_0(t) e^{\eta} \)(Cox 比例风险模型)。可观测数据是 \( (X, y) \);不可观测的是真实的 \( \beta \)、活性集 \( \mathcal{A} \)、以及哑变量的完整 n 维向量(虚拟框架只采样其投影)。

第二步:最小内核

剥掉所有一般性假设后,本文的核心数学命题是:

在向前选择(forward selection)的每一步,如果用一个"虚拟哑变量"(只采样其在当前子空间上的投影系数,而非完整 n 维向量)来替代"显式哑变量"(完整采样的 n 维随机向量),那么选择路径的联合分布不变。

为什么这个命题是核心? 因为 T-Rex 的 FDR 控制保证([9, Theorem 1])依赖于一个关键事实:哑变量与真实变量在向前选择中"公平竞争"——哑变量被选中的频率可以用来估计 FDR。如果虚拟哑变量与显式哑变量的选择路径分布不同,那么 FDR 估计就会偏差,整个控制保证崩塌。

最小例子(线性模型,d = 1 步):

设当前子空间 \( V_1 = \text{span}\{ e_1 \} \),其中 \( e_1 \) 是当前残差方向(即第一步的得分)。一个显式哑变量 \( d \in \mathcal{H} \) 在单位球面上均匀分布。它在选择准则中的排名取决于 \( |\langle d, s_0 \rangle| \),其中 \( s_0 \) 是初始得分(如残差)。

  • 显式构造:完整采样 \( d \sim \text{Unif}(\mathcal{S}_\mathcal{H}) \),计算 \( \langle d, s_0 \rangle \)。
  • 虚拟构造:只采样 \( \alpha_1 = \langle d, e_1 \rangle \),其中 \( e_1 = s_0 / \| s_0 \|_2 \)。由球面均匀分布的性质,\( \alpha_1 \) 的边缘分布是 \( \alpha_1 = S \cdot R \sqrt{U} \),其中 \( S \) 是 Rademacher 符号,\( U \sim \text{Beta}(1/2, m/2) \),\( R = 1 \)(第一步)。

关键观察:由于 \( d \) 在单位球面上均匀分布,\( \langle d, e_1 \rangle \) 与 \( \langle d, e_1^\perp \rangle \)(\( e_1^\perp \) 是正交补方向)是独立的。因此,\( |\langle d, s_0 \rangle| = \| s_0 \|_2 \cdot |\alpha_1| \) 的分布完全由 \( \alpha_1 \) 决定,不需要知道 \( d \) 在正交补上的分量。这就是虚拟构造的数学本质:选择准则只依赖于哑变量在低维子空间上的投影,而投影系数可以通过 stick-breaking 精确采样,无需存储完整向量。

推广到多步:在第 \( k \) 步,子空间 \( V_k \) 由已选变量的得分方向张成。虚拟哑变量需要采样 \( \alpha_{1\ell}, \dots, \alpha_{k\ell} \),即它在 \( V_k \) 上的投影。stick-breaking 递推(公式 2)保证这些系数与显式构造的投影系数同分布。证明的关键在于:每一步的得分 \( s_k \) 只依赖于已选变量和响应,不依赖于哑变量的具体实现(除了通过选择事件间接影响),因此条件分布可以递推计算。

为什么这很难? 因为选择事件("第 \( T \) 个哑变量被选中")是一个依赖于整个历史的停止时间。虚拟构造必须保证,在给定选择历史的条件下,未实现哑变量的投影系数条件分布与显式构造一致。这需要仔细的鞅/条件分布论证,而本文将此归功于 [10] 的 Theorem 1 和 Corollary 2,未在本文中重新证明。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:如何将 T-Rex 选择器的虚拟哑变量框架从线性模型推广到 GLM(Bernoulli、Poisson、multinomial)和 Cox 比例风险模型,在控制 FDR 的同时提升非线性响应下的选择功效。
  2. 核心工具/方法:将虚拟哑变量构造从最小二乘残差推广到基于得分(score)的向前选择,得分函数为 \( s_k = y - \mu_k \)(GLM)或 \( s_k = \delta - e^{\eta_k} \widehat{\Lambda}_0(t) \)(Cox),并证明虚拟与显式哑变量的选择路径分布等价。
  3. 主要结论:模拟实验证实虚拟与显式哑变量在 FDP 和 TPP 上完全一致(差异 ≤ 0.004 和 ≤ 0.017),正确指定模型(VD-GLM)比错误指定(VD-Gaussian)在 multinomial 和 Cox 响应下显著提升 TPP(例如 multinomial 下 TPP 从 0.3 提升到接近 1.0),同时保持 FDR 在目标水平之下。

关键设定与假设

  • 哑变量分布:哑变量 \( d_\ell \) 独立于 \( (X, y) \),在中心化子空间 \( \mathcal{H} \) 的单位球面上均匀分布(即中心化并归一化的标准正态向量)。这一假设与 [9] 相同,是 FDR 控制证明的起点。
  • 选择算法:向前选择(forward selection),每一步选择与当前得分 \( s_k \) 绝对值内积最大的未选变量(真实变量或哑变量)。对于 multinomial,得分有 \( C-1 \) 个分量,排名基于所有分量的 \( \ell_2 \) 范数。
  • FDR 控制条件:继承 [9, Theorem 1] 的假设,包括活性变量与零变量的独立性、设计矩阵的列归一化等。本文未重新验证这些假设在 GLM/Cox 下是否自然成立,而是直接引用。
  • 与 [10] 的关系:本文的等价性证明完全依赖 [10] 的 Theorem 1 和 Corollary 2,本文的新贡献在于验证了 score-based forward selection 满足 [10] 的两个条件:(1) 哑变量独立于 \( (X, y) \);(2) 选择规则和新的基向量只通过已揭示的系数和已实现的哑变量依赖于哑变量。对于 GLM/Cox,条件 (2) 成立的关键在于得分 \( s_k \) 只依赖于 \( y \) 和已选列,不依赖于未选哑变量。

主要结果

  • 定理/命题:本文没有新的理论定理,核心理论结果(等价性和 FDR 控制)直接引用 [9] 和 [10]。本文的贡献是算法(Algorithm 1: VD-T-Rex for GLMs and Cox)和实证验证。
  • 模拟实验(Section 4.1):
  • 设定:n = 300, p = 1000, 活性变量数 a = 10, SNR 从 0.25 到 5.0 变化,500 次重复。
  • 等价性验证:VD-GLM 与 AD-GLM(显式哑变量)在 FDP 和 TPP 上完全重合(差异 ≤ 0.004 和 ≤ 0.017),证实虚拟构造的分布等价性在 GLM/Cox 下成立。
  • 误设定代价:VD-Gaussian(错误地用线性模型)在 multinomial 响应下 TPP 仅为 0.3,而 VD-Multinomial 接近 1.0;在 Cox 响应下差距在低 SNR 时最大。这量化了正确指定模型的价值。
  • FDR 控制:所有 VD-GLM 变体的 FDP 均低于目标 α = 0.1。
  • 应用 1:HAPNEST 模拟基因型数据(Section 4.3):
  • 设定:n = 10,000, p = 31,037 SNPs, 4 类(1 健康 + 3 疾病亚型),12 个因果 SNP,α = 0.1。
  • 结果:VD-Multinomial 在 FDP ≤ α 的前提下达到 TPP = 0.453,而 VD-Bernoulli(one-vs-rest)和 VD-Gaussian 的 TPP 为 0 或 0.181。Model-X knockoffs 也选择 0 个变量。这展示了多分类模型在疾病亚型识别中的必要性。
  • 应用 2:TCGA-KIRC 癌症生存数据(Section 4.4):
  • 设定:n = 531, p = 19,620 基因,175 个事件,α = 0.1。
  • 结果:VD-AFS-Cox 选择 8 个基因,其中 5 个(DONSON、ZIC2、SLC16A12、SORBS2、BARX1)已有文献支持其与肾透明细胞癌的关联。对比之下,线性模型(VD-AFS-Gaussian on log t)仅选择 1 个基因,Cox knockoffs 选择 0 个。

真实例子想说明什么

  • HAPNEST 例子说明:当响应是多分类时,使用多分类模型(multinomial)而非二值化(one-vs-rest)或错误指定(Gaussian)能显著提升选择功效,且 FDR 控制不受影响。
  • TCGA-KIRC 例子说明:在生存数据下,Cox 模型比线性模型(对 log 生存时间)能识别更多有生物学意义的基因,且选择结果与领域知识一致,支持了方法的实用性。

🔎 结论是否比证明窄

  • 明确窄的地方:本文声称"FDR control carries over under the same assumptions"(Section 1),但这一结论完全依赖 [10] 的等价性定理和 [9] 的 FDR 控制定理。本文没有证明 score-based forward selection 在 GLM/Cox 下满足 [9] 的所有假设(如活性变量与零变量的独立性、设计矩阵条件)。特别是,对于 Cox 模型,得分是鞅残差而非独立残差,[9] 的证明是否直接适用并未讨论。
  • 泛化声称:Section 5 提到"further selection procedures"(如 LAD、Huber)可作为未来工作,但未说明这些鲁棒估计器的得分是否仍满足 [10] 的条件。
  • 未验证的假设:模拟中设计矩阵为独立高斯,真实数据中 SNP 存在连锁不平衡(LD),但本文未讨论 LD 对 FDR 控制的影响。HAPNEST 模拟保留了 LD 结构,但 FDR 控制仍成立,这暗示方法对相关性有一定稳健性,但缺乏理论解释。

四、开放问题

  1. 理论证明的缺口:本文的 FDR 控制保证完全继承自 [9] 和 [10],但 [9] 的证明针对线性模型的最小二乘残差。对于 GLM 的得分(尤其是 Cox 的鞅残差),[9] 的假设(如残差独立性)是否成立?能否给出一个自包含的 FDR 控制证明?(扎根于 Section 3.2 的等价性论证和 Section 1 的"inherits the FDR guarantee"声称。)

  2. 模型误设定的影响:本文展示了误设(Gaussian 替代 multinomial/Cox)会损失功效,但没有理论刻画误设对 FDR 控制的影响。是否存在误设导致 FDR 失控的情形?(扎根于 Section 4.1 的误设实验,但无理论支撑。)

  3. 哑变量分布的选择:虚拟哑变量假设均匀球面分布,但 [10] 的 stick-breaking 构造依赖旋转不变性。如果设计矩阵非各向同性(如 SNP 数据存在 LD),均匀球面分布是否仍然是最优选择?其他分布(如与设计矩阵协方差匹配的椭圆分布)能否提升功效?(扎根于 Section 2.2 的 stick-breaking 构造。)

  4. 向前选择的停止规则:T-Rex 需要预设哑变量数量 L 和停止阈值 T。本文未讨论 L 和 T 的选择对 FDR 控制紧致性的影响。是否存在数据自适应的选择规则?(扎根于 Algorithm 1 的参数 L 和 T。)

  5. 与 knockoffs 的理论对比:本文实验显示 knockoffs 在 HAPENST 和 TCGA 数据上选择 0 个变量,但未解释原因。是 knockoffs 的保守性、分布估计误差,还是统计量选择不当?一个系统的理论对比(功效 vs. FDR 控制)会是有价值的后续工作。(扎根于 Section 4.3 和 4.4 的实验结果。)

提示:若要确认上述某条是否为真 gap,建议去读 T-Rex 原始论文 [9]、虚拟哑变量论文 [10]、以及 knockoffs 文献([7, 8])中关于统计量选择和分布估计的近期工作(约 5 篇)。若多篇近期论文都指向同一问题,则为共识性 gap;若互相矛盾,则可能是更值得挖掘的机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论