跳转至

Comparing Model-agnostic Feature Selection Methods Through Relative Efficiency

作者: Chenghui Zheng, Garvesh Raskutti
来源: Statistica Sinica
主题: 数理统计 / 假设检验
相关性: 6/10
机构绿灯: University of Wisconsin-Madison(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是模型无关(model-agnostic)的特征选择与变量重要性推断。其根本的统计问题是:当我们使用黑箱预测模型(如神经网络、梯度提升树)时,如何对单个特征(或特征子集)的重要性进行假设检验与推断,且这种推断不依赖于底层预测模型的具体形式。该方向的成熟度处于"方法众多但缺乏统一比较框架"的阶段——已有大量方法(GCM、LOCO、置换检验、Knockoff 等)各自有渐近理论,但彼此之间的相对效率缺乏定量刻画。

发展脉络

  • 奠基工作:条件独立性检验的困难与 GCM 的提出。 Shah and Peters (2018) [1] 证明了条件独立性检验在无额外假设下不存在对任何备择都有功效的检验,并据此提出广义协方差度量(GCM)——通过对 X 和 Y 分别对 Z 回归取残差后计算残差协方差。这一工作奠定了"基于残差的检验"这一思路,但其理论只保证了检验的有效性(validity),未涉及与其他方法的效率比较。
  • 主要进展:变量重要性的模型无关化与推断框架。 Williamson et al. (2020) [2] 将变量重要性定义为"全模型预测力与剔除该特征后预测力之差"这一总体参数,并建立了非参数效率推断框架(基于高效影响函数),使得在机器学习估计器下仍可构造置信区间。这为 LOCO(Leave-One-Covariate-Out)提供了严格的理论基础。同期,Foster et al. (2013) [3] 在单调单指标模型中用自适应 LASSO 做变量选择,为单指标模型设定下的估计提供了工具。
  • 当前 frontier:计算效率与推断效率的权衡。 Gao et al. (2022) [4] 提出 Lazy-VI,用线性化(在完整模型参数处做一阶泰勒展开加岭惩罚)近似重训练,避免了对每个特征重新训练模型的昂贵计算,同时保持 \(\sqrt{n}\) 收敛率。Sun and Raskutti (2024) [25] 进一步用 warm-start 和 early stopping 加速变量重要性估计。这些工作聚焦于"如何更快地估计 LOCO 型重要性",但未回答"快"是否牺牲了统计效率。
  • 本文的位置: 作者指出,尽管上述方法各自有渐近正态性结果,但"没有定量比较它们在特征选择中的表现"(引言原话)。本文填补的缺口是:提出一个基于相对效率(relative efficiency)的统一比较框架,用相对变异度 σ/μ 调整不同统计量均值差异的影响,从而在理论上比较 GCM 与 LOCO 的渐近效率。

子线索聚类

  1. 基于残差的检验线索:Shah & Peters (2018) 的 GCM → 本文的 GCM 类方法。这条线索强调"回归残差的条件协方差"作为重要性的度量,优点是计算相对轻量(只需拟合全模型和条件模型),缺点是对方差结构的假设较敏感。
  2. 基于预测力损失的线索:Williamson et al. (2020) 的 LOCO 框架 → Gao et al. (2022) 的 Lazy-VI → Sun & Raskutti (2024)。这条线索强调"剔除特征后预测力的下降",优点是直接对应预测目标,缺点是需要重训练(或近似重训练)模型。
  3. 控制错误发现率的线索:Barber & Candès (2015) 的 Knockoff 框架 [4, 7] 以及置换检验 [6]。这条线索关注的是多重检验下的 FDR 控制,与本文的效率比较正交。

这个方向在追问的核心问题

  1. 检验的有效性:在什么条件下检验统计量在零假设下有正确的渐近分布?(GCM 已解决,LOCO 依赖估计器的收敛率)
  2. 检验的效率:给定相同的备择假设,哪种方法的样本需求更小?——这是本文的核心问题,此前无人系统回答。
  3. 计算与统计的权衡:Lazy-VI 等加速方法在多大程度上牺牲了统计效率?本文第 4 节部分回答了这个问题(Lazy-VI 与 LOCO 渐近方差相同)。

⚠️ 作者的 framing

作者将缺口 frame 成:"不同方法产生不同尺度的统计量,直接比较方差没有意义,因此需要相对变异度 σ/μ 来标准化。" 这一 framing 使得本文的贡献是提出比较框架而非提出新检验。被淡化的竞争路线包括:Knockoff 的 FDR 控制视角(作者仅在模拟中作为 baseline 提及)、以及基于距离相关性的检验(仅在引言中一笔带过)。值得注意的是,作者对 GCM 的已知局限(对偶函数关系不敏感,如 \(Y = X^2\))在引言中明确承认,但将其归为"任何基于协方差的方法的固有局限"。

张力

未见明显对立引用。但存在一个隐含张力:Shah & Peters (2018) 强调"条件独立性检验本质上困难",而 Williamson et al. (2020) 的框架假设了可估计的总体参数——这两者对"我们能从数据中学到什么"的乐观程度不同。本文站在 Williamson 一侧,假设了足够的正则性条件使效率比较可行。

二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号清单:

记号 含义 类型
\(Y \in \mathbb{R}\) 响应变量 可观测随机变量
\(X \in \mathbb{R}^p\) 协变量向量 可观测随机变量
\(X_j\) 第 \(j\) 个特征 可观测随机变量
\(X_{-j}\) 除第 \(j\) 个特征外的所有特征 可观测随机变量
\(f_0(X) = \mathbb{E}[Y \mid X]\) 真实条件期望函数 未知非参数函数(目标量)
\(f_{0,-j}(X_{-j}) = \mathbb{E}[Y \mid X_{-j}]\) 剔除 \(X_j\) 后的条件期望 未知非参数函数
\(\psi^{(gcm)}_j = \mathbb{E}[(X_j - \mathbb{E}[X_j \mid X_{-j}])(Y - \mathbb{E}[Y \mid X_{-j}])]\) GCM 总体参数 estimand(要推断的目标)
\(\psi^{(loco)}_j = \mathbb{E}[(Y - f_{0,-j}(X_{-j}))^2] - \mathbb{E}[(Y - f_0(X))^2]\) LOCO 总体参数 estimand
\(\hat{\psi}^{(gcm)}_j, \hat{\psi}^{(loco)}_j\) 对应样本估计量 随机变量(统计量)
\(\mu_0 = \mathbb{E}[\hat{\psi} \mid H_0]\) 零假设下统计量期望 常数(通常为 0)
\(\mu_1 = \mathbb{E}[\hat{\psi} \mid H_1]\) 备择假设下统计量期望 常数
\(\sigma^2 = \text{Var}(\hat{\psi} \mid H_1)\) 备择假设下统计量方差 常数
\(n\) 样本量 指标
\(\epsilon\) 噪声项,\(\mathbb{E}[\epsilon \mid X] = 0\) 不可观测随机变量

模型设定:

  • 可观测数据:\(\{(X_i, Y_i)\}_{i=1}^n \sim P_0\),i.i.d. 样本,\(X_i \in \mathbb{R}^p\),\(Y_i \in \mathbb{R}\)。
  • 数据生成机制:\(Y = f_0(X) + \epsilon\),其中 \(\mathbb{E}[\epsilon \mid X] = 0\),\(\text{Var}(\epsilon \mid X) = \sigma^2\)(可随 \(X\) 变化,但为简化可假设同方差)。
  • 目标:对每个特征 \(j\),检验 \(H_0: X_j \perp Y \mid X_{-j}\)(即 \(X_j\) 在给定其他特征后对 \(Y\) 无额外预测力)。
  • 关键区分:\(\psi^{(gcm)}_j\) 和 \(\psi^{(loco)}_j\) 都是总体参数(estimand),是 \(P_0\) 的确定性函数;\(\hat{\psi}^{(gcm)}_j, \hat{\psi}^{(loco)}_j\) 是它们的样本估计量,是随机变量。可观测的是样本,不可观测的是 \(\epsilon\) 和真实的 \(f_0\)。

第二步:最小内核

核心命题(线性模型情形,定理 3 的特例):

设 \(Y = X_{-j}\beta_{-j} + \beta_j X_j + \epsilon\),\(X_j\) 与 \(X_{-j}\) 相关。考虑检验 \(H_0: \beta_j = 0\)。

  • GCM 统计量:\(\hat{\psi}^{(gcm)}_j = \frac{1}{n}\sum_{i=1}^n \hat{\xi}_{ij} \hat{\epsilon}_{ij}\),其中 \(\hat{\xi}_{ij} = X_{ij} - \hat{\mathbb{E}}[X_j \mid X_{-j}]\)(\(X_j\) 对 \(X_{-j}\) 回归的残差),\(\hat{\epsilon}_{ij} = Y_i - \hat{\mathbb{E}}[Y \mid X_{-j}]\)(\(Y\) 对 \(X_{-j}\) 回归的残差)。

  • LOCO 统计量:\(\hat{\psi}^{(loco)}_j = \frac{1}{n}\sum_{i=1}^n [(Y_i - \hat{f}_{-j}(X_{i,-j}))^2 - (Y_i - \hat{f}(X_i))^2]\),即全模型与剔除 \(X_j\) 后模型的训练误差之差。

关键观察:在线性模型中,可以证明

\[\hat{\psi}^{(gcm)}_j = \hat{\beta}_j \cdot \widehat{\text{Var}}(X_j \mid X_{-j})\]
(GCM 统计量等于 \(X_j\) 的偏回归系数乘以条件方差),而
\[\hat{\psi}^{(loco)}_j = \hat{\beta}_j^2 \cdot \widehat{\text{Var}}(X_j \mid X_{-j}) \cdot (2 + o_p(1))\]
(LOCO 统计量是偏回归系数的平方效应)。

为什么 LOCO 的均值是 \(\beta_j^2\) 阶而 GCM 的均值是 \(\beta_j\) 阶? 因为 GCM 度量的是条件协方差(一阶矩),而 LOCO 度量的是预测误差的下降(二阶矩)。这意味着:

  • 当 \(\beta_j\) 很小时,GCM 的均值 \(\propto \beta_j\),LOCO 的均值 \(\propto \beta_j^2\),因此 GCM 的均值衰减得更慢。
  • 但 GCM 的方差包含 \(\sigma^2 \mathbb{E}[\tilde{X}_j^2]\) 项,LOCO 的方差包含 \(4\sigma^2 \beta_j^2 \mathbb{E}[\tilde{X}_j^2]\) 项(见附录 B.1),因此 LOCO 的方差在 \(\beta_j \to 0\) 时也更快趋于 0。

相对效率的定义:由于两个统计量的均值和方差尺度不同,直接比较方差无意义。作者引入相对变异度:

\[R(T) = \frac{\sqrt{\text{Var}(T \mid H_1)}}{|\mathbb{E}[T \mid H_1] - \mathbb{E}[T \mid H_0]|}\]

这实际上是变异系数(coefficient of variation)的推广,度量了统计量相对于其信号(均值偏移)的噪声水平。效率比较即比较 \(R(\hat{\psi}^{(gcm)}_j)\) 与 \(R(\hat{\psi}^{(loco)}_j)\) 的大小——\(R\) 越小,效率越高。

为什么这个内核是"最小"的? 因为它抓住了本文的全部数学本质:不同统计量的均值和方差以不同速率随效应量 \(\beta_j\) 变化,相对变异度提供了一个尺度无关的比较基准。定理 3、4、5 的全部内容,本质上都是在不同的模型设定下计算这两个统计量的 \(R\) 值并比较大小。定理 3 的结论是:在线性模型中,\(R(\hat{\psi}^{(gcm)}_j) < R(\hat{\psi}^{(loco)}_j)\),即 GCM 比 LOCO 更高效,效率比由 \(\sigma^2/(\beta_j^2 \mathbb{E}[\tilde{X}_j^2])\) 决定——信噪比越低,GCM 的优势越大。

三、这篇论文做了什么

三句话

  1. 研究了什么问题:在模型无关的特征选择框架下,如何定量比较不同重要性检验统计量(GCM vs LOCO)的渐近效率。
  2. 核心工具/方法:提出基于相对变异度 \(\sigma/\mu\) 的统一比较框架,在三种模型设定(线性、非线性可加、单指标)下推导两个统计量的渐近均值与方差,并证明 GCM 在由某个相关性量定义的正则条件下渐近更高效。
  3. 主要结论:GCM 类方法在大多数设定下比 LOCO 更高效(\(R\) 更小),效率优势随信噪比降低而增大;Lazy-VI 与 LOCO 渐近等价;模拟和真实数据验证了理论预测。

关键设定与假设

定理 3(线性模型)的假设: - \(Y = X_{-j}\beta_{-j} + \beta_j X_j + \epsilon\),\(\epsilon\) 均值为零、方差 \(\sigma^2\) 有限,\(\epsilon \perp X\)。 - 估计量 \(\hat{f}\) 是相合的(如 OLS 或充分训练的神经网络)。 - 相比已有文献:不要求 \(X_j \perp X_{-j}\),允许任意相关性结构。

定理 4(非线性可加模型)的假设: - \(Y = \sum_{k=1}^p f_{0,k}(X_k) + \epsilon\),\(f_{0,k}\) 非线性、可测。 - 假设 (A):\(\text{Corr}^2(\tilde{X}_j, \tilde{f}_{0,j}(X_j)) > \frac{\mathbb{E}[\tilde{X}_j^2 \tilde{f}_{0,j}^2(X_j)]}{\mathbb{E}[\tilde{f}_{0,j}^2(X_j)] \mathbb{E}[\tilde{X}_j^2] + \sigma^2 \mathbb{E}[\tilde{f}_{0,j}^2(X_j)]}\)——这是一个调整后的相关性条件,要求 \(X_j\) 与 \(f_{0,j}(X_j)\) 的条件相关性足够强。注意:当 \(f_{0,j}\) 是偶函数且 \(X_j\) 分布对称时,\(\text{Corr}(\tilde{X}_j, \tilde{f}_{0,j}(X_j)) = 0\),假设 (A) 失败——这正是 GCM 的已知局限。

定理 5(单指标模型)的假设: - \(Y = \eta(X^T\beta) + \epsilon\),\(\eta\) 单调可微、导数有界(假设 B1);\(X\) 服从次高斯分布(假设 B2);\(X^T\beta\) 的密度有界(假设 B3);条件均值 \(\mathbb{E}[X^T\beta \mid X_{-j}]\) 有下界(假设 B4)。 - 相比定理 4,这里允许特征间存在交互作用(通过 \(\eta\) 的非线性),但要求 \(\eta\) 单调。

相比已有文献的放宽/强化: - 放宽:不要求特征独立,允许任意相关性。 - 强化:假设 (A) 是一个可验证的条件(可通过样本估计),但它在偶函数设定下必然失败——作者将此作为 GCM 的局限明确承认。

主要结果

定理 3(线性模型):对每个 \(j\),

\[\frac{\text{sd}(\hat{\psi}^{(loco)}_j)/\mathbb{E}[\hat{\psi}^{(loco)}_j]}{\text{sd}(\hat{\psi}^{(gcm)}_j)/\mathbb{E}[\hat{\psi}^{(gcm)}_j]} = \sqrt{\frac{4\sigma^2 + \beta_j^2 \text{Var}(\tilde{X}_j^2)/\mathbb{E}[\tilde{X}_j^2]}{\sigma^2 + \beta_j^2 \text{Var}(\tilde{X}_j^2)/\mathbb{E}[\tilde{X}_j^2]}} > 1.\]

直觉:LOCO 的相对变异度至少是 GCM 的 2 倍(当 \(\sigma^2 \to 0\) 时比值趋于 2),且随 \(\sigma^2\) 增大而增大。GCM 的优势在低信噪比时最大。

定理 4(非线性可加模型):在假设 (A) 下,

\[\frac{\text{sd}(\hat{\psi}^{(loco)}_j)/\mathbb{E}[\hat{\psi}^{(loco)}_j]}{\text{sd}(\hat{\psi}^{(gcm)}_j)/\mathbb{E}[\hat{\psi}^{(gcm)}_j]} > 1.\]

关键条件:假设 (A) 的左边是 \(\text{Corr}^2(\tilde{X}_j, \tilde{f}_{0,j}(X_j))\),右边是一个涉及四阶矩和噪声方差的量。当 \(f_{0,j}\) 是偶函数(如 \(x^2\))且 \(X_j\) 对称时,左边为 0,假设 (A) 失败,此时 LOCO 可能更高效——作者在模拟中验证了这一点。

定理 7(Lazy-VI 与 LOCO 的比较):在神经网络设定下,Lazy-VI 与 LOCO 的渐近方差相同(\(\sigma^2_j = \text{Var}(\epsilon^2 - \epsilon^2_{-j})\)),因此二者效率相同。这验证了 Lazy-VI 作为 LOCO 计算加速方案的合理性——加速不损失统计效率。

真实例子与应用

模拟研究(第 5 节): - 四种设定:(a) 线性模型、(b) 非线性可加模型(含偶函数 \(x^2\) 和 \(\cos\))、(c) 含交互的非线性模型、(d) 单指标模型(sigmoid 链接)。 - 使用三种学习器:线性回归(针对 a)、广义可加模型(针对 b/c)、广义部分线性单指标模型(针对 d),以及梯度提升树(GBM)作为通用黑箱。 - 关键发现:在设定 (b) 中,GCM 对 \(x^2\) 和 \(\cos\) 特征失效(p 值不显著),但对其他特征更敏感;LOCO 对所有特征都有一定功效但功效较低。这与定理 4 的预测一致——偶函数违反假设 (A)。

真实数据(第 6 节): - Airbnb 房价数据(\(n=1863\), \(p=11\)):GCM 选出更多特征(包括 latitude, longitude, minimum_nights),LOCO 选出的特征较少;GCM 选择的模型在测试集上取得更低 MSE。 - 红酒品质数据(\(n=1599\), \(p=11\)):GCM 识别出 alcohol, sulphates, volatile acidity 为重要特征,与已有文献一致;LOCO 漏掉了 volatile acidity。 - 波士顿房价数据(\(n=506\), \(p=13\)):GCM 选出 rm, lstat, dis, tax, ptratio 等,LOCO 只选出 rm 和 lstat;GCM 的 MSE 更低。 - 螃蟹年龄数据(\(n=3893\), \(p=9\)):GCM 和 LOCO 表现接近,但 GCM 更稳定(更少的标准差)。 - 燃气轮机 NOx 排放数据(\(n=7152\), \(p=9\)):GCM 选出更多运行参数(TIT, TEY, CDP),与热力学直觉一致。

这些例子的作用:验证理论预测(GCM 在大多数设定下更高效),同时展示 GCM 的局限(偶函数失效),并说明在真实数据上 GCM 的选择更符合领域知识。

🔎 结论是否比证明窄

是,存在明显的不匹配:

  1. 定理 3-5 只覆盖了三种特定模型,但结论部分(第 7 节)声称"GCM 通常优于 LOCO"——这是从特殊到一般的跳跃。作者在结论中承认"我们的理论结果限于可加和单指标结构",但摘要和引言中的表述更泛化。

  2. 定理 5 的证明依赖泰勒展开的一阶近似(附录 C.3),要求 \(\eta\) 的导数有界且 \(X^T\beta\) 的分布集中。作者证明了余项 \(o(1)\),但没有给出余项的具体阶数——这意味着"近似"的精度未知。对于 sigmoid 这类导数有界的链接函数,余项确实可控;但对于导数无界的链接函数(如 ReLU),定理 5 不适用。

  3. 定理 7 声称 Lazy-VI 与 LOCO 渐近等价,但该结论依赖于神经网络宽度趋于无穷的设定(来自 Gao et al. 2022 的定理 4.4)。在有限宽度下,Lazy-VI 的线性化近似可能引入偏差,本文没有讨论这种偏差。

  4. 模拟中的"GCM 更优"结论在偶函数设定下失效——作者在正文中承认这一点,但结论部分仍强调"GCM 更稳定"。这是一个诚实的局限,但读者需要注意:GCM 的优势不是无条件的。

四、开放问题

  1. 假设 (A) 的可检验性:定理 4 的核心条件是假设 (A),它涉及 \(\text{Corr}(\tilde{X}_j, \tilde{f}_{0,j}(X_j))\)——但 \(\tilde{f}_{0,j}\) 是未知的。作者在附录中给出了估计方法,但没有给出检验假设 (A) 是否成立的程序。要确认这是否是真 gap:去读 Shah & Peters (2018) 和 Williamson et al. (2020) 的后续工作,看是否已有针对假设 (A) 的检验。

  2. 高维情形的效率比较:本文所有定理都假设 \(p\) 固定、\(n \to \infty\)。在高维稀疏设定下(\(p \gg n\)),GCM 和 LOCO 的相对效率如何变化?这需要新的理论工具(如随机矩阵理论),与您熟悉的 high-dimensional statistics 直接相关。

  3. 非单调链接函数的单指标模型:定理 5 要求 \(\eta\) 单调。对于非单调的 \(\eta\)(如高斯链接函数),泰勒展开的一阶近似可能失效。作者在附录 D.3 中模拟了高斯链接,发现所有方法都失效——但没有给出理论解释。

  4. 计算-统计权衡的定量刻画:Lazy-VI 与 LOCO 渐近等价,但 Lazy-VI 的计算成本更低。是否存在一个"计算-统计权衡"的定量边界——即在给定的计算预算下,哪种方法能达到最优的统计效率?这与您感兴趣的 statistical-computational tradeoff 直接相关。

  5. 多重检验下的效率比较:本文只关注单特征检验的效率。在同时检验 \(p\) 个特征时,GCM 和 LOCO 的 FDR 控制能力如何比较?Knockoff 方法(Barber & Candès 2015)在 FDR 控制方面有理论保证,但本文未将其纳入效率比较框架。

提示:要确认以上哪条是真正的 gap,建议去读近 2-3 年发表在 JRSS-B、AoS、Biometrika 上关于 variable importance 和 conditional independence testing 的论文引言——如果多条工作都指向同一个未解决问题,那大概率是共识性 gap;如果各说各话,则可能是机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论