跳转至

Smooth Information Criterion for Variable Selection in Generalised Linear Models

作者: Andrew McInerney
主题: 统计计算 / 算法
相关性: 6/10
链接: https://arxiv.org/abs/2609.30174


一、领域脉络与小综述

这个方向是什么

变量选择是统计建模的核心问题之一。本文所处的子方向是基于信息准则的变量选择,其根本目标是:在候选协变量集合中,找到在"拟合优度"与"模型复杂度"之间达到最优权衡的稀疏子集。该方向的成熟度较高——信息准则(AIC、BIC)自 1970 年代起就是统计推断的标准工具,但"穷举所有子集"的计算代价随维度指数增长,这构成了该方向长期存在的核心瓶颈。本文试图通过平滑化技巧将离散的组合优化问题转化为连续优化问题,从而在保留信息准则统计目标的同时获得计算上的可扩展性。

发展脉络(history)

奠基工作:信息准则的统计理论基础由 Akaike (1974) 的 AIC 和 Schwarz (1978) 的 BIC 奠定。这两项工作确立了"惩罚对数似然"作为模型选择的一般框架,其中惩罚项对应模型复杂度(参数个数)。这一框架的统计性质(如 BIC 的模型选择相合性)在后续数十年中被广泛研究,但其计算实现长期依赖于穷举搜索或启发式逐步算法。

主要进展:Tibshirani (1996) 提出的 LASSO 开创了正则化路径方法的新范式——通过 ℓ₁ 惩罚实现连续优化中的稀疏估计,绕开了离散子集枚举。随后,Zou (2006) 的自适应 LASSO、Fan and Li (2001) 的 SCAD、Zhang (2010) 的 MCP 进一步改进了惩罚函数的偏误与相合性。Friedman et al. (2010) 的坐标下降算法使这些方法在 GLM 中得以高效实现。然而,这些方法引入了一个新的问题:惩罚强度参数 λ 需要额外选择(通常通过交叉验证),使得模型选择仍是多阶段流程。

当前 frontier:一个关键的观察来自 Fan and Lv (2010) 的综述——信息准则子集选择本身可以表示为 ℓ₀ 惩罚似然,其中惩罚系数由准则固定(如 BIC 中每个系数贡献 log(n))。这为"直接优化信息准则"提供了概念桥梁。O'Neill and Burke (2023) 在此基础上提出平滑信息准则(SIC),用连续函数 ϕ_ε(β_j) = β_j²/(β_j² + ε²) 逼近 ℓ₀ 计数,并引入 ε-伸缩(telescoping)策略:从大 ε 的平滑问题出发,逐步减小 ε,用前一个解初始化下一个优化。这一思路在分布回归(distributional regression)中首次提出,但未推广到一般 GLM。

本文的位置:McInerney 将 SIC 从正态分布回归推广到一般 GLM 框架(高斯、二项、泊松),并系统性地回答一个此前未被明确检验的问题:平滑优化在多大程度上忠实于其离散信息准则目标? 通过在小维度(p=12)下与穷举 BIC 的直接对比,本文提供了 SIC 作为"计算代理"的实证证据。

子线索聚类

被引文献大致落在三条子线索上:

  1. 信息准则与子集选择(Akaike 1974; Schwarz 1978; Fan and Lv 2010):以离散模型选择为目标,统计性质清晰但计算受限。这条线索的核心问题是"选哪个模型",而非"如何高效找到它"。

  2. 凸与非凸惩罚正则化(Tibshirani 1996; Zou 2006; Fan and Li 2001; Zhang 2010; Friedman et al. 2010; Breheny and Huang 2011; Tay et al. 2021):以连续优化实现稀疏估计,计算高效但引入额外调参负担。这条线索的核心问题是"如何在连续空间中逼近 ℓ₀ 解"。

  3. 平滑 ℓ₀ 逼近(O'Neill and Burke 2023; Robitzsch 2023, 2024; Murphy and Benavoli 2026):直接构造 ℓ₀ 的光滑代理,通过 continuation 方法求解。这条线索是本文的直接前驱,核心问题是"平滑逼近的 fidelity 如何保证"。

这个方向在追问的核心问题

  1. 统计目标与计算可行性的权衡:信息准则有明确的统计目标(如 BIC 的相合性),但计算上不可扩展;正则化方法计算高效,但其选择准则(交叉验证)与信息准则的统计目标并不完全一致。SIC 试图同时获得两者的优点。

  2. 平滑逼近的 fidelity:ϕ_ε 逐点收敛到 ℓ₀ 计数,但收敛速度与非凸优化的全局性决定了实际解是否接近离散最优。本文的核心实验设计(与穷举 BIC 对比)正是对这一问题的直接检验。

  3. 无调参的单阶段估计:SIC 的一个卖点是 ε 不需要数据驱动选择(只需取足够小),这与交叉验证调 λ 的正则化方法形成对比。但 ε 的"足够小"在数值上如何保证,是一个悬而未决的问题。

已知瓶颈:非凸优化的局部最优问题;ε→0 时 Hessian 条件数恶化导致的数值困难;高维(p≥n)情形下的相合性缺乏理论保证。

⚠️ 作者的 framing(这是作者的说法)

作者将缺口 frame 为:"SIC 的平滑优化在多大程度上忠实于其离散信息准则目标?" 这是一个 fidelity 问题——作者将 SIC 定位为"计算代理",而非新的统计准则。这一 framing 回避了两个竞争性问题:(1) SIC 与正则化方法(LASSO/SCAD/MCP)在统计效率上的系统比较(作者仅报告了"大致相当");(2) SIC 在高维(p≫n)情形下的行为——作者仅在 p≤48 的模拟和 p=16 的真实数据中验证,且明确承认"p≥n 时可能需要修改"。

值得注意的缺失:作者没有讨论 SIC 的理论性质(如估计量的渐近分布、模型选择相合性的条件),也没有与混合整数优化(MIO)方法(如 Bertsimas et al. 的最优子集选择)对比——后者在中等维度下可以精确求解 ℓ₀ 问题。这些缺失构成了潜在的竞争叙事。

张力

未见明显对立引用。但存在一个微妙的张力:O'Neill and Burke (2023) 的 SIC 原始动机是避免调参(ε 固定为小值),而本文的模拟显示 SIC 在二项回归小样本(n=250)下 fidelity 下降(88.2% 一致率),暗示"无需调参"的承诺在困难设定下可能不成立。Robitzsch (2023) 对 SIC 在 SEM 中的应用也报告了类似的 fidelity 问题,但作者未在文中讨论这一分歧。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号(逐个点名):

记号 含义 类型
\(Y_i\) 第 \(i\) 个响应变量 可观测随机变量
\(x_i = (1, x_{i1}, \ldots, x_{ip})^\top\) 第 \(i\) 个协变量向量(含截距项) 可观测(固定设计)
\(\beta = (\beta_0, \beta_1, \ldots, \beta_p)^\top\) 回归系数向量 参数(待估)
\(\eta_i = x_i^\top \beta\) 线性预测子 由参数与数据决定
\(\mu_i = E(Y_i \mid x_i)\) 条件均值 由模型决定
\(g(\cdot)\) 链接函数(如 logit, log) 已知(模型设定)
\(\ell(\beta)\) 对数似然函数 由数据与模型决定
\(S \subseteq \{1, \ldots, p\}\) 协变量子集(support) 潜在量(不可观测,需估计)
\(\hat{\beta}_S\) 给定 support \(S\) 下的 MLE 估计量
\(\kappa_n\) 信息准则的惩罚系数(BIC 中 = \(\log n\)) 已知常数
\(\phi_\epsilon(\beta_j) = \frac{\beta_j^2}{\beta_j^2 + \epsilon^2}\) ℓ₀ 计数的光滑代理 构造性函数
\(d_\epsilon(\beta) = \sum_{j=1}^p \phi_\epsilon(\beta_j)\) 光滑模型维度 构造性函数
\(\epsilon\) 光滑化参数(非调参参数) 用户设定(取小值)
\(c\) 所有候选模型共有的参数个数(含截距) 已知常数

模型:广义线性模型,假设 \(Y_i\) 独立,服从指数族分布,且 \(g(\mu_i) = x_i^\top \beta\)。对数似然 \(\ell(\beta)\) 由具体的分布族(高斯、二项、泊松)决定。

可观测数据:\(\{(y_i, x_i)\}_{i=1}^n\),即 \(n\) 组独立的响应-协变量对。不可观测/潜在量:真实的 support \(S^*\)(哪些系数非零)、以及"理想"的离散 ℓ₀ 解 \(\hat{\beta}_{\text{IC}}\)。

关键区分:本文的 estimand 是离散信息准则的解(即 \(\arg\min_S \text{BIC}(S)\)),而非数据生成机制中的真实参数。SIC 是计算这个离散解的工具,其成功标准是"与穷举 BIC 选出的模型一致"。

第二步:最小内核

最小特例:考虑最简单的线性回归(高斯、恒等链接),\(p=2\) 个候选预测变量(不含截距),\(n\) 个样本。真实模型为 \(Y_i = \beta_1 x_{i1} + \beta_2 x_{i2} + \varepsilon_i\),其中 \(\beta_2 = 0\)(即 \(x_2\) 是噪声变量)。

离散目标:BIC 子集选择需要在 4 个候选 support(∅, {1}, {2}, {1,2})中选取使 \(\text{BIC}(S) = -2\ell(\hat{\beta}_S) + \log(n)(|S|+1)\) 最小的。穷举需要拟合 4 个模型。

SIC 的连续化:将 BIC 重写为系数空间的优化问题:

\[\hat{\beta}_{\text{SIC}} = \arg\min_\beta \left\{ -2\ell(\beta) + \log(n)\left[\sum_{j=1}^2 \frac{\beta_j^2}{\beta_j^2 + \epsilon^2} + 1\right] \right\}\]

核心机制:当 \(\epsilon\) 很大时(如 \(\epsilon=10\)),\(\phi_\epsilon(\beta_j) \approx \beta_j^2/(\beta_j^2 + 100)\) 对所有 \(\beta_j\) 都接近 0(除非 \(|\beta_j|\) 极大),此时目标函数近似于无惩罚的 MLE,解接近全模型。随着 \(\epsilon\) 缩小(如 \(\epsilon=10^{-5}\)),\(\phi_\epsilon(\beta_j)\) 对非零 \(\beta_j\) 迅速趋近 1,对 \(\beta_j=0\) 精确为 0,目标函数逐渐逼近真正的 BIC。ε-伸缩策略就是:从 \(\epsilon=10\) 开始,依次求解 \(\epsilon=10, 10^{-2.94}, \ldots, 10^{-5}\) 共 100 个优化问题,每个问题的解作为下一个问题的初始值。

为什么有效:当 \(\epsilon\) 较大时,目标函数是光滑且近似凸的,容易找到全局最优;随着 \(\epsilon\) 减小,解沿着一条连续路径演化,最终收敛到接近离散 BIC 解的局部最优。为什么可能失败:当 \(\epsilon\) 很小时,目标函数出现大量局部最优(每个对应一个可能的 support),continuation 路径可能陷入错误的局部最优——这正是 fidelity 问题的来源。

数学上要证明/验证的核心命题:SIC 的 ε-伸缩终点 \(\hat{\beta}_{\epsilon_T}\) 是否与穷举 BIC 解 \(\hat{\beta}_{\text{BIC}}\) 一致?本文通过模拟给出实证答案:在大多数设定下一致率超过 96%,但在二项回归小样本下降至 88.2%。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:将平滑信息准则(SIC)推广到一般 GLM,并系统检验其作为离散 BIC 子集选择的计算代理的 fidelity——即 SIC 选出的模型与穷举 BIC 最优模型的一致程度。
  2. 核心工具/方法:ε-伸缩 continuation 策略 + 惩罚迭代重加权最小二乘(P-IRLS)优化;用光滑函数 \(\phi_\epsilon(\beta_j) = \beta_j^2/(\beta_j^2 + \epsilon^2)\) 逼近 ℓ₀ 计数,通过 100 步几何递减的 ε 序列逐步锐化。
  3. 主要结论:SIC 在 Gaussian、Binomial、Poisson 回归中均能以高概率(>88%)复现穷举 BIC 的选择结果,计算成本远低于穷举;与逐步 BIC、LASSO、SCAD、MCP 相比,SIC 在稀疏性和 fidelity 之间取得良好平衡,且计算优势随 p 增大而扩大。

关键设定与假设

模型设定: - 响应变量独立,服从指数族分布(高斯、二项、泊松三种具体设定) - 协变量为混合连续/二值,相关结构为 \(\Sigma_{jk} = 0.5^{|j-k|}\)(AR(1) 型衰减) - 真实 support \(S^* = \{1,2,5,6,9\}\),系数值 \((1, 1.5, 0.5, -1.5, -1)\) - 样本量 \(n \in \{250, 500, 1000\}\),维度 \(p \in \{12, 24, 48\}\)

关键假设: - 无假设的 fidelity 检验:本文不假设 SIC 一定收敛到全局最优,而是通过穷举验证 - 固定阈值:\(|\hat{\beta}_j| > 10^{-6}\) 判定为"选中",这是数值阈值而非统计检验 - 标准化:所有非截距预测变量在拟合前标准化,因为 \(\phi_\epsilon\) 对系数尺度敏感

相比已有工作的差异: - 相比 O'Neill and Burke (2023):从正态分布回归推广到一般 GLM,且增加了与穷举 BIC 的直接 fidelity 对比 - 相比 LASSO/SCAD/MCP:不需要交叉验证选择 λ,ε 由几何序列固定给定

主要结果

结果 1:SIC 与穷举 BIC 的高度一致(Table 1)

Family n 一致率 (%) 平均 BIC 差 条件 BIC 差
Gaussian 250 97.0 0.012 0.394
Gaussian 500 98.4 0.004 0.256
Gaussian 1000 98.2 0.004 0.241
Binomial 250 88.2 0.066 0.556
Binomial 500 96.6 0.014 0.420
Binomial 1000 97.6 0.010 0.407
Poisson 250 97.4 0.010 0.378
Poisson 500 98.4 0.004 0.277
Poisson 1000 99.2 0.004 0.481

解读:一致率随 n 增大而提高;Binomial 小样本(n=250)是最困难设定,一致率 88.2%,条件 BIC 差 0.556——即当 SIC 与穷举 BIC 不一致时,平均 BIC 差距不到 0.6,说明即使"选错"也接近最优。

结果 2:与竞争方法的比较(Figure 1, Table S1)

  • 精确恢复率:SIC 在 27 个设定中的 23 个优于逐步 BIC,在全部设定中优于 LASSO。在 Gaussian 和 Poisson 下,SIC 与 SCAD/MCP 相当或略优;在 Binomial 下,SCAD/MCP 在部分设定中略优。
  • 假阳性控制:SIC 在所有设定中具有最低的平均假阳性数(Table S1),这是其稀疏性的直接体现。
  • 假阴性:Gaussian 和 Poisson 下几乎为零;Binomial n=250 下 SIC 假阴性略高于 SCAD/MCP,对应其更保守的稀疏选择。

结果 3:计算效率(Figure 3, Table S2)

  • 在 p=48 时,SIC 平均耗时约为逐步 BIC 的 1/9 至 1/22(因 family 而异),约为穷举 BIC 的 1/40 至 1/75。
  • 计算优势随 p 增大而扩大:p=12 时 SIC 与逐步 BIC 耗时接近,p=48 时差距显著。

结果 4:真实数据(Table 2)

  • 糖尿病风险数据(16 个候选变量,65,536 个可能 support):SIC 在 0.33 秒内恢复全局 BIC 最优的 7 变量模型,而穷举需要 267.64 秒。
  • SIC 与逐步 BIC、MCP 均找到同一最优模型;SCAD 和 LASSO 选择更大模型(10 和 15 变量),BIC 差分别为 5.60 和 32.22。

证明路线与技术技巧

整体路线(算法层面,本文无理论证明):

  1. 初始化:拟合无惩罚的完整 GLM,得到初始系数 \(\hat{\beta}_{\text{full}}\)。
  2. ε-伸缩循环:对 \(t = 1, \ldots, 100\),令 \(\epsilon_t = 10 \cdot (10^{-5}/10)^{(t-1)/99}\)(几何递减),以 \(\hat{\beta}_{\epsilon_{t-1}}\) 为初值,用 P-IRLS 求解 \(\arg\min_\beta \text{SIC}_{\epsilon_t}(\beta)\)。
  3. P-IRLS 迭代:在每次迭代中,将 SIC 目标函数的梯度方程重写为加权最小二乘形式,其中光滑惩罚项 \(\phi_\epsilon\) 的导数贡献额外的"伪观测"。
  4. 终止:在 \(\epsilon_T = 10^{-5}\) 处收敛后,以 \(|\hat{\beta}_j| > 10^{-6}\) 定义最终 support。

关键技巧:

  • Hessian 修正:由于 \(\phi_\epsilon''\) 在 \(\beta_j\) 接近 0 时可能为负(\(\phi_\epsilon''(0) = 2/\epsilon^2 > 0\),但在 \(\beta_j = \pm \epsilon/\sqrt{3}\) 处变号),Hessian 可能非正定。作者采用两种 safeguard:(i) 步长减半(step halving)确保目标函数单调下降;(ii) 必要时加对角扰动 \(\lambda I\) 保证正定性(引用 Nocedal and Wright 2006)。
  • 标准化:所有预测变量标准化后,\(\phi_\epsilon\) 的尺度效应可控,避免大尺度变量被优先选中。
  • 固定 ε 序列:不采用数据驱动的 ε 选择,而是固定几何序列,避免引入额外调参。

技术难点:

  • 非凸优化的局部最优:当 ε 很小时,SIC 目标函数高度非凸,continuation 可能陷入错误的局部最优。本文通过实证(与穷举对比)而非理论来评估这一风险。
  • 数值稳定性:ε = 10⁻⁵ 时,\(\phi_\epsilon''(0) = 2 \times 10^{10}\),Hessian 条件数极大,需要对角修正保证数值稳定。
  • 无理论保证:本文没有证明 SIC 的收敛性、相合性或 fidelity 的渐近性质,所有结论基于模拟和单个数例。

🔎 结论是否比证明窄

明确的窄结论:

  1. "SIC 紧密复现穷举 BIC"(Section 3.1)——这一 claim 仅在 p=12、特定相关结构(AR(1))、特定系数大小下验证。作者没有测试 p 更大时 fidelity 是否保持,也没有测试不同相关结构(如强共线性)下的表现。

  2. "计算优势随维度增加而增大"(Section 3.2)——这一 claim 基于 p≤48 的模拟。在 p≫n 的高维情形下,SIC 的 P-IRLS 算法可能面临收敛问题,作者在 Discussion 中承认"p≥n 时可能需要修改"。

  3. "SIC 不需要调参"——这一 claim 依赖于固定 ε 序列的选择。作者没有讨论 ε_T = 10⁻⁵ 是否在所有设定下都合适,也没有提供 ε 选择的敏感性分析。

  4. Discussion 中的泛化:作者在 Section 5 中称"该框架可扩展到混合效应和生存模型",但文中没有任何实验或理论支持这一扩展的可行性。

未明确但可推断的局限:SIC 的 fidelity 在二项回归小样本下明显下降(88.2%),作者将其归因于"较弱信号",但没有提供诊断方法或改进策略。


四、开放问题

以下问题均扎根于本文的具体语句,供您自行判断价值:

  1. SIC 的理论性质(扎根于:全文无任何定理或命题)。本文完全是实证性的。SIC 估计量是否具有模型选择相合性?在什么条件下,ε-伸缩的终点收敛到 ℓ₀ 解?能否建立 \(\epsilon_T\) 与 n、p、信号强度的标度关系?——这需要非凸优化的全局收敛分析,是一个有理论深度的开放问题。

  2. 高维(p≫n)行为(扎根于:Discussion "modifications may be required when p ≥ n")。SIC 在 p≫n 时是否仍然 fidelity 良好?P-IRLS 的 Hessian 在 p>n 时必然奇异,对角扰动 \(\lambda I\) 的引入是否影响解的稀疏性?能否与 SLOPE、SCAD 等在高维下的理论(如 minimax 最优性)建立联系?

  3. ε 序列的自适应选择(扎根于:固定几何序列 (10, 10⁻⁵, 100))。是否存在数据驱动的 ε 序列选择准则,使得 fidelity 与计算代价的权衡最优?这与 continuation 方法中的步长选择、模拟退火中的温度调度有何联系?

  4. fidelity 的失效诊断(扎根于:Binomial n=250 时一致率 88.2%)。当 SIC 与穷举 BIC 不一致时,是否有可计算的诊断指标(如 ε-路径上的 BIC 曲线形状)来预警 fidelity 失效?这类似于优化中的"局部最优检测"问题。

  5. 与其他 ℓ₀ 逼近方法的统一视角(扎根于:引言中对 LASSO/SCAD/MCP 的综述)。SIC 的 ϕ_ε 与 MCP 的 penalty 有何深层联系?能否建立统一的框架,将 ℓ₀ 逼近方法(SIC、MCP、SCAD、以及近年来的 ℓ₀ 正则化方法如 L0Learn)纳入同一个"光滑度-偏误"权衡谱系?

提示:若要确认上述问题是否为真 gap,建议阅读 O'Neill and Burke (2023) 原文(SIC 的原始论文)、以及近 5 年关于 ℓ₀ 正则化(如 Hazimeh & Mazumder 的 L0Learn)和 continuation 方法在统计优化中的应用的文献。若这些文献已解决上述问题,则本文的贡献将更多被定位为"实证验证"而非"理论突破"。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论