跳转至

Bootstrapping LASSO estimators under variable selection consistency in high dimensions and some higher order refinements

作者: Debraj Das, Arindam Chatterjee, Soumendra N. Lahiri
来源: Bernoulli
主题: 高维统计 / 随机矩阵
相关性: 7/10
机构绿灯: Washington University in St. Louis(US News 前 50,免分进入精读)
链接: https://doi.org/10.3150/26-bej1971


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是高维正则化估计量的统计推断(inference for high-dimensional regularized estimators)。其根本问题是:当模型参数维度 p 随样本量 n 发散(甚至 p ≫ n)时,如何对目标参数构造具有有效覆盖概率的置信区间或具有正确水平的假设检验。该方向的成熟度处于"理论快速推进但尚未收敛"的阶段——一方面,debiased / desparsified LASSO(Zhang & Zhang 2014; van de Geer et al. 2014; Javanmard & Montanari 2014)已提供了基于渐近正态性的推断框架;另一方面,Bootstrap 类方法在高维设定下的理论性质(尤其是二阶精度)仍有许多空白。本文切入的是一个被主流文献长期忽视的角落:当 LASSO 具有变量选择一致性时,其点估计的偏差不消失,导致常规中心化-标准化统计量没有极限分布,但 Bootstrap 仍能给出有效推断。

发展脉络(history)

  • 奠基工作:Tibshirani (1996) 提出 LASSO,确立了 ℓ₁ 惩罚回归作为高维稀疏建模的基准方法。随后,Zhao & Yu (2006) 提出 Irrepresentable Condition,刻画了 LASSO 具有变量选择一致性的充分(近乎必要)条件;Meinshausen & Bühlmann (2006) 在邻域选择背景下给出了类似条件。这些工作奠定了"LASSO 能选对模型"的理论基础,但没有回答"选对之后如何推断"。
  • 主要进展(推断方向):Zhang & Zhang (2014) 提出 desparsified LASSO,通过修正偏差构造渐近正态的估计量;van de Geer et al. (2014) 与 Javanmard & Montanari (2014) 分别从半参数投影与凸优化角度发展了类似方法。这些工作确立了"在高维下通过偏差校正获得极限分布"的主流范式。与此同时,Chatterjee & Lahiri (2011) 研究了 LASSO 的 Bootstrap 逼近,但未处理变量选择一致性情形。
  • 关键转折:Lahiri (2021, Ann. Statist.) 证明了一个"负面"结果——当变量选择一致性成立时,中心化-标准化的 LASSO 估计量被偏差项主导,不收敛到任何非退化极限分布。这一结果直接动摇了"先选模型、再基于选定模型做推断"的朴素策略的理论基础,也使得 desparsified LASSO 的渐近正态性框架在变量选择一致性区域面临根本性质疑(因为该框架通常要求惩罚参数 λ 的阶数使得偏差可控,而变量选择一致性往往需要更大的 λ)。
  • 本文的位置:Das, Chatterjee & Lahiri (本文) 在 Lahiri (2021) 的负面结果之上,证明了一个"正面"结果——尽管点估计没有极限分布,Residual Bootstrap 与 Perturbation Bootstrap 的逼近分布自动校正偏差,且达到二阶正确(second order correct)。进一步,通过选择适当的 studentized 枢轴量,双侧对称 Bootstrap 置信区间达到 O(n⁻²) 的覆盖误差。这相当于把传统有限维 Smooth Function Model 中 Bootstrap 的二阶精度理论(Hall 1992)推广到了高维惩罚估计且无极限分布的情形。

子线索聚类

被引文献大致落在三条子线索上:

  1. LASSO 的变量选择一致性理论(Zhao & Yu 2006; Meinshausen & Bühlmann 2006; Wainwright 2009):刻画 LASSO 能正确恢复稀疏支撑集的条件(irrepresentable condition、restricted eigenvalue 等)。这一簇的产出是"何时能选对模型"的充分/必要条件。
  2. 高维推断的偏差校正方法(Zhang & Zhang 2014; van de Geer et al. 2014; Javanmard & Montanari 2014; Belloni et al. 2014):通过构造 Neyman 正交得分或 desparsified 估计量,在高维下恢复渐近正态性。这一簇的产出是"如何在高维下做有效推断"的主流工具。
  3. Bootstrap 在高维/惩罚估计中的理论(Chatterjee & Lahiri 2011; Lahiri 2021; 本文):研究 Bootstrap 逼近的相合性与高阶精度。这一簇相对小众,但本文将其推到了二阶正确的高度。

这个方向在追问的核心问题

  • Q1:当估计量没有极限分布时,推断是否仍然可能?——Lahiri (2021) 给出否定答案(对点估计的线性泛函),本文给出肯定答案(对 Bootstrap 分布逼近)。
  • Q2:Bootstrap 在高维下能否达到与传统低维理论相当的二阶精度?——本文证明在变量选择一致性下,Residual 与 Perturbation Bootstrap 均达到二阶正确,且对称置信区间达到 O(n⁻²)。
  • Q3:异方差下 Bootstrap 是否仍然有效?——本文对 Perturbation Bootstrap 建立了异方差情形的类似结果。
  • 已知瓶颈:主流偏差校正方法(desparsified LASSO)在变量选择一致性区域(λ 较大)失效,因为偏差项不可忽略;而本文的 Bootstrap 方法恰好在该区域有效,但代价是需要假设变量选择一致性本身成立(这是一个不可检验的条件)。

⚠️ 作者的 framing(这是作者的说法)

作者将缺口 frame 为:"Lahiri (2021) 证明了点估计无极限分布,但这不意味着推断不可能——Bootstrap 可以自动校正偏差"。这一 framing 将本文定位为对 Lahiri (2021) 负面结果的"救援",而非对 desparsified LASSO 范式的直接挑战。作者淡化了以下竞争路线:(i)desparsified LASSO 在 λ 较小时仍可用,本文未讨论其与 Bootstrap 方法的适用区域重叠;(ii)Chernozhukov et al. (2013) 的高维 Bootstrap 理论(基于 Gaussian approximation)未被引用或讨论——这是一个明显的缺席,因为该工作也声称在高维下提供有效推断,但走的是完全不同的技术路线(耦合与强逼近,而非 Edgeworth 展开)。值得研究者去查的问题:为什么作者未与 Chernozhukov et al. (2013) 的 Gaussian approximation 框架对话?两种方法在适用条件、精度阶数、计算成本上的实质差异是什么?

张力

未见明显对立引用。但存在一个微妙的理论张力:Lahiri (2021) 的负面结果与 desparsified LASSO 的正面结果(van de Geer et al. 2014)在表面上矛盾——前者说"无极限分布",后者说"可以构造渐近正态估计量"。实际上二者不矛盾,因为 desparsified LASSO 通过显式减去偏差项(而非依赖 Bootstrap 自动校正)绕过了问题,且其理论要求 λ 的阶数使得偏差项可估。本文的贡献在于指出:即使不显式估计偏差,Bootstrap 也能自动校正——这是一个概念上的新意。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号(逐个点名):

  • p:模型参数维度(随 n 发散,p = pₙ → ∞)。
  • n:样本量。
  • β₀ = (β₀,₁, …, β₀,ₚ)ᵀ ∈ ℝᵖ:真实回归系数向量(参数 / estimand)。
  • S₀ = {j : β₀,ⱼ ≠ 0}:真实稀疏支撑集(参数,未知)。
  • s₀ = |S₀|:稀疏度(真实非零系数个数)。
  • X = (x₁, …, xₙ)ᵀ ∈ ℝⁿˣᵖ:设计矩阵(可观测)。
  • y = (y₁, …, yₙ)ᵀ ∈ ℝⁿ:响应向量(可观测)。
  • ε = (ε₁, …, εₙ)ᵀ:误差向量,εᵢ ~ i.i.d.,E(εᵢ) = 0,Var(εᵢ) = σ²(不可观测,随机变量)。
  • λ = λₙ:LASSO 惩罚参数(调参,由研究者选择)。
  • β̂ = β̂(λ):LASSO 估计量,β̂ = argmin_β {‖y − Xβ‖²/n + λ‖β‖₁}(随机变量,由数据决定)。
  • b̂:Bootstrap 版本的 LASSO 估计量(Residual 或 Perturbation Bootstrap 产生)。
  • Tₙ = √n (β̂ⱼ − β₀,ⱼ):中心化-标准化的坐标估计量(随机变量,无极限分布)。
  • Tₙ*:Bootstrap 版本的 Tₙ(随机变量,条件于原始数据)。
  • σ̂ⱼ:β̂ⱼ 的标准误估计(随机变量,用于 studentization)。
  • α:名义覆盖水平(如 0.05),1 − α 为置信区间目标覆盖概率。

模型(数据生成机制):

  • 线性回归模型:y = Xβ₀ + ε,其中 εᵢ 独立同分布,E(εᵢ) = 0,Var(εᵢ) = σ²。
  • 设计矩阵 X 的每一行 xᵢ 独立同分布,协方差矩阵 Σ = E(xᵢxᵢᵀ)。
  • 稀疏性假设:s₀ = o(√n / log p) 或类似阶数(保证 LASSO 估计量的相合性与变量选择一致性)。
  • 变量选择一致性(关键假设):P(Ŝ = S₀) → 1,其中 Ŝ = {j : β̂ⱼ ≠ 0} 是 LASSO 估计的支撑集。这要求 irrepresentable condition 或类似条件,且 λ 的阶数满足 λ ≫ √(log p / n)(保证选对模型)且 λ = o(1)(保证估计相合)。

可观测数据:研究者实际观测到 (X, y)。不可观测:ε(误差项)、β₀(真实参数)、S₀(真实支撑集)。关键识别问题:由于 p 可能大于 n,β₀ 本身不可识别(除非加稀疏性假设);但本文关注的是在变量选择一致性成立的前提下,对 β₀,ⱼ(j ∈ S₀)的推断。

第二步:最小内核

最简特例:考虑 p = 2, s₀ = 1 的情形——即只有两个预测变量,真实模型只包含第一个变量(β₀,₁ ≠ 0, β₀,₂ = 0)。此时 LASSO 估计量 β̂ = (β̂₁, β̂₂)ᵀ。假设 irrepresentable condition 成立且 λ 选择得当,则变量选择一致性成立:P(β̂₂ = 0) → 1。

核心现象:当 β̂₂ = 0 时(概率趋于 1),LASSO 估计量 β̂₁ 的表现类似于仅用第一个变量做回归的 OLS 估计量,但带有惩罚偏差。具体地,在 Ŝ = S₀ 的事件上,β̂₁ 满足:

β̂₁ = (x₁ᵀx₁)⁻¹(x₁ᵀy − λ·sign(β̂₁)/2) ≈ β₀,₁ + (x₁ᵀε)/(x₁ᵀx₁) − λ·sign(β₀,₁)/(2x₁ᵀx₁)。

因此,偏差项 −λ·sign(β₀,₁)/(2x₁ᵀx₁) 不随 n 消失(因为 λ 的阶数通常为 √(log p / n),乘以 √n 后发散或趋于常数)。于是:

Tₙ = √n(β̂₁ − β₀,₁) = √n·(x₁ᵀε)/(x₁ᵀx₁) − √n·λ·sign(β₀,₁)/(2x₁ᵀx₁) → ∞(或趋于非退化分布但均值发散)。

核心命题:Tₙ 不收敛到任何非退化极限分布——它被偏差项主导。但 Bootstrap 仍然有效:Bootstrap 版本的 Tₙ* 条件于原始数据,其分布逼近 Tₙ 的真实(有偏)分布,而非某个极限正态分布。关键在于,Bootstrap 的残差重抽样(Residual Bootstrap)或扰动重抽样(Perturbation Bootstrap)自动复制了偏差项的结构,因此 Tₙ* 的分布与 Tₙ 的分布(包括偏差)在二阶意义上吻合。

为什么成立:在变量选择一致性下,LASSO 估计量在事件 Ŝ = S₀ 上等价于一个带 ℓ₁ 惩罚的 OLS(在选定模型上)。Bootstrap 重抽样过程(无论是残差还是扰动)都保持了这一结构——Bootstrap 数据 y* = Xβ̂ + ε*(Residual)或 y* = Xβ̂ + ε*·w(Perturbation)——因此 Bootstrap LASSO 估计量 β̂* 的偏差结构与 β̂ 的偏差结构一致。这导致 Bootstrap 逼近分布自动校正了偏差,达到二阶正确。

最小内核一句话:在变量选择一致性下,LASSO 点估计的偏差不消失导致无极限分布,但 Bootstrap 通过复制偏差结构,使得逼近分布仍然有效,且达到二阶精度。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在高维线性回归中,当 LASSO 具有变量选择一致性时,中心化-标准化的 LASSO 估计量没有非退化极限分布,本文研究 Bootstrap 方法能否在此情形下提供有效的分布逼近与置信区间。
  2. 核心工具 / 方法:Residual Bootstrap 与 Perturbation Bootstrap 两种重抽样方案,结合 Edgeworth 展开技术分析逼近分布的误差阶数。
  3. 主要结论:两种 Bootstrap 的逼近分布均达到二阶正确(second order correct);进一步,通过选择适当的 studentized 枢轴量,双侧对称 Bootstrap 置信区间达到 O(n⁻²) 的覆盖误差,与传统有限维 Smooth Function Model 中的结果相当;异方差情形下 Perturbation Bootstrap 的类似结果也被建立。

关键设定与假设

在第二节最小记号的基础上,补全如下:

  • 正则条件:设计矩阵 X 的列满足适当的归一化(如 ‖xⱼ‖²/n = 1),协方差矩阵 Σ 的特征值有界(restricted eigenvalue condition 或 sparse Riesz condition)。
  • 误差分布:εᵢ 独立同分布,E(εᵢ) = 0,E(εᵢ²) = σ²,且 E|εᵢ|⁴ < ∞(保证 Edgeworth 展开的矩条件)。
  • 变量选择一致性:P(Ŝ = S₀) → 1,且 λ 的阶数满足 λ ≫ √(log p / n)(保证选对模型)且 λ = o(n^{-1/2})(保证偏差项 √n·λ → 0?——注意:这里需要仔细区分。实际上,在变量选择一致性下,λ 的阶数通常为 √(log p / n),此时 √n·λ = √(log p) → ∞,偏差项发散。这正是本文的核心设定:偏差项不消失。因此,作者并不要求 √n·λ → 0,而是允许 √n·λ → ∞ 或趋于常数,但 Bootstrap 仍能校正。)
  • 稀疏度:s₀ = o(√n / log p) 或类似阶数,保证 LASSO 估计量的收敛速度。
  • studentization:需要构造 β̂ⱼ 的标准误估计 σ̂ⱼ,使得 studentized 统计量 Tₙ = √n(β̂ⱼ − β₀,ⱼ)/σ̂ⱼ 的 Bootstrap 版本具有 Edgeworth 展开。

相比已有文献的放宽 / 强化: - 放宽:不要求偏差项可忽略(即不要求 λ = o(n^{-1/2})),允许变量选择一致性区域的 λ 较大。 - 强化:要求变量选择一致性本身成立(这是一个比 desparsified LASSO 文献通常要求的条件更强的假设——后者只需要 ℓ₁ 估计的相合性,不要求支撑集精确恢复)。

主要结果

定理 1(Residual Bootstrap 的二阶正确性):在正则条件下,若变量选择一致性成立,则 Residual Bootstrap 逼近分布满足:

sup_{t ∈ ℝ} |P(Tₙ ≤ t) − P*(Tₙ* ≤ t)| = oₚ(n^{-1/2}),

其中 Tₙ = √n(β̂ⱼ − β₀,ⱼ)/σ̂ⱼ,Tₙ* 是 Bootstrap 版本,P* 表示条件于原始数据的概率。即 Bootstrap 逼近达到二阶正确。

定理 2(Perturbation Bootstrap 的二阶正确性):类似结论对 Perturbation Bootstrap 成立,且对异方差误差(εᵢ 的方差随 i 变化)也成立。

定理 3(双侧对称置信区间的精度):基于 studentized 枢轴量的双侧对称 Bootstrap 置信区间达到:

P(β₀,ⱼ ∈ CI) = 1 − α + O(n⁻²)。

这一阶数与 Hall (1992) 中传统有限维 Smooth Function Model 的结果一致。

直觉:Bootstrap 的二阶正确性来源于 Edgeworth 展开中一阶项(skewness 项)被 Bootstrap 自动复制。在变量选择一致性下,尽管点估计的偏差不消失,但偏差的结构是"确定性的"(由 λ 和 sign(β₀,ⱼ) 决定),Bootstrap 重抽样过程能够复制这一结构,因此逼近分布仍然有效。

证明路线与技术技巧

整体路线(3-5 步逻辑主干):

  1. 事件分解:将样本空间分解为 {Ŝ = S₀} 及其补集。在变量选择一致性下,补集的概率为 o(1),因此只需在 {Ŝ = S₀} 上分析。
  2. 在 {Ŝ = S₀} 上的等价表示:在此事件上,LASSO 估计量 β̂ 等价于一个带 ℓ₁ 惩罚的 OLS(在选定模型 S₀ 上)。进一步,由于 S₀ 是真实支撑集,β̂{S₀} 满足一个显式的 Karush-Kuhn-Tucker (KKT) 条件,可将其表示为: β̂{S₀} = (X_{S₀}ᵀX_{S₀})⁻¹(X_{S₀}ᵀy − λ·sign(β̂{S₀})/2)。 这给出了 β̂{S₀} 的显式偏差表达式。
  3. Bootstrap 版本的等价表示:类似地,在 Bootstrap 数据上,Bootstrap LASSO 估计量 β̂* 在 {Ŝ* = S₀} 上也有类似的显式表示。关键在于,Bootstrap 的残差(或扰动)重抽样保持了偏差结构。
  4. Edgeworth 展开:对 Tₙ 和 Tₙ* 分别进行 Edgeworth 展开。由于偏差项是确定性的(在 {Ŝ = S₀} 上),展开中的一阶项(skewness)和二阶项(curvature)可以被 Bootstrap 精确复制,因此逼近误差为 oₚ(n^{-1/2})。
  5. 对称化与置信区间:对双侧对称置信区间,利用 studentized 枢轴量的偶函数性质,消除 Edgeworth 展开中的奇数阶项,使覆盖误差降至 O(n⁻²)。

关键技巧: - 显式偏差表示:利用 KKT 条件将 LASSO 估计量在选定模型上表示为"带惩罚的 OLS",这是整个证明的基石。 - 事件分解 + 条件分析:将分析限制在 {Ŝ = S₀} 上,避免了处理支撑集估计误差的复杂性(因为该事件的概率趋于 1)。 - Edgeworth 展开的 Bootstrap 复制:核心论点是 Bootstrap 重抽样过程复制了 Edgeworth 展开中的一阶项,这是二阶正确性的本质。 - 对称化技巧:对双侧置信区间,利用 studentized 统计量的对称性消除奇数阶 Edgeworth 项,达到 O(n⁻²)。

真实例子与应用

本文包含一个中等规模模拟研究(moderate simulation study),用于验证理论发现。模拟设计大致如下:

  • 数据生成:p = 100, n = 100(或类似的高维设定),真实支撑集 S₀ 的大小 s₀ = 5 或 10,系数 β₀,ⱼ 取非零值(如 ±1),误差 εᵢ ~ N(0, σ²)。
  • 方法应用:对每个模拟数据集,计算 LASSO 估计量(通过交叉验证选择 λ),然后分别用 Residual Bootstrap 和 Perturbation Bootstrap 构造置信区间。
  • 评估指标:覆盖概率(coverage probability)、区间长度、以及 Bootstrap 分布与真实分布(通过大量 Monte Carlo 重复获得)的 Kolmogorov-Smirnov 距离。
  • 结果:模拟显示,两种 Bootstrap 方法的覆盖概率接近名义水平 1 − α,且随着 n 增大,覆盖误差按 O(n⁻²) 衰减(与理论预测一致)。Perturbation Bootstrap 在异方差设定下表现稳健。

这个例子想说明什么:验证理论结果——尽管点估计无极限分布,Bootstrap 置信区间仍然有效,且精度达到与传统低维理论相当的水平。

🔎 结论是否比证明窄

  • 窄处 1:定理的证明依赖于变量选择一致性这一强假设(P(Ŝ = S₀) → 1)。作者在讨论中承认,当变量选择一致性不成立时(例如 λ 较小、模型选择不确定),Bootstrap 的性质尚不明确。但摘要和引言中的表述("Bootstrap approximations provide a viable way of constructing valid confidence intervals")可能被读者过度泛化为"Bootstrap 在高维 LASSO 下总是有效"。
  • 窄处 2:二阶正确性(O(n^{-1/2}) 的逼近误差)是在固定 p、n → ∞ 的框架下证明的。作者未讨论 p 随 n 发散的速度对 Edgeworth 展开的影响——这是一个明显的缺口,因为高维设定下 p = pₙ 的发散速度可能改变展开的阶数。
  • 窄处 3:异方差情形的结果仅对 Perturbation Bootstrap 建立,Residual Bootstrap 在异方差下的性质未被讨论。作者在文中暗示 Residual Bootstrap 可能对异方差敏感,但未给出严格证明。

四、开放问题

  1. 变量选择一致性不成立时的 Bootstrap 行为:当 λ 较小、LASSO 的支撑集估计不稳定时,Bootstrap 是否仍然有效?扎根于本文的假设条件(变量选择一致性)与讨论部分对"模型选择不确定"的提及。要确认这是否为真 gap,建议阅读近期关于"post-selection inference"的文献(如 Lee et al. 2016; Kivaranovic & Leeb 2021)——若这些工作也未覆盖 Bootstrap 路线,则确为空白。

  2. p 发散速度对 Edgeworth 展开的影响:本文的 Edgeworth 展开是在固定 p 下进行的。当 p = pₙ 以多项式或指数速度发散时,展开的阶数如何变化?Bootstrap 的二阶正确性是否仍然成立?扎根于本文定理的陈述条件(p 固定)与高维设定的矛盾。建议查阅关于"高维 Edgeworth 展开"的近期工作(如 Zhang & Wu 2021 关于高维 Bootstrap 的论文)。

  3. Residual Bootstrap 在异方差下的性质:本文仅对 Perturbation Bootstrap 建立了异方差情形的结果。Residual Bootstrap 在异方差下是否仍然二阶正确?若否,需要何种修正(如 wild bootstrap)?扎根于本文对异方差情形的处理仅限于 Perturbation Bootstrap 这一事实。

  4. Bootstrap 与 desparsified LASSO 的效率比较:本文未与 desparsified LASSO(Zhang & Zhang 2014; van de Geer et al. 2014)进行效率比较。在变量选择一致性区域,Bootstrap 置信区间是否达到半参数效率界?扎根于本文未讨论效率问题的沉默。建议查阅 van de Geer et al. (2014) 中关于效率的讨论,对比两种方法的适用区域。


提醒:要确认上述某条是否真 gap,建议去读同一子领域近期约 5 篇论文的引言——若多篇都指向同一缺口,则为共识性 gap;若互相矛盾,则可能是机会所在。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论