跳转至

High-dimensional ridgeless least squares interpolation under spiked covariance structures

作者: Zhijun Liu, Dandan Jiang
主题: 高维统计 / 随机矩阵
相关性: 7/10
链接: https://arxiv.org/abs/2608.07281

一、领域脉络与小综述

这个方向是什么

这个子方向研究的是过参数化线性回归中，最小范数插值估计器（ridgeless least squares）的泛化性能。核心问题是：当模型参数数量（p）超过样本量（n）时，模型可以完美拟合训练数据（插值），但为什么它仍然能对未见数据做出良好预测？这挑战了经典的偏差-方差权衡理论。当前的研究焦点已从各向同性（isotropic）协方差结构（如Σ = I）转向更现实的非各向同性结构，特别是spiked协方差模型——其中协方差矩阵由少数几个大的“尖峰”特征值和大量较小的“bulk”特征值组成。该方向成熟度较高，已有大量关于双下降（double descent）和良性过拟合（benign overfitting）的理论工作，但关于spiked结构如何与回归系数β的几何对齐（alignment）共同影响泛化，仍是一个活跃的前沿。

发展脉络（history）

  1. 奠基工作：双下降与插值悖论

    • Belkin et al. (2019) 提出了统一的“双下降”风险曲线，将经典的U形偏差-方差权衡扩展到插值阈值之后，为过参数化模型为何能泛化提供了概念框架。
    • Belkin et al. (2020) 在“弱特征”的简单线性模型下精确分析了双下降，证明了即使在线性回归中，风险也会在插值阈值（p ≈ n）处达到峰值，然后在过参数化区域下降。

  2. 主要进展：精确渐近分析与良性过拟合

    • Hastie et al. (2022) 是里程碑式的工作。他们在p/n → γ ∈ (0, ∞)的比例极限下，对ridgeless最小二乘和ridge回归的预测风险给出了精确的渐近表达式。他们发现，在各向同性设计（Σ = I）下，过参数化区域（γ > 1）的风险由σ²/(γ-1)给出，且当γ → ∞时风险趋于0，即良性过拟合。本文引用语境：“Notably, for γ < 1, the limiting risk calculated in this paper is consistent with that of Hastie et al. (2022).”
    • Bartlett et al. (2020) 从有限样本角度给出了线性回归中最小范数插值器实现良性过拟合的充要条件，该条件用数据协方差矩阵的“有效秩”（effective rank）来刻画。他们指出，过参数化（即大量不重要的方向）是良性过拟合的关键。

  3. 当前Frontier：非各向同性结构与Spiked模型

    • Mahdaviyeh & Naulet (2019) 研究了p/n → ∞（极度过参数化）且协方差矩阵有发散spike的情形，给出了风险的上界。本文引用语境：“considered a regime in which p/n → ∞ and the population covariance matrix has diverging spiked eigenvalues, and derives bounds for the risk of the min-norm least squares estimator.”
    • Li & Sonthalia (2024) 研究了单spike信号加噪声模型，在比例极限下推导了渐近泛化误差，但依赖于对bulk分量的旋转不变性假设。本文引用语境：“studied a signal-plus-noise model with a single-spike population structure and derived the asymptotic generalization error in the proportional regime under rotational invariance assumptions on the bulk component.”
    • Li & Sonthalia (2025) 进一步在单spike设定下，深入研究了spike强度和β与spike方向的对齐如何导致良性、温和（tempered）和灾难性（catastrophic）过拟合。本文引用语境：“further investigated the effects of spike strength and target-spike alignment, again primarily in a single-spike signal-plus-noise setting with strong invariance assumptions.”
    • 本文（Liu & Jiang, 2026） 的位置：它将这些工作推广到多spike的广义spiked协方差模型，允许spike数量固定或发散（M = o(n^{1/4})），spike特征值有界或任意速率发散，且不要求bulk分量的旋转不变性或高斯性（仅需有限四阶矩）。它揭示了β与spike特征空间的对齐是决定过拟合类型（良性/温和/灾难性）的根本机制。

子线索聚类

  1. 双下降与插值现象的理论刻画：以Belkin et al. (2019, 2020)和Hastie et al. (2022)为代表，主要关注各向同性或简单协方差结构下的风险曲线形状。
  2. Spiked协方差模型的谱理论：以Johnstone (2001), Baik & Silverstein (2006), Bai & Yao (2012), Johnstone & Yang (2018), Hu et al. (2026)为代表，研究spiked样本特征值和特征向量的渐近行为（极限、分布、与总体特征向量的对齐）。这些是分析spiked模型下回归风险的技术基础。
  3. Spiked模型下的过参数化回归风险：以Mahdaviyeh & Naulet (2019), Li & Sonthalia (2024, 2025)和本文为代表，直接研究spiked协方差结构如何影响ridgeless估计器的预测风险，并分类过拟合类型。

这个方向在追问的核心问题

  1. 过参数化何时有害？ 经典理论认为插值会导致过拟合，但现代实践表明并非如此。核心问题是：在什么条件下，插值是有害的（灾难性过拟合）、无害的（良性过拟合）或介于两者之间（温和过拟合）？
  2. 协方差结构如何影响泛化？ 当协方差矩阵不是各向同性时（如存在spike），双下降曲线会如何变化？spike的强度、数量和几何结构如何共同决定风险？
  3. 信号（β）与协方差结构的对齐（alignment）扮演什么角色？ 回归系数β与spike特征方向的对齐程度，是决定风险的关键因素吗？它如何影响偏差和方差项？
  4. 最小假设下的精确刻画：能否在尽可能弱的分布假设（如仅需有限矩，而非高斯性或旋转不变性）下，得到预测风险的精确渐近极限？

⚠️ 作者的Framing

  • 作者把缺口frame成什么？ 作者将现有工作的缺口概括为两点：(1) 大多数理论分析（如Hastie et al. 2022）局限于各向同性或过于简单的协方差结构；(2) 已有的spiked模型研究（如Li & Sonthalia 2024, 2025）要么限制于单spike，要么对bulk噪声分量施加了强假设（如旋转不变性）。因此，作者将本文定位为“显然的下一步”：一个更一般（多spike、允许发散、弱假设）的框架，能够统一理解spiked结构下的过拟合现象。
  • 哪些竞争路线被他淡化或回避了？ 作者淡化了有限样本（finite-sample）或非渐近（non-asymptotic）的分析路线（如Bartlett et al. 2020的工作），而专注于渐近（p, n → ∞）分析。作者也回避了与核方法或神经网络的直接比较，将讨论严格限制在线性回归的框架内。
  • 什么明显该被引/该存在、却没出现在intro里？ 作者没有引用关于高维ridge回归在spiked模型下的风险分析（如Dobriban & Wager 2018, “High-dimensional asymptotics of prediction: Ridge regression and classification”）。这是一个明显的缺失，因为ridge回归是ridgeless的“正则化”版本，且已有大量关于其在高维下风险的工作。这可能是作者刻意为之，以保持焦点，但值得研究者去查证：ridge在spiked模型下的结果与本文的ridgeless结果有何联系与区别？

张力

未见明显对立引用。所有被引工作基本沿着“从简单到复杂”的脉络发展，结论是互补而非矛盾的。例如，Hastie et al. (2022)的各向同性结果是本文spiked模型结果在α_i = 1时的特例（如Remark 3.2所述）。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：

    • n: 样本量。
    • p: 特征维度。
    • γ = p/n: 维度与样本量的渐近比例，γ ∈ (0, ∞)。
    • X ∈ ℝ^{n×p}: 可观测的特征矩阵，第i行为x_i^T。
    • y ∈ ℝ^n: 可观测的响应向量，第i个元素为y_i。
    • β ∈ ℝ^p: 未知的回归系数向量（参数/estimand）。
    • ϵ_i ∈ ℝ: 不可观测的噪声，均值为0，方差为σ²。
    • Σ ∈ ℝ^{p×p}: 总体协方差矩阵（参数），服从spiked模型。
    • U ∈ ℝ^{p×p}: 正交矩阵，其列u_j是Σ的特征向量。
    • α_j: 第j个spiked特征值（参数），α_j > 1 + √γ。
    • M: spiked特征值的数量（参数），可以是固定常数或随n增长。
    • ˆβ ∈ ℝ^p: ridgeless最小二乘估计量（随机变量）。
    • ˆΣ = X^T X / n ∈ ℝ^{p×p}: 样本协方差矩阵（随机变量）。
    • Π = I - ˆΣ^+ ˆΣ: 投影到X的零空间上的投影矩阵（随机变量）。
    • R_X(ˆβ; β): 给定X的条件预测风险（随机变量，但本文研究其渐近极限）。
    • B_X(ˆβ; β): 偏差项。
    • V_X(ˆβ; β): 方差项。
    • r² = ||β||²: β的欧几里得范数平方。
    • ⟨u_i, β⟩: β与第i个spike特征向量u_i的内积，衡量对齐程度。

  • 模型：

    1. 数据生成：观测数据 (y_i, x_i) 独立同分布，来自线性模型： y_i = x_i^T β + ϵ_i 其中，特征向量 x_i = Σ^{1/2} z_i，z_i 是p维随机向量，其元素独立同分布，均值为0，方差为1，且四阶矩有限。
    2. 协方差结构：总体协方差矩阵 Σ 是一个广义spiked模型： Σ = U Λ U^T 其中 Λ = diag(α_1, ..., α_M, 1, ..., 1)。前M个特征值（spikes）大于1+√γ，可以是有界或发散到无穷。其余p-M个特征值均为1（bulk）。
    3. 估计量：使用ridgeless最小二乘估计量（最小范数插值器）： ˆβ = argmin_{b} ||b||² subject to Xb = y 等价于 ˆβ = (X^T X)^+ X^T y。

  • 可观测数据：

    • 可观测：特征矩阵 X 和响应向量 y。由此可计算 ˆβ、ˆΣ 和 Π。
    • 想要但观测不到：
      • 真实的回归系数 β。
      • 噪声 ϵ_i。
      • 总体协方差矩阵 Σ 及其谱分解（特征值 α_j 和特征向量 u_j）。
      • 潜在变量 z_i。
    • 关键识别假设：线性模型（1.2）和spiked协方差结构（1.5）是模型假设，不是从数据中可验证的。β 与 u_j 的对齐程度 ⟨u_j, β⟩ 是未知的，但本文将其视为给定的，分析其对风险的影响。

第二步：讲最小内核

本文的核心思路可以用一个单spike（M=1） 的特例来理解。在这个特例下，所有技术复杂性被剥离，核心机制一目了然。

  • 最简特例：设 M=1，p/n → γ > 1（过参数化区域）。总体协方差矩阵为： Σ = U diag(α, 1, ..., 1) U^T 其中 α > 1 + √γ 是唯一的spike特征值，对应的特征向量为 u_1。回归系数为 β，其范数平方为 r²。

  • 核心命题：在这个特例下，预测风险 R_X(ˆβ; β) 的渐近极限是什么？它如何依赖于 α、γ 和 ⟨u_1, β⟩？

  • 核心思路与证明：

    1. 风险分解：由Lemma 2.1，风险 = 偏差 + 方差： R_X(ˆβ; β) = B_X(ˆβ; β) + V_X(ˆβ; β) 其中 B_X = β^T Π Σ Π β，V_X = (σ²/n) tr(ˆΣ^+ Σ)。
    2. 方差项分析：tr(ˆΣ^+ Σ) 可以分解为spike部分和bulk部分。利用随机矩阵理论，样本协方差矩阵 ˆΣ 的谱在极限下由两部分组成：一个与spike对应的孤立特征值 s_1（其极限为 ϕ(α) = α(1 + γ/(α-1))），以及一个由Marchenko-Pastur定律描述的bulk谱。经过计算，方差项的极限为： V_X → σ² * (1/(γ-1)) * (α/p + 1)。 当 α 是常数时，α/p → 0，方差项退化为各向同性情况下的 σ²/(γ-1)。当 α 发散（如 α = O(p)）时，spike对方差项有贡献。
    3. 偏差项分析：这是关键。Π 是投影到 X 的零空间上的矩阵。在过参数化下，X 的零空间非平凡。偏差项 B_X = β^T Π Σ Π β 衡量了 β 在 X 的零空间上的“能量”，但被 Σ 加权。
      • 关键观察：X 的零空间主要由与样本协方差矩阵 ˆΣ 的小特征值对应的方向构成。而spike特征向量 u_1 与样本spike特征向量 v_1 有非零的渐近对齐（由Lemma 4.2给出：⟨u_1, v_1⟩² → (1 - γ/(α-1)²) / (1 + γ/(α-1))）。
      • 因此，β 在 u_1 方向上的分量 ⟨u_1, β⟩ 会“泄漏”到 X 的零空间中，从而产生偏差。经过复杂的代数运算和随机矩阵极限，偏差项的极限为： B_X → (1 - 1/γ) r² + (α - 1)(1 - 1/γ)² ⟨u_1, β⟩²。 第一项 (1 - 1/γ) r² 是各向同性情况下的偏差。第二项是spike带来的额外偏差，它正比于 (α-1) 和 ⟨u_1, β⟩²。
    4. 结论：单spike特例下的渐近风险为： R_X → σ² * (1/(γ-1)) * (α/p + 1) + (1 - 1/γ) r² + (α - 1)(1 - 1/γ)² ⟨u_1, β⟩²。
      • 核心发现：⟨u_1, β⟩ 越大（即β与spike方向越对齐），风险越大。对齐是有害的。
      • 机制：spike方向上的信号能量，在过参数化下无法被模型“记住”，反而因为样本特征向量与总体特征向量的不对齐而转化为偏差，导致泛化变差。

这个单spike特例清晰地展示了本文的核心思想：spiked协方差结构通过β与spike特征空间的对齐，引入了一个额外的偏差项，从而改变了过参数化回归的泛化行为。多spike的一般情况只是这个机制的叠加和推广。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在广义spiked协方差模型下，当特征维度p与样本量n成比例增长时，高维ridgeless最小二乘插值估计量的渐近预测风险。
  2. 核心工具/方法：结合随机矩阵理论（Marchenko-Pastur定律、spiked特征值和特征向量的渐近理论）和风险分解（偏差-方差分解），将风险分解为bulk和spike两部分，并利用特征向量对齐的极限结果（Lemma 4.2, 4.3, 4.4）来刻画spike对偏差和方差的贡献。
  3. 主要结论：推导出了预测风险的确定性渐近极限（Theorem 3.1），并揭示了β与spike特征空间的对齐是决定过拟合类型（良性、温和、灾难性）的根本机制（Theorem 4.1）。更强的对齐导致更大的风险，且spike的强度、数量和几何结构共同影响双下降曲线。

关键设定与假设

  • Assumption 1 (比例极限)：p/n → γ > 0。这是高维随机矩阵分析的标准设定。
  • Assumption 2 (Spiked协方差模型)：
    • x_i = Σ^{1/2} z_i，其中z_i的元素独立同分布，均值为0，方差为1，且E|z_ij|⁴ < ∞。这比高斯假设弱，但比仅需二阶矩强。
    • Σ = U Λ U^T，Λ = diag(α_1, ..., α_M, 1, ..., 1)。spike特征值α_j > 1 + √γ（确保样本spike特征值从bulk中分离出来，这是Baik-Silverstein相变阈值）。M可以是固定常数或发散，但需满足M = o(n^{1/4})。这个o(n^{1/4})的条件来自Lemma 4.4 (Hu et al. 2026)，用于保证样本spike特征值与其极限的收敛速度足够快。
  • Assumption 3 (谱分布收敛)：总体谱分布F_Σ弱收敛到一个极限分布H。这是随机矩阵理论中建立样本谱分布收敛性的标准条件。
  • 与已有文献的比较：
    • 相比Hastie et al. (2022)：放宽了各向同性（Σ=I）的假设，允许更一般的spiked结构。
    • 相比Li & Sonthalia (2024, 2025)：允许多spike（M可以发散），且不要求bulk分量的旋转不变性（rotational invariance）或高斯性，仅需有限四阶矩。
    • 相比Mahdaviyeh & Naulet (2019)：考虑了比例极限（p/n → γ），而非p/n → ∞，且允许spike数量发散。

主要结果

  • Theorem 3.1 (渐近风险极限)：这是核心定理。

    • 当γ < 1（欠参数化）：风险极限为 σ² γ/(1-γ)，与各向同性情况（Hastie et al. 2022）一致。这意味着在欠参数化下，spike结构不影响渐近风险。
    • 当γ > 1（过参数化）：风险极限由三部分组成：
      1. 方差项：σ² * (1/(γ-1)) * ( (Σ_{j=1}^M α_j)/p + (p-M)/p )。当总spike强度 Σ α_j = o(p) 时，方差项退化为 σ²/(γ-1)。
      2. 偏差项（各向同性部分）：(1 - 1/γ) r²。
      3. 偏差项（spike贡献）：Σ_{i=1}^M (α_i - 1)(1 - 1/γ)² ⟨u_i, β⟩²。这是本文的关键发现。它表明，只要β在spike特征方向上有投影，就会产生一个额外的、正比于spike强度和投影大小的偏差。
    • 直觉：spike方向上的信号能量在过参数化下无法被模型“记住”，转化为偏差，损害泛化。

  • Theorem 4.1 (过拟合分类)：基于Theorem 3.1，研究了当γ → ∞（极度过参数化）时，超额风险 R_γ = lim R_X - r² 的渐近行为，从而对过拟合类型进行分类。

    • Case 1 (β与所有spike方向正交)：此时spike对偏差无贡献。过拟合类型完全由总spike强度 Σ α_j 相对于p的增长率决定。
      • Σ α_j = o(p) 或增长慢于γ → ∞：良性过拟合（R_γ → 0）。
      • Σ α_j 与p同阶增长：温和过拟合（R_γ → 常数）。
      • Σ α_j 增长快于p：灾难性过拟合（R_γ → ∞）。
    • Case 2 (β与某些spike方向不对齐)：此时spike对偏差有贡献。只要β在某个spike方向上的投影非零，且该spike强度发散，就会导致灾难性过拟合。如果所有非正交的spike强度都有界，则可能为温和过拟合。
    • 核心结论：良性过拟合不仅需要过参数化，还需要β与强spike方向正交，且总spike强度不能太大。

证明路线与技术技巧（理论型）

  • 整体路线：

    1. 风险分解：从Lemma 2.1出发，将风险分解为偏差项 B_X 和方差项 V_X。
    2. 方差项处理：将 tr(ˆΣ^+ Σ) 分解为spike部分和bulk部分。对于bulk部分，利用Marchenko-Pastur定律和Stieltjes变换的极限方程（2.6）得到其渐近极限。对于spike部分，利用Lemma 4.3（样本spike特征值的极限）和Lemma 4.4（样本spike特征值的收敛速度）来估计其贡献。
    3. 偏差项处理：这是技术难点。B_X = β^T Π Σ Π β。关键在于处理投影矩阵 Π。作者将 Π 与样本协方差矩阵 ˆΣ 的谱分解联系起来，并利用ˆΣ的谱分解将偏差项分解为： B_X = β^T β - β^T ˆΣ^+ ˆΣ β - β^T (I - ˆΣ^+ ˆΣ) (I - Σ) (I - ˆΣ^+ ˆΣ) β 的某种形式（具体推导见原文）。 然后，将 β 分解为在spike特征空间和bulk特征空间上的投影。利用Lemma 4.2（样本与总体特征向量内积的极限）和Lemma 4.3，可以分别计算spike部分和bulk部分对偏差的贡献。最终得到 B_X 的渐近极限。
    4. 合并结果：将偏差和方差的极限合并，得到Theorem 3.1。然后通过分析γ → ∞时的极限行为，得到Theorem 4.1。

  • 关键跳跃点：

    • 偏差项中spike贡献的提取：如何从复杂的矩阵迹中分离出 (α_i - 1)(1 - 1/γ)² ⟨u_i, β⟩² 这一项？这需要巧妙地利用 Π 的性质和样本特征向量的渐近行为。作者通过将 β 投影到样本spike特征向量上，并利用Lemma 4.2将样本投影与总体投影联系起来，从而实现了这一跳跃。
    • 处理发散spike：当 α_j → ∞ 时，许多随机矩阵的渐近结果（如特征向量对齐的极限）需要重新审视。作者通过引入适当的缩放和利用Lemma 4.4中关于发散spike的收敛结果，克服了这一困难。

  • 技术技巧点名：

    • Marchenko-Pastur定律及其Stieltjes变换：用于处理bulk谱对风险（特别是方差项）的贡献。
    • Spiked特征值和特征向量的渐近理论：Lemma 4.2 (Johnstone & Yang 2018) 和 Lemma 4.3 (Bai & Yao 2012) 是核心工具，用于刻画spike对偏差和方差的贡献。
    • 样本spike特征值的收敛速度：Lemma 4.4 (Hu et al. 2026) 用于处理发散spike和发散M的情况，保证极限的成立。
    • 偏差-方差分解：Lemma 2.1 是分析的基础。
    • 矩阵迹的分解与代数运算：将复杂的迹 tr(ˆΣ^+ Σ) 和二次型 β^T Π Σ Π β 分解为可处理的spike和bulk部分。

真实例子与应用

本文为纯理论论文，没有真实数据例子。它包含大量的数值模拟（Figures 1-5），用于验证理论结果并展示不同参数（γ, α, M, ⟨u_i, β⟩）下的风险曲线形状。这些模拟是理论结果的直观展示，而非实际应用。

🔎 结论是否比证明窄

  • Theorem 3.1 的陈述：在(3.8)和(3.9)中，作者包含了 O_p(1/p) 和 O_p(⟨u_i, β⟩/√p) 的余项。这些余项在证明中可能依赖于特定的收敛速度假设（如Lemma 4.4中的 M = o(n^{1/4}) 条件）。作者在定理陈述中明确写出了这些余项，表明极限是在概率意义下成立，且收敛速度受限于这些条件。这是一个严谨的做法。
  • Theorem 4.1 的分类：该定理的结论依赖于 γ → ∞ 的极限。作者在证明中可能假设了 γ 以某种特定速率发散（例如，与 Σ α_j / p 的增长率相比较）。定理陈述中明确提到了“the divergence rate of ... is slower than / of the same order as / faster than the rate at which γ → ∞”，这暗示了证明中考虑了这些不同速率的情况。因此，结论是精确的，没有过度泛化。
  • 总体而言，本文的结论与证明是匹配的，没有发现明显的“结论比证明窄”的情况。作者在定理陈述中保留了必要的余项和条件，体现了严谨性。

四、开放问题（点到为止，扎根具体语句）

  1. 有限样本风险界：本文给出了渐近极限，但未提供有限样本的非渐近界。能否在spiked模型下，为ridgeless估计器推导出类似Bartlett et al. (2020)的、基于有效秩的有限样本风险界？这扎根于本文的渐近框架与Bartlett et al. (2020)的非渐近框架之间的张力。
  2. M发散速率的上界：本文要求 M = o(n^{1/4})（Assumption 2）。这个条件来自Lemma 4.4 (Hu et al. 2026)，用于保证样本spike特征值的收敛。能否将这个条件放宽到 M = o(n^{1/3}) 或更大？这扎根于Lemma 4.4的假设(ii)和Remark 2.2中提到的条件。
  3. 与Ridge回归的对比：本文只研究了ridgeless（λ=0）的情况。一个自然的问题是，在spiked模型下，最优的ridge正则化参数λ*是多少？它如何依赖于spike强度和对齐？本文的结果能否推广到非零ridge参数？这扎根于作者在引言中回避的ridge回归文献（如Dobriban & Wager 2018）。
  4. 非线性模型的推广：本文的结论（对齐有害）在单spike线性模型下是清晰的。Li & Sonthalia (2025) 提到，对齐有害的结论在非线性模型（如两层神经网络）中也能被经验地观察到。能否在更一般的非线性模型（如随机特征模型）下，从理论上证明类似的机制？这扎根于Li & Sonthalia (2025)的实证观察和本文的理论框架。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论