Benign Overfitting Beyond Prediction: The Ordinary Least Squares Interpolator¶
作者: Dennis Shen, Dogyoon Song, Peng Ding, Jasjeet Sekhon
来源: Biometrika
主题: 数理统计 / 假设检验
相关性: 7/10
机构绿灯: University of Southern California(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv
一、领域脉络与小综述¶
-
这个方向是什么:本文属于高维统计与过参数化模型推断理论的交叉领域。其根本科学问题是:当模型参数个数 p 超过样本量 n(即过参数化)时,经典统计推断框架(如 Gauss-Markov 定理、Frisch-Waugh-Lovell 定理)失效,那么最小 ℓ2-范数 OLS 插值器(即最小范数精确拟合训练数据的解)在参数估计与统计推断层面是否仍具有良好性质?该方向当前处于快速发展期,已有大量工作聚焦于预测风险(如良性过拟合),但针对参数估计与推断的系统性理论尚在构建中。
-
发展脉络(history):
- 奠基工作:Zhang et al. (2017) 与 Belkin (2021) 通过实验揭示了深度网络"零训练误差但泛化良好"的良性过拟合现象,为后续理论研究提供了问题来源。Belkin, Hsu, Xu (2019) 进一步提出"双下降"风险曲线,指出模型复杂度越过插值阈值后风险会再次下降。
- 主要进展(预测视角):Bartlett et al. (2020) 与 Tsigler and Bartlett (2020) 在线性回归框架下给出了最小范数插值器预测风险的非渐近刻画,指出其预测性能取决于协方差矩阵的有效秩(effective rank)与信号在主要方向上的投影。Hastie et al. (2022) 在随机特征模型下精确刻画了岭回归与插值器的预测风险,揭示了"插值无害"的充分条件。这些工作共同确立了"良性过拟合"在预测层面的理论边界。
- 当前 frontier(推断视角):本文作者指出,预测风险之外的参数估计与推断性质"comparatively less explored"。已有少数工作如 Lei and Ding (2021) 与 Chang et al. (2024) 探讨了高维随机化实验中回归调整的推断性质,但均未系统处理 p>n 且完全插值的情形。本文正是在此缺口上,将经典 OLS 的三组核心代数工具(leave-k-out、FWL、遗漏变量偏误)与 Gauss-Markov 最优性推广到过参数化设定。
- 本文的位置:作者将本文定位为"提供系统框架"的工作——先建立不依赖分布假设的代数恒等式,再在 Gauss-Markov 模型下赋予统计含义。这使其区别于纯预测风险分析(如 Hastie et al. 2022),也区别于特定因果设定下的推断结果(如 Lei and Ding 2021)。
-
子线索聚类:被引文献大致落在三条子线索上:
- 预测风险的良性过拟合理论(Bartlett et al. 2020; Tsigler and Bartlett 2020; Hastie et al. 2022; Belkin et al. 2019):核心问题是插值器何时泛化良好,工具为随机矩阵理论、有效秩分析。
- 过参数化模型中的推断与不确定性量化(本文;Cheng and Barber 2026; Montanari et al. 2025):核心问题是插值器能否用于参数估计、方差估计与置信区间构造,工具为 leave-one-out 分析、Gauss-Markov 推广。
- 高维因果推断中的正则化与插值(Lin 2013; Lei and Ding 2021; Chang et al. 2024; Spiess et al. 2023):核心问题是在 p>n 时如何利用插值或正则化进行因果效应估计,工具为 Neyman 模型、有限总体推断。
-
这个方向在追问的核心问题(2-4 个):
- 最小 ℓ2-范数 OLS 插值器在何种协方差结构下能同时实现低预测风险与可接受的参数估计误差?
- 过参数化设定下,Gauss-Markov 最优性以何种形式存续?"无偏性"应如何重新定义(本文提出"through-the-lens-of-X"的无偏性)?
- 当训练误差为零时,如何利用 leave-one-out 残差构造方差估计量,其偏差与保守性如何刻画?
- 插值框架能否为因果推断(如高维回归调整)提供新的识别与推断工具?
-
⚠️ 作者的 framing(必须明确标注成"这是作者的说法"):作者在引言中将缺口 frame 为"现有良性过拟合文献几乎全部聚焦于预测风险,而参数估计与推断——对因果推断和社会科学至关重要的目标——被系统性忽视了"。他们声称本文是"第一个"系统建立过参数化 OLS 代数与统计性质的工作。值得研究者去查的问题:作者淡化了 Cheng and Barber (2026) 与 Montanari et al. (2025) 在推断层面的贡献(仅在结论中一句带过),且未引用任何关于"插值器在因果推断中应用"的负面结果(如可能存在的高阶偏差)。此外,引言未提及 LASSO 或岭回归在高维推断中的成熟理论(如 van de Geer et al. 2014 的去偏 LASSO),这可能是作者刻意划清界限——他们的框架是"精确插值"而非"正则化逼近"。
-
张力:未见明显对立引用。但存在一个微妙的方法论分歧:Hastie et al. (2022) 与 Bartlett et al. (2020) 强调随机设计(random design)下协方差谱的连续分布;而本文的代数结果(定理 3.1、4.4、4.6)对设计矩阵是确定性的,统计结果(定理 5.4、5.7)也仅假设固定 X。这种"固定设计 vs 随机设计"的张力在文中未被明确讨论,但会影响结果的适用范围。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据交代清楚
- 数据:观测到 n 个样本的协变量矩阵 X ∈ ℝ^{n×p} 与响应向量 y ∈ ℝ^n。行 x_i^⊤ 是第 i 个样本的 p 维协变量。
- 模型:Gauss-Markov 模型(假设 5.1):y = Xβ + ε,其中 β ∈ ℝ^p 是固定未知参数,ε 是随机误差向量,满足 E[ε] = 0,Cov(ε) = Σ。在经典部分(定理 5.4a)进一步假设 Σ = σ²I_n(同方差、不相关)。
- 目标参数(estimand):本文关注两个层面:
- 系数向量 β 本身(或其投影 β* = X†Xβ,即 β 在 X 行空间上的正交投影,见公式 (26))。
- 误差方差 σ²。
- 估计量:最小 ℓ2-范数 OLS 插值器 b̂β = X†y,其中 X† 是 Moore-Penrose 伪逆。在 p>n 且 X 行满秩时,X† = X^⊤(XX^⊤)^{-1},且 b̂β 是满足 X b̂β = y 的所有解中范数最小的一个。
- 关键量:
- 帽子矩阵 H = P_X = XX†。在 p>n 时,P_X = I_n(因为行满秩),所以训练残差为零。
- G_X = (XX^⊤)^{-1},其对角元 g_{ii} 是杠杆分数的推广。
- leave-one-out 残差向量 ẽε ∈ ℝ^n,其第 i 个分量 ẽε_i 是"用除第 i 个样本外的所有数据训练、再预测第 i 个样本"的预测误差。
- 可观测 vs 不可观测:可观测的是 X 和 y。不可观测的是 β、ε、σ²。本文的代数结果(定理 3.1、4.4、4.6)只涉及 X 和 y,是确定性的;统计结果(定理 5.4、5.7)在假设 5.1 下对 ε 的分布取期望。
第二步:最小内核
本文最核心的洞察可以浓缩为一个问题:当 p>n 时,训练残差恒为零,那么 leave-one-out 残差从何而来?
在经典 n>p 情形下,leave-one-out 残差与训练残差有著名的关系:ẽε_i = b̂ε_i / (1 - h_{ii}),其中 h_{ii} 是帽子矩阵对角元。这个公式之所以成立,是因为删除一个样本会改变拟合值。
在 p>n 的插值情形下,训练残差 b̂ε = y - X b̂β = 0。但 leave-one-out 残差 ẽε_i = y_i - x_i^⊤ b̂β^{(-i)} 通常不为零,因为删除第 i 个样本后,剩下的 n-1 个样本无法再张成整个 ℝ^n,插值不再可能。
最小内核的数学表述(即本文的 Corollary 3.4(b),公式 (10)):
在 p>n 且 X 行满秩的假设下,leave-one-out 残差向量 ẽε 与全样本响应 y 之间有一个极其简洁的线性关系:
ẽε = [diag(G_X)]^{-1} · G_X · y
其中 G_X = (XX^⊤)^{-1},diag(G_X) 是取其对角元构成的对角矩阵。
为什么这个公式是"最小内核"?
-
它统一了经典与高维两种情形。在 n>p 时,类似的公式是 ẽε = [diag(P_X^⊥)]^{-1} · P_X^⊥ · y。两个公式形式完全一致,只是把投影矩阵 P_X^⊥ 换成了 G_X。这揭示了 leave-one-out 分析的本质:无论是否插值,leave-one-out 残差都是某个依赖于 X 的对称矩阵作用在 y 上,再按对角元归一化。
-
它直接导出了方差估计量。在假设 5.1(Gauss-Markov)下,对公式 (10) 两边取期望的平方,利用 E[yy^⊤] = Xββ^⊤X^⊤ + Σ,并注意到 G_X · X = X^{†⊤}(因为 G_X X = (XX^⊤)^{-1}X = X^{†⊤}),可以证明:
- 在经典情形(Σ = σ²I),E[ẽε^⊤ ẽε] = σ² · ||[diag(P_X^⊥)]^{-1} P_X^⊥||²_F,从而得到无偏估计。
-
在高维情形(Σ = σ²I),E[ẽε^⊤ ẽε] = σ² · ||[diag(G_X)]^{-1} G_X||²_F + ||E[ẽε]||²,其中 E[ẽε] = [diag(G_X)]^{-1} G_X X β* = [diag(G_X)]^{-1} X^{†⊤} β*。这个偏差项正是公式 (30) 中的 ||E[ẽε]||²₂ / ||[diag(G_X)]^{-1} G_X||²_F。
-
它揭示了"为什么插值还能做推断"。尽管训练残差为零,但 leave-one-out 残差携带了关于 σ² 的信息,因为删除样本打破了插值。公式 (10) 表明,这个信息可以通过一个简单的矩阵运算提取出来,而不需要真正拟合 n 个模型。
这个最小内核的证明思路(对应本文附录 E.3 的证明):
证明的关键是矩阵恒等式(引理 E.1,即广义 Sherman-Morrison 公式): 对于行满秩的 X ∈ ℝ^{n×p},记 X_{-i} 为删除第 i 行的矩阵,则 (X_{-i} X_{-i}^⊤)^{-1} = G_X + G_X x_i x_i^⊤ G_X / (1 - g_{ii})
这个恒等式描述了删除一个样本后 Gram 矩阵逆的变化。然后利用 b̂β^{(-i)} = X_{-i}^† y_{-i} = X_{-i}^⊤ (X_{-i} X_{-i}^⊤)^{-1} y_{-i},代入并化简,即可得到 ẽε_i = y_i - x_i^⊤ b̂β^{(-i)} = (G_X y)i / g{ii}。这正是公式 (10) 的第 i 个分量。
为什么这个内核"一看就懂"?
因为它把复杂的 leave-one-out 分析归结为一个简单的矩阵公式:ẽε = D^{-1} G y。这个公式不涉及任何分布假设,纯粹是线性代数的结果。它告诉我们:在高维插值设定下,leave-one-out 残差不是"残差"(因为训练残差为零),而是"响应 y 经过 G_X 矩阵变换后的归一化版本"。这个视角直接连接了后续的方差估计(定理 5.7)和 Gauss-Markov 最优性(定理 5.4)。
三、这篇论文做了什么¶
三句话: 1. 研究了什么问题:在 p>n 的过参数化线性模型中,最小 ℓ2-范数 OLS 插值器在参数估计(而非预测)层面的代数结构与统计性质,特别是 leave-k-out 公式、FWL 定理、遗漏变量偏误公式的推广,以及 Gauss-Markov 最优性和方差估计。 2. 核心工具/方法:Moore-Penrose 伪逆的代数操作、广义 Sherman-Morrison 公式(引理 E.1)、leave-one-out 残差的闭式表达(公式 (10))、以及将经典 Gauss-Markov 证明中的"无偏性"替换为"through-the-lens-of-X 无偏性"(即 E[X b̂β] = Xβ)。 3. 主要结论:建立了高维插值设定下 leave-k-out 公式(定理 3.1)、FWL 定理(定理 4.4)、遗漏变量偏误公式(定理 4.6)的精确代数类比;证明了 OLS 插值器在"through-the-lens-of-X"意义下的 Gauss-Markov 最优性(定理 5.4b);提出了基于 leave-one-out 残差的方差估计量,并证明其在经典情形无偏、在高维情形保守(定理 5.7)。
关键设定与假设: - 假设 2.3(经典):X 列满秩(n>p)。此时 b̂β = (X^⊤X)^{-1}X^⊤y,是唯一的最小二乘解。 - 假设 2.4(高维):X 行满秩(p≥n)。此时 b̂β = X^⊤(XX^⊤)^{-1}y 是插值器,满足 X b̂β = y。 - 假设 4.1(更强的高维):X_{,J} 行满秩且 X_{,J^c} 列满秩(即 |J| ≥ n 且 |J^c| ≤ n)。这个假设用于保证部分正则化问题中涉及的伪逆有简洁形式。 - 假设 5.1(Gauss-Markov):y = Xβ + ε,E[ε] = 0,Cov(ε) = Σ。在经典部分进一步假设 Σ = σ²I_n。 - 相比已有文献的定位:本文的假设是"最小"的——不假设随机设计、不假设协方差矩阵的具体谱结构、不假设稀疏性。这使得代数结果(定理 3.1、4.4、4.6)完全确定性,统计结果(定理 5.4、5.7)也只需一阶矩和二阶矩条件。相比 Hastie et al. (2022) 的随机特征模型或 Bartlett et al. (2020) 的协方差谱条件,本文的框架更接近经典线性模型理论。
主要结果:
- 定理 3.1(leave-k-out 公式):
- 经典情形:b̂β^{(-i)} = b̂β - (X^⊤X)^{-1} x_i b̂ε_i / (1 - h_{ii}),这是标准结果。
-
高维情形:b̂β^{(-i)} = P_{X_{-i}^⊤} b̂β,即 leave-one-out 估计是全样本估计在删除样本后行空间上的正交投影。这个结果非常简洁:删除一个样本后,新的插值器就是旧插值器在剩余样本张成空间上的投影。推论 3.3 进一步给出了 b̂β^{(-i)} = b̂β - (X^⊤X)^† x_i ẽε_i 的形式,其中 ẽε_i 是 leave-one-out 残差。
-
定理 4.4(FWL 定理):
- 经典情形:b̂β_J = (X_{,J}^⊤ P_{X_{,J^c}}^⊥ X_{,J})^{-1} X_{,J}^⊤ P_{X_{,J^c}}^⊥ y,即"回归 y 对 X_{,J^c} 取残差,再回归到 X_{,J} 对 X_{,J^c} 的残差上"。
-
高维情形:b̂β_J = (P_{X_{,J^c}}^⊥ X_{,J})^† P_{X_{*,J^c}}^⊥ y。形式与经典一致,只是把逆换成了伪逆。这个结果说明:即使在插值设定下,部分回归系数的解释仍然成立——它衡量的是在控制其他变量后,该变量对 y 的边际贡献。
-
定理 4.6(遗漏变量偏误公式):
- 经典情形:b̂α = b̂β_J + b̂Δ b̂β_{J^c},其中 b̂Δ = (X_{,J}^⊤ X_{,J})^{-1} X_{,J}^⊤ X_{,J^c} 是遗漏变量对保留变量的回归系数。
-
高维情形:X_{,J} b̂α = X_{,J} (b̂β_J + b̂Δ b̂β_{J^c})。注意这里等式只在预测层面成立(乘以 X_{*,J} 后),而非系数层面。这是因为在 p>n 时,系数本身不可识别,但预测值仍然有明确的分解。这个结果对因果推断有直接意义:它说明了在高维设定下,遗漏变量偏误的"方向"仍然由 b̂Δ 决定,但"大小"需要在预测空间而非参数空间衡量。
-
定理 5.4(Gauss-Markov 定理):
- 经典情形:b̂β 是 β 的 BLUE(最佳线性无偏估计)。
-
高维情形:b̂β 是 β* = X†Xβ 的"through-the-lens-of-X"最佳线性无偏估计。具体地,(i) 对任意 v ∈ rowsp(X),v^⊤b̂β 的方差在所有满足 E[X ẽβ] = Xβ 的线性估计中最小;(ii) 对任意 w ∈ rowsp(X)^⊥,w^⊤b̂β 的方差为零(因为 b̂β ∈ rowsp(X)),而任何其他满足无偏性条件的估计在这些方向上的方差非负。这个结果将经典 Gauss-Markov 定理推广为"在可识别方向上的最优性"。
-
定理 5.7(方差估计):
- 经典情形:b̂σ² = ||ẽε||²₂ / ||[diag(P_X^⊥)]^{-1} P_X^⊥||²_F 是 σ² 的无偏估计。
- 高维情形:同样的公式,但用 G_X 替换 P_X^⊥,得到 b̂σ² = ||ẽε||²₂ / ||[diag(G_X)]^{-1} G_X||²_F。该估计量有正偏差,偏差项为 ||E[ẽε]||²₂ / ||[diag(G_X)]^{-1} G_X||²_F,其中 E[ẽε] = [diag(G_X)]^{-1} X^{†⊤} β。这个偏差依赖于信号 β 与设计矩阵的交互,在 spiked covariance 模型下可以进一步刻画。
证明路线与技术技巧:
- 整体路线:论文采用"先代数、后统计"的两阶段策略。第一阶段(第 3-4 节)建立不依赖任何分布假设的恒等式,核心工具是 Moore-Penrose 伪逆的代数性质(特别是分块矩阵求逆公式和广义 Sherman-Morrison 公式)。第二阶段(第 5 节)在 Gauss-Markov 假设下,对这些代数恒等式取期望,利用 E[yy^⊤] = Xββ^⊤X^⊤ + Σ 和伪逆的性质(如 X†X 是投影矩阵、G_X X = X^{†⊤})来推导统计性质。
- 关键技巧 1:伪逆的代数操作。论文大量使用伪逆的性质,如 (AB)^† = B^†A^†(在特定秩条件下)、X† = X^⊤(XX^⊤)^†、以及投影矩阵的恒等式。这些操作使得经典证明可以"机械地"推广到高维。
- 关键技巧 2:广义 Sherman-Morrison 公式(引理 E.1)。这是证明 leave-one-out 公式的核心工具。它给出了 (A + uv^⊤)^† 的显式表达式,使得删除一个样本后的 Gram 矩阵逆可以表示为原 Gram 矩阵逆的简单函数。
- 关键技巧 3:方差估计的"归一化"视角。论文将 leave-one-out 残差写成 ẽε = D^{-1} G y 的形式,其中 D = diag(G)。这个"按对角元归一化"的操作使得 E[ẽε^⊤ ẽε] 可以精确计算,因为 G 和 D 都是确定性矩阵,而 y 的协方差是 σ²I。
- 关键技巧 4:Gauss-Markov 证明的"方向分解"。论文将 ℝ^p 分解为 rowsp(X) ⊕ rowsp(X)^⊥。在 rowsp(X) 上,所有满足 E[X ẽβ] = Xβ 的估计都有相同的均值 Xβ,因此可以比较方差;在 rowsp(X)^⊥ 上,b̂β 的方差为零,而任何其他估计的方差非负。这种分解使得"through-the-lens-of-X"的最优性证明变得清晰。
真实例子与应用: - 模拟研究(第 6 节): - 随机化实验(例 4.2):模拟了 p>n 时部分正则化 OLS 在 ATE 估计中的表现。数据生成:n=100, p=200,协变量 X 服从标准正态或 spiked 模型,处理变量 D 为 Bernoulli(0.5),结果 y = τD + Xβ + ε。比较 OLS(partial)(只正则化协变量系数,不正则化处理变量系数)与 OLS(full)(正则化所有系数)以及岭回归。结果显示 OLS(partial) 的偏差远小于 OLS(full),且方差与岭回归相当。表 3 显示交叉验证选择的岭参数接近零,说明数据驱动方法倾向于选择接近插值的模型。 - 观测研究(例 4.3):模拟了 p>n 时带协变量的观测研究,其中处理变量 D 与协变量 X 相关。OLS(partial) 在估计 ATE 时表现出与经典设定相似的偏误方向(由遗漏变量偏误公式 4.6 预测),但幅度受设计矩阵结构影响。 - 方差估计(第 6.4 节):模拟了 b̂σ² 的偏差。在 spiked 模型下,偏差较小;在标准正态设计下,偏差为正且随 p/n 增大而增大。这与定理 5.7 的预测一致。 - 这些例子想说明什么:模拟的核心目的是验证理论预测——(i) 部分正则化在因果推断中的有效性依赖于"只正则化 nuisance 参数"的思想;(ii) 方差估计的保守性在 spiked 结构下可以忽略,但在各向同性设计下显著;(iii) 数据驱动的正则化参数选择(如交叉验证)倾向于选择接近零的正则化,从而接近插值设定。
🔎 结论是否比证明窄: - 定理 5.4(b) 的"最优性"是方向性的,而非全局的:论文证明的是对任意 v ∈ rowsp(X),v^⊤b̂β 的方差最小。但并未证明 b̂β 在整体协方差矩阵意义下(如 Loewner 序)最优。事实上,由于 b̂β 在 rowsp(X)^⊥ 上恒为零,其协方差矩阵是奇异的,不可能在全局意义下与满秩估计比较。论文在 Remark 5.5 中承认了这一点,但未讨论这是否意味着存在其他非线性估计在可识别方向上更优。 - 定理 5.7 的方差估计量仅在同方差下无偏:论文的证明依赖于 Cov(ε) = σ²I。在异方差或相关误差下,b̂σ² 的偏差表达式(公式 30-31)不再成立。论文在 Remark 5.6 中提到了更一般的 Σ,但未给出异方差下的具体结果。 - 模拟中"spiked 模型表现更好"的结论缺乏理论支撑:论文观察到 spiked 模型下方差估计偏差更小,但未给出理论解释。这实际上与 benign overfitting 文献中"信号在主要方向上的投影决定插值器行为"的结论一致,但论文未建立这一联系。 - 一个值得注意的 gap:论文的代数结果(定理 3.1、4.4、4.6)对 X 没有任何随机假设,但统计结果(定理 5.4、5.7)的"最优性"和"无偏性"都是在固定 X 的条件期望意义下。论文未讨论当 X 随机时,这些性质是否在边际意义下成立,也未给出 X 随机所需的额外条件(如各向同性、谱界等)。
四、开放问题¶
-
异方差与相关误差下的方差估计:定理 5.7 的方差估计量在同方差下无偏、高维下保守。在异方差或误差相关时,如何构造类似 leave-one-out 的方差估计量?其偏差表达式是什么?这直接关系到插值设定下置信区间的有效性。(扎根于 Remark 5.6 和定理 5.7 的证明。)
-
随机设计下的边际性质:论文的统计结果均固定 X。当 X 为随机设计时,定理 5.4 的"through-the-lens-of-X"最优性和定理 5.7 的无偏性是否在边际意义下成立?需要什么额外条件(如协方差谱的集中不等式)?(扎根于第 5 节的设定和定理 5.4 的证明。)
-
非线性估计量的潜在改进:定理 5.4(b) 仅证明了 b̂β 在线性估计类中的最优性。是否存在非线性估计(如阈值化、收缩估计)在可识别方向上具有更小的方差?这需要建立过参数化设定下的信息论下界。(扎根于定理 5.4 的陈述和 Remark 5.5 的局限性讨论。)
-
因果推断中的高阶偏差:定理 4.6 的遗漏变量偏误公式是精确的代数恒等式,但未讨论在 p>n 且存在未观测混杂时,基于插值器的 ATE 估计量是否具有可忽略的渐近偏差。这需要将本文的框架与高维因果推断的敏感性分析结合。(扎根于例 4.2、4.3 和定理 4.6 的讨论。)
-
spiked 模型下的精确刻画:模拟显示 spiked 协方差结构下方差估计偏差更小,但缺乏理论解释。能否在 spiked 模型下给出 b̂σ² 偏差的精确渐近表达式?这与 benign overfitting 文献中"有效秩"的概念有何联系?(扎根于第 6.4 节的模拟结果和公式 (31) 的偏差项。)
-
一个值得研究者去查证的问题:论文声称 leave-one-out 方差估计量(公式 29)是"novel even in the classical regime"(第 5.4 节)。但经典线性模型文献中,基于 leave-one-out 残差的方差估计已有大量研究(如 PRESS 统计量)。建议去核查论文的公式 (27) 与经典文献中 leave-one-out 方差估计量的关系——如果确实等价,那么论文的贡献应更准确地定位为"统一框架"而非"新估计量"。
Maintained by 陈星宇 · Homepage · Source on GitHub