High-Dimensional Interpolators Can Be Fragile: Heavy Tails and High-Dimensional Large Deviations

作者: Youheng Zhu, Yiping Lu
主题: 高维统计 / 随机矩阵
相关性: 7/10
链接: https://arxiv.org/abs/2607.09547

---

一、领域脉络与小综述

这个方向是什么

本子方向研究高维插值模型（interpolating models）的泛化性能，特别是其尾部风险（tail risk）。经典统计理论认为，完美拟合训练数据（插值）会导致过拟合和糟糕的泛化。然而，现代机器学习实践发现，过参数化的插值模型（如 ridgeless regression、最小范数插值器）在期望风险上可以表现良好，甚至优于正则化模型。这被称为“良性过拟合”（benign overfitting）。当前，该方向的主流研究已从“插值是否可能泛化”转向“插值在什么条件下泛化、其风险分布有何特征”。本文进一步追问：当平均风险可控时，极端误差（罕见但严重的预测失败）的概率有多大？ 这是一个从“平均行为”到“尾部行为”的深化，连接了高维统计、随机矩阵理论与运筹学中的风险管理。

发展脉络（history）

1. 奠基工作：良性过拟合现象的发现与理论化

   • Belkin et al. (2019) 和 Zhang et al. (2021) 通过实验和理论，系统性地挑战了“插值必然导致过拟合”的经典观点，展示了过参数化模型可以同时实现训练插值和良好的测试性能。
   • Belkin et al. (2018) 和 Belkin (2021) 进一步从理论上探讨了插值分类器和回归器的风险界，为良性过拟合提供了初步的理论框架。

2. 主要进展：高维线性回归的精确渐近分析

   • Hastie et al. (2022) 和 Mei & Montanari (2022) 在比例渐近（\(p/n \to \gamma\)）框架下，对 ridgeless 和 ridge 回归的期望预测风险给出了精确的确定性等价（deterministic equivalent）和闭式解。他们揭示了“双下降”（double descent）现象，并指出在过参数化区域，最小范数插值器的期望风险可以收敛到一个有限值。
   • Dobriban & Wager (2018) 对 ridge 回归在高维下的渐近风险进行了系统分析，建立了与 Marchenko-Pastur 谱定律的联系。这些工作构成了本文的基准：它们刻画了“平均”行为，但未触及尾部。

3. 当前 Frontier：超越期望——风险分布与尾部行为

   • Han & Xu (2026) 是本文直接引用的“最近分布性工作”，他们研究了 ridgeless 最小二乘插值器的风险分布，但本文指出，其“对固定罕见风险事件的概率及其衰减速率”的理解仍然不足。本文正是在此缺口上切入。
   • Mallinar et al. (2022) 提出了一个更细致的过拟合分类（良性、温和、灾难性），暗示了尾部行为的重要性，但未从大偏差角度量化。
   • Chen & El Alaoui (2026) 从几何角度研究了分类问题中插值器的泛化误差，与本文的回归设定互补。

4. 本文的位置：本文是首个使用大偏差理论（large deviation theory） 来量化高维线性插值器尾部风险的工作。它明确指出了 ridgeless 回归与 ridge 回归在尾部衰减速率上的巨大差距（\(n\log n\) vs. \(n^2\)），从而将“正则化”的作用从“偏差-方差权衡”扩展到“尾部风险控制”。

子线索聚类

1. 期望风险与确定性等价：以 Hastie et al. (2022), Dobriban & Wager (2018), Mei & Montanari (2022) 为代表。核心工具是随机矩阵理论（Marchenko-Pastur 定律），目标是给出风险的一阶渐近（确定性极限）。这是本文的“基准”和“被超越的对象”。
2. 风险分布与有限样本行为：以 Han & Xu (2026) 为代表。目标是刻画风险分布本身，而不仅仅是其均值。本文属于此线索，但将其推向极端尾部。
3. 插值器的几何与算法无关下界：以 Chen & El Alaoui (2026) 和本文第7节为代表。关注插值器集合的几何结构或所有插值器共享的固有风险下界。本文的算法无关下界（定理5、6）属于此线索。

这个方向在追问的核心问题

1. 尾部衰减速率：对于固定的大偏差事件（如风险超过其极限值一个固定量），其概率以什么速率（如 \(n^\alpha\), \(e^{-cn^\beta}\)）衰减？这个速率由什么决定（如维度比、正则化强度）？
2. 机制分离：风险的左尾（低于典型值）和右尾（高于典型值）是否由相同的谱机制驱动？还是各有不同的主导机制（如集体谱变形 vs. 单个硬边特征值）？
3. 正则化的作用：除了经典的偏差-方差权衡，正则化（如 ridge）如何影响尾部风险？它是否从根本上改变了尾部衰减的“速度”（speed）？
4. 算法无关性：尾部脆弱性（如多项式尾或 \(n\log n\) 衰减）是 ridgeless 回归的特例，还是所有精确线性插值器的固有属性？

⚠️ 作者的 framing

• 作者的缺口 frame：作者将缺口 frame 为“现有理论主要关注期望风险，而忽略了尾部风险，这在运筹学和随机决策中至关重要”。这使得本文成为“显然的下一步”：既然平均行为已清楚，自然要问极端事件。作者通过对比 ridgeless 和 ridge，将“正则化”重新定义为一种“尾部风险控制”工具，而不仅仅是“偏差-方差权衡”工具。
• 被淡化/回避的竞争路线：
  • 非渐近浓度不等式：作者没有与基于次高斯/次指数假设的经典浓度界（如 Bernstein 不等式）进行详细比较。这些界通常给出指数型（\(e^{-cn}\)）的尾部衰减，但往往依赖于 Lipschitz 或光滑性条件，不适用于 \(u^{-1}\) 这种奇异函数。作者通过证明 \(n\log n\) 衰减（比指数慢得多）来凸显其结果的非平凡性。
  • 稳健统计：作者没有深入讨论与稳健回归（如 Huber、分位数回归）的联系。这些方法本身就是为了控制尾部影响而设计的。本文的结论可以视为对“非稳健”的插值方法的一种警示。
• 什么明显该被引/该存在、却没出现在 intro 里？
  • 关于“重尾”的统计学习理论：例如，关于 heavy-tailed data 的泛化界（如 Catoni, 2012; Lugosi & Mendelson, 2019）。这些工作也关注尾部，但通常假设数据本身重尾，而本文的“重尾”是由插值机制（硬边特征值）产生的，即使数据（协变量）是轻尾的。这是一个重要的概念区别，作者未明确讨论。
  • 关于“风险度量”的运筹学文献：作者引用了 Artzner et al. (1999) 和 Duffie & Pan (1997) 关于风险度量的基础工作，但未引用更近期的、将风险度量（如 CVaR）与机器学习结合的工作（如 Rockafellar & Uryasev, 2000; 或其在 portfolio optimization 中的应用）。这可能是为了保持论文的统计理论纯度。

张力

未见明显对立引用。所有被引工作基本都承认“期望风险好”和“尾部风险好”是两个不同的问题。本文的贡献在于量化了这种差异的巨大程度（\(n\log n\) vs. \(n^2\)），而不是挑战已有结论。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

• 符号：

  • \(n\): 样本量。
  • \(p\): 特征维度。
  • \(X \in \mathbb{R}^{n \times p}\): 设计矩阵，可观测。
  • \(y \in \mathbb{R}^n\): 响应向量，可观测。
  • \(\beta \in \mathbb{R}^p\): 真实系数向量，不可观测（潜在量）。
  • \(\varepsilon \in \mathbb{R}^n\): 噪声向量，不可观测（潜在量）。
  • \(\hat{\beta}_\lambda\): ridge 回归估计量（\(\lambda > 0\)）或 ridgeless 估计量（\(\lambda = 0\)）。
  • \(x_0 \in \mathbb{R}^p\): 新的测试点，不可观测（但假设其分布已知）。
  • \(R_{n,\lambda}(X)\): 条件于 \(X\) 的总体预测风险，是本文研究的核心随机变量。定义为 \(R_{n,\lambda}(X) = \mathbb{E}[ \{x_0^\top(\hat{\beta}_\lambda - \beta)\}^2 | X]\)。
  • \(\hat{\Sigma} = \frac{1}{n} X^\top X\): 样本协方差矩阵。
  • \(\lambda_i\): 样本协方差矩阵 \(\hat{\Sigma}\) 或 \(\frac{1}{n} X X^\top\) 的正特征值。
  • \(\gamma = p/n\): 维度比，是渐近分析的关键参数。
  • \(\rho = |1-\gamma|\): 硬边（hard edge）的“厚度”，即零特征值的个数（当 \(p>n\)）或样本协方差矩阵的秩亏程度。
  • \(b_n\): 确定性偏差项。
  • \(H_n = \frac{1}{n} \sum_i \lambda_i^{-1}\): 正谱逆迹（positive spectrum inverse trace），是风险中唯一的随机部分。
  • \(r^*\): 风险的 Marchenko-Pastur 极限值（确定性预测）。

• 模型：

  • 线性模型：\(y = X\beta + \varepsilon\)。
  • 随机效应假设（Dobriban & Wager, 2018）：\(\beta\) 被视为随机向量，\(\mathbb{E}[\beta] = 0\)，\(\mathbb{E}[\beta\beta^\top] = \frac{\alpha^2}{p} I_p\)。这简化了偏差项，使风险波动完全由谱统计量 \(H_n\) 驱动。
  • 噪声：\(\varepsilon \sim N(0, I_n)\)，独立于 \(X\) 和 \(\beta\)。
  • 协变量：\(X\) 的条目是独立同分布的，均值为0，方差为1。在主要结果中，假设其分布满足特定条件（如高斯、有界密度、log-Sobolev 不等式）。
  • 比例渐近：\(p/n \to \gamma \in (0, \infty) \setminus \{1\}\)。\(\gamma \neq 1\) 保证了硬边 \(\rho > 0\)。

• 可观测数据：

  • 研究者能观测到的是 \((X, y)\) 的样本。
  • 想要但观测不到的量：真实系数 \(\beta\)、噪声 \(\varepsilon\)、新测试点 \(x_0\) 及其预测误差。风险 \(R_{n,\lambda}(X)\) 本身也是一个潜在量（因为它依赖于未观测到的 \(\beta, \varepsilon, x_0\) 的分布），但通过模型假设，它可以被表示为可观测的 \(X\) 的谱函数（公式 (3)）。

第二步：讲最小内核

本文的核心数学问题可以归结为：对于一个随机矩阵 \(G \in \mathbb{R}^{N \times q}\)（其中 \(N = \max(n,p), q = \min(n,p)\)），其条目是独立同分布的轻尾随机变量，统计量 \(H_n = \frac{1}{n} \sum_{i=1}^q \lambda_i^{-1}\)（其中 \(\lambda_i\) 是 \(\frac{1}{n} G^\top G\) 的特征值）的右尾概率 \(\mathbb{P}(H_n > h + \delta)\) 以多快的速率衰减到0？

最简特例：固定维度下的多项式尾

为了理解核心机制，我们考虑最简单的特例：固定维度。即 \(N\) 和 \(q\) 是固定的常数，不随 \(n\) 增长。此时，我们关心的是当阈值 \(x \to \infty\) 时，\(\mathbb{P}(H_n > x)\) 的衰减速率。

• 核心思路：\(H_n\) 很大，意味着至少有一个特征值 \(\lambda_i\) 非常接近0。一个特征值接近0，等价于矩阵 \(G\) 的某一列几乎落在其他列张成的子空间里（即列向量几乎线性相关）。这种“近线性相关”的概率决定了尾部的形状。
• 数学推导（定理1的直觉）：
  1. 负二阶矩恒等式（Lemma 1）：\(\text{Tr}((G^\top G)^{-1}) = \sum_{i=1}^q \frac{1}{D_i^2}\)，其中 \(D_i\) 是第 \(i\) 列到其他列张成子空间的距离。
  2. 事件转化：\(\{H_n > x\}\) 意味着至少有一个 \(D_i^2 < q/x\)。
  3. 小球概率：对于一个固定的子空间 \(H\)（由 \(q-1\) 列张成），其补空间的维数是 \(d = N - (q-1) = r+1\)。一个独立同分布随机向量 \(Z\) 落在距离 \(H\) 为 \(t\) 以内的概率，由小球估计（small-ball estimate）控制。在合适的假设下（有界密度），这个概率大约是 \(t^d\) 的量级。
  4. 尾部指数：因此，\(\mathbb{P}(D_i < t) \approx t^{r+1}\)。代入 \(t = \sqrt{q/x}\)，得到 \(\mathbb{P}(H_n > x) \approx x^{-(r+1)/2}\)。

这个特例揭示了整篇论文的核心机制：尾部风险是由单个特征值（或等价地，单个列向量）接近硬边（0）驱动的。尾部衰减的指数由“硬边的厚度”\(r = |N-q| = |p-n|\) 决定。当维度固定时，这个指数是多项式（幂律）的，意味着尾部很“重”。

在高维比例渐近下（\(p, n \to \infty\)），这个机制仍然成立，但需要更精细的分析。因为现在 \(q\) 也在增长，简单的并集界会失效。核心结论是：右尾衰减速率从多项式变为 \(n\log n\) 尺度，但驱动机制仍然是单个特征值达到 \(O(1/n)\) 的微观尺度。而左尾则不同，它需要所有特征值集体“向右移动”，因此衰减速率是更快的 \(n^2\) 尺度。

三、这篇论文做了什么

三句话

1. 研究了什么问题：高维线性插值模型（ridgeless regression）的尾部风险，即其预测风险发生罕见但极端偏差的概率，并与 ridge 回归进行对比。
2. 核心工具/方法：大偏差理论（large deviation theory）和随机矩阵理论（random matrix theory），特别是 Wishart 矩阵的谱大偏差原理和硬边特征值的精细估计。
3. 主要结论：Ridgeless regression 的右尾风险衰减速率仅为 \(n\log n\) 尺度，而 ridge 回归的右尾风险衰减速率为 \(n^2\) 尺度。这一巨大差距量化了插值模型在尾部脆弱性上的代价。左尾风险则相反，两者都以 \(n^2\) 尺度衰减。

关键设定与假设

• 设定：线性回归模型 \(y = X\beta + \varepsilon\)，随机效应 \(\beta\)，高斯噪声 \(\varepsilon\)。协变量 \(X\) 的条目独立同分布，均值为0，方差为1。
• 比例渐近：\(p/n \to \gamma \in (0, \infty) \setminus \{1\}\)。\(\gamma \neq 1\) 是关键，它保证了 Marchenko-Pastur 谱的下确界 \(\ell > 0\)，从而使得“硬边”机制（特征值接近0）是一个罕见事件。
• 分布假设：
  • Assumption A (Gaussian)：用于左尾的 \(n^2\) 尺度 LDP 和谱大偏差原理。提供了精确的特征值联合密度（Laguerre 系综）。
  • Assumption B (General)：用于右尾的 \(n\log n\) 尺度结果。条件包括：
    • B.1 (Normalization)：均值为0，方差为1。
    • B.2 (Bounded density)：密度有上界。用于小球估计的上界。
    • B.3 (Nondegeneracy near zero)：密度在0附近有正下界。用于小球估计的下界。
    • B.4 (Log-Sobolev inequality)：对数索伯列夫不等式。用于控制非微观谱统计量的浓度（Lipschitz 函数）。
  • 相比已有文献：本文的 Assumption B 比纯高斯假设更宽泛，但比完全通用的次高斯假设更强（特别是 B.2 和 B.3 用于硬边分析）。这反映了在分析硬边特征值时，需要比简单矩条件更精细的局部结构。

主要结果

• 定理1（固定维度多项式右尾）：在固定维度下，ridgeless 风险 \(R_n\) 的右尾以多项式速率衰减：\(\mathbb{P}(R_n > b_n + x) \asymp x^{-(|p-n|+1)/2}\)。指数由 \(r = |p-n|\) 决定。这揭示了尾部脆弱性的定性特征（重尾）。
• 定理2（比例渐近右尾 LDP）：在比例渐近下，对于任意固定 \(\delta > 0\)，\(\lim_{n\to\infty} \frac{1}{n\log n} \log \mathbb{P}(R_n > r^* + \delta) = -\frac{|1-\gamma|}{2}\)。这给出了尾部衰减的精确速率（\(n\log n\) 尺度），常数由 \(\rho = |1-\gamma|\) 决定。这是本文最核心的定量结论。
• 定理3（高斯左尾 LDP）：在高斯设计下，左尾风险以 \(n^2\) 尺度衰减：\(\lim_{n\to\infty} \frac{1}{n^2} \log \mathbb{P}(R_n \le x) = -\mathcal{J}_{\kappa_\gamma, \rho_\gamma}((x-b_\gamma)/\kappa_\gamma)\)。速率函数 \(\mathcal{J}\) 由 Wishart 谱 LDP 的收缩原理给出。
• 定理4 & 命题9（Ridge 回归的右尾抑制）：对于任何固定 \(\lambda > 0\)，ridge 风险的右尾以 \(n^2\) 尺度衰减（在高斯和一般假设下）。这直接与定理2形成对比，量化了正则化对尾部风险的巨大影响。
• 定理5 & 6（算法无关下界）：任何精确线性插值算法（不限于最小范数）的风险都受限于 \(\text{Tr}((XX^\top)^{-1})\)。因此，它们都继承了 ridgeless 回归的多项式尾（固定维度）和 \(n\log n\) 右尾（比例渐近）下界。这表明尾部脆弱性是插值本身的固有属性，而非特定算法的缺陷。

证明路线与技术技巧（以定理2为例）

整体路线：证明 \(\mathbb{P}(H_n > h + \delta) = \exp\{-(\rho/2 + o(1)) n \log n\}\)。

1. 下界（构造性）：证明存在一个事件，其概率至少为 \(\exp\{-(\rho/2 + o(1)) n \log n\}\)，且该事件能导致 \(H_n > h + \delta\)。

   • 构造事件：让最小的特征值 \(\lambda_{1,n}\) 变得非常小，达到 \(O(1/n)\) 的微观尺度。即 \(\lambda_{1,n} \le c/n\)。
   • 概率估计：\(\lambda_{1,n}\) 很小等价于矩阵 \(G\) 的某一列几乎落在其他列张成的子空间里。利用小球估计的下界（Proposition 2）和Grassmannian 覆盖（Lemma 9），可以证明 \(\mathbb{P}(\lambda_{1,n} \le c/n) \ge \exp\{-(\rho/2 + o(1)) n \log n\}\)。这个下界是紧的。

2. 上界（排除法）：证明任何导致 \(H_n > h + \delta\) 的事件的概率都不超过 \(\exp\{-(\rho/2 + o(1)) n \log n\}\)。

   • 谱分解：将特征值空间分为两部分：非微观部分（\(\lambda_i \ge \eta_n\)）和微观硬边部分（\(\lambda_i < \eta_n\)），其中 \(\eta_n = n^{-\chi}\) 是一个缓慢衰减到0的阈值。
   • 控制非微观部分：非微观部分的贡献 \(M_n\) 是一个有界 Lipschitz 谱统计量。利用 log-Sobolev 不等式和 Lipschitz 浓度（Lemma 3），可以证明 \(M_n\) 偏离其期望的概率是 \(\exp\{-\Omega(n^2 \eta_n^4)\}\)，这比 \(n\log n\) 尺度快得多，因此可以忽略。
   • 控制微观部分：微观部分的贡献 \(S_n\) 是唯一可能达到 \(n\log n\) 尺度的部分。需要证明，要让 \(S_n > \delta/2\)，最便宜的机制就是只有一个特征值达到 \(O(1/n)\) 尺度。
     • 加权鸽巢原理（Lemma 4）：将事件 \(\{S_n > \delta/2\}\) 转化为一系列事件 \(\{\lambda_{k,n} \le A k^\theta / n\}\) 的并集。这意味着，如果 \(S_n\) 很大，那么必然存在某个 \(k\)，使得第 \(k\) 小的特征值小于某个与 \(k\) 相关的阈值。
     • 硬边计数估计（Proposition 6）：对于每个 \(k\)，估计 \(\mathbb{P}(\lambda_{k,n} \le t)\)。这个估计的上界是 \(\exp\{C n k \log \log n\} t^{k(r_n + k)/2}\)。
     • 求和与主导项分析：将 \(k\) 从1到 \(K_n\) 求和。分析发现，当 \(k=1\) 时，概率上界为 \(\exp\{-(\rho/2 + o(1)) n \log n\}\)。对于 \(k \ge 2\)，概率上界要小得多（指数上多一个 \(k\) 因子）。因此，\(k=1\) 的项（即单个微观特征值）是主导项。

关键跳跃点： - 从固定维度到比例渐近：固定维度下，简单的并集界和小球估计就足够了。但在比例渐近下，\(q\) 增长，并集界会给出一个非紧的指数上界。因此，需要更精细的有序特征值分析（Proposition 6）和加权鸽巢原理（Lemma 4）来证明 \(k=1\) 是最优的。 - 分离微观与非微观贡献：如何选择一个合适的阈值 \(\eta_n\)，使得非微观部分能被浓度不等式控制（\(n^2\) 尺度），而微观部分又能被硬边分析覆盖（\(n\log n\) 尺度）。作者选择 \(\eta_n = n^{-\chi}\) 且 \(0 < \chi < 1/4\)，巧妙地平衡了两种机制。

技术技巧点名： - 小球估计（Small-ball estimates）：用于控制列向量到子空间的距离（Proposition 1 & 2）。这是分析硬边特征值的核心工具。 - Grassmannian 覆盖：用于将“存在一个低维子空间使得投影很小”的事件离散化，从而进行概率估计（Lemma 9）。 - 加权鸽巢原理：将“微观特征值总贡献大”的事件转化为“某个有序特征值特别小”的事件，从而可以利用有序特征值的概率界（Lemma 4）。 - Lipschitz 浓度不等式：用于控制非微观谱统计量（Lemma 3），这依赖于 log-Sobolev 不等式。 - Wishart 谱大偏差原理：用于分析左尾（\(n^2\) 尺度），这是高斯设计的特有工具。

真实例子与应用

有。论文第8节提供了数值实验。 - 数据/场景：模拟数据。固定 \(q=6\)，改变 \(r = N-q \in \{0,1,3,5\}\)。使用高斯、拉普拉斯和均匀三种分布的随机矩阵 \(G\)。 - 方法应用：计算 \(Y = \text{Tr}((G^\top G)^{-1})\) 的样本，并绘制其生存函数的 log-log 图。 - 结果： - 验证定理1：log-log 图的斜率（尾部指数）与理论值 \(-(r+1)/2\) 高度吻合（见表1）。例如，对于高斯分布，\(r=0\) 时斜率为 -0.50（理论 -0.5），\(r=1\) 时为 -1.01（理论 -1）。 - 验证机制：图1显示，当条件于 \(Y\) 的极端上尾分位数时，最小特征值的贡献（\(1/\lambda_{\min} / Y\)）的中位数接近1。这直接验证了“单个硬边特征值驱动右尾”的核心机制。 - 目的：验证理论预测（多项式尾指数和单特征值机制）在有限样本下的准确性，并展示其对不同分布（高斯、拉普拉斯、均匀）的稳健性。

🔎 结论是否比证明窄

• 定理2的常数：定理2给出了精确的极限 \(\lim \frac{1}{n\log n} \log \mathbb{P} = -\rho/2\)。但证明中的上界和下界都依赖于“对于所有足够大的 \(n\)”和“\(o(1)\)”项。结论本身是精确的，但证明是渐近的。
• 算法无关下界（定理5、6）：这些下界是紧的吗？作者明确指出：“匹配的上界仍然是特定于最小范数估计量的”。也就是说，对于一般的线性插值器，我们只知道其尾部风险至少像 ridgeless 一样差（下界），但不知道它是否可能更差（上界）。结论比证明窄：下界是严格的，但上界只对最小范数插值器成立。
• 左尾 LDP（定理3）：该定理的证明依赖于高斯假设（Assumption A）下的精确 Wishart 谱 LDP。作者在命题9中给出了一个在一般假设（Assumption B）下 ridge 右尾的 \(n^2\) 上界，但没有给出 ridgeless 左尾在一般假设下的类似结果。因此，定理3的结论（精确 LDP）比其证明（仅限高斯）窄。这是一个明确的开放问题。

四、开放问题

1. 一般分布下的左尾 LDP：定理3的 \(n^2\) 尺度左尾 LDP 仅在高斯假设下证明。在更一般的 Assumption B 下，ridgeless 风险的左尾是否仍然以 \(n^2\) 尺度衰减？其速率函数是什么？（扎根于：定理3的证明依赖于 Wishart 谱 LDP，而该 LDP 在高斯之外不成立。）
2. 非线性插值器的尾部行为：本文的结果严格限于线性插值器。对于更复杂的非线性模型（如核 ridgeless 回归、浅层神经网络），其尾部风险是否也存在类似的“硬边”机制？其衰减速率是 \(n\log n\) 还是其他？（扎根于：论文的引言和结论部分，将线性模型作为“典型模型”，但未讨论非线性。）
3. 算法无关上界：定理5和6给出了所有精确线性插值器的下界。是否存在一个上界，对所有（或一大类）精确线性插值器都成立？或者，是否存在某些插值算法，其尾部风险比最小范数插值器更差（例如，具有更慢的衰减速率）？（扎根于：第7节末尾的 Remark 5，明确指出“匹配的上界仍然是特定于最小范数估计量的”。）
4. 更紧的有限样本界：定理2给出了渐近精确的 \(n\log n\) 速率。能否得到非渐近的、显式的有限样本上界，例如 \(\mathbb{P}(R_n > r^* + \delta) \le C n^{-c \rho} \log n\) 或类似形式？这对于实际应用中的风险校准可能更有用。（扎根于：定理2的证明是渐近的，依赖于 \(o(1)\) 项。）

---

Maintained by 陈星宇 · Homepage · Source on GitHub

评论