跳转至

A Central Limit Theorem for Regularized M-Estimators

作者: Cosme Louart
主题: 高维统计 / 随机矩阵
相关性: 7/10
链接: https://arxiv.org/abs/2608.15034

一、领域脉络与小综述

这个方向是什么

这个子方向要解决的根本问题是：在高维比例极限（即维度 \(p\) 与样本量 \(n\) 同阶，\(p = O(n)\)）下，如何对正则化经验风险最小化（ERM）估计量的线性泛函进行统计推断（构造置信区间、假设检验）。经典的低维渐近理论（\(p\) 固定，\(n \to \infty\)）在此失效，因为估计量的分布不再由简单的 Fisher 信息量决定。当前该领域的成熟度处于“已有若干特殊设定下的精确渐近结果，但缺乏适用于更一般数据分布的通用定量中心极限定理（CLT）”的阶段。

发展脉络（history）

  • 奠基工作：Huber [10] 和 van der Vaart [18] 建立了固定维度下光滑 M-估计量的一致性与渐近正态性。这是所有后续工作的基准。
  • 主要进展（维度增长但缓慢）：Portnoy [14]、Mammen [13]、He–Shao [9] 证明了当维度 \(p\) 随 \(n\) 增长但增长足够慢（如 \(p^2/n \to 0\)）时的正态逼近。这些结果不适用于比例极限。
  • 当前 frontier（比例极限下的精确渐近）：
    • 高斯设计：Donoho–Montanari [5]、Sur–Candès [17]、Zhao–Sur–Candès [19]、Bellec–Shen–Zhang [2] 在数据列为高斯（可能具有一般协方差）的假设下，通过近似消息传递（AMP）或留一法得到了精确的渐近分布。这些结果非常精确，但高度依赖高斯性。
    • 非高斯设计（但结构性强）：El Karoui 及其合作者 [7, 6] 允许非高斯设计，但假设数据列独立同分布、各向同性或具有独立同分布的元素，并依赖强浓度性质。Lei–Bickel–El Karoui [12] 在固定设计下证明了坐标-wise 正态性。
  • 本文的位置：本文在更弱的分布假设下（数据列独立但不必同分布、不必高斯、不必各向同性、不必有独立同分布元素），证明了定量 CLT。其核心假设是均匀的列向 Poincaré 不等式，这比高斯性或独立同分布元素假设更弱，涵盖了更广泛的分布族（如对数凹分布、某些指数族）。

子线索聚类

  1. 高斯设计下的精确渐近：以 Donoho–Montanari [5]、Sur–Candès [17] 为代表，利用 AMP 算法或留一法推导出估计量的精确极限分布。这些结果非常强大，但严格依赖于数据的高斯性。
  2. 非高斯设计下的渐近理论：以 El Karoui [7, 6] 和 Lei–Bickel–El Karoui [12] 为代表，试图放宽高斯假设，但仍要求较强的结构（如 iid 列、独立同分布元素、固定设计）。本文属于这一线索，但进一步放宽了假设。
  3. 定量正态逼近方法：以 Chatterjee [4] 和 Shao–Zhang [15, 16] 为代表，发展了一套基于 Stein 方法和留一展开的定量 CLT 工具。本文直接使用了 Chatterjee [4] 的微扰正态逼近方法，并对其进行了适应性修改。

这个方向在追问的核心问题

  1. 在比例极限下，正则化 M-估计量的线性泛函何时是渐近正态的？ 当前主流方法（如 AMP）在高斯设计下给出了肯定答案，但非高斯设计下的条件仍在探索中。
  2. 收敛速率是多少？ 已有结果多为定性（收敛到正态），本文给出了一个具体的定量速率 \(O((\log n)^7 n^{-1/4})\)。
  3. 需要什么样的数据分布假设？ 从高斯性到独立同分布元素，再到 Poincaré 不等式，假设在逐步放宽。Poincaré 不等式是否是最小或最自然的条件？
  4. 方差如何估计？ 即使 CLT 成立，方差 \(\sigma_n^2\) 的估计也是一个关键的实际问题。本文证明了方差上界 \(O(1/n)\)，但未给出其估计量。

⚠️ 作者的 framing

  • 作者的缺口 frame：作者将缺口 frame 为“在比例极限下，现有 CLT 要么要求高斯设计，要么要求 iid/各向同性/独立同分布元素等强结构”。因此，本文的“显然的下一步”是“在更弱的分布假设（均匀列向 Poincaré 不等式）下证明定量 CLT”。
  • 被淡化或回避的竞争路线：作者淡化了 AMP 路线的精确性（其收敛速率通常是指数级），而强调其假设的严格性。作者回避了非二次正则化（如 Lasso 的 L1 正则化）的情况，本文的定理明确要求 \(\nabla^3 \rho \equiv 0\)（即二次正则化）。这是本文结果的一个主要限制。
  • 什么明显该被引 / 该存在、却没出现在 intro 里？ 作者没有引用关于高维统计推断中方差估计的文献，例如如何构造一个可行的置信区间（需要估计 \(\sigma_n^2\)）。本文只证明了 CLT 的存在性，但未提供可操作的推断程序。这是一个值得研究者去查的潜在 gap。

张力

未见明显对立引用。所有被引工作都指向同一个目标（高维 M-估计量的分布理论），只是在假设强度和结果精度上存在 trade-off。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：

    • \(X = (x_1, \dots, x_n) \in \mathbb{R}^{p \times n}\)：数据矩阵，列向量 \(x_i \in \mathbb{R}^p\) 是独立观测。
    • \(n\)：样本量。\(p = p_n\)：维度，满足 \(p = O(n)\)（比例极限）。
    • \(\theta \in \mathbb{R}^p\)：参数向量。
    • \(L: \mathbb{R} \to \mathbb{R}\)：损失函数，光滑且一致凸（\(L'' \ge \kappa_L > 0\)）。
    • \(\rho: \mathbb{R}^p \to \mathbb{R}\)：正则化器，强凸（\(\nabla^2 \rho \succeq \kappa I_p\)）。关键：本文主要结果要求 \(\rho\) 是二次的（\(\nabla^3 \rho \equiv 0\)）。
    • \(\Psi_X(\theta) = \frac{1}{n} \sum_{i=1}^n L(x_i^\top \theta) + \rho(\theta)\)：目标函数。
    • \(\hat{\theta} = \arg\min_{\theta \in \mathbb{R}^p} \Psi_X(\theta)\)：正则化 ERM 估计量（要研究的对象）。
    • \(u \in \mathbb{R}^p\)：一个确定性投影方向，满足 \(|u|_2 \le 1\)。
    • \(f_n(X) = \sqrt{n} u^\top \hat{\theta}\)：感兴趣的统计量（线性泛函的缩放版本）。
    • \(\sigma_n^2 = \text{Var}(f_n(X))\)：统计量的方差。
    • \(W_n = (f_n(X) - \mathbb{E}[f_n(X)]) / \sigma_n\)：标准化后的统计量（要证明其收敛到标准正态）。
    • \(G = \nabla^2 \Psi_X(\hat{\theta})^{-1}\)：目标函数在最优解处的 Hessian 矩阵的逆。
    • \(s_i = L'(x_i^\top \hat{\theta})\)：第 \(i\) 个样本的“训练得分”（train score）。
    • \(\hat{\theta}^{-i}\)：去掉第 \(i\) 个样本后的 ERM 估计量。
    • \(\delta_i \hat{\theta} = \hat{\theta} - \hat{\theta}^{-i}\)：留一扰动（leave-one-out displacement）。

  • 模型：

    • 数据生成机制：\(X\) 的列 \(x_1, \dots, x_n\) 是独立的随机向量，不必同分布。
    • 分布假设：每个 \(x_i\) 满足一个均匀的 Poincaré 不等式（Assumption 4），即 \(\text{Var}(f(x_i)) \le C_P \mathbb{E}[|\nabla f(x_i)|_2^2]\) 对所有光滑函数 \(f\) 成立。这控制了分布的尾部行为和浓度性质。
    • 损失函数 \(L\) 和正则化器 \(\rho\) 是已知的、光滑的、强凸的（Assumptions 5-7）。
    • 已知：\(L, \rho\) 的函数形式及其光滑性/曲率常数。
    • 要估的对象：参数向量 \(\theta\)，具体地，其线性泛函 \(u^\top \theta\)。

  • 可观测数据：

    • 实际能观测到：数据矩阵 \(X = (x_1, \dots, x_n)\)。这是唯一的随机输入。
    • 潜在/不可观测：
      • 真实的参数 \(\theta^*\)（如果存在）是未知的。
      • 估计量 \(\hat{\theta}\) 是 \(X\) 的隐函数，没有闭式解（除非 \(L\) 是二次的）。
      • 方差 \(\sigma_n^2\) 是未知的，需要估计。
      • 留一估计量 \(\hat{\theta}^{-i}\) 是构造性的，但计算成本高。
    • 识别：\(\hat{\theta}\) 由优化问题唯一确定。CLT 的证明不依赖于识别一个“真实”参数，而是直接研究 \(\hat{\theta}\) 的抽样分布。

第二步：讲最小内核

最简特例：考虑一个极其简化的情形，它抓住了本文证明的核心数学困难。

  • 设定：

    • 维度 \(p=1\)（单变量）。此时 \(x_i, \theta, u\) 都是标量。
    • 损失函数 \(L(t) = t^2/2\)（二次损失，\(L'' \equiv 1\)）。
    • 正则化器 \(\rho(\theta) = \kappa \theta^2 / 2\)（二次正则化，\(\nabla^3 \rho \equiv 0\)）。
    • 数据 \(x_1, \dots, x_n\) 是独立同分布的，均值为 0，方差为 1，且满足 Poincaré 不等式（例如，标准正态分布）。
    • 投影方向 \(u=1\)。那么 \(f_n(X) = \sqrt{n} \hat{\theta}\)。

  • 核心问题：证明 \(\sqrt{n} \hat{\theta}\) 是渐近正态的，并给出收敛速率。

  • 在这个特例下，事情如何退化：

    1. 目标函数：\(\Psi_X(\theta) = \frac{1}{2n} \sum_{i=1}^n (x_i \theta)^2 + \frac{\kappa}{2} \theta^2 = \frac{\theta^2}{2} \left( \frac{1}{n} \sum_{i=1}^n x_i^2 + \kappa \right)\)。
    2. 估计量：\(\hat{\theta} = 0\)（因为目标函数在 0 处取最小值？不对，这里错了。实际上，如果 \(L\) 是二次的，且没有线性项，那么 \(\hat{\theta}=0\) 是平凡解。我们需要一个非零的“真实”参数。让我们修正这个例子。）

    修正的最简特例：考虑一个线性回归模型，其中 \(y_i = x_i \theta^* + \epsilon_i\)，我们最小化 \(\frac{1}{2n} \sum_{i=1}^n (y_i - x_i \theta)^2 + \frac{\kappa}{2} \theta^2\)。但本文的设定是 \(L(x_i^\top \theta)\)，没有 \(y_i\)。所以，为了体现核心困难，我们考虑一个非二次的损失函数，比如 \(L(t) = \log(1 + e^{-t})\)（逻辑损失），但为了简单，我们考虑一个三次样条损失，使得 \(L''\) 不是常数。

    真正的最小内核：本文的核心数学困难在于处理非二次损失函数带来的非线性。即使 \(p=1\)，当 \(L\) 不是二次函数时，\(\hat{\theta}\) 也没有闭式解。证明的关键是留一展开。

    • 核心思路：将 \(\hat{\theta}\) 与去掉第 \(i\) 个样本后的估计量 \(\hat{\theta}^{-i}\) 联系起来。关键恒等式（Lemma 4.1）是：

      \[\hat{\theta} - \hat{\theta}^{-i} = -\frac{s_i}{n} \bar{G}_i x_i\]
      其中 \(s_i = L'(x_i \hat{\theta})\) 是训练得分，\(\bar{G}_i\) 是 Hessian 矩阵的某种平均逆。这个等式将留一扰动与一个“得分 × 杠杆”项联系起来。

    • 核心困难：\(s_i\) 依赖于 \(\hat{\theta}\)，而 \(\hat{\theta}\) 又依赖于 \(x_i\)。这种相互依赖使得直接分析 \(s_i\) 很困难。本文的突破性想法是用“平均杠杆得分” \(\gamma_i\) 来近似 \(s_i\)，构造一个“平均化后的得分” \(s_i^\zeta\)，它只通过 \(x_i^\top \hat{\theta}^{-i}\) 依赖于 \(x_i\)，从而切断这种循环依赖（Lemma 4.15）。

    • 在这个特例下：

      • 令 \(p=1\)，\(L\) 是光滑且一致凸的（如 \(L(t) = t^2/2 + \delta t^3\)，但需要满足曲率条件）。
      • 那么 \(x_i\) 是标量，\(G_{-i} = \left( \frac{1}{n} \sum_{j \neq i} L''(x_j \hat{\theta}^{-i}) x_j^2 + \kappa \right)^{-1}\) 也是标量。
      • 平均杠杆 \(\gamma_i = \mathbb{E}[x_i^2 G_{-i} / n]\) 是一个常数。
      • 平均化后的得分 \(s_i^\zeta = L'(\zeta_i(x_i \hat{\theta}^{-i}))\)，其中 \(\zeta_i\) 是方程 \(z + \gamma_i L'(z) = x_i \hat{\theta}^{-i}\) 的解。
      • 一阶展开（Theorem 4.9）告诉我们：\(\hat{\theta} - \hat{\theta}^{-i} \approx -\frac{s_i^\zeta}{n} G_{-i} x_i\)。
      • 这个近似将 \(\hat{\theta}\) 的增量表示为一个关于 \(x_i\) 的显式函数（尽管 \(s_i^\zeta\) 和 \(G_{-i}\) 依赖于其他样本）。这使得我们可以应用 Chatterjee 的微扰正态逼近方法（Theorem 2.2），该方法要求统计量是独立随机变量的函数。

    • 一句话总结：本文在数学上干了一件什么事？它证明了，在比例极限下，通过一个巧妙的“平均杠杆得分”技巧，可以将正则化 M-估计量的留一扰动近似为一个关于独立数据列的显式函数，从而利用微扰方法证明其线性泛函的定量 CLT。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在高维比例极限 \(p = O(n)\) 下，证明了正则化 ERM 估计量 \(\hat{\theta}\) 的任意确定性线性泛函 \(\sqrt{n} u^\top \hat{\theta}\) 的定量中心极限定理（CLT）。
  2. 核心工具/方法：结合了二阶留一展开（second-order leave-one-out expansion）和 Chatterjee [4] 的微扰正态逼近方法（perturbative normal-approximation method）。关键创新是引入“平均杠杆得分”（averaged-leverage score）来解耦训练得分与当前数据列的依赖关系。
  3. 主要结论：在数据列独立、满足均匀 Poincaré 不等式、损失函数光滑且一致凸、正则化器为二次的假设下，标准化后的统计量 \(W_n\) 在 Wasserstein 距离下以 \(O((\log n)^7 n^{-1/4})\) 的速率收敛到标准正态分布。同时证明了方差上界 \(\text{Var}(u^\top \hat{\theta}) \le C |u|_2^2 / n\)。

关键设定与假设

  • Assumption 1 (比例极限)：\(p = O(n)\)。这是整个工作的前提，排除了 \(p \ll n\) 或 \(p \gg n\) 的情形。
  • Assumption 2 (初始有界性)：\(|L'(0)| = O(1)\) 和 \(|\nabla \rho(0)|_2 = O(1)\)。这是一个技术性假设，确保梯度在原点附近有界。
  • Assumption 3 (列均值有界)：\(\sup_i |\mathbb{E}[x_i]|_2 = O(1)\)。允许列有非零均值，但要求一致有界。
  • Assumption 4 (Poincaré 不等式)：每个数据列 \(x_i\) 满足一个均匀的 Poincaré 不等式。这是最关键的分布假设，它比高斯性或独立同分布元素假设弱得多，涵盖了广泛的分布族（如对数凹分布）。它提供了矩控制和浓度性质。
  • Assumption 5 (曲率)：损失函数 \(L\) 是 \(C^2\) 的，且 \(L''\) 一致有界且一致正（\(\kappa_L > 0\)）。正则化器 \(\rho\) 是 \(\kappa\)-强凸的。这保证了目标函数是强凸的，从而 \(\hat{\theta}\) 唯一存在且稳定。
  • Assumption 6 (光滑性)：\(L''\) 和 \(\nabla^2 \rho\) 是全局 Lipschitz 的。这是为了进行一阶留一展开所需的。
  • Assumption 7 (三阶曲率)：\(L\) 是 \(C^4\) 的，其三阶和四阶导数有界；\(\rho\) 是 \(C^3\) 的，其三阶微分张量有界且 Lipschitz。这是为了进行二阶留一展开所需的。
  • 核心假设（定理 2.1 额外要求）：\(\nabla^3 \rho \equiv 0\)（即 \(\rho\) 是二次的）且 \(\sigma_n^{-1} = O(1)\)（非退化条件）。二次正则化假设是本文结果的一个主要限制，它简化了留一展开中的正则化器漂移项（\(R_i^\rho = 0\)）。

主要结果

  • Theorem 2.1 (CLT)：在 Assumptions 1-7 及 \(\nabla^3 \rho \equiv 0\)、\(\sigma_n^{-1} = O(1)\) 下，有
    \[d_W(W_n, \mathcal{N}(0,1)) = O\left( \frac{(\log n)^{13}}{\sqrt{n}} \right).\]
    • 直觉：这个定理表明，即使在高维比例极限下，只要数据分布满足 Poincaré 不等式，正则化 M-估计量的线性泛函仍然是渐近正态的。收敛速率是多项式级的（接近 \(n^{-1/2}\)），但被对数因子拖慢。
    • 必要条件：非退化条件 \(\sigma_n^{-1} = O(1)\) 是必要的，否则 CLT 是平凡的（方差为 0 或趋于 0）。
    • 解决的技术难点：主要难点在于处理非二次损失函数带来的非线性，以及在高维下控制留一近似的误差。作者通过引入“平均杠杆得分”和精细的矩估计克服了这些困难。

证明路线与技术技巧

  • 整体路线：

    1. 预备工作（Section 3）：利用 Poincaré 不等式建立数据、估计量 \(\hat{\theta}\) 及其留一版本 \(\hat{\theta}^{-i}\) 的矩界和稳定性界。特别是证明了 \(\hat{\theta}\) 的方差上界 \(O(1/n)\)。
    2. 留一展开（Section 4）：
      • 一阶展开：推导出 \(\hat{\theta} - \hat{\theta}^{-i}\) 的精确表达式（Lemma 4.1），并将其近似为 \(-\frac{s_i}{n} G_{-i} x_i\)（Theorem 4.9）。这里 \(s_i\) 是训练得分，依赖于 \(x_i\)。
      • 引入平均杠杆得分：为了切断 \(s_i\) 对 \(x_i\) 的依赖，定义 \(\gamma_i = \mathbb{E}[x_i^\top G_{-i} x_i / n]\)，并构造一个“平均化后的得分” \(s_i^\zeta\)，它只通过 \(x_i^\top \hat{\theta}^{-i}\) 依赖于 \(x_i\)（Lemma 4.13-4.15）。证明 \(s_i\) 和 \(s_i^\zeta\) 足够接近。
      • 二阶展开：在 \(\nabla^3 \rho \equiv 0\) 下，进一步推导出 \(\hat{\theta} - \hat{\theta}^{-i}\) 的二阶近似，得到一个更精确的表达式 \(d_i(X)\)（Theorem 4.19）。这个近似将留一扰动表示为关于 \(x_i\) 的显式函数。
    3. 协方差敏感性分析（Section 5）：将 Chatterjee 的微扰正态逼近准则（Theorem 2.2）应用于 \(f_n(X) = \sqrt{n} u^\top \hat{\theta}\)。该准则要求控制两个量：
      • 局部增量 \(\omega_\Delta = \sup_i \|\delta_i f_n(X)\|_{L^3}\)，其中 \(\delta_i f_n(X) = f_n(X) - f_n^{-i}(X^{-i})\)。通过一阶展开，证明 \(\omega_\Delta = O(\log n / \sqrt{n})\)。
      • 局部协方差波动 \(\omega_c = \sup_i \sqrt{\text{Var}(\text{Cov}_i(\delta_i f_n(X), \delta_i f_n(X^{[i-1]})))}\)。这是证明中最困难的部分。通过将 \(\delta_i f_n(X)\) 替换为其二阶近似 \(d_i(X)\)，并利用 Poincaré 不等式和复杂的导数计算，证明 \(\omega_c = O((\log n)^{13} / n^{3/2})\)。
    4. 整合：将 \(\omega_\Delta\) 和 \(\omega_c\) 的界代入 Chatterjee 准则，结合 \(\sigma_n^{-1} = O(1)\)，得到最终的 Wasserstein 距离界。

  • 关键跳跃点：

    • 从一阶到二阶展开：一阶展开的误差 \(O(\log n / n)\) 对于控制 \(\omega_c\) 来说太大了（需要 \(o(1/n)\)）。二阶展开是必要的，它通过引入一个包含 \(L'''\) 的校正项，将误差降低到 \(O((\log n)^2 / n^{3/2})\)。
    • 控制 \(\omega_c\)：这是整个证明的“皇冠上的明珠”。它需要计算一个极其复杂的协方差项的方差，并证明其以 \(O(n^{-3/2})\) 的速度衰减。这依赖于对背景矩阵（如 \(Y = G X D X^\top G\)）及其导数的精细估计，以及 Lemma 5.13 中一系列复杂的范数界。

  • 技术技巧点名：

    • Poincaré 不等式：贯穿全文，用于控制矩、方差和导数。特别是其张量化形式（Lemma 3.1）和 \(L^k\) 版本（Lemma B.2）。
    • 留一展开：核心技巧，将 \(\hat{\theta}\) 的增量与单个数据列 \(x_i\) 联系起来。
    • 平均杠杆得分：关键创新，用于解耦得分与当前数据列的依赖。
    • Chatterjee 的微扰正态逼近：提供了一个基于局部协方差和局部增量的 Wasserstein 距离上界（Theorem 2.2）。
    • Sherman-Morrison 公式：在 Lemma 5.4 中用于分解全样本的 Hessian 逆 \(G\) 与留一 Hessian 逆 \(G_{-j}\) 的关系。
    • 条件期望与方差分解：广泛使用条件期望 \(E_i\) 和条件方差 \(\text{Var}_i\) 来处理独立变量。
    • 高阶矩估计：通过 Poincaré 不等式和迭代技巧（如 Lemma B.2 的证明）来获得随机变量的高阶矩界。

真实例子与应用

本文为纯理论论文，无实证例子。

🔎 结论是否比证明窄

是的，结论比证明窄。主要限制在于： 1. 二次正则化：定理 2.1 明确要求 \(\nabla^3 \rho \equiv 0\)。证明中 Section 4.3 和 Section 5 都严重依赖于此假设（例如，\(R_i^\rho = 0\)，以及背景矩阵 \(Y\) 的导数计算）。作者在 Assumption 7 中允许 \(\rho\) 有非零的三阶导数，但最终定理却要求其为 0。这意味着对于 Lasso（L1 正则化）或弹性网等非二次正则化器，该 CLT 不直接适用。这是一个非常强的限制。 2. 非退化假设：\(\sigma_n^{-1} = O(1)\) 是假设而非证明。虽然作者证明了方差上界，但下界需要单独验证。对于某些退化方向 \(u\)，方差可能趋于 0，此时 CLT 不成立。 3. 收敛速率：速率 \(O((\log n)^{13} / \sqrt{n})\) 中的对数因子阶数很高（13 次方），可能不是最优的。作者没有声称这是最优速率。

四、开放问题

  1. 非二次正则化：能否将结果推广到非二次正则化器（如 Lasso 的 L1 范数）？这需要处理 \(\nabla^3 \rho \neq 0\) 带来的额外项，以及非光滑正则化带来的技术困难。扎根点：Theorem 2.1 明确要求 \(\nabla^3 \rho \equiv 0\)，且 Assumption 7 允许但未使用非零的三阶导数。
  2. 更快的收敛速率：能否改进 Wasserstein 距离的收敛速率？\((\log n)^{13} / \sqrt{n}\) 中的高次对数因子是否可以被降低或消除？扎根点：Theorem 2.1 的结论。
  3. 方差估计与可行推断：本文证明了 CLT，但未提供方差 \(\sigma_n^2\) 的估计量。如何构造一个可行的、基于数据的置信区间或假设检验？这需要估计 \(\sigma_n^2\) 并证明其一致性。扎根点：论文只研究了标准化统计量 \(W_n\) 的分布，但未讨论 \(\sigma_n\) 的估计。
  4. 更一般的损失函数：能否将结果推广到非凸损失函数？本文的证明严重依赖强凸性（Assumption 5）。对于非凸损失，\(\hat{\theta}\) 可能不是唯一的，且稳定性分析会完全不同。扎根点：Assumption 5 是证明的基石。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论