跳转至

Minimax Optimal Estimator and Improved Error Rate for the MLE in Logistic Regression with Gaussian Design

作者: Junren Chen, Arya Mazumdar
主题: 高维统计 / 随机矩阵
相关性: 8/10
链接: https://arxiv.org/abs/2608.17260

一、领域脉络与小综述

这个方向是什么

本文研究的子方向是高斯设计下逻辑回归的有限样本参数估计，核心问题是：给定 \(n\) 个 i.i.d. 样本 \(\{(x_i,y_i)\}\)，其中 \(x_i \sim N(0,I_d)\)，\(y_i|x_i \sim \text{Bernoulli}(s(x_i^\top \theta^*))\)，\(s(a)=(1+e^{-a})^{-1}\)，如何以 \(\ell_2\) 误差估计未知参数向量 \(\theta^* \in \mathbb{R}^d\)（范数 \(R=\|\theta^*\|_2 \ge 1\)）？该方向当前成熟度：方向估计的极小极大率已明确（\(\Theta(\sqrt{d/(nR)})\)），但范数估计和全参数估计的极小极大率此前未知；MLE 的有限样本保证虽有多项工作，但最优性未定。

发展脉络（history）

  • 奠基工作：高维渐近理论。Sur & Candès (2018) 和 Candès & Sur (2018) 建立了高维比例 \(d/n \to \delta\) 下 MLE 的渐近分布和存在性相变，揭示了 MLE 的偏差结构。本文引用 [13, 10] 作为“rigorous evidence from the high-dimensional asymptotic theory”。
  • 有限样本分析的早期尝试。Ostrovskii & Bach (2018) 利用 self-concordance 给出 M-estimator 的有限样本率 \(O(d/n)\)，但依赖局部曲率参数，对逻辑回归未得到最优的 \(R\) 依赖。本文指出其“exhibit worse dependence on \(R\)”。
  • 方向估计的极小极大下界与匹配上界。Hsu & Mazumdar (2024) 建立了方向估计的极小极大下界 \(\Omega(\sqrt{d/(nR)})\)，并证明该下界被梯度下降（Matsumoto & Mazumdar, 2025）和 MLE（Chardon et al., 2024）达到（至多对数因子）。本文引用 [6, Theorem 1] 作为方向估计的基准。
  • MLE 的有限样本保证。Chardon et al. (2024) 给出 MLE 的范数估计误差 \(O(\sqrt{R^3 d/n})\) 和方向误差 \(O(\sqrt{d/(nR)})\)，这是本文之前“best known finite-sample parameter estimation guarantees”。Kuchelmeister & van de Geer (2023) 在 probit 模型下得到类似结果（含对数因子）。本文的改进直接建立在其基础上。
  • 梯度下降分析。Chen & Mazumdar (2026) 分析了梯度下降的有限样本表现，但误差率劣于 (3)，且未达到极小极大最优。
  • 本文位置：首次给出范数估计的极小极大下界 \(\Omega(\sqrt{R^3/n})\)，将 MLE 的范数误差率从 \(O(\sqrt{R^3 d/n})\) 改进到 \(\tilde{O}(\sqrt{R^3/n} + R^2 d/n)\)，并构造去偏估计器达到极小极大最优率 \(O(\sqrt{R^3/n})\)，从而完整刻画全参数估计的极小极大率 \(\Theta(\sqrt{Rd/n} + \sqrt{R^3/n})\)。

子线索聚类

  1. MLE 的有限样本分析：Chardon et al. (2024)、Kuchelmeister & van de Geer (2023)、Ostrovskii & Bach (2018)。核心工具：self-concordance、局部覆盖、Bernstein 不等式。关注 MLE 的存在性和误差率。
  2. 高维渐近理论：Sur & Candès (2018)、Candès & Sur (2018)、Zhao, Sur & Candès (2022)。核心工具：state equations、proximal operator。提供精确的渐近偏差和分布，但限于固定 \(R\) 和比例极限。
  3. 算法与计算：Matsumoto & Mazumdar (2025)（ReLU 损失 + 迭代硬阈值）、Chen & Mazumdar (2026)（梯度下降）。关注计算效率与统计最优性的权衡。
  4. 极小极大下界与最优估计：本文是第一条子线索，首次建立范数估计的下界并构造最优估计器。

这个方向在追问的核心问题

  • Q1：MLE 的有限样本误差率是否紧？能否改进？
  • Q2：全参数 \(\theta^*\) 的极小极大最优 \(\ell_2\) 误差率是什么？
  • Q3：是否存在计算上高效的极小极大最优估计器？
  • Q4：MLE 的 \(R^2 d/n\) 项是固有偏差还是证明假象？

当前主流方法：MLE 及其变体（如去偏、样本分裂）。已知瓶颈：MLE 的范数估计存在维度依赖的偏差，在 \(n \ll R d \min\{d, R^2\}\) 时可能次优。

⚠️ 作者的 framing（必须明确标注成“这是作者的说法”）

作者将缺口 frame 为：“the minimax optimal error rate has not been characterized” 和 “the estimation performance of the MLE … is not fully understood”。他们声称 MLE 的 \(R^2 d/n\) 项是“intrinsic bias of the MLE”，并以此 justify 构造去偏估计器的必要性。竞争路线（如梯度下降、ReLU 损失）被淡化：作者指出梯度下降的误差率 (5) 虽在某些条件下优于 (4)，但“one cannot claim that \(\tilde{\theta}\) is a better estimator than the MLE since (4) may not be sharp”。什么明显该被引/该存在、却没出现在 intro 里？ 未见对非高斯设计下 MLE 有限样本分析的引用（如 van de Geer 等人的工作），作者在结论中承认“it remains rather subtle to identify these designs”。此外，关于计算-统计权衡的文献（如低度多项式障碍）未被提及，尽管本文的去偏估计器涉及样本分裂和 U-统计量，其计算复杂度与 MLE 相当，但未讨论是否可被更快的算法超越。

张力

未见明显对立引用。各工作主要在设定（固定 \(R\) vs 增长 \(R\)、有限样本 vs 渐近）和工具上互补，结论一致：MLE 的范数估计存在偏差，且方向估计容易、范数估计困难。

二、最核心、最简单的例子 / 数学问题

第一步：符号、模型、可观测数据交代清楚

  • 符号：
  • \(\theta^* \in \mathbb{R}^d\)：未知参数向量，目标估计量。
  • \(R = \|\theta^*\|_2 \ge 1\)：参数范数（信号强度、逆温度）。
  • \(v^* = \theta^* / R \in \mathbb{S}^{d-1}\)：参数方向。
  • \(x_i \in \mathbb{R}^d\)：协变量，i.i.d. \(N(0, I_d)\)。
  • \(y_i \in \{0,1\}\)：二值响应，给定 \(x_i\) 服从 Bernoulli，成功概率 \(s(x_i^\top \theta^*)\)，其中 \(s(a) = (1+e^{-a})^{-1}\)。
  • \(n\)：样本量；\(d\)：维度。
  • \(\hat{\theta}_{\text{MLE}}\)：极大似然估计，\(\hat{R}_{\text{MLE}} = \|\hat{\theta}_{\text{MLE}}\|_2\)，\(\hat{v}_{\text{MLE}} = \hat{\theta}_{\text{MLE}} / \hat{R}_{\text{MLE}}\)。
  • \(q(r) = \mathbb{E}_{g \sim N(0,1)}[g \, s(rg)]\)：出现在梯度期望中，单调递增，\(q'(r) \asymp (1+r)^{-3}\)。
  • \(\alpha = \langle \tilde{v}, v^* \rangle\)：方向估计与真实方向的余弦。

  • \(\beta = \sqrt{1-\alpha^2}\)：正交分量范数。

  • 模型：数据生成机制如 Assumption 2.1。已知：协方差为 \(I_d\)，链接函数为 logistic。未知：\(\theta^*\)（即 \(R\) 和 \(v^*\)）。要估的对象：\(\theta^*\)（或 \(R\)、\(v^*\) 分别）。

  • 可观测数据：研究者实际能观测到的是 \(\{(x_i, y_i)\}_{i=1}^n\)，其中 \(x_i\) 是 \(d\) 维高斯向量，\(y_i\) 是 0/1 标签。不可观测：潜在变量（无）、\(\theta^*\) 本身。识别依赖 logistic 模型假设（正确设定）。

第二步：讲最小内核——一维特例（\(d=1\)）

将一般设定剥到最简：令 \(d=1\)，则 \(\theta^* = R\)（标量，\(R \ge 1\)），\(v^* = 1\)。样本：\(x_i \sim N(0,1)\)，\(y_i|x_i \sim \text{Bernoulli}(s(x_i R))\)。目标：从 \(n\) 个样本估计 \(R\)。

为什么这个特例抓住了核心困难？ 方向估计在 \(d=1\) 时退化为符号估计（已知 \(v^*=1\)），因此全参数估计的困难完全来自范数估计。本文的极小极大下界 \(\Omega(\sqrt{R^3/n})\) 在一维下仍然成立（且证明更直接），而 MLE 的偏差 \(R^2 d/n\) 在一维下变为 \(R^2/n\)，仍可能主导误差。

在一维下，本文的核心结果退化为： - 极小极大下界（Theorem 2.1 特例）：存在常数 \(c>0\)，使得对任何估计量 \(\tilde{R}\)，

\[\sup_{R \in [R_0, 2R_0]} \mathbb{E}_{R} |\tilde{R} - R| \ge c \sqrt{R_0^3 / n}.\]
证明：取 \(R_1 = R_0\)，\(R_2 = R_0 + h\)，\(h = \kappa \sqrt{R_0^3/n}\)。计算 KL 散度：
\[D_{\text{KL}}(P_{R_1} \| P_{R_2}) = n \mathbb{E}_Z D_{\text{KL}}(\text{Bernoulli}(s(R_1 Z)) \| \text{Bernoulli}(s(R_2 Z))) \le C n h^2 / R_0^3 = C \kappa^2.\]
选 \(\kappa\) 小使 KL \(\le 1/2\)，则 TV \(\le 1/2\)，Le Cam 不等式给出下界 \(h/8\)。

  • MLE 的误差率（Theorem 2.2 特例）：\(\hat{R}_{\text{MLE}}\) 满足

    \[|\hat{R}_{\text{MLE}} - R| = \tilde{O}\left( \sqrt{\frac{R^3}{n}} + \frac{R^2}{n} \right).\]
    证明思路：利用一阶最优性条件 \(q(\hat{R}) - q(R) = -S_n(\hat{R})\)，其中 \(S_n(r) = \frac{1}{n} \sum_i (s(r x_i) - y_i) x_i - \mathbb{E}[\cdot]\)。通过 Bernstein 不等式和 Lipschitz 性质控制 \(S_n\) 在区间 \([R/2, 2R]\) 上的一致界，得到 \(\sqrt{R^3/n}\) 项；而 \(R^2/n\) 项来自方向误差的平方（在一维下方向误差为 0，但证明中仍保留该结构，实际来自 \(R^3 \|\hat{v} - v^*\|_2^2\) 项，在一维下 \(\hat{v}=1\) 故该项为 0，但一般证明中该项贡献 \(R^2 d/n\)）。

  • 去偏估计器（Algorithm 1 特例）：由于 \(d=1\)，\(\tilde{v}=1\)，Step 2 的 1 维 MLE 直接给出 \(\hat{r}\)，其偏差 \(R - r^\circ = 0\)（因为 \(\alpha=1\)），因此无需去偏。但若考虑一般 \(d\)，去偏步骤通过 U-统计量估计 \(\beta^2 q(R)^2\) 来修正方向误差导致的偏差。

核心数学困难：当 \(R\) 大时，\(s(x_i R)\) 接近 0 或 1，响应几乎确定，信息量小，导致 Fisher 信息量 \(q'(R) \asymp R^{-3}\) 很小，从而范数估计的方差下界为 \(\Omega(\sqrt{R^3/n})\)。MLE 的额外偏差 \(R^2 d/n\) 源于方向估计误差 \(\|\hat{v} - v^*\|_2^2 \sim d/(nR)\) 通过非线性映射放大为 \(R^3 \cdot (d/(nR)) = R^2 d/n\)。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：高斯设计下逻辑回归的有限样本参数估计，特别是参数范数 \(R\) 和全参数 \(\theta^*\) 的极小极大最优误差率，以及 MLE 的改进误差率。
  2. 核心工具/方法：Le Cam 不等式（下界）、确定性分解 + 局部覆盖（MLE 上界）、样本分裂 + 去偏 U-统计量 + Hanson-Wright 不等式（最优估计器）。
  3. 主要结论：范数估计的极小极大下界为 \(\Omega(\sqrt{R^3/n})\)，MLE 的范数误差率改进为 \(\tilde{O}(\sqrt{R^3/n} + R^2 d/n)\)，构造的去偏估计器达到 \(O(\sqrt{R^3/n})\)（极小极大最优）；全参数估计的极小极大率为 \(\Theta(\sqrt{Rd/n} + \sqrt{R^3/n})\)，MLE 在 \(n \ge R d \min\{d, R^2\}\) 时接近最优。

关键设定与假设

  • Assumption 2.1：\(x_i \sim N(0, I_d)\)，\(y_i|x_i \sim \text{Bernoulli}(s(x_i^\top \theta^*))\)，\(R = \|\theta^*\|_2 \ge 1\)。这是全文的基础。
  • 额外条件：\(n \gtrsim R d\)（保证 MLE 存在且方向估计有效，见 Lemma 5.1）；对于去偏估计器，还需 \(n \gtrsim R(d+t)\) 以控制概率事件。
  • 相比已有文献：与 Chardon et al. (2024) 相同的设计假设，但本文不要求 \(d\) 固定或 \(R\) 有界；与 Hsu & Mazumdar (2024) 相比，本文关注范数而非方向；与 Sur & Candès (2018) 相比，本文是有限样本而非渐近。

主要结果

  • Theorem 2.1（范数估计极小极大下界）：存在 \(c>0\)，若 \(n \ge C R_0\)，则
    \[\inf_{\tilde{R}} \sup_{R \in [R_0, 2R_0]} \mathbb{E}_{R v^*} |\tilde{R} - R| \ge c \sqrt{R_0^3 / n}.\]
    证明：Le Cam 不等式，构造两个假设 \(R_0\) 和 \(R_0 + h\)，计算 KL 散度上界 \(C n h^2 / R_0^3\)，选 \(h = \kappa \sqrt{R_0^3/n}\) 使 TV \(\le 1/2\)。
  • Theorem 2.2（MLE 范数估计改进率）：若 \(n \ge C R d\)，则以概率 \(\ge 1 - C e^{-c d} - C n^{-1}\)，
    \[|\hat{R}_{\text{MLE}} - R| \le C \left( \sqrt{\frac{R^3 \log(nR)}{n}} + \frac{R^2 d \log(nR)}{n} \right).\]
    改进点：从 \(O(\sqrt{R^3 d/n})\) 到 \(\tilde{O}(\sqrt{R^3/n} + R^2 d/n)\)，去掉了方向估计误差平方项中的 \(d\) 因子（但引入了新的 \(R^2 d/n\) 项）。
  • Theorem 2.3（去偏估计器极小极大最优）：若 \(\min\{m_1, m_2, m_3\} \ge c n\)，\(n \ge C R (d+t)\)，则以概率 \(\ge 1 - C e^{-c t}\)，
    \[|\hat{R}_{\text{DB}} - R| \le C \sqrt{R^3 t / n}.\]
    匹配下界（至多对数因子），因此是极小极大最优。
  • Theorem 3.1（全参数极小极大下界）：若 \(n \ge C (R_0 + d/R_0)\)，则
    \[\sup_{\theta^* \in \Theta_{R_0}} \mathbb{E}_{\theta^*} \|\tilde{\theta} - \theta^*\|_2 \ge c \left( \sqrt{\frac{R_0 d}{n}} + \sqrt{\frac{R_0^3}{n}} \right).\]
    证明：分别限制在固定范数（方向估计下界）和固定方向（范数估计下界），取 max。
  • Theorem 3.2（MLE 全参数改进率）：\(\|\hat{\theta}_{\text{MLE}} - \theta^*\|_2 \le C \left( \sqrt{\frac{R d}{n}} + \sqrt{\frac{R^3 \log(nR)}{n}} + \frac{R^2 d \log(nR)}{n} \right)\)。
  • Theorem 3.3（最优全参数估计器）：Algorithm 2 输出 \(\hat{\theta}_{\text{DB}} = \hat{R}_{\text{DB}} \hat{v}_{\text{MLE}}\) 满足 \(\|\hat{\theta}_{\text{DB}} - \theta^*\|_2 \le C \left( \sqrt{\frac{R(d+t)}{n}} + \sqrt{\frac{R^3 t}{n}} \right)\)，达到极小极大最优。

证明路线与技术技巧（理论型）

整体路线（以 Theorem 2.2 为例）： 1. 确定性分解（Lemma 5.2）：由一阶最优性 \(\nabla L_n(\hat{\theta}_{\text{MLE}}) = 0\) 和梯度期望表达式，导出

\[|\hat{R} - R| \lesssim R^3 \left( \|\hat{v} - v^*\|_2^2 + |S_n(\hat{R}, \hat{v})| \right),\]
其中 \(S_n(r,v) = \langle \nabla L_n(rv) - \mathbb{E}[\nabla L_n(rv)], v \rangle\)。 2. 方向误差控制：由 Lemma 5.1（Chardon et al. 2024），\(\|\hat{v} - v^*\|_2^2 \lesssim d/(nR)\)，贡献 \(R^2 d/n\)。 3. 控制 \(S_n(\hat{R}, \hat{v})\)：分解为 \(S_n(\hat{R}, v^*) + (S_n(\hat{R}, \hat{v}) - S_n(\hat{R}, v^*))\)，然后取上确界： - 对 \(S_n(r, v^*)\)：一维过程，Bernstein 不等式 + 覆盖 \([R/2, 2R]\)（损失对数因子），得 \(\tilde{O}(1/\sqrt{n R^3})\)。 - 对差值：局部化 \(\hat{v}\) 到 \(V_\delta = \{v: \|v - v^*\|_2 \le \delta\}\)，\(\delta \asymp \sqrt{d/(nR)}\)。对固定 \((r,v)\)，Bernstein 给出非均匀界 \(\tilde{O}(\delta / \sqrt{nR})\)；覆盖 \(V_\delta\) 和 \([R/2, 2R]\) 后，损失因子 \(\sqrt{d}\)，得 \(\tilde{O}(\delta d / \sqrt{nR}) = \tilde{O}(d/(nR))\)。乘以 \(R^3\) 得 \(R^2 d/n\)。 4. 合并：得到 \(\tilde{O}(\sqrt{R^3/n} + R^2 d/n)\)。

关键跳跃点： - 从一阶条件到 (11) 的分解：需要利用 \(q(\hat{R}) - q(R) \asymp (\hat{R} - R)/R^3\)（Lemma E.6）和 \(|1 - \langle \hat{v}, v^* \rangle| = \|\hat{v} - v^*\|_2^2 / 2\)。 - 控制差值过程时，需要证明 \(\Delta_i(r,v) = \psi_i(r,v) - \psi_i(r, v^*)\) 的矩以 \(\eta = \|v - v^*\|_2\) 为阶（Lemma A.2），这依赖于对 \(s(r x^\top v)\) 的 Lipschitz 性质和 Gaussian 积分。 - 覆盖论证中，需要证明 \(S_n(r,v) - S_n(r, v^*)\) 关于 \(v\) 是 \(O(\sqrt{d})\)-Lipschitz（利用 \(\|\frac{1}{n} \sum x_i\|_2 \lesssim \sqrt{d}\)），从而覆盖数损失 \(\sqrt{d}\) 因子。

技术技巧点名： - Bernstein 不等式（Lemma E.7）：用于控制固定 \((r,v)\) 下的经验过程偏差，需要矩界（Lemma A.1, A.2）。 - 覆盖论证（Appendix B）：对一维区间和 \(d\) 维球面局部集进行覆盖，结合 Lipschitz 性质将非均匀界提升为一致界。 - Hanson-Wright 不等式（Lemma E.8）：用于控制去偏步骤中 U-统计量的高斯二次型部分 \(Q_m^G\)（见 (53) 和 Lemma 6.2 证明）。 - U-统计量分解：将 \(\hat{B}\) 分解为线性项 \(L_m\)、可交换二次项 \(Q_m^{sc}\) 和高斯二次项 \(Q_m^G\)，分别处理。 - 凸局部化（Lemma 6.1）：通过检验损失函数导数在 \(r^\circ \pm h\) 处的符号，定位 \(\hat{r}\) 在 \(h\) 邻域内，得到 \(\hat{r} - r^\circ\) 的率。 - Le Cam 不等式（Lemma E.10）：用于极小极大下界，结合 Pinsker 不等式和 KL 散度计算。

真实例子与应用

本文在 Section 4 提供了数值实验，使用 Matlab 实现，代码公开。 - 实验 1（Figure 1）：验证 MLE 的偏差。设定固定 \(R=5\) 和增长 \(R=n^{0.15}\)，\(d = \lfloor 0.5 n^{0.7} \rfloor\)，\(n\) 从 4000 到 64000。绘制 \((\hat{R}_{\text{MLE}} - R) / (d / [2R q'(R) n])\)，该比值接近 1，而 \(\sqrt{R^3/n} / (d/[2R q'(R) n])\) 衰减到 0，支持 \(R^2 d/n\) 是 MLE 固有偏差的猜想。 - 实验 2（Figure 2）：比较去偏估计器与 MLE。设定 \(R = \lfloor n^{0.005} \rfloor\)，\(d = \lfloor 0.3 n^{0.8} \rfloor\)，\(n\) 从 6000 到 96000。结果显示 \(\hat{R}_{\text{DB}}\) 的误差远小于 \(\hat{R}_{\text{MLE}}\)，且误差衰减率更陡（\(\sqrt{R^3/n} \asymp n^{-0.4925}\) vs. \(\sqrt{R^3/n} + R^2 d/n \asymp n^{-0.19}\)）。全参数估计 \(\hat{\theta}_{\text{DB}}\) 也优于 MLE。 - 这些例子想说明什么：验证理论预测——MLE 的范数估计存在维度依赖偏差，而去偏估计器消除了该偏差，达到极小最优率。

🔎 结论是否比证明窄

  • 明确窄的地方：Theorem 2.2 的证明中，\(R^2 d/n\) 项来自 \(R^3 \|\hat{v} - v^*\|_2^2\) 和差值过程覆盖的联合贡献，但作者在 Remark 2.2 中承认“it remains an open question to establish that \(\hat{R}_{\text{MLE}} - R \gtrsim R^2 d/n\) in finite samples”。因此，上界中的 \(R^2 d/n\) 是否紧（即 MLE 是否确实以该阶偏差存在）未被证明，仅由渐近展开（Proposition 2.1）和数值实验支持。
  • 泛化 claim：Theorem 2.3 的证明依赖样本分裂（\(m_1, m_2, m_3 \asymp n\)），但 Remark 2.3 指出截断版本 \(\hat{R}_{\text{DB}}^{\text{tr}}\) 在期望意义下达到下界。然而，Algorithm 1 本身需要事先指定分裂比例，且要求 \(n \gtrsim R(d+t)\)，这比 MLE 的存在条件 \(n \gtrsim R d\) 更强（多了一个 \(t\) 因子）。作者未讨论如何自适应选择分裂或放松该条件。
  • 未证明的 conjecture：Section 7 提到“it is also interesting to investigate to what extent our results extend to non-Gaussian designs”，但本文未给出任何非高斯结果，仅引用 Chardon et al. (2024) 对“regular designs”的扩展。

四、开放问题（点到为止，扎根具体语句）

  1. MLE 的有限样本下界：证明 \(\hat{R}_{\text{MLE}} - R \gtrsim R^2 d/n\) 在 \(n \lesssim R d \min\{d, R^2\}\) 时成立。扎根于 Remark 2.2：“it remains an open question to establish that \(\hat{R}_{\text{MLE}} - R \gtrsim R^2 d/n\) in finite samples”。若成立，则 MLE 在 \(n \ll R d \min\{d, R^2\}\) 时次优。

  2. 非高斯设计的扩展：将本文的极小极大最优率推广到更一般的协变量分布（如次高斯、有界支撑）。扎根于 Section 7：“it is also interesting to investigate to what extent our results extend to non-Gaussian designs”。作者指出 Chardon et al. (2024) 对“regular designs”有扩展，但本文的覆盖论证和矩界依赖 Gaussian 性质。

  3. 去偏估计器的计算-统计权衡：本文的去偏估计器需要样本分裂和 U-统计量计算（\(O(m_3^2 d)\) 时间），是否可以在保持统计最优的同时降低计算复杂度（如用在线或随机算法）？扎根于 Algorithm 1 的样本分裂结构，以及研究者对计算-统计权衡的兴趣（见 researcher interests 中的 statistical-computational tradeoff）。注意：本文未讨论计算复杂度，但 U-统计量的计算成本是 \(O(n^2 d)\)，可能成为瓶颈。

  4. 高维比例下的精确渐近：本文的极小极大率在 \(d/n \to \delta > 0\) 时是否仍成立？扎根于 Proposition 2.1 的渐近展开，但该结果仅对固定 \(R\) 和 \(\delta \to 0\) 有效。更一般的 \(\delta\) 下，MLE 的偏差可能更复杂，且去偏估计器的率可能变化。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论