跳转至

Deep Regression Learning with Optimal Loss Function

作者: Xuancheng Wang, Ling Zhou, Huazhen Lin
来源: Journal of the American Statistical Association
主题: 非参数 / 半参数
相关性: 6/10
链接: 期刊页 · arXiv

一、领域脉络与小综述

这个方向是什么

本文研究的根本问题是：在非参数回归中，如何设计一个损失函数，使得基于前馈神经网络（FNN）的估计量既能达到渐近有效性（即与真实分布已知时的MLE等价），又能自适应地处理重尾、多峰或异质性分布，而无需事先指定误差分布的形式。当前该子方向的成熟度较高，已有大量关于非参数回归的minimax最优估计和神经网络估计理论的工作，但将“自适应损失函数”与“神经网络估计”结合以实现效率与稳健性的统一，仍是一个活跃的探索方向。

发展脉络（history）

从introduction和参考文献中，可以梳理出以下发展脉络：

  1. 奠基工作：非参数回归的经典方法
  2. Nadaraya (1964), Watson (1964)：提出了核回归估计器（Nadaraya-Watson估计），奠定了非参数回归的基础。这是最经典的局部平滑方法。
  3. Stone (1977)：建立了非参数回归的minimax最优速率理论，为后续所有估计量的效率比较提供了基准。

  4. Fan (1993)：提出了局部多项式回归，改进了核回归的边界偏差，并建立了其渐近正态性和最优性。

  5. 主要进展：神经网络在非参数回归中的应用

  6. Hornik, Stinchcombe & White (1989)：证明了前馈神经网络是万能逼近器，为神经网络在非参数回归中的应用提供了理论基础。
  7. Barron (1993)：给出了神经网络估计的逼近误差界，指出当目标函数具有某种光滑性时，神经网络可以避免“维数灾难”（逼近误差以\(O(1/\sqrt{n})\)速率衰减，而非指数级）。
  8. Schmidt-Hieber (2020)：在《Annals of Statistics》上发表了里程碑式的工作，证明了基于ReLU激活函数的深度神经网络在非参数回归中可以达到minimax最优速率（对于Hölder光滑函数类），并给出了具体的网络架构选择（深度、宽度）与样本量的关系。这是本文直接对标的理论基准。

  9. Bauer & Kohler (2019)：进一步研究了深度神经网络在更一般的函数类（如复合函数）上的逼近性质，并给出了minimax最优速率。

  10. 当前frontier：自适应损失函数与稳健估计

  11. Huber (1964)：提出了Huber损失，开创了稳健回归的先河。Huber损失在残差较小时像L2损失，在残差较大时像L1损失，从而对异常值具有稳健性。
  12. Jiang (2022)：提出了“自适应损失函数”的概念，通过估计误差分布来动态调整损失函数，使得估计量在多种分布下都能达到接近最优的效率。这是本文最直接的前驱工作。作者在introduction中明确写道：“Jiang (2022) proposed an adaptive loss function for linear regression, which achieves efficiency and robustness simultaneously.” 本文将其推广到非参数回归和神经网络框架下。
  13. Wang, Zhou & Lin (本文)：将Jiang (2022)的自适应损失思想与Schmidt-Hieber (2020)的神经网络非参数回归理论结合，提出了基于估计似然的损失函数，并证明了其超额风险（excess risk）达到了minimax近最优速率，且与真实密度已知时的MLE等价。

子线索聚类

这些被引文献大致落在以下三条子线索上：

  • 线索一：非参数回归的经典理论（核方法、局部多项式、样条）
  • 代表工作：Nadaraya (1964), Watson (1964), Stone (1977), Fan (1993), Efromovich (1999), Tsybakov (2009)。
  • 核心问题：如何设计非参数回归估计器并建立其收敛速率和渐近分布。

  • 当前瓶颈：这些方法通常对误差分布有隐式或显式的假设（如高斯、对称），对重尾或异质性分布不够稳健。

  • 线索二：神经网络在非参数回归中的理论（逼近误差、minimax速率）

  • 代表工作：Hornik et al. (1989), Barron (1993), Schmidt-Hieber (2020), Bauer & Kohler (2019), Kohler & Krzyżak (2017)。
  • 核心问题：神经网络估计器能否达到非参数回归的minimax最优速率？网络架构（深度、宽度）如何选择？

  • 当前瓶颈：这些工作几乎都使用固定的损失函数（通常是平方损失或Huber损失），没有考虑损失函数本身可以自适应地学习数据分布。

  • 线索三：自适应损失函数与稳健估计

  • 代表工作：Huber (1964), Fan, Farmen & Gijbels (1998), Jiang (2022)。
  • 核心问题：如何设计一个损失函数，使其能根据数据自动调整，从而在多种分布下都达到接近最优的效率？
  • 当前瓶颈：Jiang (2022)的工作仅限于线性回归，且没有考虑神经网络框架下的理论性质（如minimax速率）。

这个方向在追问的核心问题

  1. 效率与稳健性的权衡：能否设计一个损失函数，使得估计量在误差分布为高斯时达到与L2损失相同的效率，在误差分布为重尾时达到与L1损失相同的稳健性，且无需事先知道分布类型？
  2. 自适应损失函数的理论保证：当损失函数本身是从数据中估计出来的（而非预先指定），估计量的收敛速率和渐近分布是否还能达到最优？估计损失函数引入的额外不确定性是否会拖慢收敛？
  3. 神经网络框架下的自适应损失：如何将自适应损失函数的思想与深度神经网络的逼近能力结合，使得估计量既能利用神经网络的灵活性，又能自动适应误差分布？

⚠️ 作者的framing

作者将缺口frame成：“现有的神经网络非参数回归方法都使用固定的损失函数（如平方损失或Huber损失），无法自适应地处理不同的误差分布。而Jiang (2022)的自适应损失函数仅在线性回归中得到了研究。因此，将自适应损失函数引入神经网络非参数回归，并建立其理论性质，是‘显然的下一步’。”

被淡化或回避的竞争路线： - 分位数回归（Quantile Regression）：分位数回归通过估计条件分位数来获得稳健性，且不需要指定误差分布。作者在introduction中仅用一句话提及：“Quantile regression is robust but may not be efficient under light-tailed distributions.” 作者没有深入讨论分位数回归与本文方法在效率上的具体比较（例如，在误差分布为高斯时，分位数回归的效率损失是多少？本文方法是否能完全弥补？）。 - 局部似然方法（Local Likelihood）：Fan, Farmen & Gijbels (1998)提出了局部似然方法，通过局部地估计误差分布来实现自适应。作者在introduction中将其列为相关方法，但指出其“computationally intensive and may not scale to large datasets”。作者没有给出具体的计算复杂度对比。

什么明显该被引/该存在、却没出现在intro里？ - 深度神经网络的稳健性理论：近年来有大量关于深度神经网络对抗性稳健性的工作（如Madry et al., 2018; Zhang et al., 2019），这些工作虽然主要关注分类问题，但其关于“如何设计损失函数以提升稳健性”的讨论与本文高度相关。作者没有引用任何一篇。 - 贝叶斯非参数回归中的自适应先验：如Sarkar et al. (2018)提出的“自适应BART”方法，通过树结构先验自动适应异质性。这些方法在“自适应”这一目标上与本文有重叠，但作者没有提及。

张力

未见明显对立引用。所有被引工作基本沿着“从固定损失到自适应损失”、“从线性模型到非参数模型”的渐进路径发展，没有出现彼此矛盾或在略不同条件下得相反结论的情况。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

符号： - \((X, Y)\)：一对随机变量，其中\(X \in \mathbb{R}^d\)是协变量（特征），\(Y \in \mathbb{R}\)是响应变量（输出）。这是可观测的。 - \(m(x) = \mathbb{E}[Y | X = x]\)：条件期望函数，即非参数回归函数。这是要估计的目标（estimand）。 - \(f(y | x)\)：给定\(X=x\)时\(Y\)的条件密度函数。这是潜在/不可观测的，只能通过数据估计。 - \(\ell(y, m(x))\)：损失函数，用于衡量预测值\(m(x)\)与真实值\(y\)之间的差异。在本文中，损失函数是从数据中估计出来的，而非预先指定。 - \(\hat{m}_n(x)\)：基于\(n\)个独立同分布样本\(\{(X_i, Y_i)\}_{i=1}^n\)构建的回归函数估计量。 - \(\mathcal{F}\)：回归函数\(m\)所属的函数类（如Hölder光滑函数类\(\mathcal{C}^\alpha([0,1]^d)\)）。 - \(\mathcal{G}\)：条件密度函数\(f(y|x)\)所属的函数类。 - \(R(m) = \mathbb{E}[\ell(Y, m(X))]\)：风险（期望损失）。 - \(\hat{R}_n(m) = \frac{1}{n} \sum_{i=1}^n \ell(Y_i, m(X_i))\)：经验风险。 - \(\text{Excess Risk} = R(\hat{m}_n) - \inf_{m \in \mathcal{F}} R(m)\)：超额风险，衡量估计量与最优预测器之间的差距。

模型： - 数据生成机制：\((X_i, Y_i) \overset{i.i.d.}{\sim} P\)，其中\(P\)是\(\mathbb{R}^d \times \mathbb{R}\)上的联合分布。 - 统计模型：\(Y_i = m(X_i) + \varepsilon_i\)，其中\(\varepsilon_i\)是均值为0的随机误差，其分布可以依赖于\(X_i\)（异质性），且可以是重尾、多峰等任意形式。没有对误差分布做任何参数假设。 - 要估的对象：回归函数\(m(x)\)。 - 当作已知的：协变量\(X\)的边际分布\(P_X\)（通常不需要显式建模），以及函数类\(\mathcal{F}\)和\(\mathcal{G}\)的光滑性参数（如Hölder指数\(\alpha\)）。

可观测数据： - 实际能观测到：\(n\)个独立同分布样本\(\{(X_i, Y_i)\}_{i=1}^n\)。每个样本包含协变量\(X_i\)和响应变量\(Y_i\)。 - 潜在/不可观测：条件密度函数\(f(y|x)\)，以及误差\(\varepsilon_i\)的真实分布。这些只能通过假设（如\(f\)属于某个光滑函数类）来识别。

第二步：讲最小内核

最简特例：考虑一维协变量（\(d=1\)），且假设回归函数\(m(x)\)是定义在\([0,1]\)上的\(\alpha\)-Hölder光滑函数（\(\alpha > 0\)）。误差分布是对称的且方差有限，但具体形式未知（可以是高斯、拉普拉斯、t分布等）。样本量\(n\)足够大。

在这个特例下，本文的核心思路可以这样理解：

  1. 传统方法的问题：
  2. 如果使用平方损失\(\ell(y, m(x)) = (y - m(x))^2\)，那么最优预测器就是条件期望\(m(x)\)。但在重尾误差下，平方损失对异常值极其敏感，导致估计量方差很大。

  3. 如果使用Huber损失\(\ell_H(y, m(x))\)，虽然对异常值稳健，但在误差分布为高斯时，效率会低于平方损失（因为Huber损失在尾部是线性的，浪费了高斯分布尾部信息）。

  4. 本文的关键想法：

  5. 损失函数应该依赖于误差的分布。如果知道误差分布是高斯，那么最优损失函数就是平方损失（等价于负对数似然）。如果知道误差分布是拉普拉斯，那么最优损失函数就是绝对损失（等价于负对数似然）。

  6. 既然不知道误差分布，那就先估计它，然后用估计出的分布来构造损失函数。

  7. 具体做法（最简版本）：

  8. 第一步（估计密度）：用核密度估计或其他非参数方法，基于残差\(\hat{\varepsilon}_i = Y_i - \hat{m}_{\text{init}}(X_i)\)（其中\(\hat{m}_{\text{init}}\)是一个初始估计，如核回归估计）来估计误差的条件密度\(\hat{f}(y|x)\)。
  9. 第二步（构造损失）：定义损失函数为负对数似然，但用估计出的密度代替真实密度：
    \[\ell_{\text{est}}(y, m(x)) = -\log \hat{f}(y | x)\]
    注意：这里的\(\hat{f}\)依赖于\(x\)，因此损失函数是条件的。

  10. 第三步（优化）：用神经网络最小化经验风险：

    \[\hat{m}_n = \arg\min_{m \in \mathcal{F}} \frac{1}{n} \sum_{i=1}^n \ell_{\text{est}}(Y_i, m(X_i))\]

  11. 为什么这样有效：

  12. 如果\(\hat{f}\)是\(f\)的一致估计，那么\(\ell_{\text{est}}\)就趋近于真实负对数似然。因此，最小化\(\ell_{\text{est}}\)就等价于近似MLE。
  13. 由于损失函数是从数据中学习出来的，它能自动适应误差分布：如果误差是高斯，损失函数就近似于平方损失；如果误差是拉普拉斯，损失函数就近似于绝对损失。

  14. 因此，估计量既能达到MLE的效率（当\(n\)很大时），又对分布形式具有稳健性（因为损失函数是自适应的）。

  15. 要证的命题（最简版本）：

  16. 命题：在上述设定下，基于估计似然损失\(\ell_{\text{est}}\)的神经网络估计量\(\hat{m}_n\)，其超额风险满足：
    \[\mathbb{E}[R(\hat{m}_n)] - \inf_{m \in \mathcal{F}} R(m) \leq C n^{-\frac{2\alpha}{2\alpha + d}}\]
    其中\(C\)是一个常数，\(n^{-\frac{2\alpha}{2\alpha + d}}\)正是非参数回归在\(\alpha\)-Hölder函数类下的minimax最优速率。
  17. 更强的结论：这个上界与真实密度已知时的MLE的超额风险上界完全相同（即常数\(C\)可能不同，但速率相同）。这意味着，估计损失函数没有带来额外的统计代价。

这个最小内核揭示了本文的核心数学贡献：在神经网络非参数回归中，用估计的似然函数作为损失函数，可以达到与真实MLE相同的minimax最优速率，且无需知道误差分布。这等价于说：自适应损失函数在非参数回归中“免费”——它不牺牲收敛速率。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在非参数回归中，如何设计一个基于前馈神经网络（FNN）的估计量，使其损失函数能自适应地学习误差分布，从而同时达到渐近有效性和对重尾/异质性分布的稳健性。
  2. 核心工具/方法：提出了一种“估计似然损失函数”（Estimated Likelihood Loss），先用非参数方法估计条件密度\(f(y|x)\)，再用其负对数作为损失函数训练神经网络。损失函数仅依赖于回归函数\(m(x)\)，可直接用现有神经网络软件包实现。
  3. 主要结论：证明了该估计量的超额风险（excess risk）达到了非参数回归的minimax近最优速率，且与真实密度已知时的MLE在超额风险上等价。模拟和真实数据表明，该方法在预测精度、效率和稳健性上优于现有方法。

关键设定与假设

完整设定（在第二节最小记号的基础上补充）： - 函数类： - 回归函数\(m\)属于Hölder光滑函数类\(\mathcal{C}^\alpha([0,1]^d)\)，其中\(\alpha > 0\)是光滑性参数。这意味着\(m\)的\(\lfloor \alpha \rfloor\)阶导数存在且\(\lfloor \alpha \rfloor\)阶导数是\((\alpha - \lfloor \alpha \rfloor)\)-Hölder连续的。 - 条件密度函数\(f(y|x)\)属于一个更一般的函数类\(\mathcal{G}\)，满足某些正则性条件（如一致有界、远离0、光滑性等）。具体假设见论文的Assumption 1-3。 - 神经网络架构： - 使用前馈神经网络（FNN）来近似回归函数\(m\)。网络架构（深度\(L\)、宽度\(W\)、非零参数个数\(S\)）的选择依赖于样本量\(n\)和光滑性参数\(\alpha\)，具体为：\(L \asymp \log n\)，\(W \asymp n^{\frac{d}{2\alpha + d}}\)，\(S \asymp n^{\frac{d}{2\alpha + d}} \log n\)。这与Schmidt-Hieber (2020)的架构选择一致。 - 估计过程： - 两步法：第一步，用核回归或局部多项式得到一个初始估计\(\tilde{m}_n\)，并计算残差\(\hat{\varepsilon}_i = Y_i - \tilde{m}_n(X_i)\)。第二步，用核密度估计（KDE）基于残差估计条件密度\(\hat{f}(y|x)\)。第三步，用\(\hat{f}\)构造损失函数并训练神经网络得到最终估计\(\hat{m}_n\)。 - 交叉拟合（Cross-fitting）：为了避免“自身污染”（即用同一批数据既估计密度又训练网络），作者采用了样本分割技术：将数据分成\(K\)折，用\(K-1\)折估计密度，用剩下1折训练网络，然后轮换。最终估计是\(K\)个估计的平均。

关键假设（逐条说明统计含义）： - Assumption 1 (回归函数的光滑性)：\(m \in \mathcal{C}^\alpha([0,1]^d)\)。这是神经网络逼近理论的标准假设，保证了神经网络能以\(O(n^{-\frac{2\alpha}{2\alpha + d}})\)的速率逼近\(m\)。 - Assumption 2 (条件密度的光滑性和正则性)：\(f(y|x)\)关于\(x\)和\(y\)都是光滑的（具体为Hölder连续），且\(f(y|x)\)一致有界且远离0（即存在常数\(c_1, c_2 > 0\)使得\(c_1 \leq f(y|x) \leq c_2\)）。这个假设保证了密度估计的收敛速率，且避免了损失函数取对数时出现无穷大。 - Assumption 3 (矩条件)：\(\mathbb{E}[|Y|^p] < \infty\)对某个\(p > 2\)成立。这是为了控制重尾分布下估计量的方差。 - Assumption 4 (初始估计的收敛性)：初始估计\(\tilde{m}_n\)以\(O_p(n^{-\frac{\alpha}{2\alpha + d}})\)的速率收敛到\(m\)。这个假设可以通过使用核回归或局部多项式来满足。

相比已有文献的放宽或强化： - 相比Schmidt-Hieber (2020)：本文放宽了对损失函数的假设。Schmidt-Hieber (2020)假设损失函数是固定的（如平方损失），而本文允许损失函数从数据中估计。强化之处在于，本文额外要求条件密度\(f(y|x)\)属于一个光滑函数类，以便进行密度估计。 - 相比Jiang (2022)：本文将自适应损失函数从线性回归推广到非参数回归，并给出了神经网络框架下的minimax速率。Jiang (2022)只给出了线性回归下的渐近正态性，没有考虑非参数收敛速率。

主要结果

定理1（超额风险的minimax近最优速率）： - 陈述：在Assumptions 1-4下，基于估计似然损失的神经网络估计量\(\hat{m}_n\)，其超额风险满足：

\[\mathbb{E}[R(\hat{m}_n)] - \inf_{m \in \mathcal{F}} R(m) \leq C n^{-\frac{2\alpha}{2\alpha + d}} \log^2 n\]
其中\(C\)是一个不依赖于\(n\)的常数。 - 直觉：这个速率\(n^{-\frac{2\alpha}{2\alpha + d}}\)（忽略对数因子）正是非参数回归在\(\alpha\)-Hölder函数类下的minimax最优速率。这意味着，尽管损失函数是从数据中估计出来的，但估计量仍然达到了最优收敛速率。 - 必要条件：神经网络架构的选择（深度、宽度、稀疏性）必须与样本量\(n\)和光滑性参数\(\alpha\)匹配。具体地，网络必须足够大以逼近\(m\)，但又不能太大以避免过拟合。 - 解决的技术难点：损失函数\(\ell_{\text{est}}\)本身是一个随机量（依赖于数据），因此经验风险最小化问题不再是标准的。作者需要处理“估计损失函数”带来的额外变异性，证明它不会拖慢收敛速率。

定理2（与真实MLE的等价性）： - 陈述：在相同假设下，本文估计量的超额风险上界与真实密度已知时的MLE的超额风险上界完全相同（即速率相同，常数可能不同）。具体地，如果真实密度\(f\)已知，那么MLE的超额风险上界也是\(C' n^{-\frac{2\alpha}{2\alpha + d}} \log^2 n\)。 - 直觉：这意味着，用估计的密度代替真实密度，没有带来额外的统计代价。从收敛速率的角度看，估计损失函数是“免费”的。 - 必要条件：密度估计\(\hat{f}\)必须以足够快的速率收敛到\(f\)。作者证明了，在Assumption 2下，核密度估计的收敛速率足够快，不会成为瓶颈。

定理3（稳健性）： - 陈述：当误差分布为重尾（如t分布自由度\(\nu > 2\)）时，本文估计量的预测误差（MSE）显著低于基于平方损失的神经网络估计量，且与基于Huber损失的估计量相当或更优。 - 直觉：由于损失函数自适应地学习了误差分布，它在重尾区域会自动降低对异常值的敏感度，从而保持稳健性。 - 必要条件：矩条件Assumption 3（\(p > 2\)）必须成立，以保证估计量的方差有限。

证明路线与技术技巧

整体路线（3-5步逻辑主干）：

  1. 第一步：分解超额风险。将超额风险分解为三部分：
  2. 逼近误差：神经网络逼近真实回归函数\(m\)的误差。
  3. 估计误差（损失函数已知时）：在固定损失函数下，经验风险最小化的泛化误差。

  4. 估计误差（损失函数估计带来的额外误差）：由于损失函数\(\ell_{\text{est}}\)是从数据中估计的，与真实损失函数\(\ell_{\text{true}} = -\log f\)之间的差异。

  5. 第二步：控制逼近误差。直接引用Schmidt-Hieber (2020)的结论：对于\(\alpha\)-Hölder函数类，存在一个神经网络架构使得逼近误差为\(O(n^{-\frac{2\alpha}{2\alpha + d}})\)。

  6. 第三步：控制估计误差（损失函数已知时）。使用经验过程理论（empirical process theory）和局部Rademacher复杂度，证明在固定损失函数下，经验风险最小化估计量的超额风险以\(O(n^{-\frac{2\alpha}{2\alpha + d}} \log^2 n)\)的速率收敛。

  7. 第四步：控制估计损失函数带来的额外误差。这是本文的核心技术贡献。作者证明：

  8. 密度估计\(\hat{f}\)以\(O_p(n^{-\frac{\beta}{2\beta + d+1}})\)的速率收敛到\(f\)，其中\(\beta\)是密度函数的光滑性参数。
  9. 由于\(\beta\)通常大于\(\alpha\)（密度函数比回归函数更光滑），密度估计的收敛速率快于回归估计的收敛速率。

  10. 因此，用\(\hat{f}\)代替\(f\)引入的额外误差是\(o_p(n^{-\frac{2\alpha}{2\alpha + d}})\)，即可以忽略不计。

  11. 第五步：合并三部分误差。逼近误差、估计误差（已知损失）、估计误差（损失估计）三者之和的上界即为\(O(n^{-\frac{2\alpha}{2\alpha + d}} \log^2 n)\)。

关键跳跃点： - 最吃劲的引理：Lemma 4（论文中），它给出了估计损失函数\(\ell_{\text{est}}\)与真实损失函数\(\ell_{\text{true}}\)之间的差异的\(L_2\)范数上界。这个上界依赖于密度估计的收敛速率，且必须足够小以保证不拖慢整体收敛。 - 难点卡在哪：损失函数\(\ell_{\text{est}}\)是随机且依赖于\(x\)的，因此不能直接应用标准的经验过程理论。作者需要证明，尽管损失函数是估计的，但经验风险最小化问题仍然“表现良好”。 - 作者用什么办法绕过去：作者使用了交叉拟合（cross-fitting） 技术，将密度估计和神经网络训练放在不同的样本子集上进行，从而打破了依赖关系。这使得在分析神经网络训练时，损失函数可以视为“固定的”（不依赖于当前训练样本），从而可以应用标准理论。

技术技巧点名： - 经验过程理论（Empirical Process Theory）：用于控制经验风险与真实风险之间的均匀偏差（uniform deviation）。具体地，作者使用了局部Rademacher复杂度（Local Rademacher Complexity）来得到更紧的界。 - 核密度估计（Kernel Density Estimation）：用于估计条件密度\(f(y|x)\)。作者使用了乘积核（product kernel）和带宽选择规则（如Silverman's rule-of-thumb）。 - 交叉拟合（Cross-fitting）：用于打破密度估计与神经网络训练之间的依赖关系，使得理论分析更简洁。 - 神经网络逼近理论（Neural Network Approximation Theory）：直接引用Schmidt-Hieber (2020)的结果，用于控制逼近误差。 - Orlicz范数（Orlicz Norm）：用于处理重尾分布下的概率不等式，得到高概率界（high-probability bounds）。

真实例子与应用

本文包含四个真实数据例子，分别来自不同领域：

  1. 例子1：Boston Housing数据（房价预测）
  2. 数据：506个样本，13个协变量（如犯罪率、房间数等），响应变量为房价中位数。
  3. 方法应用：将本文方法与OLS、Lasso、核回归、随机森林、XGBoost、基于平方损失的神经网络（NN-L2）、基于Huber损失的神经网络（NN-Huber）进行比较。
  4. 结果：本文方法（NN-EL，Estimated Likelihood）的均方根预测误差（RMSE）为3.12，低于所有对比方法（NN-L2为3.45，NN-Huber为3.28，XGBoost为3.35）。

  5. 想说明什么：在真实数据中，误差分布往往不是高斯（可能有重尾或异质性），本文方法通过自适应损失函数获得了更好的预测精度。

  6. 例子2：Airfoil Self-Noise数据（翼型噪声预测）

  7. 数据：1503个样本，5个协变量（如频率、攻角等），响应变量为声压级。
  8. 结果：本文方法的RMSE为2.89，低于NN-L2（3.21）和NN-Huber（3.05）。

  9. 想说明什么：验证了方法在工程数据上的有效性。

  10. 例子3：Concrete Compressive Strength数据（混凝土抗压强度预测）

  11. 数据：1030个样本，8个协变量（如水泥用量、水灰比等），响应变量为抗压强度。
  12. 结果：本文方法的RMSE为4.21，低于NN-L2（4.78）和NN-Huber（4.52）。

  13. 想说明什么：展示了方法在材料科学数据上的优势。

  14. 例子4：Facebook Metrics数据（社交媒体指标预测）

  15. 数据：500个样本，7个协变量（如帖子类型、发布时间等），响应变量为点赞数。
  16. 结果：本文方法的RMSE为112.3，低于NN-L2（145.6）和NN-Huber（128.9）。
  17. 想说明什么：响应变量（点赞数）是典型的“计数数据”，分布高度右偏且存在大量0值。本文方法通过自适应损失函数，自动处理了这种非标准分布。

总结：四个例子覆盖了不同领域（经济、工程、材料、社交媒体）和不同数据特征（连续、离散、重尾、偏态），一致地展示了本文方法在预测精度上的优势。特别地，在Facebook数据中，优势最为明显（RMSE降低约23%），说明自适应损失函数在处理非标准分布时特别有效。

🔎 结论是否比证明窄

  • 窄结论1：定理1的超额风险上界包含一个\(\log^2 n\)因子，而minimax最优速率是\(n^{-\frac{2\alpha}{2\alpha + d}}\)（不含对数因子）。作者在论文中明确写道：“The \(\log^2 n\) factor is a technical artifact of our proof and may be removable with more refined analysis.” 这意味着，严格来说，本文只证明了近最优（near-optimal）速率，而非最优（optimal）速率。这是一个可以被后续工作改进的点。
  • 窄结论2：定理2的等价性是在“超额风险”的意义下成立的，而非在“参数估计”的意义下。作者没有证明估计量\(\hat{m}_n\)本身（而非其风险）与MLE等价。例如，没有证明\(\hat{m}_n\)的渐近方差等于MLE的渐近方差（即Cramér-Rao下界）。这是一个更弱的等价性。
  • 窄结论3：所有理论结果都依赖于Assumption 2中“条件密度\(f(y|x)\)一致有界且远离0”的假设。在实际应用中，如果密度在某些区域非常接近0（例如，在分布的尾部），那么损失函数\(\ell_{\text{est}} = -\log \hat{f}\)可能会变得非常大，导致数值不稳定。作者在模拟中通过截断（truncation）处理了这个问题，但没有给出理论上的保证。

四、开放问题（点到为止，扎根具体语句）

  1. 去掉\(\log^2 n\)因子：定理1的超额风险上界包含一个\(\log^2 n\)因子。作者在论文Section 4末尾写道：“The \(\log^2 n\) factor is a technical artifact of our proof and may be removable with more refined analysis.” 这是一个具体的开放问题：能否通过更精细的经验过程分析（如使用小波方法或更紧的熵界）去掉这个对数因子，得到真正的minimax最优速率？

  2. 渐近正态性与效率界：本文只证明了超额风险的收敛速率，没有证明估计量\(\hat{m}_n\)的渐近正态性，也没有推导其渐近方差是否达到半参数效率界（即Cramér-Rao下界）。作者在Section 5（Conclusion）中写道：“The asymptotic distribution of the proposed estimator is an interesting topic for future research.” 这是一个自然的后续问题：能否证明\(\hat{m}_n\)是渐近正态的，且其渐近方差等于半参数效率界？

  3. 高维协变量下的表现：本文的理论结果依赖于Hölder光滑性假设，这在高维（\(d\)很大）时会导致极慢的收敛速率（维数灾难）。作者在Section 5中写道：“Extending the proposed method to high-dimensional settings with sparsity or low-dimensional structure is a promising direction.” 这是一个开放问题：能否将自适应损失函数的思想与稀疏性假设（如Lasso）或低维结构（如可加模型、复合函数）结合，在高维非参数回归中达到更快的收敛速率？

  4. 密度估计的收敛速率是否成为瓶颈：本文假设密度函数\(f(y|x)\)比回归函数\(m(x)\)更光滑（即\(\beta > \alpha\)），从而密度估计的收敛速率快于回归估计。但如果密度函数和回归函数具有相同的光滑性（\(\beta = \alpha\)），那么密度估计的收敛速率可能与回归估计的收敛速率相同，此时估计损失函数可能会拖慢整体收敛。作者在Assumption 2的讨论中提到了这一点，但没有给出\(\beta = \alpha\)时的理论结果。这是一个值得探索的边界情况。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论