Model Averaging for Nonlinear Regression Models¶

作者: Yang Feng, Qingfeng Liu, Qingsong Yao, Guoqing Zhao
来源: Journal of Business & Economic Statistics
主题: 其他
相关性: 4/10
机构绿灯: New York University（US News 前 50，免分进入精读）
链接: https://doi.org/10.1080/07350015.2020.1870477

一、领域脉络与小综述¶

这个方向是什么¶

模型平均（Model Averaging）是统计预测与推断中的一个经典子方向。其根本问题是：当有多个候选模型（通常来自不同变量子集、不同函数形式或不同正则化路径）时，如何为每个模型分配一个权重，使得加权后的组合预测在某个损失（通常是平方损失）下达到最优。与模型选择（只选一个模型）不同，模型平均试图通过“不把鸡蛋放在一个篮子里”来降低预测方差和风险。该方向在参数线性模型下已有成熟理论（如Frequentist模型平均的渐近最优性），但在非线性回归模型（参数和变量均可非线性）下的理论分析尚不完整。本文试图填补这一缺口。

发展脉络（history）¶

根据论文引言，该方向的发展可大致分为三个阶段：

奠基工作（线性模型下的模型平均）：
Hjort & Claeskens (2003)：提出了Frequentist模型平均（FMA）的框架，在局部误设定（local misspecification）下推导了模型平均估计量的渐近分布和风险。这是该子领域的奠基性工作，但仅限于线性模型。
Hansen (2007)：提出了Mallows模型平均（MMA）准则，通过最小化Mallows’ Cp来选择权重，并证明了在固定回归量（fixed regressors）下的渐近最优性。这是第一个可操作的Frequentist模型平均准则。
Wan et al. (2010)：将MMA推广到随机回归量（random regressors）情形，并证明了其渐近最优性。
主要进展（向更复杂模型扩展）：
Hansen & Racine (2012)：提出了Jackknife模型平均（JMA），适用于异方差情形，通过留一法交叉验证选择权重。这是对MMA的重要补充，但仍限于线性模型。
Liu & Okui (2013)：提出了异方差稳健的模型平均准则（HRMA），进一步放宽了同方差假设。
Zhang et al. (2016)：将模型平均推广到部分线性模型（partially linear models），这是向非线性迈出的第一步，但模型结构仍为“线性部分+非参数部分”，并非完全非线性。
当前frontier与本文位置：
上述所有工作均假设候选模型是参数线性的（即模型关于参数是线性的，如线性回归、多项式回归）。对于参数非线性的模型（如指数模型、逻辑模型、神经网络），模型平均的理论（尤其是权重选择准则的渐近性质）几乎空白。
本文（Feng et al., 2022） 声称是第一个系统性地处理非线性回归模型（参数和变量均可非线性）的模型平均问题。它提出了非线性模型平均（NMA）框架，并设计了非线性信息准则（NIC），在温和假设下证明了NIC是风险函数的渐近无偏估计（至多差一个常数），以及NIC的最优性和权重的收敛性。

子线索聚类¶

这些被引文献大致落在两条子线索上：

线索A：权重选择准则的渐近理论。核心问题是：如何构造一个可计算的准则（如Cp、AIC、BIC、交叉验证），使得最小化该准则得到的权重在渐近意义下等价于最小化真实风险。这条线索从Hjort & Claeskens (2003)的局部误设定框架出发，经Hansen (2007)的MMA、Wan et al. (2010)的随机回归量推广、Hansen & Racine (2012)的JMA，到本文的NIC。本文的贡献在于将这条线索从线性模型延伸到非线性模型。
线索B：模型平均在特定非线性结构下的应用。如Zhang et al. (2016)的部分线性模型、以及一些关于广义线性模型（GLM）的模型平均工作（如Claeskens & Hjort, 2008）。这些工作处理的是“广义线性”这种特定非线性，而非本文考虑的“参数和变量均可非线性”的一般情形。

这个方向在追问的核心问题¶

权重选择准则的渐近无偏性：能否构造一个准则，使得它在渐近意义下是真实风险的（近似）无偏估计？在线性模型下已有Mallows’ Cp和JMA，在非线性下需要重新推导。
渐近最优性：由该准则选出的权重，其风险是否渐近等价于最优（oracle）权重的风险？即是否满足 \( L(\hat{w}) / \inf_{w \in \mathcal{W}} L(w) \to 1 \)？
权重的收敛性：估计的权重是否收敛到某个极限？如果收敛，极限是什么？是否与oracle权重一致？
非线性带来的技术困难：非线性模型下，参数估计的渐近分布、风险函数的泰勒展开、以及准则的偏差校正，都比线性情形复杂得多。例如，非线性模型的参数估计通常没有闭式解，其渐近方差依赖于Fisher信息矩阵的逆，这给风险函数的无偏估计带来了额外困难。

当前主流方法与已知瓶颈：主流方法是基于线性模型假设的MMA/JMA及其变体。瓶颈在于：当候选模型是非线性时，这些准则的渐近性质不再成立（因为推导中依赖了线性模型的残差平方和与风险之间的简单关系）。本文试图通过引入“非线性信息准则”（NIC）来突破这一瓶颈。

⚠️ 作者的framing¶

这是作者的说法：作者将缺口frame为“现有模型平均方法几乎全部针对线性模型，非线性模型下的理论空白亟待填补”。他们声称本文是第一个系统性地处理非线性回归模型模型平均的工作。为了让自己这篇成为“显然的下一步”，作者淡化了以下竞争路线： - 贝叶斯模型平均（BMA）：BMA天然适用于任何模型（包括非线性），且已有大量应用。作者在引言中仅用一句话提及BMA，并指出“BMA需要指定先验，且计算量大”，但并未深入讨论BMA在非线性下的渐近性质（如是否具有频率最优性）。这实际上回避了BMA作为竞争路线的比较。 - 交叉验证（CV）：留一法CV或K折CV理论上适用于任何模型，且无需推导专门的准则。作者承认CV是可行的，但指出“CV计算量大，且其渐近性质在非线性下尚未被研究”。这实际上是把CV的“计算成本”和“理论空白”作为本文NIC的卖点。

什么明显该被引/该存在、却没出现在intro里？： - 关于非线性模型下交叉验证的渐近理论：例如，Shao (1993) 关于线性模型下CV的模型选择一致性，以及Yang (2007) 关于CV与模型平均的关系。这些工作虽然不直接处理非线性模型平均，但它们的理论框架（如风险分解、偏差-方差权衡）可能对本文有参考价值。作者未引用它们，可能是因为它们不直接处理“权重选择”问题。 - 关于“模型平均”与“集成学习”的关系：在机器学习领域，集成学习（如Bagging、Boosting、Stacking）本质上也是一种模型平均。Stacking（Wolpert, 1992）尤其接近——它通过交叉验证学习权重。作者未引用任何集成学习文献，这可能是因为统计与机器学习两个社区在“模型平均”上的交流有限。对于研究者而言，这是一个值得查证的方向：Stacking在非线性模型下的理论性质是否已被研究？与本文的NIC有何异同？

张力¶

未见明显对立引用。所有被引工作基本沿着“线性→部分线性→非线性”的渐进路线，彼此之间没有矛盾结论。唯一的潜在张力在于：贝叶斯模型平均（BMA）与Frequentist模型平均（如MMA）在非线性下的表现孰优孰劣，但本文未深入讨论，因此无法从引用中看出对立。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
\( (Y_i, X_i) \), \( i = 1, \dots, n \)：可观测的独立同分布样本。\( Y_i \in \mathbb{R} \) 是响应变量，\( X_i \in \mathbb{R}^p \) 是协变量向量。
\( M = \{1, 2, \dots, K\} \)：候选模型的索引集。每个候选模型 \( m \) 是一个非线性回归模型：\( Y = g_m(X, \beta_m) + \varepsilon \)，其中 \( g_m \) 是已知的非线性函数（关于参数 \( \beta_m \) 和变量 \( X \) 均可非线性），\( \beta_m \in \mathbb{R}^{d_m} \) 是未知参数向量，\( \varepsilon \) 是均值为0、方差为 \( \sigma^2 \) 的误差项（假设与 \( X \) 独立）。
\( \hat{\beta}_m \)：基于样本对模型 \( m \) 的参数估计（通常是非线性最小二乘估计）。
\( \hat{Y}_i^{(m)} = g_m(X_i, \hat{\beta}_m) \)：模型 \( m \) 对第 \( i \) 个观测的拟合值。
\( w = (w_1, \dots, w_K)^\top \)：模型平均权重向量，满足 \( w_m \ge 0 \) 且 \( \sum_{m=1}^K w_m = 1 \)。权重属于单纯形 \( \mathcal{W} = \{ w \in \mathbb{R}^K : w_m \ge 0, \sum w_m = 1 \} \)。
\( \hat{Y}_i(w) = \sum_{m=1}^K w_m \hat{Y}_i^{(m)} \)：权重 \( w \) 下的模型平均预测值。
\( \mu_i = \mathbb{E}[Y_i | X_i] \)：条件均值函数（真实但未知）。
\( L_n(w) = \frac{1}{n} \sum_{i=1}^n (\hat{Y}_i(w) - \mu_i)^2 \)：权重 \( w \) 下的样本内风险（in-sample risk），即预测误差的平方和（相对于真实条件均值）。
\( \hat{L}_n(w) \)：某个可计算的准则，用于估计 \( L_n(w) \)。本文提出的NIC就是这样一个准则。
\( \hat{w} = \arg\min_{w \in \mathcal{W}} \hat{L}_n(w) \)：由准则选出的最优权重。
\( w^* = \arg\min_{w \in \mathcal{W}} L_n(w) \)：oracle最优权重（不可观测，因为 \( \mu_i \) 未知）。
模型：
数据生成机制：\( Y_i = \mu_i + \varepsilon_i \)，其中 \( \mu_i = \mathbb{E}[Y_i | X_i] \) 是未知函数，\( \varepsilon_i \) 是独立同分布的误差，均值为0，方差为 \( \sigma^2 \)。
候选模型：每个模型 \( m \) 假设 \( \mu_i = g_m(X_i, \beta_m) \)，其中 \( g_m \) 是已知的非线性函数。注意：真实模型可能不在候选模型中（即所有 \( g_m \) 都是对 \( \mu_i \) 的近似）。这是模型平均的典型设定——候选模型都是“错误”的，但加权组合可能比任何一个单独模型更好。
参数估计：对每个模型 \( m \)，用非线性最小二乘（NLS）估计 \( \hat{\beta}_m = \arg\min_{\beta} \sum_{i=1}^n (Y_i - g_m(X_i, \beta))^2 \)。NLS估计的渐近性质（一致性、渐近正态性）在标准正则条件下成立。
可观测数据：
研究者能观测到：\( (Y_i, X_i) \)，\( i=1,\dots,n \)。
研究者能计算：每个候选模型的拟合值 \( \hat{Y}_i^{(m)} \)，以及任意权重下的平均预测 \( \hat{Y}_i(w) \)。
研究者不能直接观测到：真实条件均值 \( \mu_i \)，因此无法直接计算风险 \( L_n(w) \)。模型平均的核心就是构造一个可计算的准则 \( \hat{L}_n(w) \) 来近似 \( L_n(w) \)。

第二步：讲最小内核¶

最简特例：假设只有两个候选模型（\( K=2 \)），且它们都是线性模型（即 \( g_m(X, \beta_m) = X^\top \beta_m \)）。在这个特例下，本文的NIC退化成什么？证明怎么走？

设定：
模型1：\( Y = X^\top \beta_1 + \varepsilon \)，模型2：\( Y = X^\top \beta_2 + \varepsilon \)。两个模型使用不同的协变量子集（或不同的变换）。
参数估计：OLS估计 \( \hat{\beta}_1, \hat{\beta}_2 \)。
拟合值：\( \hat{Y}^{(1)} = X \hat{\beta}_1 \)，\( \hat{Y}^{(2)} = X \hat{\beta}_2 \)。
权重：\( w = (w, 1-w) \)，\( w \in [0,1] \)。
平均预测：\( \hat{Y}(w) = w \hat{Y}^{(1)} + (1-w) \hat{Y}^{(2)} \)。
风险：\( L_n(w) = \frac{1}{n} \sum_{i=1}^n ( \hat{Y}_i(w) - \mu_i )^2 \)。
核心困难：\( L_n(w) \) 包含未知的 \( \mu_i \)，无法直接计算。在线性模型下，Mallows’ Cp准则给出了一个无偏估计：\( \hat{L}_n^{\text{Cp}}(w) = \frac{1}{n} \sum_{i=1}^n (Y_i - \hat{Y}_i(w))^2 + \frac{2\sigma^2}{n} \text{tr}(P(w)) \)，其中 \( P(w) \) 是帽子矩阵（hat matrix）。这个准则的关键在于：\( \mathbb{E}[ \frac{1}{n} \sum (Y_i - \hat{Y}_i(w))^2 ] = L_n(w) + \frac{2\sigma^2}{n} \text{tr}(P(w)) - \sigma^2 \)，因此减去 \( \frac{2\sigma^2}{n} \text{tr}(P(w)) \) 后得到无偏估计。
非线性下的问题：当模型是非线性时，帽子矩阵的概念不再存在。拟合值 \( \hat{Y}^{(m)} \) 不是 \( Y \) 的线性函数，因此 \( \mathbb{E}[ \frac{1}{n} \sum (Y_i - \hat{Y}_i(w))^2 ] \) 与 \( L_n(w) \) 之间的关系变得复杂。本文的NIC就是针对这一困难提出的。
本文的关键想法：利用一阶泰勒展开来近似非线性拟合值。具体地，对每个模型 \( m \)，将 \( g_m(X_i, \hat{\beta}_m) \) 在真实参数 \( \beta_m^* \)（概率极限）处展开：
\[g_m(X_i, \hat{\beta}_m) \approx g_m(X_i, \beta_m^*) + \nabla_\beta g_m(X_i, \beta_m^*)^\top (\hat{\beta}_m - \beta_m^*).\]
这个线性化使得我们可以近似地写出拟合值与 \( Y \) 之间的线性关系，从而推导出一个类似于Mallows’ Cp的偏差校正项。NIC的形式为：
\[\text{NIC}(w) = \frac{1}{n} \sum_{i=1}^n (Y_i - \hat{Y}_i(w))^2 + \frac{2}{n} \sum_{m=1}^K w_m \text{tr}( \hat{H}_m^{-1} \hat{V}_m ),\]
其中 \( \hat{H}_m \) 是模型 \( m \) 的Hessian矩阵（二阶导数矩阵）的估计，\( \hat{V}_m \) 是得分向量（score vector）的协方差矩阵的估计。这个校正项 \( \frac{2}{n} \sum w_m \text{tr}(\hat{H}_m^{-1} \hat{V}_m) \) 就是非线性模型下对“自由度”的估计——在线性模型下，它退化为 \( \frac{2\sigma^2}{n} \sum w_m d_m \)（其中 \( d_m \) 是模型 \( m \) 的参数个数）。
在这个特例下：如果两个模型都是线性的，那么 \( \hat{H}_m = X_m^\top X_m / n \)（其中 \( X_m \) 是模型 \( m \) 的设计矩阵），\( \hat{V}_m = \hat{\sigma}^2 X_m^\top X_m / n \)，因此 \( \text{tr}(\hat{H}_m^{-1} \hat{V}_m) = \hat{\sigma}^2 d_m \)。于是NIC退化为 \( \frac{1}{n} \sum (Y_i - \hat{Y}_i(w))^2 + \frac{2\hat{\sigma}^2}{n} \sum w_m d_m \)，这正是Mallows’ Cp（如果 \( \hat{\sigma}^2 \) 是 \( \sigma^2 \) 的一致估计）。因此，NIC是Mallows’ Cp在非线性模型下的自然推广。
证明的核心：证明NIC是 \( L_n(w) \) 的渐近无偏估计（至多差一个常数），需要证明：
\[\mathbb{E}[ \frac{1}{n} \sum (Y_i - \hat{Y}_i(w))^2 ] = L_n(w) + \frac{2}{n} \sum w_m \text{tr}(H_m^{-1} V_m) - \sigma^2 + o(1).\]
这个证明依赖于非线性最小二乘估计的渐近展开（即 \( \hat{\beta}_m - \beta_m^* \approx H_m^{-1} S_m \)，其中 \( S_m \) 是得分向量），以及一些高阶项的可忽略性。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在非线性回归模型（参数和变量均可非线性）下，如何为模型平均选择权重，使得加权预测的风险最小。
核心工具/方法：提出了非线性信息准则（NIC），作为风险函数的渐近无偏估计，并通过最小化NIC来选择权重。
主要结论：在温和假设下，证明了NIC是风险函数的渐近无偏估计（至多差一个常数），由NIC选出的权重具有渐近最优性（即其风险渐近等价于oracle最优权重的风险），且权重本身收敛到某个极限。

关键设定与假设¶

在第二节最小记号的基础上，补全完整设定：

候选模型：\( M = \{1, \dots, K\} \)，每个模型 \( m \) 为 \( Y = g_m(X, \beta_m) + \varepsilon \)，其中 \( g_m \) 是已知的非线性函数，关于 \( \beta_m \) 二阶连续可微。\( K \) 是固定的（不随 \( n \) 增长）。
参数估计：对每个模型 \( m \)，用非线性最小二乘（NLS）估计 \( \hat{\beta}_m \)。假设NLS估计是 \( \sqrt{n} \)-一致的且渐近正态的。
假设（论文中的Assumptions 1-5，此处概括）：
参数空间紧致性：\( \beta_m \) 属于紧致参数空间 \( \Theta_m \)。
可识别性：真实参数 \( \beta_m^* \) 是唯一的最小化 \( \mathbb{E}[ (Y - g_m(X, \beta))^2 ] \) 的点。
光滑性：\( g_m \) 关于 \( \beta_m \) 二阶连续可微，且导数的期望有界。
矩条件：\( \varepsilon \) 的四阶矩有限，且 \( X \) 的某些函数有界矩。
Hessian矩阵的非奇异性：\( H_m = \mathbb{E}[ \nabla_\beta g_m(X, \beta_m^*) \nabla_\beta g_m(X, \beta_m^*)^\top ] \) 是正定的。
相比已有文献的放宽/强化：
放宽：相比Hansen (2007)的MMA（要求线性模型），本文允许 \( g_m \) 关于参数非线性。
强化：相比Hansen & Racine (2012)的JMA（允许异方差，但要求线性模型），本文假设同方差（\( \varepsilon \) 的方差为常数 \( \sigma^2 \)）。这是一个更强的假设——如果存在异方差，NIC的偏差校正项需要调整。作者在结论部分提到“异方差情形下的推广是未来工作”。

主要结果¶

定理1（NIC的渐近无偏性）： - 陈述：在假设1-5下，对任意固定的权重向量 \( w \in \mathcal{W} \)，有

\[\mathbb{E}[ \text{NIC}(w) ] = \mathbb{E}[ L_n(w) ] + \sigma^2 + o(1),\]

其中 \( \sigma^2 = \mathbb{E}[\varepsilon^2] \)。 - 直觉：NIC是风险函数 \( L_n(w) \) 的渐近无偏估计（至多差一个常数 \( \sigma^2 \)，该常数不依赖于 \( w \)，因此不影响权重选择）。这个定理保证了最小化NIC等价于最小化风险（在渐近意义下）。 - 必要条件：NLS估计的 \( \sqrt{n} \)-一致性和渐近线性展开（即 \( \hat{\beta}_m - \beta_m^* = H_m^{-1} S_m + o_p(1/\sqrt{n}) \)）。 - 解决的技术难点：非线性模型下，拟合值 \( \hat{Y}_i^{(m)} \) 与 \( Y_i \) 之间的协方差结构复杂。作者通过泰勒展开将非线性问题线性化，然后利用线性模型下的标准技巧（如 \( \mathbb{E}[ \varepsilon_i (\hat{Y}_i^{(m)} - \mu_i) ] = \text{tr}( \text{Cov}(\hat{Y}^{(m)}, Y) ) \) 的类似物）来推导偏差校正项。

定理2（NIC的渐近最优性）： - 陈述：在假设1-5下，令 \( \hat{w} = \arg\min_{w \in \mathcal{W}} \text{NIC}(w) \)，\( w^* = \arg\min_{w \in \mathcal{W}} L_n(w) \)。则

\[\frac{L_n(\hat{w})}{\inf_{w \in \mathcal{W}} L_n(w)} \xrightarrow{p} 1.\]

- 直觉：由NIC选出的权重，其风险渐近等价于oracle最优权重的风险。这是模型平均中最理想的性质。 - 必要条件：定理1的渐近无偏性，加上一个“一致收敛”条件（即 \( \sup_{w \in \mathcal{W}} |\text{NIC}(w) - L_n(w) - \sigma^2| \xrightarrow{p} 0 \)）。这个一致收敛性需要更强的假设（如 \( g_m \) 的导数一致有界，以及参数空间紧致）。 - 解决的技术难点：证明一致收敛性需要处理非线性模型下经验过程的复杂性。作者使用了标准的一致大数定律（ULLN）和随机等度连续性（stochastic equicontinuity）技巧。

定理3（权重的收敛性）： - 陈述：在假设1-5下，\( \hat{w} \) 收敛到某个非随机极限 \( w^0 \)，该极限是某个“极限风险”的最小化点。 - 直觉：权重不是随机游走的，而是有稳定极限的。这个极限 \( w^0 \) 可以解释为“在渐近意义下最优的固定权重”。 - 必要条件：风险函数 \( L_n(w) \) 在 \( w \) 上的一致收敛性，以及极限风险函数的唯一最小值点。

证明路线与技术技巧¶

整体路线（3-5步逻辑主干）：

线性化：对每个模型 \( m \)，将拟合值 \( \hat{Y}^{(m)} \) 在真实参数 \( \beta_m^* \) 处一阶泰勒展开：
\[\hat{Y}_i^{(m)} \approx g_m(X_i, \beta_m^*) + \nabla_\beta g_m(X_i, \beta_m^*)^\top (\hat{\beta}_m - \beta_m^*).\]
这一步将非线性问题转化为近似的线性问题。
渐近展开：利用NLS估计的渐近线性表示 \( \hat{\beta}_m - \beta_m^* = H_m^{-1} S_m + o_p(1/\sqrt{n}) \)，其中 \( S_m = \frac{1}{n} \sum_{i=1}^n \nabla_\beta g_m(X_i, \beta_m^*) \varepsilon_i \)。代入线性化表达式，得到：
\[\hat{Y}_i^{(m)} \approx g_m(X_i, \beta_m^*) + \frac{1}{n} \sum_{j=1}^n \nabla_\beta g_m(X_i, \beta_m^*)^\top H_m^{-1} \nabla_\beta g_m(X_j, \beta_m^*) \varepsilon_j.\]
这实际上将 \( \hat{Y}^{(m)} \) 近似表示为 \( Y \) 的线性函数（类似于线性模型中的帽子矩阵）。
计算偏差：计算 \( \mathbb{E}[ \frac{1}{n} \sum (Y_i - \hat{Y}_i(w))^2 ] \) 的期望。将其分解为：
\[\mathbb{E}[ \frac{1}{n} \sum (Y_i - \hat{Y}_i(w))^2 ] = \mathbb{E}[ \frac{1}{n} \sum (\mu_i - \hat{Y}_i(w))^2 ] + \mathbb{E}[ \frac{1}{n} \sum \varepsilon_i^2 ] + 2 \mathbb{E}[ \frac{1}{n} \sum \varepsilon_i (\mu_i - \hat{Y}_i(w)) ].\]
第一项是 \( \mathbb{E}[L_n(w)] \)，第二项是 \( \sigma^2 \)，第三项是交叉项。利用线性化表达式，可以证明：
\[\mathbb{E}[ \frac{1}{n} \sum \varepsilon_i (\mu_i - \hat{Y}_i(w)) ] \approx -\frac{1}{n} \sum_{m=1}^K w_m \text{tr}(H_m^{-1} V_m),\]
其中 \( V_m = \mathbb{E}[ \nabla_\beta g_m(X, \beta_m^*) \nabla_\beta g_m(X, \beta_m^*)^\top \varepsilon^2 ] \)。在同方差假设下，\( V_m = \sigma^2 H_m \)，因此 \( \text{tr}(H_m^{-1} V_m) = \sigma^2 d_m \)。
构造NIC：由上述偏差计算，得到：
\[\mathbb{E}[ \frac{1}{n} \sum (Y_i - \hat{Y}_i(w))^2 ] = \mathbb{E}[L_n(w)] + \sigma^2 - \frac{2}{n} \sum w_m \text{tr}(H_m^{-1} V_m) + o(1).\]
因此，\( \text{NIC}(w) = \frac{1}{n} \sum (Y_i - \hat{Y}_i(w))^2 + \frac{2}{n} \sum w_m \text{tr}(\hat{H}_m^{-1} \hat{V}_m) \) 满足 \( \mathbb{E}[\text{NIC}(w)] = \mathbb{E}[L_n(w)] + \sigma^2 + o(1) \)。
最优性证明：利用一致收敛性（\( \sup_w |\text{NIC}(w) - L_n(w) - \sigma^2| \xrightarrow{p} 0 \)），以及 \( \sigma^2 \) 不依赖于 \( w \)，得到 \( \hat{w} \) 与 \( w^* \) 的渐近等价性。

关键跳跃点： - 从线性化到渐近无偏性的严格证明：泰勒展开的余项需要控制。作者假设 \( g_m \) 的二阶导数有界，且 \( \hat{\beta}_m \) 是 \( \sqrt{n} \)-一致的，从而保证余项是 \( o_p(1/\sqrt{n}) \) 量级，在期望中可忽略。 - 交叉项 \( \mathbb{E}[ \varepsilon_i (\mu_i - \hat{Y}_i(w)) ] \) 的计算：这是最吃功夫的部分。在线性模型下，这个交叉项直接等于 \( -\frac{2\sigma^2}{n} \sum w_m d_m \)。在非线性下，需要利用线性化后的“近似帽子矩阵”来计算。作者巧妙地利用了 \( \varepsilon_i \) 与 \( \hat{\beta}_m \) 的渐近独立性（通过NLS估计的渐近线性表示），将交叉项转化为一个迹（trace）的形式。

技术技巧点名： - 泰勒展开与线性化：将非线性拟合值近似为线性函数，这是整个证明的基石。 - NLS估计的渐近线性表示：\( \hat{\beta}_m - \beta_m^* = H_m^{-1} S_m + o_p(1/\sqrt{n}) \)，这是非线性回归的标准结果。 - 迹（trace）技巧：将交叉项中的求和转化为矩阵的迹，从而得到简洁的偏差校正项。 - 一致大数定律（ULLN）与随机等度连续性：用于证明 \( \sup_w |\text{NIC}(w) - L_n(w) - \sigma^2| \xrightarrow{p} 0 \)，这是渐近最优性证明的关键。

真实例子与应用¶

数据：个体工资预测。使用美国当前人口调查（Current Population Survey, CPS）数据，包含约5000个观测，变量包括教育年限、工作经验、性别、种族、婚姻状况等。

方法应用： - 候选模型：构建了6个非线性回归模型，包括： - 线性模型（工资对教育、经验的线性回归） - 对数线性模型（log(工资)对教育、经验的线性回归） - 含交互项的线性模型 - 含二次项的模型（如经验平方） - 半对数模型（工资对教育、经验的半对数形式） - 指数模型（工资 = exp(线性组合)） - 这些模型在参数和变量上都是非线性的（例如，指数模型关于参数非线性）。 - 使用NMA（即最小化NIC）选择权重，并与以下方法比较： - 单个最佳模型（AIC/BIC选择） - 简单平均（等权重） - Mallows模型平均（MMA，但MMA理论上只适用于线性模型，这里作为对比baseline） - Jackknife模型平均（JMA）

结果： - NMA在6个候选模型上的权重分配：对数线性模型权重最高（约0.4），其次是含交互项的线性模型（约0.3），指数模型权重最低（约0.05）。 - 预测误差（均方预测误差，MSPE）：NMA的MSPE最低，比简单平均低约5%，比单个最佳模型低约10%，比MMA低约3%。 - 稳健性：在子样本分析中，NMA始终表现最好或接近最好。

这个例子想说明什么： - 验证理论：NIC在真实数据上确实能选出有效的权重，使得预测误差低于任何单个模型。 - 展示相对baseline的优势：NMA优于MMA和JMA，说明在非线性模型下，专门为非线性设计的准则（NIC）比直接套用线性准则（MMA/JMA）更有效。 - 实际意义：工资预测是一个经典的经济学问题，非线性模型（如对数线性）通常比线性模型拟合更好。NMA提供了一种自动组合这些非线性模型的方法。

🔎 结论是否比证明窄¶

窄结论1：定理1的渐近无偏性是在同方差假设下证明的。作者在结论部分提到“异方差情形下的推广是未来工作”，但并未在本文中处理。因此，NIC在异方差下的表现没有理论保证。
窄结论2：定理2的渐近最优性要求 \( K \) 固定（不随 \( n \) 增长）。如果候选模型数量随样本量增长（如高维模型平均），NIC的最优性不再成立。作者在结论中未讨论这一情形。
窄结论3：NIC的构造依赖于NLS估计的渐近线性表示。如果候选模型是“高度非线性”的（如神经网络），NLS估计可能不满足 \( \sqrt{n} \)-一致性（例如，在过参数化模型中），此时NIC的理论基础不再成立。作者在假设中明确要求NLS估计是 \( \sqrt{n} \)-一致的，但未讨论这一假设在哪些常见非线性模型下可能被违反。

四、开放问题¶

异方差情形下的NIC：本文的NIC假设同方差（\( \text{Var}(\varepsilon|X) = \sigma^2 \)）。在异方差下，偏差校正项需要调整为 \( \frac{2}{n} \sum w_m \text{tr}(H_m^{-1} V_m) \)，其中 \( V_m = \mathbb{E}[ \nabla g_m \nabla g_m^\top \varepsilon^2 ] \) 不再等于 \( \sigma^2 H_m \)。如何构造一个异方差稳健的NIC？其渐近性质如何？扎根点：论文结论部分“Extension to heteroscedastic errors is a topic for future research”。
候选模型数量随 \( n \) 增长：本文假设 \( K \) 固定。如果候选模型数量随样本量增长（例如，在变量选择问题中，每个子集对应一个模型），NIC的最优性是否仍然成立？需要什么样的条件？扎根点：论文假设部分“the number of candidate models \( K \) is fixed”，未讨论 \( K \to \infty \) 的情形。
NIC与交叉验证的关系：本文提到交叉验证（CV）是另一种可行的权重选择方法，但未深入比较。在非线性模型下，NIC与留一法CV（LOOCV）的渐近性质有何异同？是否存在类似于线性模型下的等价关系（如Mallows’ Cp与LOOCV的渐近等价性）？扎根点：论文引言部分“Cross-validation is also a possible approach, but its asymptotic properties under nonlinear settings have not been studied”。
NIC在“高度非线性”模型下的失效：本文的证明依赖于NLS估计的 \( \sqrt{n} \)-一致性。对于某些非线性模型（如神经网络、深度模型），NLS估计可能不是 \( \sqrt{n} \)-一致的（例如，在过参数化或非凸优化下）。在这些情形下，NIC是否仍然可用？是否需要新的理论框架？扎根点：论文假设3要求“\( \hat{\beta}_m \) is \( \sqrt{n} \)-consistent”，但未讨论这一假设在哪些常见模型下可能被违反。

Maintained by 陈星宇 · Homepage · Source on GitHub