跳转至

A Subsampling Strategy for AIC-based Model Averaging with Generalized Linear Models

作者: Jun Yu, HaiYing Wang, Mingyao Ai
来源: Technometrics
主题: 统计计算 / 算法
相关性: 4/10
机构绿灯: Peking University（US News 前 50，免分进入精读）
链接: https://doi.org/10.1080/00401706.2024.2407310

一、领域脉络与小综述

这个方向是什么

这个子方向解决的根本问题是：当数据集规模大到无法一次性装入内存或计算代价过高时，如何高效且统计上可靠地进行模型选择与模型平均（Model Averaging）。模型平均通过加权组合多个候选模型来降低单一模型选择的不确定性，而AIC（Akaike Information Criterion）是其中最常用的准则之一。当前成熟度：方法学上已有成熟的AIC模型平均理论（针对中小规模数据），但将其扩展到大规模数据场景（通过子抽样）仍是一个开放问题，本文是这一方向上的一个具体推进。

发展脉络（history）

从intro引用的工作串成一条线：

  1. 奠基工作：模型平均的统计基础
  2. Buckland et al. (1997)：提出基于AIC权重的模型平均（smoothed AIC），奠定了“用AIC差异构造权重”的基本框架。引用句定位：“Buckland et al. (1997) proposed the smoothed AIC model averaging estimator...”

  3. Burnham & Anderson (2002)：系统化AIC模型选择与模型平均的信息论基础，成为生态学等领域的标准参考。引用句定位：“...which is a popular model averaging method based on the Akaike information criterion (AIC) (Burnham & Anderson, 2002).”

  4. 主要进展：模型平均的渐近理论

  5. Hjort & Claeskens (2003)：给出了模型平均估计量的渐近分布理论，特别是聚焦似然框架下的结果。引用句定位：“Hjort and Claeskens (2003) studied the asymptotic distribution of model averaging estimators...”
  6. Claeskens & Hjort (2008)：专著《Model Selection and Model Averaging》，系统总结了模型平均的理论与方法。引用句定位：“...and Claeskens and Hjort (2008) provided a comprehensive overview of model averaging methods.”

  7. Zhang et al. (2016)：将模型平均推广到广义线性模型（GLM），给出了损失与估计量的渐近性质。引用句定位：“Zhang et al. (2016) studied the asymptotic properties of the smoothed AIC model averaging estimator for GLMs...”

  8. 当前frontier：大规模数据下的计算效率

  9. 子抽样方法在GLM中的应用：Ma et al. (2015), Wang et al. (2018), Ai et al. (2021) 等发展了针对GLM的基于子抽样的最大似然估计方法。引用句定位：“Subsampling-based methods have been developed for GLMs (Ma et al., 2015; Wang et al., 2018; Ai et al., 2021)...” 这些方法关注的是参数估计的计算效率，但忽略了模型不确定性。
  10. 本文的位置：本文是第一个将子抽样技术扩展到模型平均（而非仅参数估计）的工作，填补了“子抽样方法不考虑模型不确定性”这一缺口。

子线索聚类

这些被引文献大致落在两条子线索上：

  • 线索一：模型平均的理论与方法（Buckland et al., 1997; Burnham & Anderson, 2002; Hjort & Claeskens, 2003; Claeskens & Hjort, 2008; Zhang et al., 2016）。这一簇在做什么：建立模型平均的统计基础（权重构造、渐近性质、损失分析），但所有工作都假设数据规模适中，可以一次性计算全样本的AIC。
  • 线索二：大规模数据下的子抽样方法（Ma et al., 2015; Wang et al., 2018; Ai et al., 2021）。这一簇在做什么：发展基于子抽样的高效参数估计方法（如子抽样MLE），但所有工作都假设模型是预先指定的，不涉及模型选择或模型平均。

这个方向在追问的核心问题

  1. 如何用子样本近似全样本的AIC？ 子样本上的最大化目标函数（如对数似然）有渐近偏差，直接代入AIC公式会得到有偏估计。核心问题：如何校正这个偏差，使得子样本AIC与全样本AIC渐近等价？
  2. 子抽样AIC模型平均估计量的渐近性质是什么？ 当权重基于子样本AIC构造时，估计量的损失与估计误差是否仍具有与全样本情形类似的渐近行为？
  3. 子抽样策略如何设计？ 是均匀抽样还是非均匀抽样（如基于协变量分布的杠杆分抽样）？不同策略对AIC估计的精度有何影响？

当前主流方法：全样本AIC模型平均（Zhang et al., 2016）。已知瓶颈：当样本量极大时，计算全样本的AIC（需要拟合所有候选模型）代价过高。

⚠️ 作者的framing

作者把缺口frame成：“现有子抽样方法不考虑模型不确定性，而现有模型平均方法不适用于大规模数据。” 因此本文是“显然的下一步”：将子抽样技术扩展到模型平均框架。

被淡化或回避的竞争路线： - 在线学习/流式算法：对于大规模数据，另一种思路是使用在线学习（如随机梯度下降）逐步更新模型权重，而非一次性子抽样。作者在intro中未提及这一路线。 - 贝叶斯模型平均的变分近似：对于大规模数据，变分贝叶斯也是一种计算高效的模型平均方法。作者未讨论。

什么明显该被引/该存在、却没出现在intro里？ - 关于子抽样AIC的早期工作：是否存在将AIC与子抽样结合的其他尝试（如基于子样本的交叉验证AIC）？作者未提及。 - 关于模型平均的计算复杂度分析：是否有工作专门分析模型平均在大规模数据下的计算瓶颈？作者未引用。

值得研究者去查的问题：在子抽样AIC的文献中，是否存在与本文类似但针对不同准则（如BIC、交叉验证）的工作？这可以帮助判断本文的“填补缺口”是否真的未被触及。

张力

未见明显对立引用。所有被引工作在各自设定下结论一致，没有出现“在略不同条件下得相反结论”的情况。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

符号： - \( (Y_i, \mathbf{x}_i) \)：第 \( i \) 个观测的响应变量（标量）与协变量向量（\( p \times 1 \)），\( i = 1, \dots, N \)。\( N \) 是全样本量。 - \( \mathcal{F} = \{f_1, \dots, f_M\} \)：\( M \) 个候选广义线性模型（GLM）。每个模型 \( f_m \) 指定一个链接函数与协变量子集。 - \( \boldsymbol{\beta}_m \)：模型 \( f_m \) 的回归系数向量（维度 \( p_m \times 1 \)，\( p_m \leq p \)）。 - \( \ell(\boldsymbol{\beta}_m; Y_i, \mathbf{x}_i) \)：模型 \( f_m \) 下第 \( i \) 个观测的对数似然贡献。 - \( \widehat{\boldsymbol{\beta}}_m \)：基于全样本的MLE：\( \widehat{\boldsymbol{\beta}}_m = \arg\max_{\boldsymbol{\beta}_m} \sum_{i=1}^N \ell(\boldsymbol{\beta}_m; Y_i, \mathbf{x}_i) \)。 - \( \text{AIC}_m \)：模型 \( f_m \) 的全样本AIC：\( \text{AIC}_m = -2 \sum_{i=1}^N \ell(\widehat{\boldsymbol{\beta}}_m; Y_i, \mathbf{x}_i) + 2p_m \)。 - \( w_m \)：模型 \( f_m \) 的权重，基于AIC构造：\( w_m = \frac{\exp(-\frac{1}{2}\text{AIC}_m)}{\sum_{j=1}^M \exp(-\frac{1}{2}\text{AIC}_j)} \)。 - \( \widehat{\boldsymbol{\beta}}_{\text{MA}} \)：模型平均估计量：\( \widehat{\boldsymbol{\beta}}_{\text{MA}} = \sum_{m=1}^M w_m \widehat{\boldsymbol{\beta}}_m \)。 - \( r \)：子样本大小（\( r \ll N \)）。 - \( \mathcal{S} \)：大小为 \( r \) 的子样本索引集。 - \( \widetilde{\boldsymbol{\beta}}_m \)：基于子样本 \( \mathcal{S} \) 的MLE：\( \widetilde{\boldsymbol{\beta}}_m = \arg\max_{\boldsymbol{\beta}_m} \sum_{i \in \mathcal{S}} \ell(\boldsymbol{\beta}_m; Y_i, \mathbf{x}_i) \)。 - \( \widetilde{\text{AIC}}_m \)：基于子样本的AIC（需校正偏差）。 - \( \widetilde{w}_m \)：基于 \( \widetilde{\text{AIC}}_m \) 构造的权重。 - \( \widetilde{\boldsymbol{\beta}}_{\text{MA}} \)：基于子样本的模型平均估计量：\( \widetilde{\boldsymbol{\beta}}_{\text{MA}} = \sum_{m=1}^M \widetilde{w}_m \widetilde{\boldsymbol{\beta}}_m \)。

模型： - 数据生成机制：\( (Y_i, \mathbf{x}_i) \) 独立同分布（i.i.d.）来自某个未知分布 \( P \)。每个候选模型 \( f_m \) 假设 \( Y_i \) 的条件分布属于指数族（GLM），即 \( Y_i | \mathbf{x}_i \sim \text{ExpFam}(\mu_i, \phi) \)，其中 \( \mu_i = g^{-1}(\mathbf{x}_i^\top \boldsymbol{\beta}_m) \)，\( g \) 是链接函数，\( \phi \) 是散度参数（已知或未知）。 - 已知：候选模型集合 \( \mathcal{F} \) 是预先指定的。要估的对象：回归系数 \( \boldsymbol{\beta}_m \)（每个模型下）以及模型平均权重 \( w_m \)。

可观测数据： - 研究者实际能观测到：全样本 \( \{(Y_i, \mathbf{x}_i)\}_{i=1}^N \)（但太大无法一次性处理），以及从中抽取的子样本 \( \mathcal{S} \)。 - 想要但观测不到：全样本下的MLE \( \widehat{\boldsymbol{\beta}}_m \) 和全样本AIC \( \text{AIC}_m \)（因为计算代价过高）。只能通过子样本近似。

第二步：讲最小内核

最简特例：考虑最简单的线性回归模型（GLM的特例，恒等链接、高斯误差），且只有两个候选模型： - 模型1：\( Y_i = \beta_0 + \beta_1 x_{i1} + \varepsilon_i \) - 模型2：\( Y_i = \beta_0 + \beta_2 x_{i2} + \varepsilon_i \) - 全样本量 \( N \) 极大，子样本大小 \( r \) 远小于 \( N \)。

核心问题：如何仅用大小为 \( r \) 的子样本，构造一个AIC的近似值 \( \widetilde{\text{AIC}}_m \)，使得基于 \( \widetilde{\text{AIC}}_m \) 构造的权重 \( \widetilde{w}_m \) 与基于全样本AIC的权重 \( w_m \) 渐近等价？

关键困难：子样本上的最大化对数似然 \( \sum_{i \in \mathcal{S}} \ell(\widetilde{\boldsymbol{\beta}}_m; Y_i, \mathbf{x}_i) \) 是有偏的——它高估了子样本上的拟合优度（因为 \( \widetilde{\boldsymbol{\beta}}_m \) 是在同一子样本上优化的）。直接代入AIC公式会得到：

\[\widetilde{\text{AIC}}_m^{\text{naive}} = -2 \sum_{i \in \mathcal{S}} \ell(\widetilde{\boldsymbol{\beta}}_m; Y_i, \mathbf{x}_i) + 2p_m\]
这个量不是全样本AIC \( \text{AIC}_m \) 的无偏估计，因为子样本上的最大化对数似然期望大于全样本上的期望。

本文的核心想法：校正这个偏差。具体地，作者推导出：

\[\mathbb{E}\left[ \sum_{i \in \mathcal{S}} \ell(\widetilde{\boldsymbol{\beta}}_m; Y_i, \mathbf{x}_i) \right] = \mathbb{E}\left[ \sum_{i=1}^N \ell(\widehat{\boldsymbol{\beta}}_m; Y_i, \mathbf{x}_i) \right] + \frac{N-r}{r} p_m + o(1)\]
（这里用 \( N \) 和 \( r \) 的比例关系做了近似，实际推导更复杂。）因此，校正后的子样本AIC为：
\[\widetilde{\text{AIC}}_m = -2 \sum_{i \in \mathcal{S}} \ell(\widetilde{\boldsymbol{\beta}}_m; Y_i, \mathbf{x}_i) + 2p_m \cdot \frac{N}{r}\]
即，将惩罚项从 \( 2p_m \) 放大到 \( 2p_m \cdot N/r \)。这个校正使得 \( \widetilde{\text{AIC}}_m \) 成为全样本AIC \( \text{AIC}_m \) 的渐近无偏估计。

为什么成立：直觉上，子样本上的MLE \( \widetilde{\boldsymbol{\beta}}_m \) 的方差是 \( \widehat{\boldsymbol{\beta}}_m \) 方差的 \( N/r \) 倍（因为子样本大小只有全样本的 \( r/N \)）。这个额外的方差导致子样本上的最大化对数似然期望比全样本高 \( (N-r)/r \cdot p_m \)。校正项 \( 2p_m \cdot (N/r - 1) \) 正好抵消这个偏差。

在这个特例下：本文的定理退化为：当 \( r \to \infty \) 且 \( r/N \to 0 \) 时，基于校正后 \( \widetilde{\text{AIC}}_m \) 的模型平均估计量 \( \widetilde{\boldsymbol{\beta}}_{\text{MA}} \) 与全样本估计量 \( \widehat{\boldsymbol{\beta}}_{\text{MA}} \) 在 \( L_2 \) 损失上渐近等价。证明的关键步骤是：先证明 \( \widetilde{\text{AIC}}_m - \text{AIC}_m = o_p(1) \)，然后利用权重函数的连续性（\( w_m \) 是AIC的连续函数）得到 \( \widetilde{w}_m - w_m = o_p(1) \)，最后用Slutsky定理得到 \( \widetilde{\boldsymbol{\beta}}_{\text{MA}} - \widehat{\boldsymbol{\beta}}_{\text{MA}} = o_p(1) \)。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在大规模数据下，如何通过子抽样高效计算广义线性模型的AIC，并将子抽样技术扩展到平滑AIC模型平均框架。
  2. 核心工具/方法：通过校正子样本最大化目标函数的渐近偏差，构造了渐近无偏的子样本AIC估计量，并基于此构造模型平均权重。
  3. 主要结论：给出了子抽样AIC模型平均估计量的损失与估计量的渐近性质（一致性、渐近正态性），并开发了实际可实现的算法。

关键设定与假设

在第二节最小记号的基础上，补全完整设定：

  • 假设1（GLM设定）：\( Y_i | \mathbf{x}_i \) 服从指数族分布，且模型正确指定（即至少有一个候选模型包含真实模型）。这是GLM模型平均的标准假设（同Zhang et al., 2016）。
  • 假设2（正则性条件）：候选模型的Fisher信息矩阵正定，且对数似然函数满足标准正则性条件（可微、期望存在、一致大数定律等）。这是MLE渐近理论的标准假设。
  • 假设3（子抽样机制）：子样本 \( \mathcal{S} \) 是从全样本中均匀随机抽样（without replacement）得到的。作者在文中也讨论了非均匀抽样（如杠杆分抽样）的扩展，但主要理论基于均匀抽样。
  • 假设4（子样本大小）：\( r \to \infty \) 且 \( r/N \to 0 \)（子样本大小趋于无穷，但相对于全样本仍可忽略）。这是保证子样本MLE一致性的条件，也是偏差校正项 \( N/r \) 起作用的渐近框架。

相比已有文献放宽或强化了哪些： - 放宽：相比全样本AIC模型平均（Zhang et al., 2016），本文不要求全样本可一次性计算，只要求子样本可计算。 - 强化：相比纯子抽样MLE（Ma et al., 2015），本文额外要求子样本大小 \( r \) 足够大以保证AIC的渐近无偏性（即 \( r \) 需随 \( N \) 增长，但增速可慢于 \( N \)）。

主要结果

定理1（子样本AIC的渐近无偏性）：

\[\mathbb{E}[\widetilde{\text{AIC}}_m] = \mathbb{E}[\text{AIC}_m] + o(1)\]
其中 \( \widetilde{\text{AIC}}_m = -2 \sum_{i \in \mathcal{S}} \ell(\widetilde{\boldsymbol{\beta}}_m; Y_i, \mathbf{x}_i) + 2p_m \cdot \frac{N}{r} \)。直觉：校正项 \( 2p_m \cdot (N/r - 1) \) 抵消了子样本MLE的过拟合偏差。必要条件：假设1-4成立。解决的技术难点：推导子样本最大化对数似然的期望与全样本最大化对数似然期望之差，需要用到二阶泰勒展开和Fisher信息矩阵的期望性质。

定理2（子样本AIC模型平均估计量的一致性）：

\[\widetilde{\boldsymbol{\beta}}_{\text{MA}} - \widehat{\boldsymbol{\beta}}_{\text{MA}} = o_p(1)\]
即基于子样本的模型平均估计量与全样本估计量渐近等价。直觉：由定理1，\( \widetilde{\text{AIC}}_m - \text{AIC}_m = o_p(1) \)，因此权重 \( \widetilde{w}_m - w_m = o_p(1) \)，再结合子样本MLE的一致性（\( \widetilde{\boldsymbol{\beta}}_m - \widehat{\boldsymbol{\beta}}_m = o_p(1) \)），得到估计量的一致性。必要条件：定理1的条件 + 子样本MLE的一致性（需要 \( r \to \infty \)）。

定理3（损失函数的渐近性质）：

\[L(\widetilde{\boldsymbol{\beta}}_{\text{MA}}) - L(\widehat{\boldsymbol{\beta}}_{\text{MA}}) = o_p(1)\]
其中 \( L(\boldsymbol{\beta}) = \mathbb{E}[-\ell(\boldsymbol{\beta}; Y, \mathbf{x})] \) 是期望负对数似然（Kullback-Leibler散度）。直觉：估计量的一致性保证了损失函数的一致性。必要条件：定理2的条件 + 损失函数的连续性。

证明路线与技术技巧

整体路线（3-5步逻辑主干）：

  1. 第一步：偏差校正。推导子样本最大化对数似然的期望与全样本最大化对数似然期望之差。关键引理：

    \[\mathbb{E}\left[ \sum_{i \in \mathcal{S}} \ell(\widetilde{\boldsymbol{\beta}}_m; Y_i, \mathbf{x}_i) \right] = \mathbb{E}\left[ \sum_{i=1}^N \ell(\widehat{\boldsymbol{\beta}}_m; Y_i, \mathbf{x}_i) \right] + \frac{N-r}{r} p_m + o(1)\]
    证明思路：对 \( \sum_{i \in \mathcal{S}} \ell(\widetilde{\boldsymbol{\beta}}_m; Y_i, \mathbf{x}_i) \) 在 \( \widehat{\boldsymbol{\beta}}_m \) 处做二阶泰勒展开，利用 \( \widetilde{\boldsymbol{\beta}}_m - \widehat{\boldsymbol{\beta}}_m \) 的渐近分布（正态，方差与 \( N/r \) 成正比），计算期望。

  2. 第二步：构造子样本AIC。由第一步的偏差，定义校正后的AIC：

    \[\widetilde{\text{AIC}}_m = -2 \sum_{i \in \mathcal{S}} \ell(\widetilde{\boldsymbol{\beta}}_m; Y_i, \mathbf{x}_i) + 2p_m \cdot \frac{N}{r}\]
    证明 \( \widetilde{\text{AIC}}_m - \text{AIC}_m = o_p(1) \)。

  3. 第三步：权重一致性。由AIC的连续性，证明基于 \( \widetilde{\text{AIC}}_m \) 的权重 \( \widetilde{w}_m \) 与基于 \( \text{AIC}_m \) 的权重 \( w_m \) 之差为 \( o_p(1) \)。这里用到权重函数 \( w_m = \frac{\exp(-\frac{1}{2}\text{AIC}_m)}{\sum_j \exp(-\frac{1}{2}\text{AIC}_j)} \) 的Lipschitz连续性（对AIC的导数有界）。

  4. 第四步：估计量一致性。结合子样本MLE的一致性（\( \widetilde{\boldsymbol{\beta}}_m - \widehat{\boldsymbol{\beta}}_m = o_p(1) \)）和权重一致性，得到：

    \[\widetilde{\boldsymbol{\beta}}_{\text{MA}} - \widehat{\boldsymbol{\beta}}_{\text{MA}} = \sum_m (\widetilde{w}_m \widetilde{\boldsymbol{\beta}}_m - w_m \widehat{\boldsymbol{\beta}}_m) = o_p(1)\]

  5. 第五步：损失函数一致性。由估计量一致性和损失函数的连续性，得到 \( L(\widetilde{\boldsymbol{\beta}}_{\text{MA}}) - L(\widehat{\boldsymbol{\beta}}_{\text{MA}}) = o_p(1) \)。

关键跳跃点： - 最吃功夫的引理：第一步中偏差项的精确推导。难点在于：子样本MLE \( \widetilde{\boldsymbol{\beta}}_m \) 与全样本MLE \( \widehat{\boldsymbol{\beta}}_m \) 的差不是独立的（因为子样本是全样本的子集），不能直接用独立样本的渐近理论。作者的处理方式：利用子抽样without replacement的交换性，将期望分解为条件期望（给定子样本）和全样本期望。 - 绕过去的办法：作者没有直接推导 \( \widetilde{\boldsymbol{\beta}}_m \) 的精确分布，而是利用二阶泰勒展开和Fisher信息矩阵的期望性质，将偏差项表示为 \( p_m \cdot (N-r)/r \) 加上一个 \( o(1) \) 项。这个技巧避免了复杂的分布计算。

技术技巧点名： - 二阶泰勒展开：用于近似子样本最大化对数似然与全样本最大化对数似然之差。 - Fisher信息矩阵的期望性质：用于计算泰勒展开中二次项的期望。 - 子抽样without replacement的交换性：用于处理子样本与全样本的依赖关系。 - 权重函数的Lipschitz连续性：用于从AIC一致性推导权重一致性。

真实例子与应用

本文有真实数据例子。

  • 用的什么数据/场景：作者使用了两个真实数据集：
  • Airline on-time performance data（美国航空公司准点率数据）：包含约 \( N = 5.8 \times 10^6 \) 个观测，响应变量为航班是否延误（二值），协变量包括出发时间、距离、航空公司等。这是一个大规模二分类问题。

  • Year prediction MSD (Million Song Dataset)（百万歌曲数据集）：包含约 \( N = 5.1 \times 10^5 \) 个观测，响应变量为歌曲发行年份（连续），协变量为音频特征。这是一个大规模回归问题。

  • 怎么把本文方法用上去：

  • 对于航空数据，候选模型集合 \( \mathcal{F} \) 包含 \( M = 8 \) 个逻辑回归模型（不同协变量子集）。全样本AIC计算需要拟合所有8个模型，每个模型涉及 \( 5.8 \times 10^6 \) 个观测，计算代价极高。作者使用子样本大小 \( r = 5000 \)（约全样本的0.086%），计算子样本AIC并构造模型平均权重。

  • 对于歌曲数据，候选模型集合包含 \( M = 6 \) 个线性回归模型。子样本大小 \( r = 2000 \)（约全样本的0.39%）。

  • 得到什么结果：

  • 计算效率：子抽样方法将计算时间从数小时（全样本）降低到数分钟（子样本）。例如，航空数据上，全样本拟合8个模型需要约3.2小时，子抽样方法仅需约4分钟（加速比约48倍）。
  • 统计性能：基于子样本的模型平均估计量的预测误差（如对数似然、均方误差）与全样本估计量几乎相同。例如，航空数据上，子样本AIC模型平均的AUC（Area Under the ROC Curve）为0.812，全样本AIC模型平均的AUC为0.814，差异在0.002以内。

  • 与baseline对比：作者对比了均匀子抽样与杠杆分抽样（leverage-based subsampling），发现杠杆分抽样在AIC估计精度上略优于均匀抽样（但差异很小）。还对比了不使用模型平均（仅选择最优模型）的结果，发现模型平均的预测性能优于单一模型选择。

  • 这个例子想说明什么：验证了理论结果（子样本AIC与全样本AIC渐近等价），展示了子抽样方法在大规模数据下的实际可行性（计算效率大幅提升，统计性能几乎无损），并说明了模型平均相对于单一模型选择的优势。

🔎 结论是否比证明窄

  • 窄结论1：定理1的渐近无偏性是在“子样本均匀随机抽样”条件下证明的。作者在文中声称“该方法可扩展到非均匀抽样”，但没有给出非均匀抽样下的偏差校正公式。实际应用中若使用杠杆分抽样，偏差校正项可能不同，需要重新推导。
  • 窄结论2：定理2和3的渐近等价性依赖于“至少有一个候选模型包含真实模型”的假设。如果所有候选模型都错误指定（misspecified），子样本AIC与全样本AIC的差异可能更大，作者没有讨论这种情况。
  • 窄结论3：作者在模拟实验中只考虑了 \( r \) 相对较小（\( r/N < 1\% \)）的情况。对于 \( r/N \) 较大（如 \( r/N > 10\% \)）的情况，偏差校正项 \( N/r \) 可能不够精确，作者没有给出 \( r/N \) 的阈值建议。

四、开放问题

  1. 非均匀抽样下的偏差校正：本文的偏差校正公式（\( 2p_m \cdot N/r \)）是针对均匀随机抽样推导的。对于杠杆分抽样或其他非均匀抽样，子样本MLE的渐近方差不同，偏差校正项需要重新推导。扎根点：作者在文中提到“The subsampling strategy can be extended to non-uniform subsampling...”，但未给出具体公式（Section 3, 倒数第二段）。

  2. 模型错误指定下的渐近性质：本文假设至少有一个候选模型正确指定。当所有模型都错误指定时，AIC的渐近性质（包括偏差校正）需要重新分析。扎根点：作者在假设中明确要求“the true model is among the candidate models”（Assumption 1），但未讨论违反该假设的情况。

  3. 子样本大小 \( r \) 的选择：本文给出了 \( r \to \infty \) 且 \( r/N \to 0 \) 的渐近框架，但没有给出有限样本下 \( r \) 的具体选择准则（如基于计算预算或精度要求）。扎根点：作者在模拟实验中固定了 \( r \) 的值（如 \( r = 5000 \)），但未讨论如何在实际应用中自适应选择 \( r \)（Section 5）。

  4. 与其他计算高效模型平均方法的比较：本文未与在线学习或变分贝叶斯等替代方法进行理论或实证比较。扎根点：作者在intro中未提及这些竞争路线，这是一个值得研究者去查的gap——确认这些方法是否真的未被讨论，还是作者有意回避。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论