Bootstrap Model Averaging¶
作者: Minghui Song, Guohua Zou, Alan T. K. Wan
来源: Journal of Business & Economic Statistics
主题: 数理统计 / 假设检验
相关性: 5/10
机构绿灯: University of Hong Kong(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的领域是频率派模型平均(Frequentist Model Averaging, FMA)。其根本的统计问题是:当存在多个候选回归模型(例如不同自变量组合)时,如何选择权重向量 \(\omega = (\omega_1, \ldots, \omega_M)'\) 来组合各模型的估计量 \(\hat{\mu}_q = X_{(q)}\hat{\Theta}_q\),使得组合估计量 \(\hat{\mu}(\omega) = \sum_{q=1}^M \omega_q \hat{\mu}_q\) 在某种损失(如平方损失)下达到最优。与模型选择(Model Selection, MS)不同,模型平均不放弃任何候选模型的信息,而是通过加权融合来降低估计风险。该领域已相当成熟,核心问题从"如何选权重"延伸到了"如何对平均估计量做统计推断"。
发展脉络¶
- 奠基工作:Hansen (2007) 提出了 Mallows 模型平均(MMA),通过最小化 Mallows 准则来选择权重,首次在频率派框架下建立了权重选择的渐近最优性。这是本文的直接理论起点,其准则形式为 \(C_{MMA} = ||Y - \hat{\mu}(\omega)||^2/n + (2\sigma^2/n)\text{tr}\{H(\omega)\}\)。
- 主要进展:Wan et al. (2010) 将 MMA 推广到非嵌套模型,放宽了候选模型必须嵌套的限制。Hansen and Racine (2012) 提出 Jackknife 模型平均(JMA),用留一交叉验证准则替代 Mallows 准则,从而能处理异方差误差。Zhang et al. (2020) 针对参数个数发散的场景提出了稀疏模型平均准则。Liu (2015) 和 Zhang and Liu (2019) 则开始研究 MMA 和 JMA 估计量的极限分布,为模型平均后的统计推断奠定基础。Yu et al. (2024) 进一步将后平均推断推广到广义线性模型。
- 当前 frontier:在权重选择准则已经比较丰富的情况下,前沿问题转向了:(i) 权重估计量的收敛速度;(ii) 平均估计量的极限分布(非标准、依赖于数据);(iii) 如何构造可行的置信区间。本文正是在这一前沿上,将 bootstrap 方法引入权重选择,并同时处理了上述三个问题。
- 本文的位置:作者将 bootstrap 从"模型选择"(Shao 1996)推广到"模型平均",提出通过最小化 bootstrap 准则来选择权重,并证明了该准则与 MMA 的渐近等价性(Theorem 1),从而将 MMA 的渐近最优性、权重收敛性和极限分布理论全部移植到 bootstrap 框架下。
子线索聚类¶
- 基于信息准则的权重选择:S-AIC, S-BIC (Buckland et al. 1997),MMA (Hansen 2007),MMA 的非嵌套推广 (Wan et al. 2010)。这条线索的核心是构造一个可计算的准则函数,通过最小化它来逼近不可行的最优权重。
- 基于交叉验证/重抽样的权重选择:JMA (Hansen and Racine 2012),留一交叉验证 (Zhang et al. 2013),以及本文的 bootstrap 准则。这条线索的优势在于对误差分布的假设更弱(如异方差)。
- 模型平均的推断理论:Liu (2015),Zhang and Liu (2019),Yu et al. (2024)。这条线索关注的是平均估计量的分布,通常得到非标准极限分布,需要特殊方法构造置信区间。
- 高维与复杂数据下的模型平均:Ando and Li (2014) 处理高维线性回归,Gao et al. (2016) 处理纵向数据,Zhao and Zou (2020) 处理高维纵向数据。这条线索将模型平均推广到更复杂的数据结构。
这个方向在追问的核心问题¶
- 如何选择权重使得平均估计量在平方损失下渐近最优? 主流方法是构造准则函数(Mallows、Jackknife、bootstrap),证明最小化准则得到的权重与最小化不可行损失的最优权重渐近等价。已知瓶颈是准则函数的偏差项(如 \(\sigma^2\) 的估计)在异方差或高维下难以精确控制。
- 权重估计量以什么速度收敛到最优权重? 这决定了平均估计量的一阶渐近性质是否被权重估计的随机性所主导。已知瓶颈是当多个候选模型表现接近时,权重估计可能不稳定。
- 平均估计量的极限分布是什么?如何构造置信区间? 由于权重是数据依赖的,极限分布通常是非标准的(如高斯过程或混合分布)。已知瓶颈是分布依赖于未知的"局部"参数(如哪些模型被赋予正权重),难以直接用于推断。
⚠️ 作者的 framing¶
作者将缺口 frame 为:"虽然 bootstrap 已被证明在模型选择中有效(Shao 1996),但尚未被系统地用于模型平均的权重选择;且现有模型平均方法(MMA、JMA)的权重收敛速度和极限分布理论尚不完善。" 作者声称本文的贡献是:(1) 提出 bootstrap 权重选择准则,并证明其与 MMA 渐近等价;(2) 建立权重估计的收敛速度;(3) 推导平均估计量的极限分布并给出可行的置信区间构造方法。作者淡化了 JMA 在异方差下的优势,强调 bootstrap 的"通用性"和"自动适应"。
张力¶
未见明显对立引用。但存在一个微妙的张力:Shao (1996) 的 bootstrap 模型选择要求 \(m/n \to 0\)(\(m\) 为重抽样大小)以保证一致性,而本文的 Theorem 1 在 \(m/n \to 0\) 下证明 bootstrap 准则与 MMA 渐近等价。然而,当 \(m\) 与 \(n\) 同阶时(如 \(m = n\)),bootstrap 准则的行为是否仍与 MMA 一致?作者在 Remark 2 中声称不需要 \(m/n \to 0\),但 Theorem 1 的证明明确依赖此条件。这是一个值得研究者去查证的潜在 gap。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
- 数据:观测样本 \(\{(y_i, x_i)\}_{i=1}^n\),其中 \(y_i \in \mathbb{R}\) 是响应变量,\(x_i = (x_{i1}, x_{i2}, \ldots)'\) 是可数无限维的协变量向量。
- 数据生成过程:\(y_i = \mu_i + e_i\),其中 \(\mu_i = \sum_{j=1}^\infty \theta_j x_{ij}\) 是真实回归函数(可能包含无穷多项),\(e_i\) 是误差项,满足 \(E(e_i | x_i) = 0\),\(E(e_i^2 | x_i) = \sigma^2\)。
- 候选模型:\(M\) 个近似模型,第 \(q\) 个模型使用前 \(k_q\) 个协变量,设计矩阵 \(X_{(q)} \in \mathbb{R}^{n \times k_q}\)。模型 \(q\) 的估计量为 \(\hat{\mu}_q = X_{(q)}\hat{\Theta}_q = H_q Y\),其中 \(H_q = X_{(q)}(X_{(q)}'X_{(q)})^{-1}X_{(q)}'\) 是投影矩阵。
- 权重与平均估计量:\(\omega = (\omega_1, \ldots, \omega_M)' \in H_n = \{\omega \in [0,1]^M : \sum_{q=1}^M \omega_q = 1\}\) 是权重向量。平均估计量为 \(\hat{\mu}(\omega) = \sum_{q=1}^M \omega_q \hat{\mu}_q = H(\omega)Y\),其中 \(H(\omega) = \sum_{q=1}^M \omega_q H_q\)。
- 损失与风险:平方损失 \(L_n(\omega) = ||\hat{\mu}(\omega) - \mu||^2\),条件风险 \(R_n(\omega) = E(L_n(\omega) | X)\)。最优权重 \(\omega^0 = \arg\min_{\omega \in H_n} R_n(\omega)\) 是不可行的(因为 \(\mu\) 未知)。
- Bootstrap 样本:从原始数据中有放回地抽取 \(m\) 个样本,记为 \(\{(y_i^*, x_i^*)\}_{i=1}^m\)。Bootstrap 版本的估计量为 \(\tilde{\mu}_q^* = X_{(q)}^*(\tilde{\Theta}_q^*)\),其中 \(\tilde{\Theta}_q^* = (X_{(q)}^{*\top}X_{(q)}^*)^{-1}X_{(q)}^{*\top}Y^*\)。
- Bootstrap 准则:\(\Gamma_{n,m}(\omega) = \frac{1}{n} E_* ||Y - \tilde{\mu}(\omega)||^2\),其中 \(E_*\) 表示对 bootstrap 样本求期望(给定原始数据)。Bootstrap 权重 \(\hat{\omega} = \arg\min_{\omega \in H_n} \Gamma_{n,m}(\omega)\)。
第二步:最小内核¶
核心命题(Theorem 2 的简化版):在适当的正则条件下,bootstrap 权重估计 \(\hat{\omega}\) 使得平均估计量 \(\hat{\mu}(\hat{\omega})\) 的损失 \(L_n(\hat{\omega})\) 与不可行的最优损失 \(L_n(\omega^0)\) 之比依概率趋于 1,即:
为什么成立? 关键在于证明 bootstrap 准则 \(\Gamma_{n,m}(\omega)\) 是真实损失 \(L_n(\omega)\) 的一个一致估计(uniformly over \(\omega \in H_n\))。一旦这个一致估计成立,最小化 \(\Gamma_{n,m}\) 得到的 \(\hat{\omega}\) 就等价于最小化 \(L_n\) 得到的 \(\omega^0\)。
最小例子:假设只有两个候选模型:模型 1 只含截距(\(k_1 = 1\)),模型 2 含截距和一个协变量(\(k_2 = 2\))。权重向量 \(\omega = (\omega, 1-\omega)\),其中 \(\omega \in [0,1]\)。此时:
- 平均估计量:\(\hat{\mu}(\omega) = \omega \hat{\mu}_1 + (1-\omega) \hat{\mu}_2\)。
- 真实损失:\(L_n(\omega) = ||\omega \hat{\mu}_1 + (1-\omega) \hat{\mu}_2 - \mu||^2\),这是一个关于 \(\omega\) 的二次函数。
- Bootstrap 准则:\(\Gamma_{n,m}(\omega) = \frac{1}{n} E_* ||Y - \omega \tilde{\mu}_1^* - (1-\omega) \tilde{\mu}_2^*||^2\),这也是关于 \(\omega\) 的二次函数。
关键步骤: 1. 展开:\(\Gamma_{n,m}(\omega) = \frac{1}{n} E_* ||Y - \tilde{\mu}_2^* - \omega(\tilde{\mu}_1^* - \tilde{\mu}_2^*)||^2\),这是 \(\omega\) 的二次函数。 2. 期望:计算 \(E_*(\tilde{\mu}_q^*) = \hat{\mu}_q + o_p(1)\)(bootstrap 估计的期望近似等于原估计),以及 \(E_*(\tilde{\mu}_q^{*\top}\tilde{\mu}_r^*)\) 的渐近展开。 3. 一致收敛:利用大数定律和矩条件,证明 \(\sup_{\omega \in [0,1]} |\Gamma_{n,m}(\omega) - L_n(\omega)| \xrightarrow{p} 0\)。 4. Argmin 连续性:由于 \(L_n(\omega)\) 是凸函数(二次),且 \(\Gamma_{n,m}\) 一致收敛到 \(L_n\),则 \(\arg\min \Gamma_{n,m} \to \arg\min L_n\)。
数学难点:在一般情形下(\(M\) 个模型,\(k_q\) 发散),难点在于: - Bootstrap 准则的偏差修正:\(\Gamma_{n,m}(\omega)\) 的期望并不恰好等于 \(L_n(\omega)\),需要精确计算偏差项并证明其可忽略(Theorem 1 中的 \(\sigma^2/m \cdot \text{tr}\{H^2(\omega)\}\) 项)。 - 一致收敛速度:需要控制 \(\sup_{\omega \in H_n}\) 的随机波动,这需要经验过程理论(empirical process)和矩不等式。 - 权重收敛速度:Theorem 3 需要证明 \(||\hat{\omega} - \omega^0|| = O_p(\xi_n^{1/2} n^{-1/2 + \delta})\),这需要对准则函数的二阶展开和局部二次逼近。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:提出一种新的频率派模型平均方法——Bootstrap Model Averaging (BTMA),通过最小化 bootstrap 准则来选择模型权重,并研究其理论性质。
- 核心工具/方法:Bootstrap 重抽样(有放回抽样 \(m\) 个样本),构造 bootstrap 准则 \(\Gamma_{n,m}(\omega)\),通过二次规划求解权重。
- 主要结论:BTMA 估计量在平方损失下渐近最优(Theorem 2);bootstrap 权重以 \(\xi_n^{1/2} n^{-1/2+\delta}\) 的速度收敛到最优权重(Theorem 3);在嵌套线性模型下,BTMA 估计量具有非标准极限分布(Theorem 5),并据此构造了置信区间。
关键设定与假设¶
- 模型设定:无限维协变量,\(y_i = \mu_i + e_i\),\(\mu_i = \sum_{j=1}^\infty \theta_j x_{ij}\)。候选模型为嵌套的前 \(k_q\) 个协变量。
- 条件 (C.1):设计矩阵元素一致有界。这保证了投影矩阵 \(H_q\) 的谱范数可控。
- 条件 (C.2):\(X_{(q)}'X_{(q)}/n\) 的特征值一致有界(上下界为正常数)。这是正则性条件,保证最小二乘估计的稳定性。
- 条件 (C.3):bootstrap 设计矩阵 \(X_{(q)}^{*\top}X_{(q)}^*/m\) 的特征值一致有界。这是 bootstrap 版本的正则性条件。
- 条件 (C.4):\(\max_i \mu_i^2 = O(1)\)。真实回归函数有界。
- 条件 (C.5):\(\max_{q,i} h_{ii}^{(q)} = O(k_{M^*}/n)\)。帽子矩阵对角线元素一致小,排除强影响点。
- 条件 (C.6):\(n k_{M^*}^3 / (m \xi_n) \to 0\),其中 \(\xi_n = \inf_{\omega \in H_n} R_n(\omega)\) 是最小风险。这是核心条件,要求模型维度 \(k_{M^*}\) 不能太大,且最小风险不能太小。
- 条件 (C.7):误差项 \(e_i\) 的条件矩有界:\(E(e_i^{4G}|x_i) = O(1)\) 对某个 \(G \geq 2\)。这是矩条件,用于控制 bootstrap 的随机波动。
- 条件 (C.8):\(M \xi_n^{-G} \to 0\)。候选模型数量 \(M\) 不能增长太快。
- 条件 (C.10)-(C.13):用于权重收敛速度的额外条件,包括 \(\Lambda'\Lambda/n\) 的特征值有界、\(||X'e/\sqrt{n}|| = O_p(k_{M^*}^{1/2})\)、\(m = C_6 n^\gamma\)(\(\gamma \geq 1\))等。
- 条件 (C.14):\(n = C_7 m\),即重抽样大小与样本量成比例。
- 条件 (C.15):\(Q_n = X'X/n \to Q\) 且 \(Z_n = n^{-1/2}X'e \xrightarrow{d} Z \sim N(0, \Xi)\)。这是极限分布推导的高层条件。
相比已有文献:与 MMA (Hansen 2007) 相比,BTMA 不要求误差方差已知或同方差;与 JMA (Hansen and Racine 2012) 相比,BTMA 的准则构造更通用,不依赖于特定的交叉验证形式。但 BTMA 的条件 (C.6) 要求 \(k_{M^*}^3 / (m \xi_n) \to 0\),这比 MMA 的条件更严格(MMA 通常只要求 \(k_{M^*}^2/n \to 0\))。
主要结果¶
Theorem 1(与 MMA 的渐近等价):在条件 (C.1)-(C.2) 下,若 \(m/n \to 0\),则
Theorem 2(渐近最优性):在条件 (C.1)-(C.8) 下,
Theorem 3(权重收敛速度):在条件 (C.1)-(C.8) 和 (C.10)-(C.13) 下,
Theorem 4(欠拟合模型权重):在条件 (C.1)-(C.7), (C.14)-(C.15) 下,对任何欠拟合模型 \(q \in \{1, \ldots, M_0\}\),\(\hat{\omega}_q = O_p(m^{-1})\)。即欠拟合模型的权重以 \(1/m\) 的速度趋于零。
Theorem 5(极限分布):在条件 (C.1)-(C.7), (C.14)-(C.15) 下,
证明路线与技术技巧¶
整体路线: 1. Step 1:建立 bootstrap 准则 \(\Gamma_{n,m}(\omega)\) 与真实损失 \(L_n(\omega)\) 的渐近等价关系(Theorem 1)。核心是计算 \(E_*||Y - \tilde{\mu}(\omega)||^2\) 的展开式,利用 bootstrap 估计 \(\tilde{\Theta}_q^*\) 的条件期望和方差。 2. Step 2:利用 Theorem 1 和矩不等式,证明 \(\Gamma_{n,m}(\omega)\) 在 \(H_n\) 上一致收敛到 \(L_n(\omega)\)(Lemma 2 和 Theorem 2 的证明)。关键是用 Chebyshev 不等式和 Bonferroni 不等式控制 \(\sup_{\omega \in H_n}\) 的偏差。 3. Step 3:对权重估计 \(\hat{\omega}\) 做二阶展开,证明其收敛速度(Theorem 3)。关键是对 \(\Gamma_{n,m}(\omega)\) 在 \(\omega^0\) 处做泰勒展开,并利用 \(\Lambda'\Lambda/n\) 的特征值条件控制二次项。 4. Step 4:利用 Theorem 4 排除欠拟合模型,将极限分布简化为只包含正确/过拟合模型的部分。然后利用连续映射定理和 Slutsky 定理推导 \(\sqrt{n}(\hat{\beta}(\hat{\omega}) - \beta)\) 的极限分布(Theorem 5)。
关键跳跃点: - Lemma 2 的证明:需要精确计算 \(E_*||\hat{\mu}(\omega) - \tilde{\mu}(\omega)||^2\) 的上界。作者利用 Cauchy-Schwarz 不等式和帽子矩阵的性质,将问题转化为对 \(\text{tr}\{H(\omega)\}\) 和 \(\hat{e}_{R^*}^2\) 的控制。这里的难点是处理 \(M\) 个模型的联合波动,作者用 \(\max_{q,i} \hat{e}_{q,i}^2\) 来统一控制。 - Theorem 3 的证明:需要证明 \(\Gamma_{n,m}(\omega)\) 在 \(\omega^0\) 附近有正的二阶项。作者利用条件 (C.10)(\(\Lambda'\Lambda/n\) 的特征值有界)和条件 (C.13)(\(n^{1/2} M^{3/2} k_{M^*}^2 / (m \xi_n) \to 0\))来保证二次项不被线性项的波动所淹没。 - Theorem 5 的证明:需要处理权重估计 \(\hat{\omega}\) 与 \(Z\) 的联合收敛。作者先证明 \(\hat{\omega}\) 的极限分布由 \(\tilde{\nu}\) 给出,然后利用 \(\sqrt{n}(\hat{\beta}_q - \beta) = V_q Z + o_p(1)\) 的联合收敛,最后通过连续映射定理得到结果。
技术技巧点名: - Bootstrap 矩计算:利用 \(E_*(\tilde{\Theta}_q^*) = \hat{\Theta}_q + o_p(1)\) 和 \(E_*(\tilde{\Theta}_q^* \tilde{\Theta}_r^{*\top})\) 的精确展开,这是 Theorem 1 的核心。 - 经验过程理论:用于控制 \(\sup_{\omega \in H_n}\) 的一致收敛,特别是 Lemma 2 中对 \(\max_{q,i} \hat{e}_{q,i}^2\) 的处理。 - 二次型集中不等式:用于控制 \(e'H(\omega)e - \sigma^2\text{tr}\{H(\omega)\}\) 的波动,这是 Theorem 2 证明的关键。 - 局部二次逼近:用于推导权重估计的收敛速度(Theorem 3),类似于 M-estimator 的经典证明路线。 - 连续映射定理 + Slutsky 定理:用于从权重和估计量的联合收敛推导平均估计量的极限分布(Theorem 5)。
真实例子与应用¶
例 1(模拟,基于 Hansen 2007 的设置):数据生成 \(y_i = \sum_{j=1}^{100} \theta_j x_{ij} + e_i\),其中 \(\theta_j = c\sqrt{2\alpha} j^{-\alpha-1/2}\),\(\alpha \in \{0.5, 1.0, 1.5\}\),\(c\) 由 \(R^2\) 决定。样本量 \(n \in \{50, 150, 400\}\),候选模型数 \(M = [3n^{1/3}]\)。比较 11 种方法:AIC, BIC, S-AIC, S-BIC, MMA, JMA, BMS, Sub, Bag, BTMA。结果显示:BTMA 在大多数情况下风险最小,尤其在 \(\alpha = 0.5\)(系数衰减慢)和小样本 \(n=50\) 时优势明显。当 \(n\) 增大时,所有模型平均方法趋于一致。
例 2(模拟,基于 Shao 1996 的设置):线性模型 \(y_i = x_i'\theta + e_i\),5 个协变量取自 solid waste 数据。比较 BMS 和 BTMA 的均方误差。结果显示:当候选模型包含真实模型时,BMS 略优于 BTMA;当候选模型不包含真实模型时,BTMA 显著优于 BMS。这说明模型平均相对于模型选择的优势在模型设定错误时更为突出。
例 3(实证,美国犯罪数据):数据来自 R 的 MASS 包,包含 47 个州的犯罪率(\(y\))和 15 个预测变量。样本量 \(n \in \{33, 36, 39, 42\}\)。结果显示:BTMA 在均方预测误差(MSPE)上始终最小,其次是 JMA 和 S-BIC。BTMA 的 MSPE 方差也较小,说明其稳定性较好。
例 4(实证,Motor Trend 汽车数据):数据来自 R 的 datasets 包,包含 32 辆汽车的油耗(mpg)和 10 个预测变量。样本量 \(n \in \{20, 22, 24, 26\}\)。结果显示:BTMA 在 \(n=20, 22, 24\) 时 MSPE 最小,在 \(n=26\) 时略逊于 S-BIC。BTMA 的方差始终较小。
🔎 结论是否比证明窄¶
- Theorem 2 的证明:严格证明了在条件 (C.1)-(C.8) 下 \(L_n(\hat{\omega})/\inf L_n(\omega) \to 1\)。但条件 (C.6) 要求 \(n k_{M^*}^3/(m \xi_n) \to 0\),这隐含了 \(k_{M^*}\) 不能太大。作者在模拟中使用的 \(k_{M^*}\) 较小(\(\leq 100\)),但未讨论 \(k_{M^*}\) 发散速度的具体上界。
- Theorem 5 的证明:严格证明了在嵌套线性模型、固定 \(k_q\) 的条件下的极限分布。但作者在结论部分声称"该分布可用于构造置信区间",而 Algorithm 2 中的 \(\hat{\Delta}\) 估计量的一致性并未在定理中明确证明,只是通过模拟验证。这是一个"证明窄于结论"的地方。
- Theorem 4 的证明:严格证明了欠拟合模型权重 \(O_p(m^{-1})\),但该结论依赖于条件 (C.14)(\(n = C_7 m\))。当 \(m\) 远小于 \(n\) 时(如 \(m = n^{0.5}\)),该结论是否仍成立未讨论。
- bootstrap 与 bagging 的区别:作者在 Remark 2 中声称 BTMA 不同于 bagging,但未给出理论比较。模拟中 bagging 表现较差,但作者未解释原因。
四、开放问题¶
-
最优重抽样大小 \(m\) 的理论选择:作者在 Remark 2 中建议 \(m = n/2\) 或使用 GCV,但未给出理论上的最优 \(m\) 选择准则。扎根于 Theorem 1 的 penalty 项 \(\sigma^2/m \cdot \text{tr}\{H^2(\omega)\}\):\(m\) 越小 penalty 越大,\(m\) 越大 penalty 越小,但 \(m\) 过大时 bootstrap 准则与真实损失的偏差可能增大。是否存在一个 \(m\) 使得 BTMA 的风险最小?这需要更精细的偏差-方差权衡分析。
-
异方差误差下的 BTMA 理论:作者在结论部分提到"BTMA 可以处理异方差误差",但 Theorem 1 的证明假设了同方差(\(\sigma^2\) 为常数)。在异方差下,bootstrap 准则的 penalty 项应如何修正?扎根于 Theorem 1 的证明中对 \(E_*(\tilde{\Theta}_q^*)\) 的计算,异方差会导致 penalty 项不再是 \(\sigma^2/m \cdot \text{tr}\{H^2(\omega)\}\) 的简单形式。
-
BTMA 在广义线性模型中的推广:作者在结论部分提到"可以推广到 GLM",但本文的理论只覆盖了线性模型。GLM 中 bootstrap 准则的形式、渐近最优性和极限分布都需要重新推导。扎根于 Theorem 5 的证明中对 \(Z\) 的正态性假设,GLM 中 \(Z\) 的分布可能不再正态。
-
高维情形下 BTMA 的性质:条件 (C.6) 要求 \(k_{M^*}^3/(m \xi_n) \to 0\),这限制了模型维度。当 \(k_{M^*}\) 与 \(n\) 同阶或更大时,BTMA 是否仍然渐近最优?扎根于 Lemma 2 的证明中对 \(\max_{q,i} h_{ii}^{(q)}\) 的控制,高维下帽子矩阵对角线元素可能不再满足 \(O(k_{M^*}/n)\)。
-
bootstrap 准则的偏差修正:Theorem 1 表明 \(\Gamma_{n,m}(\omega)\) 与 \(L_n(\omega)\) 的差为 \(o_p(1/m)\),但未给出二阶项。当 \(m\) 较小时,二阶偏差可能不可忽略。扎根于 Theorem 1 的证明中对 \(E_*(\tilde{\Theta}_q^* - \hat{\Theta}_q)(\tilde{\Theta}_r^* - \hat{\Theta}_r)^\top\) 的计算,二阶项涉及 \(O(1/m^2)\) 的偏差,这在高阶渐近中可能影响置信区间的覆盖精度。
提醒:要确认上述问题是否为真 gap,建议去读以下近期文献的 introduction:(1) Hansen and Racine (2012) 的 JMA 后续工作;(2) Zhang and Liu (2019) 之后的模型平均推断文献;(3) Yu et al. (2024) 的 GLM 后平均推断。如果这些文献都提到了"bootstrap 权重选择"但未解决上述问题,则说明是真 gap;如果已有解决方案,则需要调整研究方向。
Maintained by 陈星宇 · Homepage · Source on GitHub