跳转至

Bootstrap Inference in the Presence of Bias

作者: Giuseppe Cavaliere, Sílvia Gonçalves, Morten Ørregaard Nielsen, Edoardo Zanelli
主题: 数理统计 / 假设检验
相关性: 6/10
链接: https://doi.org/10.1080/01621459.2023.2284980

一、领域脉络与小综述

  • 这个方向是什么：本文属于假设检验与重抽样方法的交叉领域，核心问题是：当估计量存在无法一致估计的渐近偏差时，如何构造渐近有效的检验与置信区间。经典 bootstrap 理论要求 bootstrap 统计量能复制原统计量的极限分布，而渐近偏差的存在（尤其是偏差项本身含随机成分时）会破坏这一性质，导致 bootstrap p 值不渐近均匀。该子方向的目标是在"偏差不可估"这一约束下恢复 bootstrap 推断的有效性。

  • 发展脉络（history）：

  • 奠基工作：Beran (1987, 1988) 提出 prepivoting 方法，其原始动机是通过将 bootstrap p 值映射到其渐近分布函数来获得高阶渐近改进（降低置信集的水平误差）。Beran 的框架假设 bootstrap 是有效的（即能复制极限分布），prepivoting 仅用于提升收敛速度。
  • 主要进展：Cavaliere and Georgiev (2020) 研究了 bootstrap 极限测度随机化的情形，证明即使 bootstrap 条件分布是随机的，p 值仍可渐近均匀（"无条件有效性"）。但该文未处理偏差项这一特定来源的随机性。
  • 当前 frontier：Shao and Politis (2013) 在 subsampling 和 block bootstrap 的背景下发现，当 p 值渐近分布非均匀时，可以通过估计该分布来校准。本文正是将这一思路系统化，与 Beran 的 prepivoting 结合，处理偏差不可估的一般情形。

  • 本文的位置：本文证明，即使 bootstrap 无法复制原统计量的极限分布（因偏差项不可估），prepivoting 仍能将 bootstrap p 值变换为渐近均匀分布，从而恢复推断有效性。这是对 Beran 框架的实质性推广——prepivoting 从"高阶改进工具"变为"修复无效 bootstrap 的工具"。

  • 子线索聚类：

  • Bootstrap 失效与修复：Cavaliere and Georgiev (2020)、Shao and Politis (2013)、本文。共同问题是 bootstrap 极限测度随机化或偏差不可估时如何恢复有效性。
  • 偏差校正与正则化推断：Calonico, Cattaneo, and Titiunik (2014)、Calonico, Cattaneo, and Farrell (2018)、Chatterjee and Lahiri (2010, 2011)。处理非参数回归和 Lasso 中的偏差问题，但依赖偏差的显式估计或 undersmoothing。

  • 模型平均与组合推断：Hjort and Claeskens (2003)、Liu (2015)、Hounyo and Lahiri (2023)。模型平均估计量的渐近分布含随机权重，导致偏差项不可估。

  • 这个方向在追问的核心问题：

  • 当估计量的渐近偏差不可一致估计时，是否存在通用的推断策略？（本文回答：是，prepivoting 可恢复 p 值均匀性）
  • 偏差项在 bootstrap 世界中的行为（如随机化）如何影响 p 值的极限分布？（本文给出一般刻画：p 值极限分布为 G(F⁻¹(U))）
  • 如何在不估计偏差的前提下实现有效推断？（两种路径：plug-in 估计 H 的有限维参数，或 double bootstrap 自动估计 H）

  • 已知瓶颈：plug-in 需要 H 的解析形式或可估参数；double bootstrap 计算成本高；对 bootstrap 算法的具体结构有隐含要求（如 Assumption 2/3 中的 joint convergence）。

  • ⚠️ 作者的 framing（这是作者的说法）：作者将缺口 frame 为"bootstrap 在偏差不可估时失效，但 prepivoting 可以修复"。他们强调这是 Beran 框架的"自然延伸"——Beran 用 prepivoting 做高阶改进，本文用它做一阶修复。作者淡化的竞争路线包括：(i) 显式偏差估计（如 undersmoothing 或 bias-corrected estimators），认为这些方法需要额外假设或损失效率；(ii) 基于稳健标准误的推断，未在文中讨论。值得研究者去查的问题：作者在 intro 中未引用bootstrap 后偏差校正（bias-corrected and accelerated, BCa）的文献——BCa 也处理偏差，但假设偏差可估。这是否意味着本文的方法在偏差不可估时与 BCa 有本质区别？另外，作者未讨论贝叶斯 bootstrap 或 加权 bootstrap 在该问题下的表现。

  • 张力：未见明显对立引用。但存在一个微妙差异：Cavaliere and Georgiev (2020) 强调"随机极限测度下 p 值仍可均匀"，而本文强调"偏差导致 p 值非均匀，需 prepivoting 修复"。两者看似矛盾，实则互补——Cavaliere and Georgiev 的结论依赖于特定的 bootstrap 构造（如固定回归元 bootstrap），而本文的框架更一般，允许偏差项在 bootstrap 世界中产生额外随机性。这一张力值得研究者注意：在什么条件下随机极限测度不破坏 p 值均匀性？ 本文的 Assumption 2/3 给出了部分答案，但未与 Cavaliere and Georgiev 的框架显式对比。

二、最核心、最简单的例子 / 数学问题

第一步：符号、模型、可观测数据交代清楚

  • 参数 / estimand：θ ∈ ℝ，标量感兴趣参数。θ₀ 为真实值（检验 H₀: θ = θ₀ 时）。
  • 估计量：θ̂ₙ，基于样本 Dₙ = {yₜ, xₜ, zₜ; t = 1,…,n}（模型平均例子）或 {yₜ, xₜ; t = 1,…,n}（岭回归例子）。
  • 统计量：Tₙ = g(n)(θ̂ₙ − θ)，g(n) → ∞ 为收敛速率（如 n^{1/2}）。Tₙ 是随机变量，其极限分布为 B + ξ₁，其中 B 为渐近偏差（可为常数或随机），ξ₁ 为连续、零均值随机变量。
  • bootstrap 统计量：Tₙ = g(n)(θ̂ₙ − θ̂ₙ)，其中 θ̂ₙ 基于 bootstrap 样本 Dₙ。Tₙ 的条件分布（给定 Dₙ）记为 Lₙ。
  • bootstrap 偏差：B̂ₙ 是 bootstrap 世界中的隐式偏差项，满足 Tₙ − B̂ₙ →ᵈ ξ₁（Assumption 2(i)）。B̂ₙ 是 Dₙ 的可测函数。
  • p 值：p̂ₙ = P(Tₙ ≤ Tₙ) = L̂ₙ(Tₙ)，其中 L̂ₙ 是 bootstrap 条件分布函数。
  • H(u)：p̂ₙ 的渐近分布函数，H(u) = F(G⁻¹(u))，其中 G 是 ξ₁ 的分布函数，F 是 ξ₁ − ξ₂ 的分布函数（ξ₂ 为 B̂ₙ − Bₙ 的极限）。
  • 可观测数据：研究者实际观测到的是样本 Dₙ（含 y, x, z），以及通过 bootstrap 重采样得到的 Dₙ。不可观测*的是：真实偏差 Bₙ、bootstrap 偏差 B̂ₙ 的极限 ξ₂、以及 ξ₁ 的分布 G（除非已知）。

第二步：最小内核

考虑最简单的例子：岭回归中的单个系数检验。

  • 模型：yₜ = θxₜ + δzₜ + εₜ，其中 xₜ, zₜ 为标量回归元，θ 为感兴趣系数，δ = c n^{-1/2}（局部到零），εₜ ~ iid(0, σ²)。
  • 估计量：θ̂ₙ = 岭回归中 θ 的估计，惩罚参数 cₙ/n → c₀ ≥ 0。
  • 核心问题：检验 H₀: θ = θ₀。OLS 估计量 θ̂ₙ 的极限分布为 N(0, σ²/Σ_xx)，但岭估计量 θ̂ₙ 的极限分布为 N(B, v²)，其中 B = −c₀ Σ_xx^{-1} δ ≠ 0。B 依赖 δ，而 δ 是局部参数，无法一致估计。
  • 标准 bootstrap 为何失效：bootstrap 样本 y = xθ̂ₙ + zδ̂ₙ + ε，其中 δ̂ₙ 是 δ 的估计。bootstrap 统计量 Tₙ = n^{1/2}(θ̂ₙ − θ̂ₙ) 的极限分布为 N(B̂ₙ, v²)，其中 B̂ₙ = −c₀ Σ_xx^{-1} δ̂ₙ。由于 δ̂ₙ → δ 但 δ̂ₙ − δ = O_p(n^{-1/2})，我们有 B̂ₙ − Bₙ → ξ₂ ~ N(0, v₂²)，即 bootstrap 偏差项在极限下仍是随机的。因此 bootstrap 条件分布是随机的，p̂ₙ 不渐近均匀。
  • 核心思想（prepivoting）：虽然 p̂ₙ 不渐近均匀，但它的渐近分布 H(u) = Φ(mΦ⁻¹(u)) 是已知的（m = v_d/v，其中 v_d² = v₁₁ + v₂₂ − 2v₁₂）。因此，映射 p̂ₙ ↦ H(p̂ₙ) 将 p̂ₙ 变换为渐近均匀随机变量。这就是 prepivoting：用 p 值的极限分布函数去变换 p 值本身。
  • 为什么成立：关键在于 H 不依赖未知参数（或只依赖可一致估计的参数）。在岭回归例子中，m 依赖 v₁₁, v₂₂, v₁₂，这些协方差矩阵元素可以通过 bootstrap 或解析公式一致估计。因此 plug-in 估计 Ĥₙ 一致于 H，变换后的 p 值 Ĥₙ(p̂ₙ) 渐近均匀。
  • 数学上干了什么：本文证明了一个一般性命题——在 Assumption 1/2（或 1/4）下，p̂ₙ 的极限分布为 H = F∘G⁻¹，且 H 不依赖未知偏差 B。因此，只要 H 可一致估计，prepivoting 就能恢复 bootstrap 推断的有效性。难点在于：(i) 证明 H 确实不依赖 B（需要 F 和 G 的结构）；(ii) 构造 H 的一致估计（plug-in 或 double bootstrap）；(iii) 处理 H 连续但可能非解析的情况。

最小内核一句话：当估计量的渐近偏差不可估时，bootstrap p 值的极限分布 H 是"偏差无关"的（只依赖 ξ₁ 和 ξ₂ 的联合分布），因此用 H 变换 p 值即可恢复有效性——这就是本文的核心数学贡献。

三、这篇论文做了什么

三句话： 1. 研究了什么问题：当估计量存在无法一致估计的渐近偏差时，标准 bootstrap 推断失效（p 值不渐近均匀），本文研究如何通过 prepivoting 恢复 bootstrap 检验和置信区间的渐近有效性。 2. 核心工具 / 方法：Beran (1987, 1988) 的 prepivoting 方法——将原始 bootstrap p 值 p̂ₙ 映射到其极限分布函数 H，得到修正 p 值 p̃ₙ = Ĥₙ(p̂ₙ)；提出两种实现：plug-in（估计 H 的有限维参数）和 double bootstrap（用第二层 bootstrap 估计 H）。 3. 主要结论：在一般高层条件下（Assumption 1/2 或 1/4），p̂ₙ 的极限分布为 H = F∘G⁻¹，且 H 不依赖未知偏差 B；plug-in 和 double bootstrap 两种实现均产生渐近均匀的修正 p 值，从而恢复推断有效性；通过五个例子（模型平均、岭回归、非参数回归、无限方差位置模型、动态面板）验证了方法的适用性。

关键设定与假设：

  • Assumption 1（原统计量的极限行为）：Tₙ − Bₙ →ᵈ ξ₁，其中 ξ₁ 连续、零均值，分布 G 严格递增。这允许 Tₙ 的极限分布含偏差 Bₙ（可为常数或发散），但要求减去 Bₙ 后收敛到连续分布。
  • Assumption 2（bootstrap 的极限行为）：(i) Tₙ − B̂ₙ →ᵈ ξ₁（bootstrap 统计量减去 bootstrap 偏差后收敛到同一分布 G）；(ii) (Tₙ − Bₙ, B̂ₙ − Bₙ) 联合收敛到 (ξ₁, ξ₂)，ξ₂ 零均值，F 为 ξ₁ − ξ₂ 的分布且连续。关键：B̂ₙ 不必一致估计 Bₙ，只需其偏差的极限 ξ₂ 有良好行为。
  • Assumption 3（double bootstrap 的极限行为）：类似 Assumption 2，但针对第二层 bootstrap：Tₙ − B̂ₙ* →ᵈ ξ₁，且 (Tₙ − B̂ₙ, B̂ₙ − B̂ₙ) 联合收敛到 (ξ₁, ξ₂)（与第一层相同的极限）。
  • Assumption 4/5（更一般的设定）：允许 bootstrap 统计量的极限分布 J ≠ G（如 pairs bootstrap 中因重采样引入额外方差），此时 p̂ₙ 的极限分布为 H = F∘J⁻¹，plug-in 需基于 J 而非 G。

相比已有文献的放宽/强化： - 相比 Beran (1987, 1988)：本文不要求 bootstrap 有效（即不要求 Tₙ* 复制 Tₙ 的极限分布），允许 B̂ₙ − Bₙ 不收敛到零。 - 相比 Cavaliere and Georgiev (2020)：本文显式处理偏差项，且给出 p 值极限分布的解析刻画（H = F∘G⁻¹），而非仅证明均匀性。 - 相比 Shao and Politis (2013)：本文提供一般性框架，不限于 subsampling 或 block bootstrap。

主要结果：

  • Theorem 3.1（标准 bootstrap 失效的刻画）：在 Assumption 1/2 下，p̂ₙ →ᵈ G(F⁻¹(U))，其中 U ~ U[0,1]。因此 p̂ₙ 渐近均匀当且仅当 G = F（即 ξ₂ = 0 a.s.）。当偏差不可估时，ξ₂ 非退化，p̂ₙ 非均匀。
  • Corollary 3.1（prepivoting 的有效性）：若 H(u) = F(G⁻¹(u)) 连续且可一致估计（Ĥₙ →ᵖ H 一致于 u ∈ [0,1]），则 p̃ₙ = Ĥₙ(p̂ₙ) →ᵈ U[0,1]。这是全文的核心定理。
  • Corollary 3.2（plug-in 实现）：若 H = H_γ 依赖有限维参数 γ，且 γ̂ₙ →ᵖ γ，则 p̃ₙ = H_γ̂ₙ(p̂ₙ) →ᵈ U[0,1]。
  • Theorem 3.2（double bootstrap 的有效性）：在 Assumption 1/2/3 下，p̃ₙ = P(p̂ₙ ≤ p̂ₙ) →ᵈ U[0,1]，其中 p̂ₙ* 是第一层 bootstrap 的 p 值。无需估计 H 的解析形式。
  • Theorem 3.4/3.5（更一般设定）：在 Assumption 1/4/5 下，p̂ₙ →ᵈ J(F⁻¹(U))，plug-in 基于 J 或 double bootstrap 仍有效。

证明路线与技术技巧：

  • 整体路线（以 Theorem 3.1 为例）：
  • 步骤 1：由 Assumption 2(i)，p̂ₙ = L̂ₙ(Tₙ) ≈ G(Tₙ − B̂ₙ)（bootstrap 条件分布逼近 G）。
  • 步骤 2：由 Assumption 2(ii)，Tₙ − B̂ₙ = (Tₙ − Bₙ) − (B̂ₙ − Bₙ) →ᵈ ξ₁ − ξ₂。
  • 步骤 3：由 Assumption 1 和 2(ii) 的联合收敛，p̂ₙ →ᵈ G(ξ₁ − ξ₂) = G(F⁻¹(U))，其中 F 是 ξ₁ − ξ₂ 的分布。
  • 关键：G 和 F 的连续性保证 Polya 定理适用，从而一致收敛。
  • Theorem 3.2 的路线：类似，但用第二层 bootstrap 估计 H。关键步骤是证明 p̂ₙ 的条件分布（给定 Dₙ）逼近 G(Tₙ − B̂ₙ)，且 Tₙ − B̂ₙ 的条件极限为 ξ₁ − ξ₂（由 Assumption 3(ii)）。
  • 技术技巧：
  • Polya 定理：用于从逐点收敛到一致收敛，保证 p 值变换的均匀性。
  • 联合收敛 / 随机元收敛：处理 (Tₙ − Bₙ, B̂ₙ − Bₙ) 的联合极限，这是证明 p̂ₙ 极限分布的关键。
  • 连续映射定理：用于从 (ξ₁, ξ₂) 的联合分布推导 ξ₁ − ξ₂ 的分布。
  • bootstrap 条件概率的随机元表示：将 p̂ₙ 视为 Dₙ 的函数，利用条件概率的收敛性。

真实例子与应用：

  1. 模型平均（Model Averaging）：Hansen (2007) 的加权最小二乘估计。偏差 Bₙ = Qₙ n^{1/2} δ，其中 δ 局部到零。固定回归元 bootstrap（FRB）中 B̂ₙ = Qₙ n^{1/2} δ̂ₙ，δ̂ₙ − δ = O_p(n^{-1/2})，故 ξ₂ 非退化。pairs bootstrap 中 B̂ₙ 含额外随机项，极限分布 J ≠ G。本文证明 plug-in（估计 m = v_d/v）和 double bootstrap 均有效。
  2. 岭回归：惩罚参数 cₙ/n → c₀ > 0 时，估计量有渐近偏差 B = −c₀ Σ⁻¹ δ。偏差不可估因为 δ 局部到零。本文给出 m 的解析表达式和 plug-in 估计量。
  3. 非参数回归：Nadaraya-Watson 估计在 MSE 最优带宽下有渐近偏差 B ∝ h² β''(x)。偏差依赖二阶导数，难以估计。本文证明 double bootstrap 有效，且修正 p 值的功效优于 undersmoothing。
  4. 无限方差位置模型（补充材料）：ξ₁ 非正态（如稳定分布），bootstrap 失效更严重。本文框架仍适用，只需 G 连续。
  5. 动态面板：固定效应估计的 incidental parameter bias 为 O_p(n^{-1/2})，不可估。本文方法可构造有效检验。

🔎 结论是否比证明窄： - 作者在 Theorem 3.1/3.2 中要求 G 和 F 连续且严格递增，但在例子中（如非参数回归）G 是正态的，满足条件。然而，作者未讨论 G 或 F 有原子点（离散分量）的情形——此时 p̂ₙ 的极限分布可能不连续，prepivoting 的均匀性结论可能失效。这是一个比证明窄的 claim。 - 作者在 Corollary 3.2 中要求 H_γ 连续依赖于 γ，但未给出 γ 的收敛速率条件。如果 γ̂ₙ 收敛太慢（如非参数估计），plug-in 的有限样本表现可能很差。作者在例子中只验证了参数速率的情形。 - 作者在 Section 5 提到"multivariate estimators"作为未来方向，但未证明 p̂ₙ 的极限分布在多维情形下是否仍为 H = F∘G⁻¹（可能涉及更复杂的联合分布结构）。 - 最值得注意：作者在 Theorem 3.2 中要求 Assumption 3(ii)（第二层 bootstrap 的偏差项收敛到同一 ξ₂），但在 pairs bootstrap 例子中，第二层 bootstrap 的偏差项可能收敛到不同的极限（因为重采样分布不同）。作者在 Remark 3.6 中承认了这一点，但未给出验证 Assumption 3(ii) 的一般方法——这是证明与结论之间的一个潜在缺口。

四、开放问题

  1. Assumption 3(ii) 的验证：在 pairs bootstrap 等更一般的重采样方案下，如何验证第二层 bootstrap 的偏差项收敛到与第一层相同的极限？作者在 Remark 3.6 中只给出了直观解释，未提供一般性条件。（扎根于 Theorem 3.2 的证明前提）

  2. G 或 F 不连续的情形：当 ξ₁ 或 ξ₂ 有离散分量时（如 Lasso 中系数恰好为零的概率为正），p̂ₙ 的极限分布可能不连续，prepivoting 的均匀性结论是否仍成立？需要什么额外条件？（扎根于 Theorem 3.1 中 G、F 连续性的假设）

  3. plug-in 方法中 γ 的收敛速率：Corollary 3.2 只要求 γ̂ₙ 一致估计 γ，但未给出收敛速率对有限样本精度的影响。在非参数例子中，γ 可能以非参数速率收敛，此时 plug-in 修正是否仍优于标准 bootstrap？（扎根于 Corollary 3.2 的证明）

  4. 多维参数的推广：作者在 Section 5 提到 multivariate estimators，但未给出具体结果。在多维情形下，p̂ₙ 的极限分布是否仍为 H = F∘G⁻¹？如何构造多维的 prepivoting 变换？（扎根于 Section 5 的 future research）

  5. 偏差项发散的情形：当 Bₙ 发散（如 n^{1/2}δ 不收敛）时，本文的框架是否适用？作者在 Assumption 1 中允许 Bₙ 发散，但未给出具体例子。（扎根于 Assumption 1 的表述）

提醒：要确认上述问题是否为真 gap，建议去读以下近期文献的 intro：(i) Cavaliere and Georgiev (2020) 的后续工作；(ii) 关于 bootstrap 在非正则估计问题中的有效性文献（如 Chernozhukov et al. 关于 multiplier bootstrap 的工作）；(iii) 关于 double bootstrap 的近期理论进展。如果这些文献都未处理"偏差不可估 + prepivoting"的组合，那么上述问题值得深入研究。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论