On the Conditional Consistency of the Bootstrap¶
作者: Denis Kojevnikov
主题: 数理统计 / 假设检验
相关性: 6/10
链接: https://arxiv.org/abs/2611.02243
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是 bootstrap 的条件一致性(conditional consistency)。其根本的统计问题是:当数据中存在一个"共同冲击"(common shock)——例如网络结构、空间位置、宏观环境因子——它同时影响所有观测单元并引入跨单元相关性时,研究者关心的统计量(如参数估计、极大值、相关系数)的条件分布(给定该冲击)往往才是推断的恰当目标。Bootstrap 作为一种重抽样方法,其目标是用"给定数据和冲击下的重抽样统计量条件分布"来逼近"给定冲击下原始统计量的条件分布"。这个子方向要解决的核心问题是:在什么条件下,这种条件逼近是有效的? 其成熟度处于理论发展阶段——已有若干针对特定设定(如网络依赖、面板数据)的条件 CLT 和 bootstrap 结果,但缺乏一个统一的、不依赖具体数据生成机制的条件一致性框架。
发展脉络(history)¶
-
奠基工作:无条件 bootstrap 一致性的经典框架。Efron (1979) 提出 bootstrap 后,Bickel and Freedman (1981) 建立了 i.i.d. 设定下 bootstrap 分布函数的一致收敛性,这是所有后续工作的基准。其核心思想是:bootstrap 分布与原始统计量分布之间的 Kolmogorov 距离趋于零。但这一框架要求统计量存在非随机极限分布,无法处理极限分布依赖于数据生成特征(如共同冲击的实现值)的情形。
-
主要进展:条件弱收敛与 merging 理论。D'Aristotile et al. (1988) 和 Davydov and Rotar (2009) 系统发展了概率测度 merging 的概念——即两个(随机)概率测度在某种度量下趋于一致。Berti et al. (2006) 给出了随机概率测度几乎必然弱收敛的充分条件(本文引用的 Theorem 2.6)。这些工作为处理"极限分布是随机的"这一情形提供了语言和工具。与此同时,van der Vaart and Wellner (2023, Section 1.13) 在经验过程理论框架下发展了条件弱收敛的概念,允许条件 σ-代数随样本量变化且互不相关。
-
当前 frontier:高维与网络依赖设定下的 bootstrap。Chernozhukov et al. (2013, 2017) 在高维设定下建立了高斯逼近和乘子 bootstrap 的分布近似结果,其关键工具是 anti-concentration 不等式(对 Lévy 浓度函数的控制)。Kojevnikov et al. (2021) 为网络依赖过程建立了 LLN 和 CLT,但 bootstrap 在该设定下的一致性仍依赖于具体模型结构。Bücher and Kojadinovic (2019) 证明了在条件 i.i.d. 重抽样下,bootstrap 一致性与"统计量及其两个重抽样副本的联合无条件弱收敛"等价——这一结果将条件问题转化为无条件问题,但要求重抽样副本条件独立。
-
本文的位置:Kojevnikov 的贡献在于去掉了对重抽样结构的具体假设(不要求条件 i.i.d.),直接在 Kolmogorov 距离下定义条件一致性,允许比较分布和数据维度随样本量变化,并将条件一致性与 merging 概念建立联系。这比 Bücher and Kojadinovic (2019) 的等价性结果更一般——后者要求重抽样副本条件独立,而本文只要求两个条件分布(原始统计量和 bootstrap 统计量)在 Kolmogorov 距离下接近。
子线索聚类¶
- 线索 A:概率测度的 merging 与随机极限(D'Aristotile et al., 1988; Davydov and Rotar, 2009; Berti et al., 2006)。这一簇关注的核心问题是:当极限分布本身是随机的(依赖于共同冲击的实现),如何定义和验证"两个随机概率测度趋于一致"。这是本文的理论基础。
- 线索 B:条件弱收敛与经验过程理论(van der Vaart and Wellner, 2023; Bücher and Kojadinovic, 2019)。这一簇关注条件 σ-代数随样本量变化时的收敛概念,以及 bootstrap 一致性的等价刻画。Bücher and Kojadinovic 的等价性结果是本文的直接对标。
- 线索 C:高维分布逼近与 anti-concentration(Chernozhukov et al., 2013, 2017)。这一簇提供了高维设定下 Kolmogorov 距离的显式界,是本文第 5 节例子的技术工具。
- 线索 D:网络依赖与面板数据的极限理论(Kuersteiner and Prucha, 2013; Kojevnikov et al., 2021)。这一簇是本文方法的目标应用场景——共同冲击诱导的跨单元依赖。
这个方向在追问的核心问题¶
- 条件一致性的充分条件是什么? 即:在什么条件下,bootstrap 的条件分布能一致逼近原始统计量的条件分布?本文给出的答案是:两个条件分布各自收敛到同一个(随机)极限,且极限的 Lévy 浓度函数一致趋于零(即 asymptotic equicontinuity)。
- 当极限分布不存在或随样本量变化时,bootstrap 是否仍然有效? 经典框架要求极限分布存在且非随机;本文允许比较分布随 n 变化(如第 5.1 节的"摆动极大值"例子),此时需要 merging 而非弱收敛。
- 条件覆盖率的误差有多快? 本文提供了有限样本界(定理 3.1),将覆盖误差分解为三个可分别控制的项:条件分布逼近误差、bootstrap 条件分布逼近误差、以及极限分布的原子大小。
⚠️ 作者的 framing(这是作者的说法)¶
作者在引言中把缺口 frame 成:现有 bootstrap 一致性理论要么要求极限分布非随机(经典框架),要么要求重抽样副本条件独立(Bücher and Kojadinovic 2019),无法覆盖"极限分布随机且随样本量变化"的情形。他声称本文的贡献是:(i) 在 Kolmogorov 距离下定义了不依赖具体重抽样结构的条件一致性;(ii) 允许条件 σ-代数互不相关、比较分布和数据维度随 n 变化;(iii) 将条件一致性与 merging 建立联系,并给出有限样本覆盖误差界。值得注意:作者在引言中没有讨论他的条件一致性定义与 Bücher and Kojadinovic (2019) 的等价性结果之间的精确关系——后者是否蕴含前者、或在什么条件下等价,文中未明确说明。这是一个值得研究者去查证的点。
张力¶
未见明显对立引用。但存在一个微妙的张力:Bücher and Kojadinovic (2019) 的等价性结果(条件一致性 ⇔ 联合无条件弱收敛)暗示条件一致性可以转化为无条件问题来处理;而本文直接处理条件对象,绕开了联合无条件收敛的验证。这两种路径在逻辑上是否完全等价、在什么条件下有分歧,文中未讨论。另一个张力是:Chernozhukov et al. (2017) 的高维结果要求数据 i.i.d.,而本文的框架允许共同冲击诱导的依赖——这两者的适用范围不同,但本文第 5.2 节将前者作为工具使用,说明作者认为二者可以兼容。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
在展开技术细节之前,先把记号立清楚。本文的核心对象如下:
| 记号 | 含义 | 类型 |
|---|---|---|
| \(X_n\) | 原始样本(第 n 个样本量下的数据),取值于 Polish 空间 \(\mathcal{X}_n\) | 可观测随机元 |
| \(C_n\) | 条件 σ-代数,代表"共同冲击"(如网络、空间结构、宏观因子) | 潜在结构(部分可观测) |
| \(G_n\) | \(C_n \vee \sigma(X_n)\),即给定冲击和数据后的 σ-代数 | 由可观测数据生成 |
| \(T_n(\theta_n)\) | 目标统计量,其中 \(\theta_n\) 是 \(C_n\)-可测的参数(如共同冲击下的均值、极大值位置) | 可观测函数 |
| \(T_n^*\) | bootstrap 重抽样统计量 | 由重抽样机制生成 |
| \(F_n\) | \(T_n\) 给定 \(C_n\) 的条件分布函数 | 目标对象(estimand) |
| \(F_n^*\) | \(T_n^*\) 给定 \(G_n\) 的条件分布函数 | bootstrap 估计量 |
| \(d_K\) | Kolmogorov 距离:(\sup_{x \in \mathbb{R}} | F(x) - G(x) |
| \(\mathcal{Q}(\epsilon, Q)\) | Lévy 浓度函数:\(\sup_{x \in \mathbb{R}} Q([x, x+\epsilon])\) | 度量原子大小 |
| \(\Delta_n\) | \(d_K(T_n, S_n \mid C_n)\),目标统计量与比较统计量的条件 Kolmogorov 距离 | 中间量 |
| \(\Delta_n^*\) | \(d_K(T_n^*, S_n \mid G_n, C_n)\),bootstrap 统计量与比较统计量的条件 Kolmogorov 距离 | 中间量 |
模型(数据生成机制):本文刻意不指定具体的数据生成机制。它只假设存在一个概率空间 \((\Omega, \mathcal{H}, P)\),其上定义了一列随机元 \(X_n\)(样本)和一列 σ-代数 \(C_n\)(共同冲击)。目标统计量 \(T_n = T_n(X_n, \theta_n)\),其中 \(\theta_n\) 是 \(C_n\)-可测的。Bootstrap 统计量 \(T_n^* = T_n(X_n^*, \theta_n^*)\),其中 \(X_n^*\) 是从 \(X_n\) 重抽样得到的伪样本,\(\theta_n^*\) 是从 \(X_n\) 估计的 \(\theta_n\)。
可观测数据:研究者实际能观测到的是 \(X_n\)(样本)和 \(G_n = C_n \vee \sigma(X_n)\)(冲击加数据)。关键点:\(C_n\) 本身可能是不可观测的(如网络结构),但 \(G_n\) 总是可观测的,因为它是数据生成的 σ-代数。Bootstrap 的条件分布 \(F_n^*\) 是给定 \(G_n\) 的,因此是可计算的;而目标条件分布 \(F_n\) 是给定 \(C_n\) 的,通常是不可直接计算的——这正是 bootstrap 存在的意义。
第二步:最小内核¶
核心问题:我们要用 \(F_n^*\)(bootstrap 条件分布)来逼近 \(F_n\)(目标条件分布)。什么时候这个逼近是有效的?
最小例子(第 5.1 节的简化版):设 \(X_{n,i} = m_n + \zeta_{n,i}\),其中 \(m_n\) 是 \(C_n\)-可测的随机位置参数(共同冲击),\(\zeta_{n,i}\) 是给定 \(C_n\) 后条件 i.i.d. 的零均值噪声。目标统计量是 \(T_n = \max_{j=1,2} \sqrt{n}(\bar{X}_{n,j} - m_{n,j})\),即两坐标样本均值偏离其条件期望的极大值。这里的关键是:\(m_n\) 不收敛——它随 n 随机摆动("摆动极大值"),因此 \(T_n\) 没有非随机极限分布。经典 bootstrap 一致性框架失效。
本文的解决思路:不要求 \(T_n\) 收敛到某个固定分布,而是要求 \(T_n\) 和 \(T_n^*\) 各自的条件分布互相接近。具体地,定义
其中 \(S_n\) 是一个"比较统计量"(通常取高斯极限)。如果 \(\Delta_n \to 0\) 且 \(\Delta_n^* \to 0\)(在适当的条件概率意义下),那么由三角不等式,bootstrap 条件分布与目标条件分布的 Kolmogorov 距离也趋于零。
为什么需要 asymptotic equicontinuity:Kolmogorov 距离对分布函数的跳跃敏感。如果比较统计量 \(S_n\) 的条件分布有原子(即 \(\mathcal{Q}(\epsilon, S_n \mid C_n)\) 不趋于零),那么即使 \(\Delta_n\) 和 \(\Delta_n^*\) 都很小,bootstrap 分位数也可能有系统偏差。因此,本文要求比较序列是 asymptotically equicontinuous 的,即
定理 3.1 的实质:它给出了一个有限样本界:
其中 \(c_n^*(\alpha)\) 是 bootstrap 条件分位数,\(\kappa_n\) 是 bootstrap 条件分布与比较分布的条件 Kolmogorov 距离的 Ky Fan 度量。这个界把覆盖误差分解为三个可分别控制的部分:比较分布的原子大小、目标统计量与比较分布的距离、以及 bootstrap 统计量与比较分布的距离。
为什么这个例子是"最小内核":它剥离了所有具体模型假设(网络结构、面板异质性、高维稀疏性),只保留了条件一致性的本质——两个条件分布在一个共同的比较序列下互相接近。第 5.2 节(高维极大值)和第 5.3 节(相关系数)都是在这个内核上添加具体结构。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在共同冲击(common shock)存在、且极限分布可能随机或随样本量变化的情形下,bootstrap 的条件分布能否一致逼近目标统计量的条件分布?
- 核心工具/方法:将概率测度的 merging 概念与 Kolmogorov 距离结合,定义了不依赖具体重抽样结构的条件一致性;通过 asymptotic equicontinuity(Lévy 浓度函数一致趋于零)来控制比较序列的原子,并利用 Ky Fan 距离处理 bootstrap 条件分布的随机性。
- 主要结论:给出了条件一致性的充分条件(定理 3.2),提供了覆盖误差的有限样本界(定理 3.1),并将结果推广到依赖估计量或估计的 nuisance 参数的平滑统计量(第 4 节),最后通过三个例子(固定维极大值、高维极大值、相关系数)验证了框架的适用性。
关键设定与假设¶
设定(第 3.1 节): - 概率空间 \((\Omega, \mathcal{H}, P)\),样本 \(X_n\) 取值于 Polish 空间 \(\mathcal{X}_n\)。 - 条件 σ-代数序列 \(\mathcal{C} = \{\mathcal{C}_n\}\),代表共同冲击。 - 参数 \(\theta_n\) 是 \(\mathcal{C}_n\)-可测的。 - 统计量 \(T_n = T_n(X_n, \theta_n)\),条件分布函数 \(F_n = F_n(\cdot \mid \mathcal{C}_n)\)。 - Bootstrap 统计量 \(T_n^* = T_n(X_n^*, \theta_n^*)\),其中 \(X_n^*\) 是重抽样伪样本,\(\theta_n^*\) 是从 \(X_n\) 估计的。Bootstrap 条件分布 \(F_n^* = F_n^*(\cdot \mid \mathcal{G}_n)\),其中 \(\mathcal{G}_n = \mathcal{C}_n \vee \sigma(X_n)\)。
关键假设(第 3.2 节,定理 3.2 的条件): - (a) 目标统计量与比较统计量的条件 Kolmogorov 距离 \(\Delta_n \to 0\) a.s.。 - (b) Bootstrap 统计量与比较统计量的条件 Kolmogorov 距离 \(\Delta_n^* \xrightarrow{\mathcal{C}-p} 0\) a.s.(条件概率收敛)。 - (c) 比较序列 \(\{S_n\}\) 是 \(\mathcal{C}\)-asymptotically equicontinuous 的,即 \(\mathcal{Q}(\epsilon, S_n \mid \mathcal{C}_n) \to 0\) a.s. 当 \(\epsilon \downarrow 0\) 后取 \(n \to \infty\)。
相比已有文献的放宽/强化: - 放宽:不要求极限分布非随机(经典框架),不要求重抽样副本条件独立(Bücher and Kojadinovic 2019),允许比较分布和数据维度随 n 变化。 - 强化:要求 asymptotic equicontinuity(而非仅仅 tightness),这是从 Kolmogorov 距离收敛到分位数收敛的关键桥梁。相比 Chernozhukov et al. (2017) 的高维结果,本文的框架不要求数据 i.i.d.,但要求比较序列的条件分布有可控的原子。
主要结果¶
定理 3.1(有限样本覆盖误差界):对每个 \(n \ge 1\) 和 \(\alpha \in (0,1)\),
其中 \(\kappa_n = \inf\{\epsilon > 0 : F_{\Delta_n^*}^{\mathcal{C}_n}(\cdot, \epsilon) \ge 1 - \epsilon\}\) 是 \(\Delta_n^*\) 的条件分布的 Ky Fan 度量。这个界的意义在于:它将条件覆盖误差分解为三个可分别处理的项——比较分布的原子大小(由 asymptotic equicontinuity 控制)、目标统计量与比较分布的距离、以及 bootstrap 统计量与比较分布的距离。
定理 3.2(条件一致性的充分条件):若 (a) \(\Delta_n \to 0\) a.s.,(b) \(\Delta_n^* \xrightarrow{\mathcal{C}-p} 0\) a.s.,(c) \(\{S_n\}\) 是 \(\mathcal{C}\)-asymptotically equicontinuous 的,则
第 4 节(平滑统计量):将上述结果推广到 \(T_n = \ell(\tau_n(\phi(\hat{\theta}_n) - \phi(\theta_n)))\) 的形式,其中 \(\phi\) 是 Fréchet 可微的。关键假设是局部模量 \(\varpi_n^{(k)}(t)\) 在归一化速率下趋于零(Assumption 4.1),这保证了非线性可以线性化,从而将问题归结为线性统计量的条件一致性。第 4.2 节进一步处理了 nuisance 参数被估计的情形,条件是 nuisance 估计的收敛速率足够快。
第 5 节(三个例子): - 5.1 固定维极大值:\(T_n = \max_{j=1,2} \sqrt{n}(\bar{X}_{n,j} - m_{n,j})\),其中 \(m_n\) 随机摆动。比较统计量 \(S_n\) 是条件高斯极大值。验证了 asymptotic equicontinuity 和 merging 条件,得到条件覆盖误差 \(O(n^{-1/4})\)。 - 5.2 高维极大值:维度 \(p_n\) 随 n 增长,\(T_n = \max_{1 \le j \le p_n} \sqrt{n}(\bar{X}_{n,j} - m_{n,j})\)。使用 Chernozhukov et al. (2017) 的高维高斯逼近,得到覆盖误差 \(O((n^{-1} \ln^7(p_n n))^{1/6})\)。 - 5.3 高维相关系数:对相关矩阵的联合推断,使用第 4.1 节的平滑统计量框架,验证了 Assumption 4.1 的条件。
证明路线与技术技巧¶
整体路线(定理 3.1 的证明): 1. 三角不等式分解:将目标条件分布 \(F_n\) 与 bootstrap 条件分布 \(F_n^*\) 的 Kolmogorov 距离分解为 \(F_n\) 与比较分布 \(S_n\) 的距离(\(\Delta_n\))加上 \(F_n^*\) 与 \(S_n\) 的距离(\(\Delta_n^*\))。 2. Ky Fan 度量控制:由于 \(\Delta_n^*\) 是随机变量(依赖于数据),不能直接取期望,而是用 Ky Fan 度量 \(\kappa_n\) 来控制其条件分布。这相当于在条件概率意义下控制 \(\Delta_n^*\) 的尾部。 3. Lévy 浓度函数桥接:Kolmogorov 距离的收敛不足以直接推出分位数的收敛,因为分布函数可能有跳跃。asymptotic equicontinuity 保证比较分布 \(S_n\) 的 Lévy 浓度函数一致趋于零,从而将 Kolmogorov 距离的收敛"提升"为分位数的收敛。
关键跳跃点: - 从 \(\Delta_n \to 0\) 到分位数收敛:这一步需要 asymptotic equicontinuity。作者用 Lévy 浓度函数 \(\mathcal{Q}(\epsilon, S_n \mid \mathcal{C}_n)\) 来控制分布函数的跳跃,这是整个证明中最精细的部分。直观上,如果比较分布有原子,那么即使两个分布函数在 Kolmogorov 距离下很接近,分位数也可能相差很大。 - 处理随机比较分布:与经典框架不同,这里的比较分布 \(S_n\) 的条件分布是随机的(依赖于 \(\mathcal{C}_n\))。作者通过逐点(ω-wise)论证,将随机比较分布的问题转化为确定性问题,再通过可测性条件保证结论的一致性。 - 平滑统计量的线性化:第 4 节的证明核心是用 Fréchet 可微性将非线性统计量线性化,然后用 Assumption 4.1 控制线性化误差。这里的难点是保证线性化误差在条件概率意义下可忽略,而不是仅仅在无条件意义下。
技术技巧点名: - Lévy 浓度函数:用于控制分布函数的原子大小,是 asymptotic equicontinuity 的核心工具。 - Ky Fan 度量:用于度量随机变量在条件概率意义下的收敛,是处理 bootstrap 条件分布随机性的关键。 - merging of probability measures(D'Aristotile et al., 1988; Davydov and Rotar, 2009):提供了两个随机概率测度"接近"的概念框架。 - 条件 Berry–Esseen 界(Kojevnikov and Song, 2022):用于第 5.1 节中 \(\Delta_n\) 的显式界。 - 高维高斯逼近(Chernozhukov et al., 2017):用于第 5.2 节中高维极大值的高斯近似。 - Fréchet 可微性与均值不等式:用于第 4 节的线性化。 - 可测选择与正则条件分布:用于处理条件概率和随机比较分布的技术细节。
🔎 结论是否比证明窄¶
是的,有几处: 1. 定理 3.2 的充分条件可能不是必要的:作者证明了 (a)–(c) 是条件一致性的充分条件,但没有讨论必要性。特别是 asymptotic equicontinuity 是否可以被更弱的条件替代(例如仅要求 tightness 加上比较分布的分位数连续性),文中未讨论。这是一个值得研究者去查证的点。 2. 第 4 节的平滑统计量框架要求 \(\phi\) 至少二阶可微:Assumption 4.1 要求局部模量 \(\varpi_n^{(k)}(t)\) 在归一化速率下趋于零,这隐含了 \(\phi\) 的光滑性。但作者在引言中声称框架适用于"平滑统计量",没有明确说明不光滑统计量(如分位数回归、Lasso 估计量)是否也能纳入。 3. 第 5.2 节的高维例子要求 \(\ln^7(p_n n) = o(n)\):这是一个相当强的条件,排除了 \(p_n\) 指数增长的情形。作者在结论中没有强调这一限制。 4. 第 5.3 节的相关系数例子假设数据是条件高斯的:作者在例子中直接假设 \(X_{n,i} | \mathcal{C}_n \sim N(0, R_n)\),这比第 5.2 节的次高斯假设更强。作者没有讨论在非高斯条件下结果是否仍然成立。 5. 有限样本界的常数依赖:定理 3.1 的界中,\(\kappa_n\) 的定义依赖于条件分布 \(F_{\Delta_n^*}^{\mathcal{C}_n}\),而该分布本身可能难以计算。作者没有给出 \(\kappa_n\) 的可操作上界。
四、开放问题¶
- 必要性问题:定理 3.2 的条件 (a)–(c) 是否是条件一致性的必要条件?特别是 asymptotic equicontinuity 是否可以被更弱的条件替代?(扎根于定理 3.2 的陈述,作者只证明了充分性。)
- 非光滑统计量:第 4 节的框架能否推广到非光滑统计量(如分位数回归、Lasso、自适应估计量)?Assumption 4.1 的局部模量条件是否可以被更弱的条件替代?(扎根于 Assumption 4.1 和引言中"平滑统计量"的措辞。)
- 高维维度的增长速率:第 5.2 节要求 \(\ln^7(p_n n) = o(n)\),这个条件是否可以放宽?在 \(p_n\) 指数增长时,条件覆盖误差的界会退化到什么程度?(扎根于第 5.2 节的例子。)
- 非高斯数据:第 5.3 节的相关系数例子假设条件高斯性。在非高斯、重尾或离散数据下,条件一致性的结论是否仍然成立?(扎根于第 5.3 节的例子。)
- \(\kappa_n\) 的可操作性:定理 3.1 的界依赖于 Ky Fan 度量 \(\kappa_n\),但该量在实际中难以计算。是否存在更直接的可操作上界?(扎根于定理 3.1 的陈述。)
- 与 Bücher and Kojadinovic (2019) 的关系:本文的条件一致性定义与 Bücher and Kojadinovic (2019) 的等价性结果(条件一致性 ⇔ 联合无条件弱收敛)之间是什么关系?在什么条件下二者等价?(扎根于引言中对 Bücher and Kojadinovic 的引用,作者未讨论这一关系。)
顺带提醒:要确认上述某条是否是真 gap,建议去读近 5 年关于 bootstrap 条件一致性、网络依赖推断、以及高维 bootstrap 的文献(例如 Annals of Statistics 和 Econometrica 上的相关论文)的引言部分——如果多篇论文都指向同一个未解决问题,那大概率是真 gap;如果各论文的 framing 互相矛盾,那可能是一个值得深挖的机会。
Maintained by 陈星宇 · Homepage · Source on GitHub