Generative modeling for the bootstrap

讲者: Fang Han
会场: Institute of Statistics and Big Data
报告题目: Generative Modeling for the Bootstrap
链接: arXiv
来源: JCSDS 2026 · 返回会议总览

---

一、领域脉络与小综述

• 这个方向是什么：这个子方向要解决的根本问题是：如何利用现代生成式模型（GANs、Normalizing Flows）来改进或替代经典的 Bootstrap 方法，从而在经典 Bootstrap 失效的场景下（如不规则估计量、高维数据）仍能获得有效的统计推断。当前成熟度：理论框架刚刚建立（本文是首个系统性理论工作），但实证和具体应用尚在早期。

• 发展脉络（history）：作者将生成式模型 Bootstrap 定位为“平滑 Bootstrap 的现代版本”，其发展脉络如下：

  1. 奠基工作：经典 Bootstrap 与平滑 Bootstrap。Efron (1979) 提出了从经验分布重采样的 Bootstrap。Silverman and Young (1987) 提出了平滑 Bootstrap，即从数据的非参数估计（如核密度估计）中重采样。Bickel and Freedman (1981) 建立了 Bootstrap 一致性的奠基性理论（Theorem 2.1），并已预见到可以从一个一般的分布估计量中重采样。留下的口子：平滑 Bootstrap 受维数灾难影响严重，且经典 Bootstrap 在不规则估计量（如单调回归）中失效（Kosorok, 2008; Sen et al., 2010; Groeneboom and Jongbloed, 2024）。

  2. 主要进展：生成式模型的兴起。Goodfellow et al. (2014) 提出 GANs，Kingma and Welling (2013) 提出 VAEs，Song et al. (2020) 提出扩散模型，这些模型能从噪声中“创造”数据。Biau et al. (2020) 和 Shen et al. (2023) 建立了 GANs 的理论性质（如收敛性）。Irons et al. (2022) 建立了三角流（triangular flows）的统计一致性。留下的口子：这些工作主要关注生成式模型本身的估计性质（如分布逼近），而非将其用于统计推断（如 Bootstrap）。

  3. 当前 Frontier 与本文的位置：少数实证工作探索了 GAN Bootstrap（Haas and Richter, 2020; Dahl and Sørensen, 2022; Athey et al., 2024），但“scope is relatively specialized and the emphasis is predominantly empirical”（原文 Section 2.3）。本文是第一个系统性建立生成式模型 Bootstrap 一致性理论的工作，覆盖了规则 M-估计量和不规则 isotonic regression 估计量，并区分了 GAN 和 Flow 两种生成模型的理论保证差异。

• 子线索聚类：被引文献大致落在三条子线索上：

  • 线索一：经典 Bootstrap 理论（Efron, 1979; Bickel and Freedman, 1981; van der Vaart and Wellner, 1996; van der Vaart, 1998）。这一簇建立了 Bootstrap 一致性的标准理论框架（如 M-估计量的线性化、经验过程理论），是本文理论证明的基石。
  • 线索二：生成式模型的理论与算法（Goodfellow et al., 2014; Arjovsky et al., 2017; Kingma and Dhariwal, 2018; Biau et al., 2020; Shen et al., 2023; Irons et al., 2022）。这一簇提供了生成式模型（W-GAN, Affine Autoregressive Flows）的统计性质（如收敛速率、密度估计一致性），本文直接借用这些结果来验证其生成器是否满足 Bootstrap 一致性的条件。
  • 线索三：不规则估计量的 Bootstrap（Kosorok, 2008; Sen et al., 2010; Groeneboom and Jongbloed, 2024; Han and Kato, 2022）。这一簇揭示了经典 Bootstrap 在不规则估计量（如 Grenander 估计量、isotonic regression）中的失效，并探索了平滑 Bootstrap 作为替代。本文直接挑战了 isotonic regression 这一具体问题，并声称其理论填补了该问题下平滑 Bootstrap 一致性理论的空白（“a comprehensive (smoothed) bootstrap consistency theory appears to remain unavailable”，原文 Section 4）。

• 这个方向在追问的核心问题（2-4 个）：

  1. 一致性条件：生成式模型需要满足什么条件（如 Wasserstein 距离收敛速度、密度光滑性），才能保证 Bootstrap 推断的一致性？
  2. 不规则估计量的适用性：生成式模型 Bootstrap 能否克服经典 Bootstrap 在不规则估计量中的失效？其理论保证与平滑 Bootstrap 相比如何？
  3. 不同生成模型的比较：GAN 和 Flow 两种主流生成模型，在 Bootstrap 一致性上是否有本质差异？哪个更可靠？
  4. 高维挑战：生成式模型 Bootstrap 能否缓解平滑 Bootstrap 的维数灾难？其在高维下的理论保证是什么？

• ⚠️ 作者的 framing（必须明确标注成"这是作者的说法"）：作者将缺口 frame 成“生成式模型 Bootstrap 是平滑 Bootstrap 的现代版本，能同时处理规则和不规则估计量，且能缓解维数灾难”。这是作者的说法。作者淡化了以下竞争路线：

  • 经典 Bootstrap 的变体（如 wild bootstrap, m-out-of-n bootstrap）：这些方法在某些不规则问题中已被证明有效，但作者仅在引言中提及“Efron’s bootstrap is known to fail”，并未系统比较生成式模型 Bootstrap 与这些变体的优劣。
  • 其他生成式模型（如 VAE, 扩散模型）：作者仅聚焦于 GAN 和 Flow，并声称 Flow 更优。但扩散模型在生成质量上常优于 Flow，其用于 Bootstrap 的理论性质未被讨论。
  • 高维理论：作者在 Remark 3.1 中明确承认，其理论不覆盖高维（p 相对于 n 很大）情形，仅通过模拟展示其潜力。什么明显该被引 / 该存在、却没出现在 intro 里？：没有引用任何关于“m-out-of-n bootstrap”或“wild bootstrap”在不规则估计量中一致性的经典文献（如 Shao, 1994; Bickel and Sakov, 2008）。这可能是作者有意回避的竞争路线，值得研究者去查。

• 张力：未见明显对立引用。但作者在 Section 5 中明确指出，Flow Bootstrap 在不规则估计量中有一致性保证，而 GAN Bootstrap 则缺乏（“the GAN bootstrap generally lacks comparable consistency guarantees in the irregular setting”，原文 Section 1）。这构成了两种生成模型之间的张力，也是本文的核心技术贡献之一。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

• 符号：

  • Z：一个随机向量，代表一个数据点，取值于 Z ⊂ R^p。
  • P_Z：未知的数据分布。
  • θ_0 = θ_0(P_Z)：感兴趣的 estimand（如总体均值、回归系数）。
  • bθ_n = bθ_n(Z_1, ..., Z_n)：基于 n 个独立同分布样本 Z_i 的估计量。
  • U, U_i, eU_i：噪声随机向量，取值于 U ⊂ R^p，服从已知分布 P_U（如标准正态分布）。
  • bG_n: U → eZ_n：从数据中学习到的生成器（generator），是一个函数，将噪声映射到合成数据空间。
  • eZ_i = bG_n(eU_i)：第 i 个合成数据点。
  • P_{eZ|O}：给定原始数据 O 后，合成数据 eZ 的条件分布。
  • W_1(·,·)：Wasserstein-1 距离。
  • η：M-估计量中的参数（q 维）。
  • L(η, z)：M-估计的目标函数。
  • f_0(x)：isotonic regression 中的真实单调回归函数。
  • bf_n(x_0)：在点 x_0 处的 isotonic regression 估计量。
  • ef_n(x_0)：基于合成数据的 bootstrap isotonic regression 估计量。
  • n：样本量。
  • p：数据维度。

• 模型：

  • 数据生成机制：Z_1, ..., Z_n 独立同分布于未知分布 P_Z。对于 M-估计量，θ_0 是 E[L(η, Z)] 的最大值点。对于 isotonic regression，Y_i = f_0(X_i) + ξ_i，其中 f_0 是非递减的，ξ_i 是独立同分布的误差。
  • 生成模型：学习一个生成器 bG_n，使得其 pushforward 分布 bG_n#P_U 逼近 P_Z。逼近程度用 Wasserstein-1 距离 W_1(P_{eZ|O}, P_Z) 衡量。
  • Bootstrap 过程：从 P_U 中抽取 n 个独立噪声 eU_1, ..., eU_n，通过 bG_n 生成合成数据 eZ_i = bG_n(eU_i)。然后基于这些合成数据计算 bootstrap 估计量 bθ_n(eZ_1, ..., eZ_n)。其条件分布（给定原始数据）用于近似 bθ_n 的抽样分布。

• 可观测数据：

  • 可观测：原始样本 {Z_i}_{i=1}^n，以及用于训练生成器的噪声样本 {U_i}_{i=1}^n（或仅 {Z_i}）。Bootstrap 过程中使用的噪声 {eU_i}_{i=1}^n 也是可观测的（由研究者生成）。
  • 想要但观测不到：真实数据分布 P_Z。Bootstrap 的目标就是用 P_{eZ|O} 来近似它。

第二步：讲最小内核

• 最简特例：考虑最简单的一维均值估计（p=1, q=1）。假设 Z ~ P_Z 是均值为 θ_0 的分布。估计量 bθ_n = (1/n) Σ Z_i。经典 Bootstrap 从经验分布 P_n 重采样。生成式模型 Bootstrap 的核心想法是：用一个更“光滑”的分布 P_{eZ|O} 来替代经验分布 P_n。

  • 在这个特例下：
    • 生成器 bG_n 是一个从 U（例如 U ~ Unif[0,1]）到 R 的函数。一个简单的生成器可以是：bG_n(u) = F̂_n^{-1}(u)，其中 F̂_n 是核密度估计的累积分布函数（CDF）。这就是平滑 Bootstrap。
    • 更现代的做法是：用 Flow 模型学习一个从标准正态噪声 U ~ N(0,1) 到 Z 的映射 bG_n，使得 bG_n(U) 的分布近似于 P_Z。
    • 要证的命题：√n(bθ_n - θ_0) 的分布与 √n(eθ_n - eθ_0) 的条件分布（给定原始数据）在极限下相同。其中 eθ_n = (1/n) Σ bG_n(eU_i)，eθ_0 = E[bG_n(U) | 原始数据]。
    • 证明怎么走：
      1. 线性化：√n(bθ_n - θ_0) = (1/√n) Σ (Z_i - θ_0)。类似地，√n(eθ_n - eθ_0) = (1/√n) Σ (bG_n(eU_i) - eθ_0)。
      2. 中心极限定理：√n(bθ_n - θ_0) 依分布收敛到 N(0, Var(Z))。
      3. 条件中心极限定理：如果 P_{eZ|O} 足够接近 P_Z（例如 W_1(P_{eZ|O}, P_Z) = o_P(1)），那么 Var(bG_n(U) | 原始数据) → Var(Z) 依概率。并且，在条件 Lyapunov CLT 下，√n(eθ_n - eθ_0) 的条件分布也收敛到 N(0, Var(Z))。
      4. 结论：两个极限分布相同，因此 Bootstrap 一致。
    • 为什么成立：核心在于生成式模型提供了一个一致且非退化的分布估计。经典 Bootstrap 的经验分布 P_n 在均值估计中是有效的，但在不规则问题中会失效。生成式模型通过引入额外的光滑性（如 Flow 模型的连续可微密度），避免了经验分布的“过拟合”问题，从而在不规则问题中也能工作。

三、这篇论文做了什么

• 三句话：

  1. 研究了什么问题：本文研究了如何利用生成式模型（GANs 和 Normalizing Flows）来构建 Bootstrap 推断，并建立了其一致性的理论条件，尤其关注了经典 Bootstrap 失效的不规则估计量（isotonic regression）。
  2. 核心工具 / 方法：核心工具是 Wasserstein-1 距离和生成式模型（W-GAN, Affine Autoregressive Flows）。方法框架是：从噪声分布 P_U 中采样，通过一个从数据中学习到的生成器 bG_n 映射到合成数据，然后基于合成数据进行 Bootstrap 重抽样。
  3. 主要结论：在生成器满足 W_1(P_{eZ|O}, P_Z) = o_P(1) 等条件下，生成式模型 Bootstrap 对规则 M-估计量（Theorem 3.1）和不规则 isotonic regression 估计量（Theorem 4.1）都是一致的。此外，Flow Bootstrap 在不规则估计量中具有理论保证，而 GAN Bootstrap 则缺乏（Theorem 5.1 vs. Theorem 5.2）。

• 关键设定与假设：

  • 数据空间（Assumption 3.1, 4.1）：Z 是凸紧集，P_Z 有连续 Lebesgue 密度。对于 isotonic regression，X 是紧区间，f_0 二阶连续可导且导数非零，p_X 有正下界。
  • 噪声空间（Assumption 3.2, 5.1, 5.2）：P_U 已知，有连续密度，支撑集是凸紧集。对于 Flow，需要 p_U 在零点附近有正下界。
  • 生成器条件（Assumption 3.3）：核心是 W_1(P_{eZ|O}, P_Z) = o_P(1)，即生成器学到的分布必须在 Wasserstein-1 距离下一致地逼近真实分布。此外，eZ 的支撑集需包含在某个紧集内，且 P_{eZ|O} 非退化。
  • M-估计量条件（Assumption 3.4, 3.5, 3.6）：标准的光滑性、可识别性、一致性和近似最优性条件。
  • Isotonic Regression 条件（Assumption 4.2）：生成器学到的条件密度 ep_n 必须足够光滑（二次连续可微），且其边际密度 ep_X 在 X 上有正下界。这比规则情形的要求更强，也解释了为何 Flow 能满足而 GAN 不能。

• 主要结果：

  • Theorem 3.1（规则 M-估计量）：在 Assumptions 3.1-3.6 下，sup_{t∈R^q} |P(√n(eη_n - eη_0) ≤ t | O) - P(√n(bη_n - η_0) ≤ t)| = o_P(1)。直觉：只要生成器学到的分布足够接近真实分布（在 Wasserstein 距离下），那么基于此分布的 Bootstrap 就能一致地近似 M-估计量的抽样分布。必要条件：W_1(P_{eZ|O}, P_Z) = o_P(1) 和标准 M-估计量条件。解决的技术难点：需要处理条件分布下的中心极限定理，并证明线性化表示的余项在条件分布下可忽略。
  • Theorem 4.1（不规则 Isotonic Regression）：在 Assumptions 3.2, 3.3, 4.1, 4.2 下，sup_{t∈R} |P(n^{1/3}(ef_n(x_0) - ef_0(x_0)) ≤ t | O) - P(n^{1/3}(bf_n(x_0) - f_0(x_0)) ≤ t)| = o_P(1)。直觉：对于 cube-root 收敛的不规则估计量，生成式模型 Bootstrap 也能一致地近似其非正态的极限分布（Chernoff 分布）。必要条件：除了 Wasserstein 距离收敛，还要求生成器学到的条件密度 ep_n 足够光滑（Assumption 4.2）。解决的技术难点：需要建立条件分布下局部平均的弱收敛（Lemma 8.5），并证明 max-min 公式在 Bootstrap 世界中也成立（Lemma 8.6）。
  • Theorem 5.1（GAN Bootstrap）：在额外假设下（W-GAN 训练充分、有通用逼近性质），GAN 生成器满足 Assumption 3.3，因此对规则 M-估计量一致。但，作者未证明 GAN 能满足 Assumption 4.2（密度光滑性），因此 GAN Bootstrap 在不规则情形下缺乏理论保证。
  • Theorem 5.2（Flow Bootstrap）：在额外假设下（Flow 模型属于一个正则类 F_{ν,K,M} 且训练充分），Flow 生成器同时满足 Assumption 3.3 和 4.2，因此对规则和不规则估计量都一致。

• 证明路线与技术技巧（理论型必写，要具体）：

  • 整体路线（以 Theorem 3.1 为例）：
    1. 子序列论证：利用 Lemma 9.1，将依概率收敛转化为几乎必然收敛的子序列问题。
    2. 线性化：对 bη_n 和 eη_n 进行泰勒展开，得到线性表示（Lemma 8.2）。核心是证明 √n(eη_n - eη_0) = -(1/√n) Σ (D^2_η E[L(eη_0, eZ)|O])^{-1} D_η L(eη_0, eZ_i) + o_P(1)。
    3. 中心极限定理：对 bη_n 的线性表示应用经典 CLT。对 eη_n 的线性表示应用条件 Lyapunov CLT（Lemma 9.4），需要验证条件方差收敛和 Lyapunov 条件。
    4. 方差收敛：利用 Lemma 8.1，证明条件方差 Var(D_η L(eη_0, eZ_1)|O) 依概率收敛到 Var(D_η L(η_0, Z))。这一步依赖于 W_1(P_{eZ|O}, P_Z) = o_P(1) 和 L 的光滑性。
    5. 比较极限：通过子序列论证，证明两个线性表示的极限分布相同（都是均值为 0，方差为 Σ 的正态分布）。最后利用 Polya 定理（Lemma 9.2）和 Cramer-Wold 装置（Lemma 9.3）得到结论。
  • 关键跳跃点：
    • Lemma 8.1 的证明：如何从 W_1(P_{eZ|O}, P_Z) = o_P(1) 推导出 sup_{η∈K} |E[g(η, Z_1)] - E[g(η, eZ_1)|O]| = o_P(1)？关键技巧是利用 Wasserstein 距离的对偶表示（Lemma 8.14）和函数 g 的一致连续性，将期望差 bound 为 W_1 的倍数加上一个任意小的常数。
    • Lemma 8.2(b)(iv) 的证明：如何得到 eη_n 的线性表示？关键技巧是使用 Lemma 9.8（van der Vaart 的 Theorem 5.52）来获得 eη_n 的 √n-收敛速率，然后通过一个“完成平方”的技巧（completing the square）来证明线性表示成立。
  • 技术技巧点名：
    • Empirical process theory：用于证明 Lemma 8.1 中的一致收敛性，以及 Lemma 9.7 中的渐近等度连续性。
    • Lyapunov central limit theorem：用于处理条件分布下的三角阵列。
    • Wasserstein distance：作为衡量生成分布与真实分布距离的核心工具，其收敛性被用作 Bootstrap 一致性的充分条件。
    • Subsequence argument：将依概率收敛转化为几乎必然收敛，以便应用确定性分析工具。
    • Max-min formula：用于 isotonic regression 估计量的表示（Lemma 9.17），是证明 Theorem 4.1 的关键。
    • Change-of-variables formula：用于分析 Flow 模型生成分布的密度（Lemma 8.15）。

• 真实例子与应用：

  • 数据 / 场景：两个模拟场景。1) 规则情形：线性回归，p ∈ {24, 50, 100}, n ∈ {500, 1000, 2000}。2) 不规则情形：Isotonic regression，f_0(x) = x, X ~ Unif[0,1], n ∈ {1000, 2000, 3000}。
  • 方法应用：比较了四种 Bootstrap：原始 Bootstrap、平滑 Bootstrap（核密度估计）、GAN Bootstrap（W-GAN with gradient penalty）、Flow Bootstrap（GLOW architecture）。对于每个 Bootstrap 方案，生成 1000 个 Bootstrap 样本，计算置信区间或置信椭球的覆盖率。
  • 结果：
    • 规则情形（Table 1）：原始 Bootstrap、GAN Bootstrap、Flow Bootstrap 的覆盖率都接近名义水平（90%, 95%），而平滑 Bootstrap 在维数较高时（p=24, 50）严重失真（覆盖率远低于名义水平）。作者强调，此情形下原始 Bootstrap 已知有效，GAN 和 Flow Bootstrap 能匹配其表现是“particularly revealing”。
    • 不规则情形（Table 2）：原始 Bootstrap 严重失效（覆盖率远低于名义水平），而平滑 Bootstrap、GAN Bootstrap、Flow Bootstrap 的覆盖率都接近名义水平。
  • 这个例子想说明什么：
    1. 验证了理论：在不规则情形下，原始 Bootstrap 失效，而生成式模型 Bootstrap（尤其是 Flow）有效。
    2. 展示了生成式模型 Bootstrap 相对于平滑 Bootstrap 的优势：在规则高维情形下，平滑 Bootstrap 因维数灾难而失效，但 GAN 和 Flow Bootstrap 表现良好。这支持了作者关于生成式模型 Bootstrap 能“mitigate the curse of dimensionality”的论断。
    3. 提供了实证证据，表明 Flow Bootstrap 在不规则情形下与 GAN Bootstrap 表现相当（甚至略优），尽管理论只保证了 Flow 的一致性。

• 🔎 结论是否比证明窄：是的。作者在 Remark 3.1 中明确承认，Theorem 3.1 的理论不覆盖高维情形（p 相对于 n 很大），仅通过模拟展示其潜力。因此，论文的理论结论（Theorem 3.1 和 4.1）是在固定维度 p 下成立的。而论文在引言和讨论中泛泛地声称能“mitigate the curse of dimensionality”，这是一个比证明更宽的 claim。这个 claim 目前只有模拟支持，没有理论证明。

四、开放问题（点到为止，扎根具体语句）

1. 高维情形的理论保证：Theorem 3.1 和 4.1 都是在固定维度 p 下证明的。作者在 Remark 3.1 中承认“we do not attempt to extend Theorem 3.1 to high-dimensional regimes”。一个开放问题是：能否在 p 随 n 增长的高维设定下，建立生成式模型 Bootstrap 的一致性？这可能需要生成式模型本身在高维下具有收敛保证，以及新的经验过程理论。

2. 不规则估计量的更一般理论：本文仅处理了 isotonic regression 这一种不规则估计量。作者在 Section 4 开头提到，不规则估计量还包括“shape-constrained inference”和“Manski-type estimators”。一个开放问题是：能否将 Theorem 4.1 的证明框架推广到更一般的不规则估计量（如 Grenander 估计量、单调密度估计）？这需要为每个具体问题建立类似 Lemma 8.5 和 8.6 的局部弱收敛和 max-min 表示。

3. GAN Bootstrap 在不规则情形下的理论：作者在 Theorem 5.1 中只证明了 GAN Bootstrap 对规则估计量一致，并指出“the GAN bootstrap generally lacks comparable consistency guarantees in the irregular setting”（原文 Section 1）。一个开放问题是：能否找到 GAN 满足 Assumption 4.2（密度光滑性）的充分条件？或者，能否证明 GAN Bootstrap 在不规则情形下必然不一致？这直接关系到 GAN 和 Flow 在推断中的根本性差异。

4. 计算效率与统计效率的权衡：本文主要关注统计一致性，未讨论计算成本。生成式模型的训练（尤其是 Flow）本身计算量很大。一个开放问题是：生成式模型 Bootstrap 的计算成本（训练时间、采样成本）是否值得其在统计上的收益？是否存在更高效的计算策略（如预训练、迁移学习）？这个问题扎根于论文的模拟部分，其中 GAN 和 Flow 的训练步数（2000 和 1000）暗示了计算开销。

---

Maintained by 陈星宇 · Homepage · Source on GitHub

评论