A bootstrap approach to prediction-powered inference

作者: Bradley Efron
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2606.28621

---

一、领域脉络与小综述

这个方向是什么

预测驱动推断（Prediction-Powered Inference, PPI）解决一个根本的统计问题：研究者拥有一个小规模、带标签的数据集 (x, y)，以及一个大规模、无标签的数据集 x（只有协变量，没有响应变量 y）。此外，还存在一个独立于当前数据的、由机器学习算法训练出的预测规则 f(x)（例如，一个深度神经网络）。目标是利用所有这些信息（小标签集、大无标签集、预测规则）来对某个总体参数 θ（如 E[y]、相关系数、回归系数）进行有效的统计推断（点估计和置信区间）。核心挑战在于，预测规则 f(x) 在当前数据上可能不准确或有偏，因此需要一种方法既能利用无标签数据提升效率，又能校正由预测不准确带来的偏差。这个方向当前处于快速发展期，已有多个竞争性框架。

发展脉络

1. 奠基工作：后预测推断（Post-prediction Inference）

   • Wang, McCormick, and Leek (2020)：这篇“开创性论文”（Efron 原话）首次系统性地提出了“后预测推断”问题。其框架是：用训练集得到预测模型 f(x)，用测试集建立预测值 ŷ 与真实值 y 的关系模型 k(·)，然后在验证集上用 k(f(x)) 替代缺失的 y 进行推断。Efron 指出，WML 的校正仅在验证集层面进行重抽样，忽略了关系模型 k(·) 本身的抽样变异性。
   • Motwani and Witten (2023)：对 WML 的方法提出了尖锐批评，质疑其估计量的偏差，并追问它实际上在估计哪个参数。Efron 在本文中声称，他的 PPboot1 和 PPboot2 算法回答了这个问题。

2. 主要进展：预测驱动推断（PPI）框架

   • Angelopoulos, Bates, Fannjiang, Jordan, and Zrnic (2023a)：正式提出“预测驱动推断”（PPI）这一术语，并建立了一个非参数、无假设的框架。其核心思想是通过一个损失函数（如平均伯努利偏差）来校正偏差，该损失函数结合了标签数据上的经验损失和无标签数据上预测值的损失。该方法能给出渐近有效的置信区间，且不依赖于预测模型的具体形式。Efron 认为其方法可能效率不足。
   • Angelopoulos, Duchi, and Zrnic (2023b) (PPI++)：对原始 PPI 进行了计算和统计效率上的改进，使其能自动适应预测质量，并为任意维度的参数提供置信区间。
   • Zrnic and Candès (2024) (Cross-PPI)：使用交叉验证（cross-validation）进行去偏，是 PPI 框架的另一个重要变体。

3. 当前 Frontier 与本文位置

   • 当前前沿在于：如何设计更高效、更通用、且对模型假设更稳健的 PPI 算法。Efron 的论文正是切入这个点。他批评 Angelopoulos et al. 的方法依赖于渐近近似且可能效率低下，并指出 WML 的方法在偏差和重抽样设计上存在缺陷。本文的定位是：回到经典统计建模（GLM）的框架下，利用 Bootstrap 重抽样来避免渐近近似，从而构建一个理论上更高效、更通用的 PPI 方法。Efron 将其方法描述为“将预测驱动推断置于经典统计建模的语境中”。

子线索聚类

1. 基于偏差校正的 PPI：以 Angelopoulos et al. (2023a, 2023b) 和 Zrnic & Candès (2024) 为代表。核心思路是构造一个校正项，使得基于预测值的估计量在期望上等于基于真实值的估计量。这类方法通常是非参数或半参数的，对预测模型的结构假设较少。
2. 基于模型（GLM）的 PPI：以本文（Efron, 2026）和 Wang et al. (2020）为代表。核心思路是假设 y 的条件分布（给定 x 或给定 f(x)）属于某个参数族（如二项分布、正态分布），然后利用标签数据来估计这个参数模型，再将其应用于无标签数据。这类方法更依赖模型假设，但理论上可以更高效。
3. 合成数据与数据扩充：Efron 在 Remark 中提及，其 Bootstrap 复制可被视为“合成数据”，并引用了 Jordon et al. (2022) 和 Shen, Liu, and Shen (2023) 的工作。这条线索关注的是如何通过生成合成数据来提升统计推断的效率，与 PPI 有交叉但目标更广。

核心问题与瓶颈

• 核心问题 1：如何刻画无标签数据的信息量？ 无标签数据何时能提升效率，提升多少？Efron 在本文中给出了一个令人惊讶的结论：对于估计 E[y]，无标签数据毫无帮助。
• 核心问题 2：如何校正预测偏差？ 预测规则 f(x) 在当前数据上可能是有偏的，如何设计一个通用的、不依赖于 f 具体形式的校正机制？
• 核心问题 3：如何构建有效的置信区间？ 现有方法要么依赖渐近近似（Angelopoulos et al.），要么依赖复杂的重抽样（本文）。如何平衡计算复杂度和推断的准确性？
• 已知瓶颈：对于复杂的参数（如分位数、高维回归系数），梯度向量 Δ = dT(π)/dπ 难以解析计算，阻碍了基于 Delta 方法的直接推断。这是 Efron 提出 Bootstrap 方法的核心动机。

⚠️ 作者的 Framing

• 作者的缺口框架：Efron 将缺口 frame 为：现有 PPI 方法（Angelopoulos et al.）依赖渐近近似，可能效率低下且不通用；而早期工作（Wang et al.）在重抽样设计上存在缺陷。因此，他的 Bootstrap 方法（PPboot1 和 PPboot2）是“显然的下一步”，因为它：
  • 避免了渐近近似。
  • 适用于任何统计量 t(x, y)。
  • 基于经典的 GLM 理论，理论上具有接近最小的置信区间长度。
  • 通过两步重抽样，更完整地刻画了估计量的变异性。
• 被淡化或回避的竞争路线：Efron 淡化了 Angelopoulos et al. 方法的非参数优势。他承认其方法“在非二元响应例子中表现更好”（Section 5），但总体上强调其效率更高。他回避了对其 GLM 模型假设（特别是模型 q 对于定量响应）的稳健性进行深入讨论，仅通过一个 R² 的例子展示了偏差问题，并用一个简单的偏差校正（BCa）来处理。
• 什么明显该被引/该存在、却没出现在 intro 里？ 这是一个值得研究者去查的问题。例如，是否有关于 PPI 在高维设定下的工作？是否有将 PPI 与半参数效率理论（如 Efficient Influence Function）联系起来的工作？Efron 的 GLM 框架与半参数效率界之间是否存在联系？这些在 intro 中未被提及。

张力

• 未见明显对立引用。各工作之间的差异主要体现在方法论（渐近 vs. Bootstrap，非参数 vs. 参数模型）和效率上，而非根本性的矛盾结论。一个潜在的张力点是 Motwani & Witten (2023) 对 Wang et al. (2020) 的批评，但 Efron 声称他的方法解决了这个问题。

二、最核心、最简单的例子 / 数学问题

第一步：符号、模型与可观测数据

• 符号：

  • (x, y)：协变量向量和响应变量。y 可以是二值（0/1）或连续。
  • θ：感兴趣的总体参数，例如 θ = E[y] 或 θ = corr(x, y)。
  • f(x)：预测规则，由独立于当前数据的背景数据训练得到，近似 E[y|x]。
  • n_a：标签数据集的大小。
  • n_b：无标签数据集的大小。
  • (x_a, y_a)：标签数据集，大小为 n_a。
  • x_b：无标签数据集，大小为 n_b。
  • f_a：预测规则在标签数据上的预测值向量，长度为 n_a。
  • f_b：预测规则在无标签数据上的预测值向量，长度为 n_b。
  • π(x)：对于二值响应，π(x) = Pr(y=1 | x)。
  • π_a：标签数据对应的真实概率向量，π_a(i) = π(x_a(i))。
  • β：GLM 模型中的低维系数向量。
  • t(x, y)：一个统计量，其期望 E[t(x,y)] 是目标参数 θ。
  • T(π)：θ 作为 π 的函数，即 θ = T(π) = E_π[t(x,y)]。
  • ˆπ_a：基于标签数据估计出的 π_a。
  • ˆθ_a：仅使用标签数据（及 f_a）对 θ 的估计，即 T(ˆπ_a)。
  • ˆθ_b：使用标签和无标签数据（及 f_a, f_b）对 θ 的估计，即 T(ˆπ_b)。

• 模型：

  • 数据生成机制：假设标签数据和无标签数据来自同一个联合分布 p(x, y) = g(x) f(y|x)。唯一的区别是无标签数据的 y 缺失。
  • 核心假设：存在一个预测规则 f(x)，它近似于条件期望 E[y|x]，但可能不准确。这个 f 是独立于当前标签和无标签数据生成的。
  • Efron 的 GLM 模型（以二值响应为例）：
    • y|x 服从伯努利分布，Pr(y=1|x) = π(x)。
    • 假设 logit(π(x)) 是 logit(f(x)) 的线性函数：logit(π(x)) = β_0 + β_1 * logit(f(x))。这是模型 a (2.6) 的核心。
    • 目标参数 θ 是某个统计量 t(x,y) 的期望，即 θ = T(π) = E_π[t(x,y)]。

• 可观测数据：

  • 我们能观测到：
    1. 标签数据集：(x_a, y_a)，以及预测值 f_a。
    2. 无标签数据集：x_b，以及预测值 f_b。
  • 我们想要但观测不到：
    1. 无标签数据集的真实响应 y_b。
    2. 真实的概率函数 π(x)。
    3. 目标参数 θ 的真值。

第二步：最小内核——估计 θ = E[y] 时，为什么无标签数据没用？

这是整篇论文最核心、最反直觉的发现。我们剥去所有复杂性，只看这个特例。

• 最简特例：假设 y 是二值的（0/1），我们想估计 θ = E[y]，即总体中 y=1 的比例。我们有一个大小为 n_a 的标签数据集和一个大小为 n_b 的无标签数据集。预测规则 f(x) 已经给出。

• Efron 的模型 a：我们假设 logit(π(x)) = β_0 + β_1 * logit(f(x))。我们用标签数据 (x_a, y_a) 和 f_a 来拟合这个逻辑回归，得到系数估计 ˆβ = (ˆβ_0, ˆβ_1)。然后，我们可以得到标签数据上 π 的估计 ˆπ_a。

• 核心思路：Efron 的 Delta 方法近似给出了 ˆθ_a 和 ˆθ_b 的方差公式（公式 2.19 和 2.21）。对于 θ = E[y]，梯度向量 Δ 非常简单：Δ_a = 1/n_a（一个全是 1/n_a 的向量），Δ_b = 1/n_b。

• 关键跳跃：Efron 证明了，在模型 a 下，M_a = Δ'_a V_a L_a 和 M_b = Δ'_b V_b L_b 是相等的。这是因为：

  • M_a 和 M_b 分别是 γ(π) = π(1-π) 和 δ(π) = π(1-π) logit(π) 在标签和无标签数据上的样本均值。
  • 根据模型 a 的构造（Remark 5），ˆπ_b 的分布与 ˆπ_a 的分布是匹配的（即，对于相同的 f 值，ˆπ 的取值相同）。因此，γ 和 δ 的样本均值在两组数据上是相同的。
  • 由于 M_a = M_b，且 G 矩阵（Fisher 信息矩阵）是相同的，因此 sd(ˆθ_a) ≈ sd(ˆθ_b)。

• 结论：在这个最简例子中，使用无标签数据没有降低 E[y] 估计量的标准差。所有效率提升都来自于使用预测规则 f 来改进标签数据本身的估计（即 ˆθ_a 优于经典样本均值）。这个结论在表 5 和表 9 中得到了数值验证。

• 为什么？ 因为 E[y] 是一个关于 y 的边际参数，它不依赖于 x 和 y 之间的联合结构。无标签数据 x_b 提供了关于 x 分布的信息，但这对估计 E[y] 没有帮助，因为 E[y] 已经被标签数据中的 y 直接估计了。预测规则 f 的作用是帮助更精确地估计 π(x)，从而提升 ˆθ_a 的效率，但无标签数据本身不提供额外信息。

三、这篇论文做了什么

三句话

1. 研究了什么问题：在预测驱动推断（PPI）框架下，提出了一种基于 Bootstrap 重抽样的新算法（PPboot1 和 PPboot2），用于对总体参数进行点估计和置信区间构建，旨在克服现有渐近方法效率不足和通用性受限的问题。
2. 核心工具/方法：核心工具是参数化 Bootstrap。对于二值响应，它基于一个简单的 GLM（逻辑回归）模型，其中 logit(f(x)) 作为唯一的协变量。对于定量响应，它基于一个异方差线性回归模型。算法通过两步重抽样（先在标签数据上，再在无标签数据上）来模拟整个估计过程，从而得到估计量的抽样分布。
3. 主要结论：Bootstrap PPI 方法在有限样本下通常比 Angelopoulos et al. 的渐近方法更高效（标准差更小），且适用于更广泛的统计量。一个反直觉的发现是，对于估计 E[y]，无标签数据不提供任何额外信息，所有效率提升均来自预测规则对标签数据本身的改进。

关键设定与假设

• 核心设定：数据分为标签集 (x_a, y_a) 和无标签集 x_b，且存在一个独立训练的预测规则 f(x)。
• 假设（二值响应，模型 a）：
  1. 条件独立性：(x, y) 对是独立同分布的。
  2. 模型形式：logit(Pr(y=1|x)) = β_0 + β_1 * logit(f(x))。这是一个很强的参数假设，将真实概率与预测值通过一个线性逻辑斯蒂关系联系起来。相比 Angelopoulos et al. 的非参数方法，这是一个强化的假设。
  3. 预测规则的有效性：f(x) 是对 E[y|x] 的一个合理近似，否则线性关系可能不成立。Efron 通过允许更高阶多项式（Remark 7）来放松这个假设。
• 假设（定量响应，模型 q）：
  1. 模型形式：y = m(f(x)) + s(f(x)) * ε，其中 ε 是均值为 0、方差为 1 的独立同分布误差，其分布 p(·) 是给定的（如标准化 Gamma 分布）。这是一个更强的参数假设，指定了条件均值和方差都是 f(x) 的函数。
  2. 函数形式：m(·) 和 s(·) 是光滑函数，通过多项式回归和局部平滑估计。相比二值情况，这个假设更“投机”（Efron 原话），因为定量响应的可能性更多。

主要结果

• 结果 1：PPboot1 算法（二值响应）：

  • 提出了一个清晰的 Bootstrap 算法（图 4），通过两步重抽样（y_a* ~ Bern(ˆπ_a)，然后 y_b* ~ Bern(ˆπ_b*)）来估计 ˆθ_b 及其标准差 bsd_b。
  • 在 Pew 数据集的例子中，对于估计 corr(x, y)，PPboot1 的标准差约为经典方法的 50%，约为仅用标签数据方法的 67%（图 3）。
  • 与 Angelopoulos et al. 的方法相比，在估计逻辑回归系数时，PPboot1 的实证标准差仅为其约 20%（图 6），显示出巨大的效率优势。

• 结果 2：PPboot2 算法（定量响应）：

  • 提出了针对定量响应的类似算法，基于异方差线性回归模型（模型 q）。
  • 在 Census 数据集的例子中，对于估计线性回归系数，PPboot2 的标准差约为经典方法的 40%，约为仅用标签数据方法的 70%（图 11）。
  • 与 Angelopoulos et al. 的方法相比，PPboot2 的标准差约为其 74%（图 12），效率优势依然存在，但不如二值情况显著。

• 结果 3：关于 θ = E[y] 的反直觉结论：

  • 理论证明：在模型 a 下，通过 Delta 方法证明了 sd(ˆθ_a) ≈ sd(ˆθ_b)，即无标签数据不提供额外信息（Section 4, Lemma 1）。
  • 数值验证：在 Pew 数据（表 5）和 Census 数据（表 9）中均验证了这一结论。对于 E[y]，PPboot 的 bsd_b 并不比 bsd_a 小。
  • 推广：Efron 进一步猜想，对于任何仅依赖于 y 的统计量（如标准差、偏度、峰度），这个结论可能也成立（表 6 和表 9 提供了支持性证据）。

• 结果 4：Bootstrap 置信区间的校准：

  • 通过 100 个模拟数据集（Pew1:100 和 Cens1:100）评估了 bsd 的准确性。
  • 对于二值响应，bsd_b 平均比真实标准差大 15% 左右，导致置信区间略微保守（表 4）。
  • 对于定量响应，bsd_b 平均比真实标准差大 40% 左右，过度保守更严重（图 13）。

证明路线与技术技巧

• 整体路线（以二值响应为例）：

  1. 建模：将 PPI 问题转化为一个 GLM 问题，其中 logit(f(x)) 是唯一的解释变量。这为应用经典统计理论（MLE、Fisher 信息、Delta 方法）铺平了道路。
  2. 估计：用标签数据拟合 GLM，得到 ˆβ，进而得到 ˆπ_a 和 ˆπ_b。
  3. 推断（Delta 方法）：推导出 ˆθ_a = T(ˆπ_a) 和 ˆθ_b = T(ˆπ_b) 的渐近方差公式（2.19, 2.21）。这个公式依赖于梯度 Δ = dT/dπ。
  4. 绕过梯度：由于 Δ 通常难以计算，Efron 提出用 Bootstrap 来模拟 ˆθ_b 的整个抽样过程，从而直接得到其标准差，无需计算 Δ。
  5. Bootstrap 实现：设计了一个两步重抽样方案（图 4），第一步在标签数据上生成 y_a*，重新拟合 GLM 得到 ˆπ_a*；第二步将 ˆπ_a* 的分布映射到无标签数据上得到 ˆπ_b*，然后生成 y_b* 并计算 ˆθ_b*。重复多次得到 ˆθ_b 的 Bootstrap 分布。

• 关键跳跃点：

  • 跳跃点 1：从 ˆπ_a 到 ˆπ_b 的映射。如何保证 ˆπ_b 的分布与 ˆπ_a 匹配？Efron 通过 Remark 5 中的数值方法（approx(f_a, ˆπ_a*, f_b)）实现，这依赖于模型假设：Pr(y=1|x) 仅通过 f(x) 影响。
  • 跳跃点 2：证明 sd(ˆθ_a) = sd(ˆθ_b) 对于 θ=E[y]。这是 Lemma 1 的核心，它巧妙地利用了投影矩阵的性质，证明了 Δ'_a V_a L_a G^{-1} L'_a V_a Δ_a = (1/n_a^2) * sum(v(i))，而这个等式对于 b 组同样成立，因为 M_a = M_b。

• 技术技巧点名：

  • Delta 方法：用于推导 ˆθ 的渐近方差。
  • 参数化 Bootstrap：核心计算工具，用于替代 Delta 方法，避免计算梯度。
  • 投影矩阵/线性代数技巧：在 Lemma 1 的证明中，将方差表达式重写为投影长度，并利用 v^{1/2} 位于 L 的列空间中这一事实，简洁地证明了等式。
  • C_p 准则：在 PPboot2 中用于选择多项式回归的阶数 df。
  • BCa 偏差校正：用于校正 R² 估计中的偏差。

真实例子与应用

• 数据：
  1. Pew Research Center Poll (Pew0, Pew1:100)：关于拜登疫情沟通的民意调查。y 是二值（赞成/反对），x 是 10 个问题。预测规则 f 由 XGBoost 在数千人的训练集上训练得到。这是二值响应的主要例子。
  2. Census Data (Cens0, Cens1:100)：加州居民收入数据。y 是连续值（收入），x 是 8 个人口统计变量。预测规则 f 由 80,000 人的数据训练得到。这是定量响应的主要例子。
  3. Sick Babies Data：非洲医院婴儿死亡率研究。y 是二值（死亡/存活），x 是 6 个临床指标。背景数据是前一年更大规模的研究。这个例子展示了 PPI 在没有无标签数据时，仅利用预测规则改进标签数据推断的能力。
• 方法应用：将 PPboot1 和 PPboot2 应用于这些数据，估计 corr(x,y)、逻辑回归系数、线性回归系数、E[y]、标准差、偏度、峰度等参数。
• 结果：如上文“主要结果”所述，展示了 Bootstrap PPI 在效率上的优势，以及对于 E[y] 的反直觉结论。
• 例子目的：这些例子旨在：
  • 验证理论：展示 Bootstrap 方法在有限样本下的表现，并与渐近理论预测一致（如 E[y] 的例子）。
  • 展示相对优势：通过与 Angelopoulos et al. 的方法和经典方法对比，突出 PPboot 的效率优势。
  • 揭示局限性：通过 E[y] 的例子，揭示 PPI 并非在所有情况下都能利用无标签数据，并引发对信息量来源的深入思考。

🔎 结论是否比证明窄

• 是。Efron 在 Section 4 中严格证明了，在模型 a 下，对于 θ = E[y]，sd(ˆθ_a) ≈ sd(ˆθ_b)。然而，他在 Section 4 末尾和 Remark 11 中猜想，对于任何仅依赖于 y 的统计量（如标准差、偏度、峰度），这个结论也成立。这个猜想在表 6 和表 9 中得到了数值支持，但并未被严格证明。这是一个“结论比证明窄”的典型例子：严格证明只覆盖了 E[y] 这一个参数，但作者将其推广到了一个更广泛的猜想。研究者可以尝试去证明或证伪这个猜想。

四、开放问题

1. 证明“仅依赖于 y 的统计量”的猜想：Efron 在 Remark 11 中猜想，对于任何 t(x,y) 仅依赖于 y 的统计量，ˆθ_b 不会比 ˆθ_a 更有效。这个猜想扎根于 Remark 11 的数值实验和 Section 4 对 E[y] 的严格证明。这是一个明确的开放理论问题。

2. PPboot2 的过度保守性：在 Census 数据的模拟中（图 13），PPboot2 的标准差估计 bsd_b 平均比真实标准差大 40%。Efron 将其归因于模型 q 的“投机性”。如何改进 PPboot2 的 Bootstrap 过程，使其置信区间更精确（即 bsd 更接近真实值）？这个问题扎根于图 13 和 Remark 13 中对模型 q 的讨论。

3. PPI 信息量的理论刻画：Efron 在 Section 4 末尾提出了一个“有趣的理论问题”：给定 t(x,y)、n_a、n_b，如何量化从 PPI 中能获得的效率提升？他提到公式 (2.19) 和 (2.21) 可能提供答案，但梯度 Δ 通常不可得。如何发展一个更通用的理论（可能基于半参数效率界或信息论）来刻画无标签数据的信息量？这个问题扎根于 Section 4 末尾的讨论。

4. 高维设定下的 PPI：本文的所有例子和理论都假设 x 的维度是固定的（如 10 或 8）。当 x 的维度远大于样本量（高维）时，Efron 的 GLM 模型（特别是 logit(π) 是 logit(f) 的线性函数）是否仍然有效？Bootstrap 方法在高维下的表现如何？这是一个自然的扩展方向，在本文中未被触及。

---

Maintained by 陈星宇 · Homepage · Source on GitHub

评论