跳转至

When and How to Pilot: Design Rules for Two-Wave Experiments

作者: Juan C. Yamin
主题: 因果推断
相关性: 6/10
链接: https://arxiv.org/abs/2607.16982

一、领域脉络与小综述

这个方向是什么

本文研究的子方向是两波实验（pilot + main wave）中的自适应处理分配。根本的统计问题是：在实验者先用一个小样本（pilot）收集数据，再根据这些数据设计主实验（main wave）的处理分配概率时，如何平衡“利用pilot信息提高精度”与“避免被噪声pilot误导导致精度损失”之间的张力。当前成熟度：这是一个从经典Neyman分配出发、但聚焦于有限样本（而非渐近）决策问题的领域，近年来因田野实验的普及而重新受到关注。

发展脉络（history）

  • 奠基工作：Neyman (1934) 提出了已知方差下的方差最小化分配（Neyman allocation），为实验设计中的处理分配提供了理论基准。这是所有后续工作的起点。
  • 主要进展（渐近方向）：Hahn et al. (2011) 证明了当pilot和main wave样本都趋于无穷时，基于pilot估计的可行Neyman分配（FNA）可以达到渐近有效。Armstrong (2026) 进一步刻画了这类设计所能达到的效率前沿。这些工作为pilot-based分配提供了渐近正当性，但正如作者指出的，“they are silent when the pilot is too small to be trusted”。
  • 主要进展（有限样本警告）：Cai and Rafi (2024) 通过模拟和理论表明，固定大小的pilot可能导致FNA的精度甚至不如平衡分配，即使main wave很大。这直接挑战了“pilot越大越好”的直觉，将问题定位为有限样本设计问题。
  • 当前frontier：本文的位置。作者将pilot-based分配形式化为一个有限样本统计决策问题，并提出了一个可计算的、具有有限样本保证的规则（CMR）。这填补了渐近理论（Hahn et al., 2011; Armstrong, 2026）与有限样本警告（Cai and Rafi, 2024）之间的空白。
  • 另一条线索（推断决策）：Manski (2021) 提出了“as-if decisions with set estimates”的原则，即基于未被数据排除的参数值做决策。Chernozhukov et al. (2025) 通过平衡估计福利与估计风险来选择政策。Andrews and Chen (2025) 将推荐决策与损失的高概率上界配对。本文的CMR规则直接借鉴了这一思想，但将其应用于实验设计这一更早的阶段——决策是主波分配概率，损失是尚未收集的数据的估计精度。

子线索聚类

  1. 自适应实验设计与pilot-based分配：包括Hahn et al. (2011), Tabord-Meehan (2023), Bai (2022), Cytrynbaum (2026), Armstrong (2026), Cai and Rafi (2024)。这一簇的核心是研究如何利用预实验或pilot信息来优化实验设计，但主要提供渐近保证或有限样本警告，而非可计算的有限样本规则。
  2. 推断决策：包括Manski (2021), Chernozhukov et al. (2025), Andrews and Chen (2025), Ishihara and Kitagawa (2024)。这一簇的核心是在数据已收集后，基于对参数的不确定性（如置信集）来做决策，并给出损失保证。本文将其思想迁移到实验设计阶段。
  3. 完全序贯/多批实验中的自适应Neyman分配：包括Dai et al. (2023), Zhao (2024)。这一簇研究在数据连续到达时持续调整分配，与本文的“单次pilot后一次性设计主波”不同。作者明确区分了这一点：“Those rules adapt the assignment continuously as outcomes arrive. Ours solves a one-shot design problem”。

这个方向在追问的核心问题

  1. 如何量化pilot证据的“权威”？即，给定一个有限大小的pilot，主波分配应该从平衡分配（完全忽略pilot）向可行Neyman分配（完全信任pilot）移动多远？
  2. 有限样本下的最优决策准则是什么？是minimax风险、minimax遗憾，还是其他？作者论证了minimax风险过于保守，而精确minimax遗憾虽在理论上是最优的，但不可计算。
  3. 如何为选定的分配提供一个可验证的有限样本保证？即，实验者在运行主波之前，能否知道这个分配最多会损失多少精度？
  4. pilot本身是否值得运行，以及应该多大？pilot消耗的样本本可用于主波，因此需要权衡。

⚠️ 作者的 framing

作者将缺口frame成：在有限样本下，pilot证据的权威应该由“它排除了什么”而非“它估计了什么”来决定。这直接对应CMR规则：在pilot的有限样本置信集上极小化最坏情况遗憾。作者淡化了精确minimax遗憾路线，指出其不可计算（Remark 3.3），从而为CMR这一可计算规则铺路。作者也回避了完全序贯实验的文献，明确将问题限定为“one-shot design problem”。

什么明显该被引/该存在、却没出现在intro里？ 作者没有引用关于高维方差估计或非参数方差估计的minimax率的文献。虽然论文的置信集构造使用了Maurer-Pontil bound，但并未讨论在更一般的非参数模型下，方差估计的minimax下界是否会影响CMR规则的遗憾率。这是一个值得研究者去查的问题：如果方差估计本身就有不可克服的困难，CMR的遗憾率是否还能匹配minimax遗憾率？

张力

未见明显对立引用。各条线索的工作在各自的设定下是自洽的，没有出现“在略不同条件下得相反结论”的情况。例如，Hahn et al. (2011)的渐近结果与Cai and Rafi (2024)的有限样本警告并不矛盾，只是视角不同。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：

    • Y(1), Y(0): 潜在结果（potential outcomes），分别代表接受处理和控制的结果。它们是随机变量。
    • F: 总体分布，(Y(1), Y(0)) ~ F。
    • ATE(F) = E[Y(1) - Y(0)]: 平均处理效应，是目标estimand。
    • σ²₁, σ²₀: 处理组和对照组的潜在结果方差，即 Var(Y(1)) 和 Var(Y(0))。这是核心参数，决定了最优分配。
    • π: 主波（main wave）的处理分配概率，即主波中分配给处理组的样本比例。这是决策变量。
    • N: 主波样本量。
    • M: pilot样本量。M₁, M₀ 分别是pilot中处理和对照的样本量。
    • ω: pilot的观测数据，包含 {(Y_i, D_i)}。
    • ˆσ²₁(ω), ˆσ²₀(ω): 从pilot数据中计算的处理组和对照组样本方差。这是可观测的统计量。
    • V(π, σ²₁, σ²₀) = σ²₁/π + σ²₀/(1-π): 在给定方差和分配概率下，主波ATE估计量的方差（乘以N）。这是损失函数。
    • π*(σ²₁, σ²₀) = σ₁/(σ₁+σ₀): Neyman分配，使V最小的最优分配。这是不可实现的基准。
    • V*(σ²₁, σ²₀) = (σ₁+σ₀)²: 在Neyman分配下的最小方差。这是不可实现的基准值。
    • r(π, σ²₁, σ²₀) = V(π, σ²₁, σ²₀) - V*(σ²₁, σ²₀): 遗憾（regret），衡量使用分配π相对于最优分配的额外方差。

  • 模型：

    • 数据生成机制：潜在结果 (Y(1), Y(0)) 独立同分布地来自一个未知的总体分布 F，其支撑集为 [0,1]²（即结果有界）。
    • 实验设计：pilot和主波都使用完全随机化设计（CRD）。pilot的分配是固定的（M₁个处理，M₀个对照），主波的分配由决策规则决定。
    • 已知：结果有界在 [0,1]，因此方差有界 σ² ∈ [0, 1/4]。
    • 要估的对象：ATE(F)，但决策问题只关心方差 (σ²₁, σ²₀)。

  • 可观测数据：

    • 可观测：pilot数据 ω，包含每个单元的分配 D_i 和观测到的结果 Y_i。由此可以计算出样本方差 ˆσ²₁(ω) 和 ˆσ²₀(ω)。
    • 想要但观测不到：真实的总体方差 (σ²₁, σ²₀)。这是决策问题的核心未知参数。pilot只能提供关于它们的不完美信息。

第二步：讲最小内核

这篇论文的核心思路不是“特例推广”，而是提出了一个通用的决策框架。其最小内核可以理解为：给定一个pilot，我们有一个关于方差对 (σ²₁, σ²₀) 的置信集 Θ̂(ω)，然后在这个置信集上极小化最坏情况下的遗憾。

这个问题的核心数学困难在于：遗憾函数 r(π, σ²₁, σ²₀) 在方差上是凸的，但最坏情况发生在置信集的角点上。作者的关键想法是：利用这个角点结构，将无限维的优化问题（在全体分布 F 上）简化为一个有限维的、可计算的优化问题（在置信集的角点上）。

最小问题：给定一个pilot，我们得到一个矩形置信集 Θ̂ = [σ²₁, σ̄²₁] × [σ²₀, σ̄²₀]。我们要找到一个分配概率 π，使得最坏情况下的遗憾 max_{θ∈Θ̂} r(π, θ) 最小。

为什么难：r(π, θ) 不是 π 的凸函数，直接优化复杂。

关键想法：作者证明了 r(π, θ) 可以写成 [(1-π)σ₁ - πσ₀]² / [π(1-π)]。对于固定的 π，分子 (1-π)σ₁ - πσ₀ 是 σ₁ 和 σ₀ 的仿射函数。因此，在矩形 Θ̂ 上，r(π, θ) 的最大值一定在矩形的四个角点之一达到。这大大简化了问题：我们只需要考虑四个角点对应的遗憾值，然后选择 π 来最小化这四个值中的最大值。

怎么破：通过分析，作者发现只有两个“对角”角点（一个让处理方差最大、对照方差最小，另一个相反）是“绑定”的。最终，这个minimax问题的解有一个漂亮的闭式解：p_CMR = (σ̄₁ + σ₁) / (σ̄₁ + σ₁ + σ̄₀ + σ₀)，即对每个臂的标准差置信区间中点应用Neyman公式。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在两波实验中，如何利用有限大小的pilot数据来决定主波的处理分配概率，以最小化ATE估计量的方差，同时避免被噪声pilot误导。
  2. 核心工具/方法：提出了条件极小化最大遗憾（CMR）规则。该规则在pilot数据构建的有限样本置信集上，选择使最坏情况遗憾最小的分配概率。
  3. 主要结论：CMR规则有闭式解（对标准差置信区间中点应用Neyman公式），在有限样本下以高概率提供遗憾证书（certificate），随pilot增长收敛到Neyman分配，其最坏情况期望遗憾匹配minimax遗憾率（至多常数倍），并可扩展到多臂和分层设计。

关键设定与假设

  • 设定：两波实验，二值处理，完全随机化设计。pilot和主波样本独立同分布地来自同一总体。
  • 假设：
    1. 潜在结果有界：Y(d) ∈ [0,1]。这是构造分布自由、有限样本置信集的关键。作者在附录D.2中放松为峰度有界。
    2. pilot每臂至少2个观测：M₁, M₀ ≥ 2，以保证样本方差有定义。
    3. pilot分配固定：pilot的臂大小是固定的（M₁, M₀），且pilot本身是平衡分配（M₁ = M₀）或按人口比例分配（分层设计）。
    4. 决策规则类：主要关注基于样本方差的规则 p(ω) = g(ˆσ²₁(ω), ˆσ²₀(ω))。这是一个实质性限制，因为pilot中可能包含更高阶矩的信息。
  • 相比已有文献：相比Hahn et al. (2011)的渐近框架，本文的假设更弱（不要求pilot和主波都趋于无穷），但更强（要求结果有界以构造有限样本置信集）。相比Cai and Rafi (2024)的警告性分析，本文提出了一个具体的、可操作的规则。

主要结果

  • Proposition 4.1 (CMR闭式解)：CMR分配 p_CMR = (σ̄₁ + σ₁) / (σ̄₁ + σ₁ + σ̄₀ + σ₀)，其中 σ̄ 和 σ 是标准差置信区间的上下界。证书 U_CMR = (σ̄₁σ̄₀ - σ₁σ₀)² / [(σ̄₁+σ₁)(σ̄₀+σ₀)]。这个结果非常优雅，将复杂的minimax问题简化为一个简单的公式。
  • Theorem 4.1 (有限样本证书)：对于任意 F，Pr(r(p_CMR, θ(F)) ≤ U_CMR) ≥ 1-α。且 U_CMR ≤ 1/4（等于无pilot时的最坏情况遗憾）。这意味着CMR规则自带一个“保险”，实验者在运行主波前就知道精度损失的上限。
  • Theorem 4.2 (收敛速率)：当pilot增长时，在内部方差对（σ₁, σ₀ > 0）处，|p_CMR - π*| = O_p(M^{-1/2})，r(p_CMR) = O_p(M^{-1})。这表明CMR的有限样本安全性并不以牺牲渐近效率为代价。
  • Theorem 4.3 (匹配minimax遗憾率)：sup_F E[r(p_CMR)] ≤ C_α (M₁^{-1/2} + M₀^{-1/2})。结合Proposition 3.4的下界，CMR的worst-case期望遗憾率匹配了minimax遗憾率（至多常数倍）。这是本文最核心的理论贡献，表明CMR在worst-case意义下是最优的。

证明路线与技术技巧

  • 整体路线：

    1. 构造置信集：利用Maurer-Pontil empirical Bernstein bound，为每个臂的方差构造有限样本、分布自由的置信区间。通过Bonferroni校正，组合成矩形置信集 Θ̂_α(ω)，以概率 ≥ 1-α 覆盖真实方差对。
    2. 简化minimax问题：证明遗憾函数 r(π, θ) 在 θ 上是凸的，因此在一个矩形上的最大值一定在角点达到。进一步，只有两个对角角点是“绑定”的。
    3. 求解闭式解：将问题简化为在两个对角角点的遗憾值之间做权衡，通过求解一个简单的优化问题得到 p_CMR 和 U_CMR 的闭式表达式。
    4. 建立有限样本保证：基于置信集的覆盖概率，直接得到证书的有效性（Theorem 4.1）。
    5. 建立渐近性质：证明置信集随pilot增长而收缩，从而 p_CMR 收敛到Neyman分配，遗憾和证书以特定速率收敛（Theorem 4.2）。
    6. 建立worst-case速率：通过精细的期望界，证明CMR的worst-case期望遗憾率匹配minimax下界（Theorem 4.3）。

  • 关键跳跃点：

    • 从无限维到有限维：将minimax问题从在全体分布 F 上求解，简化为在置信集的有限个角点上求解。这是通过利用“遗憾只依赖于方差对”这一事实实现的。
    • 闭式解的发现：证明只有两个对角角点绑定，并推导出 p_CMR 的闭式解。这使得规则完全可计算，无需数值优化。
    • worst-case速率的证明：证明CMR的worst-case期望遗憾率匹配minimax下界。这需要处理“置信集可能不覆盖真实参数”的事件，并证明该事件对期望遗憾的贡献是可忽略的。

  • 技术技巧点名：

    • Empirical Bernstein bound (Maurer-Pontil)：用于构造有限样本、分布自由的方差置信区间。这是整个CMR规则的基石。
    • Bonferroni inequality：用于组合多个单侧置信区间，控制整体覆盖概率。
    • 凸优化/角点分析：利用遗憾函数在方差上的凸性，将最坏情况定位在置信集的角点。
    • Le Cam's two-point method：用于证明minimax遗憾的下界（Proposition 3.4）。
    • McDiarmid's bounded-differences inequality：用于证明Theorem 4.3中内部速率的例外事件概率的指数界。

真实例子与应用

  • 数据：基于四个著名田野实验的公开微观数据：Miguel and Kremer (2004) 的驱虫项目、Bertrand and Mullainathan (2004) 的简历审计、Thornton (2008) 的HIV检测激励实验、Abel et al. (2020) 的推荐信实验。
  • 方法应用：从这些实验数据中提取处理组和对照组的经验分布，作为数据生成过程。模拟不同pilot大小（30, 100, 250, 500）下的表现。
  • 结果：
    • 两臂设计：在小pilot（M=30）时，FNA经常导致无限或巨大的效率损失（如简历审计实验），而CMR则完全保持平衡分配的表现。随着pilot增大，CMR开始适应，捕获大部分FNA的增益，同时避免了其灾难性损失。
    • 多臂和分层设计：由于pilot需要分配到更多单元，FNA的脆弱性加剧，而CMR的谨慎性价值更高。例如，在Thornton的多臂实验中，FNA在M=250时仍有无限损失，而CMR直到M=250才开始适应。
  • 说明的问题：这些模拟验证了理论结果，表明CMR规则在实践相关的pilot大小下，能够有效平衡“利用pilot信息”和“避免被噪声误导”之间的张力。其核心价值在于保险：在几乎不牺牲上行空间（大pilot时的增益）的情况下，提供了对下行风险（小pilot时的灾难性损失）的保护。

🔎 结论是否比证明窄

  • 边界速率：Theorem 4.2的收敛速率（O_p(M^{-1})）依赖于“内部方差对”（σ₁, σ₀ > 0）的假设。作者在Remark 4.1中明确指出，当一个臂的方差为0时，速率会降为 O_p(M^{-1/2})。这是一个“结论比证明窄”的例子：论文的主要结论（快速收敛）只在特定条件下成立，而证明中已经处理了边界情况，但并未将其作为主要结论强调。
  • worst-case速率的常数：Theorem 4.3的常数 C_α 依赖于 α，但作者没有给出其具体形式或上界。这是一个“结论比证明宽”的例子：论文声称CMR匹配minimax遗憾率“up to constants”，但并未证明这个常数是小的或最优的。对于实际应用，这个常数可能很大，从而削弱了“匹配”的实践意义。

四、开放问题

  1. 更丰富的实验设计：作者在结论中提出，CMR逻辑可以扩展到“cluster-randomized, sequential, and imperfect-compliance experiments”。这是一个明确的开放问题。扎根于论文第7节：“The first is to develop such rules for richer designs, including cluster-randomized, sequential, and imperfect-compliance experiments.”
  2. 置信集本身的优化：作者指出，CMR规则对称地分配误差预算，并接受给定的覆盖水平，这两者都不一定是最优的。更紧的置信集可以让规则更早地获得适应的权利。扎根于论文第7节：“The second is to treat the confidence set itself as part of the decision. CMR splits its error budget symmetrically and takes the coverage level as given, and neither choice is necessarily optimal. Sharper sets would let the rule earn the right to adapt sooner.”
  3. 放松“决策规则基于样本方差”的限制：论文的决策规则类 D 限制为仅使用样本方差 (ˆσ²₁, ˆσ²₀)。作者承认这是一个实质性限制，因为pilot中可能包含更高阶矩的信息。扎根于论文第2.3节：“However, the restriction is substantive since, relative to the unrestricted class D₀, features of the full pilot beyond (ˆσ²₁, ˆσ²₀) may contain additional information about (σ²₁, σ²₀) in the nonparametric model.” 一个开放问题是：如果允许规则使用pilot的全部信息，能否获得比CMR更好的有限样本表现？
  4. 高维设定下的推广：论文的设定是低维的（方差对）。一个自然的推广是，当处理是多维的、或存在大量协变量时，如何设计类似的两波实验规则？这需要处理高维方差-协方差矩阵的估计和置信集构造问题。这与研究者熟悉的高维统计和随机矩阵理论直接相关。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论