Studentized inference in randomized experiments when a few units dominate the outcome variation¶
作者: Xinyuan Chen, Jonathan W. Kiesel, Jonathan R. Woody
主题: 数理统计 / 假设检验
相关性: 8/10
链接: https://arxiv.org/abs/2611.03561
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是设计基(design-based)有限总体推断:将实验中的 N 个单元视为固定有限总体,唯一随机性来自处理分配向量,目标是构造处理效应估计量的置信区间。该方向的根本问题是:在何种条件下,学生化统计量(估计量除以其标准误估计)具有可用的极限分布,从而保证 Wald 区间在有限样本下具有接近名义水平的覆盖率。该方向已相当成熟——从 Neyman 的方差估计、Lin (2013) 的回归调整,到 Li & Ding (2017) 的有限总体 CLT 框架,构成了随机实验推断的标准工具箱。但本文指出一个未被覆盖的边界情形:当少数单元携带不随 N 消失的结果变异份额时,经典 CLT 失效,学生化统计量的极限分布非正态且不可识别。
发展脉络¶
- 奠基工作:Neyman (1923, 经 Rubin 1990 英译) 提出有限总体下处理效应估计与方差估计的框架;Noether (1949) 与 Erdős–Rényi (1959) 建立了有限总体 CLT 的可忽略性(negligibility)条件——即每个单元对总体变异的贡献随 N 趋于零。这是整个方向的基石:只要可忽略性成立,均值差的渐近正态性就有保障。
- 主要进展:Lin (2013) 回应 Freedman (2008) 对回归调整的批评,证明包含处理×协变量交互的回归调整估计量(" interacted estimator")在有限总体下渐近方差不超过未调整估计量,且其 Neyman 型方差估计量一致。Li & Ding (2017) 将有限总体 CLT 推广到一般估计量(含回归调整),给出方差估计量相合性的统一条件。Wu & Ding (2021) 建立了学生化随机化检验在弱零假设下的渐近有效性——但所有这些结果都依赖可忽略性条件。
- 当前 frontier:当可忽略性失败时(重尾结果、少数主导单元),经典理论失效。已有文献的应对是改变估计量或估计目标:Athey et al. (2023) 用稳健估计量处理重尾;Su & Li (2024) 转向处理效应分位数;Ghosh et al. (2026) 提出基于秩的估计量。这些工作的共同点是"换工具"。
- 本文的位置:本文是少数坚持使用经典工具(学生化均值差/Lin 估计量 + Wald 区间)但直面可忽略性失败的工作。它不提出新估计量,而是刻画经典工具在可忽略性失败时的极限行为,并给出覆盖率下界。这填补了一个空白:此前无人系统回答"如果坚持用经典 Wald 区间,最坏情况下覆盖率会掉到多少"。
子线索聚类¶
- 有限总体 CLT 与可忽略性条件:Noether (1949)、Erdős–Rényi (1959)、Hájek (1960)、Li & Ding (2017)。这条线回答"何时正态近似有效"。
- 回归调整的有限总体理论:Freedman (2008) 的批评、Lin (2013) 的辩护、Li & Ding (2017) 的统一。这条线回答"回归调整是否伤害推断"。
- 随机化检验与重尾稳健性:Chung & Romano (2013)、Wu & Ding (2021) 研究学生化置换检验的有效性条件;Athey et al. (2023)、Su & Li (2024)、Ghosh et al. (2026) 针对重尾结果提出替代估计量。这条线回答"经典工具失效时怎么办"。
- 重尾与极端值统计:Berkes et al. (2010)、Aue et al. (2008) 研究随机置换和随机选择的重尾样本的极限行为,为本文提供了技术工具(随机选择的重尾和的极限分布)。
这个方向在追问的核心问题¶
- 可忽略性条件是否必要?即:当少数单元主导变异时,是否可能存在某种替代条件使经典推断仍然有效?
- 当经典推断失效时,失效的形态是什么?是极限分布非正态、方差估计不一致、还是两者兼有?
- 是否存在不依赖可忽略性的通用覆盖率下界?即:无论总体如何,Wald 区间的覆盖率至少是多少?
- 回归调整在重尾下是否仍然有益?Lin (2013) 的结论在可忽略性失败时是否保留?
⚠️ 作者的 framing¶
作者将缺口 frame 为:"None of the above results gives the randomization law of the conventional studentized statistic when a few units dominate the residual variation." 即:已有文献要么假设可忽略性(CLT 路线),要么更换估计量/估计目标(重尾稳健路线),但没有人回答"经典学生化统计量在可忽略性失败时到底服从什么分布、Wald 区间覆盖率会怎样"。作者将本文定位为对这一空白的直接回答。注意:作者淡化了"更换估计量"这条竞争路线的吸引力——他们不讨论 Athey et al. (2023) 的稳健估计量在相同条件下是否表现更好,而是专注于经典工具的极限行为。这是一个 framing 选择:"我们研究你已经在用的工具在最坏情况下的表现",而非"你应该换工具"。
张力¶
未见明显对立引用。但存在一个微妙的张力:Li & Ding (2017) 的有限总体 CLT 框架暗示可忽略性失败时"无正态极限可言",而本文证明的是"虽然无正态极限,但仍有可用的覆盖率下界"。这不是矛盾,而是对同一现象的互补刻画。另一个潜在张力:Ghosh et al. (2026) 的秩估计量在重尾下保持效率,而本文表明经典估计量在相同条件下覆盖率可跌至 0.42——这暗示"换工具"可能是更优策略,但作者不直接讨论这一点。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号(逐个点名):
| 记号 | 含义 | 类型 |
|---|---|---|
| \(N\) | 有限总体大小 | 指标 |
| \(\Pi_N = \{(X_i, Y_i(1), Y_i(0)): i \leq N\}\) | 有限总体:协变量 + 一对潜在结果 | 固定量(设计基) |
| \(X_i \in \mathbb{R}^d\) | 单元 \(i\) 的协变量,\(d \geq 0\)(\(d=0\) 表示无协变量) | 固定量 |
| \(Y_i(1), Y_i(0)\) | 单元 \(i\) 在治疗/对照下的潜在结果 | 固定量(潜在结果) |
| \(\tau_N = N^{-1}\sum_i \{Y_i(1) - Y_i(0)\}\) | 样本平均处理效应(SATE) | 估计目标(estimand) |
| \(Z_i \in \{0,1\}\) | 处理分配指示 | 随机变量(唯一随机源) |
| \(N_1 = \sum_i Z_i\),\(N_0 = N - N_1\) | 治疗/对照组的样本量 | 随机变量(但 \(N_1\) 固定时条件化) |
| \(\pi_N = N_1/N \to \pi \in (0,1)\) | 治疗比例 | 常数(渐近) |
| \(\bar{Y}_z\),\(\bar{X}_z\) | 组 \(z\) 内结果/协变量均值 | 随机变量 |
| \(\beta_z = G^{-1}\sum_i (X_i - \bar{X}) Y_i(z)\) | 有限总体投影系数(\(Y_i(z)\) 对 \(X_i\) 的线性投影) | 固定量(辅助量) |
| \(e_i(z) = Y_i(z) - \bar{Y}(z) - (X_i - \bar{X})^\top \beta_z\) | 有限总体投影残差 | 固定量(辅助量) |
| \(h_i = (X_i - \bar{X})^\top G^{-1}(X_i - \bar{X})\) | 单元 \(i\) 的杠杆值 | 固定量 |
| \(r_N^2 = \sum_i \|e_i\|^2\),\(e_i = (e_i(1), e_i(0))^\top\) | 总残差变异 | 固定量(归一化尺度) |
| \(c_i = e_i(1)/\pi_N + e_i(0)/(1-\pi_N)\) | 组合残差 | 固定量 |
| \(\hat{\tau}\) | 估计量(均值差或 Lin 估计量) | 随机变量 |
| \(\hat{V}\) | Neyman 型方差估计量 | 随机变量 |
| \(T_N = (\hat{\tau} - \tau_N)/\hat{V}^{1/2}\) | 学生化统计量 | 随机变量(核心研究对象) |
| \(U_E, V_E\) | 极限分子与极限分母 | 随机变量(极限) |
模型:
- 数据生成机制:有限总体 \(\Pi_N\) 固定,唯一随机性是处理分配向量 \((Z_1, \ldots, Z_N)\) 在全部 \(\binom{N}{N_1}\) 个等可能向量上均匀分布(完全随机化,Assumption 1)。
- 观测数据:对每个单元 \(i\),观测到 \((X_i, Z_i, Y_i^{\text{obs}})\),其中 \(Y_i^{\text{obs}} = Z_i Y_i(1) + (1-Z_i) Y_i(0)\)。关键:每个单元只暴露一个潜在结果,另一个缺失。配对 \((Y_i(1), Y_i(0))\) 的联合分布不可观测——这是因果推断的基本识别障碍。
- 估计目标:\(\tau_N\)(固定量,非随机)。
- 要估计的"量":\(\hat{\tau}\) 的抽样分布(由分配随机性诱导),特别是 \(T_N\) 的极限分布。
核心困难:\(T_N\) 的分子 \(\hat{\tau} - \tau_N\) 和分母 \(\hat{V}^{1/2}\) 都依赖未观测的潜在结果配对。当所有单元都可忽略时,配对细节在极限中消失(CLT 只依赖边际分布);但当少数单元主导变异时,配对机制进入极限分布,导致极限不可识别。
第二步:最小内核¶
剥掉所有一般性假设后,本文的核心数学问题是:
设 \(N\) 个单元,每个单元有一对潜在结果 \((Y_i(1), Y_i(0))\)。随机分配 \(N/2\) 个单元到治疗组。考虑学生化统计量
\[> T_N = \frac{\hat{\tau} - \tau_N}{\hat{V}^{1/2}}, >\]其中 \(\hat{\tau}\) 是均值差,\(\hat{V}\) 是 Neyman 方差估计量。假设少数 \(K\) 个单元(\(K\) 固定)的残差 \(\|e_i\|\) 远大于其余单元(即 \(\|e_i\|/r_N \not\to 0\)),其余单元满足可忽略性。问:\(T_N\) 的极限分布是什么?Wald 区间的渐近覆盖率是多少?
最简特例(\(K=1\),一个主导单元,\(d=0\),\(\pi = 1/2\)):
设单元 1 的残差为 \((e_1(1), e_1(0)) = (a, b)\),其中 \(a^2 + b^2 = r_N^2\)(即该单元携带全部残差变异),其余单元残差为零。则:
- 分子:\(N(\hat{\tau} - \tau_N) = \sum_i (Z_i - 1/2) c_i\),其中 \(c_i = 2e_i(1) + 2e_i(0)\)。主导单元贡献 \((Z_1 - 1/2)(2a + 2b)\),其余单元贡献为零。因此分子 \(= (Z_1 - 1/2)(2a + 2b)\),取值为 \(\pm(a+b)\)。
- 分母:\(N^2\hat{V} = \frac{N^2}{N_1(N_1-1)} \sum_{i: Z_i=1} e_i(1)^2 + \frac{N^2}{N_0(N_0-1)} \sum_{i: Z_i=0} e_i(0)^2\)。若 \(Z_1 = 1\),则主导项为 \(4a^2\);若 \(Z_1 = 0\),则主导项为 \(4b^2\)。
- 学生化统计量:
- 若 \(Z_1 = 1\):\(T_N \to (a+b)/(2|a|)\)
- 若 \(Z_1 = 0\):\(T_N \to -(a+b)/(2|b|)\)
关键观察: 1. 极限分布是两点分布(各概率 \(1/2\)),不是正态。 2. 极限依赖 \(a\) 与 \(b\) 的比值,即依赖单元 1 的两个潜在残差的配对。若 \(a = b\),则 \(T_N \to \pm 1\);若 \(a \gg b\),则 \(T_N \to \pm 1/2\);若 \(b = 0\),则 \(T_N \to \pm \infty\)(当 \(Z_1 = 0\) 时分母为零)。 3. 边际分布相同但配对不同的总体可以有不同极限。例如,总体 I 有 \((a, b) = (1, 1)\),总体 II 有 \((a, b) = (\sqrt{2}, 0)\),两者边际分布相同(各有一个 \(|e(1)| = 1\) 和 \(|e(0)| = 1\) 的单元),但极限分布不同。 4. Wald 区间的覆盖率:对名义水平 95%(\(t = 1.96\)),若 \(T_N \to \pm 1\),则覆盖率趋于 1;若 \(T_N \to \pm 1/2\),则覆盖率趋于 0。因此覆盖率可以是 0 或 1,取决于配对。
一般化:当有 \(K\) 个主导单元时,极限分布由主导单元的残差向量 \((e_i(1), e_i(0))\) 和独立 Bernoulli 变量 \((A_k)\) 决定,如定理 3.2 中的 \(U_E\) 和 \(V_E\)。核心机制:主导单元的分配状态(治疗/对照)同时决定分子的贡献和分母的贡献,且二者以非线性方式耦合,导致极限分布非正态。
本文的关键洞见:虽然极限分布不可识别(依赖配对),但在平衡分配(\(\pi = 1/2\))下,可以给出与配对无关的覆盖率下界。这是因为:无论配对如何,\(|T_N|\) 的极限分布总可以被一个仅依赖分配比例的分布所控制。具体地,\(P(|T_N| \le t)\) 的下界由 \(1 - 2c_*\bar{\Phi}(t)\) 给出,其中 \(c_* \approx 3.178\) 是 Bentkus–Dzindzalieta (2015) 的锐常数。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在完全随机化实验中,当少数单元携带不随 \(N\) 消失的结果变异份额(可忽略性失败)时,学生化均值差和 Lin 回归调整估计量的极限分布是什么?Wald 区间的渐近覆盖率是否有下界?
- 核心工具/方法:有限总体精确分解(命题 2.1 将估计量分解为残差对比 + 斜率估计误差)、残差配置(residual configuration)框架(定义 3.1 刻画主导单元)、以及 Bentkus–Dzindzalieta (2015) 的锐高斯比较常数。
- 主要结论:学生化统计量一般具有非正态极限,且极限依赖主导单元两个潜在结果的未观测配对;但在平衡分配下,Wald 区间有显式渐近覆盖率下界(名义 95% 时约 0.42,配对相等时约 0.84),且这些下界接近最优;非平衡分配下覆盖率可降至 \(\min(\pi, 1-\pi)\)。
关键设定与假设¶
- Assumption 1(完全随机化):\(N_1\) 固定,所有 \(\binom{N}{N_1}\) 个分配等可能。这是设计基推断的标准假设,不假设任何超总体模型。
- Condition 1(消失杠杆):\(\max_i h_i \to 0\)。这限制协变量的杠杆值,确保斜率估计误差可忽略。相比 Li & Ding (2017) 的假设,本文不要求残差可忽略,只要求协变量杠杆可忽略。
- Condition 2(残差配置):归一化残差对 \((\tilde{e}_i(1), \tilde{e}_i(0))\) 有极限配置 \((\Psi, \Sigma_E)\)。这是本文的核心新概念,替代了经典的可忽略性条件。
- Condition 3(聚合匹配):\(\sum_i \min\{e_i(1)^2, e_i(0)^2\} / \sum_i m_i^2 \ge \eta^2\),其中 \(m_i = e_i(1) + e_i(0)\)。这防止残差质量集中在坐标轴附近(即防止 \(e_i(1)\) 和 \(e_i(0)\) 之一远大于另一个)。
相比已有文献的放宽/强化: - 放宽:不要求残差可忽略(经典 CLT 的必要条件)。 - 强化:要求协变量杠杆消失(Lin 2013 和 Li & Ding 2017 允许杠杆不消失但需要其他条件)。 - 新增:Condition 3 是本文特有的,用于在平衡分配下获得正覆盖率下界。
主要结果¶
定理 3.2(极限分布):在 Assumption 1、Condition 1 和 2 下,
命题 3.4(重尾误差):当误差独立同分布且服从指数 \(\gamma \in (1,2)\) 的正则变化分布时,极限配置 \(\Psi\) 由 Poisson 点过程给出(LePage 表示),且极限分布随机(依赖于实现的 Poisson 点)。这建立了从"重尾误差"到"随机极限配置"的桥梁。
命题 4.1(覆盖率下界):在平衡分配(\(\pi = 1/2\))下,对任意 \(t > 0\),
定理 4.2(改进下界):在 Condition 3 下,
命题 4.3(最优性):构造了达到或接近下界的总体,证明下界在以下意义下接近最优:(a) 平衡分配下,覆盖率下界不能超过 \(1 - \pi^4 - (1-\pi)^4\)(对 \(K=4\) 个主导单元);(b) 非平衡分配下,覆盖率可降至 \(\min(\pi, 1-\pi)\)。
证明路线与技术技巧¶
整体路线(4 步):
-
精确分解(命题 2.1):将 \(\hat{\tau} - \tau_N\) 分解为 \(L_N + R_N\),其中 \(L_N\) 是残差对比(只依赖 \(e_i\) 和 \(Z_i\)),\(R_N\) 是斜率估计误差。将 \(N^2\hat{V}\) 分解为主项(残差平方和)+ 余项。关键:在 Condition 1 下,\(R_N\) 和余项相对于 \(r_N\) 可忽略。
-
配置极限(定义 3.1 + 引理):将归一化残差对 \((\tilde{e}_i(1), \tilde{e}_i(0))\) 的配置收敛到 \((\Psi, \Sigma_E)\)。关键技巧:用"大残差"和"小残差"的二分法——大残差(超过阈值 \(\zeta\))的单元数量有限,其极限位置构成 \(\Psi\);小残差的贡献由 \(\Sigma_E\) 刻画。
-
条件极限:给定主导单元的分配状态 \(A_k\),\(U_E\) 和 \(V_E\) 的条件分布是正态的(由 \(g_E\) 驱动)。关键:\(A_k\) 是独立的 Bernoulli 变量,与 \(g_E\) 独立。
-
覆盖率下界:将 \(P(|T_N| \le t)\) 转化为对 \(U_E\) 和 \(V_E\) 的联合概率估计。关键技巧:使用 Bentkus–Dzindzalieta (2015) 的锐常数 \(c_*\),该常数给出了加权符号和的尾概率上界。核心不等式:
\[P\left(\frac{|\sum_k a_k \varepsilon_k + g|}{\sqrt{\sum_k b_k^2 + \sigma^2}} \le t\right) \ge 1 - 2c_*\bar{\Phi}(t),\]其中 \(\varepsilon_k\) 是 Rademacher 符号,\(g\) 是正态变量。
技术技巧点名: - 有限总体 CLT 的配置版本:将经典的可忽略性条件替换为配置收敛,这是对 Hájek (1960) 和 Li & Ding (2017) 框架的推广。 - LePage 表示:用于将重尾误差的极限配置表示为 Poisson 点过程(命题 3.4)。 - Bentkus–Dzindzalieta 常数:这是证明覆盖率下界的关键工具,将概率问题转化为锐常数估计。 - 耦合论证:在定理 4.2 的证明中,使用 Hájek (1960) 类型的耦合将完全随机化与独立 Bernoulli 分配联系起来。
真实例子与应用¶
数据应用(第 6 节):使用三个随机实验数据,结果变量均为重尾: 1. RAND 健康保险实验(Aron-Dine et al., 2013):5,477 人,结果变量为第二年医疗支出。一人携带约 1/3 的残差变异。 2. 俄勒冈健康保险实验(Taubman et al., 2014):19,619 人,结果变量为急诊费用。 3. 电子邮件营销实验(Hillstrom, 2008):42,613 人,结果变量为消费金额。
方法:在完整数据上,假设常数效应或比例效应模型,补全未观测的潜在结果,然后重抽分配计算覆盖率。关键发现: - 在 RAND 数据中,最大残差份额约 0.33,平衡分配下覆盖率约 0.95,与定理 4.2 的下界 0.84 一致但更优。 - 非平衡分配(\(\pi = 0.2\))下,RAND 数据覆盖率降至约 0.93,仍高于下界 \(\min(\pi, 1-\pi) = 0.2\),但趋势符合命题 4.3 的预测。 - 三个数据集中,Lin 估计量与均值差的覆盖率几乎相同,说明协变量调整在重尾下不改变覆盖率的下界行为。
模拟研究(第 5 节):验证定理 3.2 的极限分布与有限样本分布的匹配程度。关键结果:当 \(N = 20{,}000\) 时,有限样本分布与极限分布的距离在 0.01 以内,说明极限理论对中等规模样本已有良好描述。
🔎 结论是否比证明窄¶
- 命题 4.1 的覆盖率下界:证明要求平衡分配(\(\pi = 1/2\))和 Condition 1。作者在命题 4.3(b) 中构造了非平衡分配下覆盖率降至 \(\min(\pi, 1-\pi)\) 的例子,说明下界不能推广到非平衡分配。但作者没有给出非平衡分配下的一般覆盖率下界,只给出了反例。
- 定理 4.2 的改进下界:要求 Condition 3(聚合匹配)。作者在命题 4.3(c) 中构造了 Condition 3 成立但覆盖率仍低于定理 4.2 下界的例子(\(\eta = 5^{-1/2}\) 时,下界 0.747 高于实际覆盖率 0.64),说明定理 4.2 的下界不是最优的。作者承认"the floor of Theorem 4.2 at \(\eta = 5^{-1/2}\) is approximately 0.747, above the limiting coverage 0.64",即定理 4.2 的下界在 Condition 3 下不是紧的。
- 命题 3.4 的重尾结果:要求误差独立同分布且正则变化。作者没有讨论误差相关或非平稳的情形。
- "接近最优"的表述:作者在讨论部分说下界"close to the best possible",但命题 4.3 只对特定构造的总体证明了这一点,没有给出一般意义下的 minimax 下界。
四、开放问题¶
-
非平衡分配下的一般覆盖率下界(扎根于命题 4.3(b)):作者证明了非平衡分配下覆盖率可降至 \(\min(\pi, 1-\pi)\),但没有给出对任意 \(\pi\) 和任意总体都成立的覆盖率下界。是否存在一个关于 \(\pi\) 的连续函数 \(f(\pi)\) 使得 \(\liminf P(|T_N| \le t) \ge f(\pi)\) 对一切总体成立?这是命题 4.1 的自然推广。
-
Condition 3 下的最优下界(扎根于命题 4.3(c)):定理 4.2 的下界在 \(\eta = 5^{-1/2}\) 时不紧(0.747 vs 实际 0.64)。是否存在一个依赖于 \(\eta\) 的锐下界?作者在讨论部分说"Natural next steps are the best universal floor under balanced allocation, which lies between 0.421 and the coverage 1/2 of Proposition 4.3(b)",即平衡分配下的最优普适下界尚未确定。
-
协变量杠杆不消失的情形(扎根于 Condition 1):本文要求杠杆消失。如果协变量中存在高杠杆点(如一个单元的协变量远离其余单元),斜率估计误差是否会导致更差的覆盖率?作者在讨论部分提到"including populations whose covariates have leverage that does not vanish"作为未来工作。
-
重尾误差的相关结构(扎根于命题 3.4 的独立同分布假设):当误差具有时间序列或空间相关性时,极限配置是否仍由 Poisson 点过程刻画?还是会出现不同的极限结构?
-
覆盖率下界与最优区间构造的 gap:本文给出的是 Wald 区间的覆盖率下界,但没有问"是否存在比 Wald 区间更好的区间"(例如利用重尾结构构造更短的区间)。这是一个 minimax 意义下的开放问题。
提示:若要确认上述开放问题是否是真 gap,建议去读以下近期文献的引言部分(各约 5 篇):(i) 设计基推断中重尾结果的处理(Athey et al. 2023 之后的后续工作);(ii) 有限总体 CLT 的精细条件(Li & Ding 2017 的后续推广);(iii) 学生化置换检验的有效性条件(Chung & Romano 2013 之后的后续工作)。若这些文献的引言都指向同一问题,则大概率是共识性 gap;若互相矛盾,则可能是机会。
Maintained by 陈星宇 · Homepage · Source on GitHub