Power and sample size calculations for rerandomization¶
作者: Zach Branson, Xinran Li, Peng Ding
来源: Biometrika
主题: 因果推断
相关性: 7/10
链接: 期刊页 · arXiv
一、领域脉络与小综述¶
这个方向是什么¶
Rerandomization 是一种实验设计策略:在 treatment-control 实验中,不直接使用第一次随机化分配,而是反复随机化直到协变量在两组间达到预先指定的平衡准则(例如马氏距离小于某个阈值),然后用该“合格”的随机化进行实验。核心问题是:这种设计下的统计推断(估计、置信区间、假设检验)与功效分析(power analysis,即给定效应大小、显著性水平,需要多少样本才能以一定概率拒绝零假设)是什么?本文正是填补了功效分析这一环节的空白。
发展脉络¶
奠基工作: Morgan & Rubin (2012) 首次系统提出 rerandomization,指出它能提升因果效应估计量的精度。但其理论分析依赖有限样本参数假设(正态协变量、加性因果效应)。
主要进展:渐近理论体系的建立: Li, Ding & Rubin (2018) 是理论转折点——他们去掉了参数模型假设,在有限总体随机化推断框架下给出了 rerandomization 下difference-in-means 估计量的非标准渐近分布(是截断正态分布或更一般的椭圆对称分布),并证明了双侧置信区间窄于完全随机化。随后的工作将这一理论框架扩展到各种变体:分层实验 (Wang et al., 2021)、因子实验 (Li et al., 2020)、序列实验 (Zhou et al., 2018)、整群实验 (Lu et al., 2022)、高维协变量 (Branson & Shao, 2021; Zhang et al., 2021) 等。这些工作的共同点是从“估计精度”(variance reduction)角度量化 rerandomization 的好处。
当前 Frontier: 推断的保守性与功效分析的分歧点: 此前文献普遍重申“rerandomization 至少与完全随机化一样高效”(variance 不增)。但 Ding et al. (2019) 指出,尽管 rerandomization 缩减了方差,但它也改变了估计量的分布形状——尾部变得更薄但非线性——这可能导致以相同名义水平做推断时实际 Type-I error 更低(即更保守)。这一保守性是本文的核心出发点。本文位置:在前人已建立 rerandomization 估计与推断理论的基础上,首次系统回答“功率是多少”、“样本量怎么算”。
子线索聚类¶
- Rerandomization 的推广与变体设计:包括分层 (Wang et al., 2021)、因子 (Li et al., 2020)、序列 (Zhou et al., 2018)、整群 (Lu et al., 2022)、高维协变量 (Branson & Shao, 2021; Zhang et al., 2021)。这些工作核心是扩展框架,保持方差收缩的优势。
- Treatment effect heterogeneity(异质性)的理论与推断:Ding et al. (2016, 2019) 系统定义了总体方差分解(系统 vs. 异质),并给出了 randomization-based 的估计和检验方法。本文直接引用了 Ding et al. (2019) 的结论“\(S_\tau^2 \ge S_{\bar{\tau}}^2\)”来推导异质性参数的可识别边界。
- 实验功效分析:经典的 Cohen (1969) 和更近年针对复杂实验的 work (Jiang & Imai, 2020; Schochet, 2022)。本文属于这条线在 rerandomization 上的首次开创。
核心追问与瓶颈¶
- 如何量化 rerandomization 的“保守性”? 即,在名义显著性水平下,实际 Type-I error 降了多少?这是本文关键的技术问题。
- Treatment effect heterogeneity 如何影响功率? 直觉上 heterogeneity 增加方差、降低功率;但本文发现它反而可能在某些情况下提升功率,是非单调的。
- 如何将推断的保守性和 heterogeneity 的影响解析地纳入样本量公式? 之前的工作没有给出封闭形式的功率或样本量表达式。
- 瓶颈: 之前无法直接套用完全随机化的功率公式,因为 rerandomization 下的估计量分布不是正态分布,而是一种“截断后”的非标准分布(涉及二次型)。本文通过将 heterogeneity 参数化并利用奇异的高斯近似绕过了这一困难。
⚠️ 作者的 framing¶
作者的说法: “虽然 rerandomization 已被广泛用于实验设计,但我们还不知道需要多少样本才能达到所需的 power。” 作者将缺口 frame 为:前人只关心 point estimation 和 variance reduction,但“完全忽略了 power analysis 这一实验设计的基本环节”。他们宣称这是“power analysis for rerandomization 的第一篇系统工作”。
淡化/回避的竞争路线: 作者几乎只聚焦于经典的马氏距离 rerandomization,即平衡所有协变量“均衡”。对更复杂的平衡准则(如 tiered rerandomization, ridge rerandomization, PCA rerandomization),作者只在引言末尾一句带过“未来的工作可推广”,并未在本篇中处理。这实际上将论文限制在了最简洁、最经典的设定上。
值得查的问题: 作者引用了“Blocking can be less efficient than complete randomization if the blocks are poorly chosen” (Pashley & Miratrix, 2022),但未说明 rerandomization 是否有类似的弱点:即,如果协变量与结果的相关性很弱,rerandomization 的方差缩减优势会大打折扣,而作者是在“最优协变量”的框架下推导。未见有工作系统比较 rerandomization 与其他设计(如 blocking)在 power analysis 框架下的优劣。
张力¶
未见明显对立引用。文献内部一致性较强,都支持 rerandomization 缩减方差、提升精度。唯一的“张力”是作者自己指出的:保守性导致小效应下功率反而降低,但这不是文献间的矛盾,而是本文发现的新现象。
二、最核心、最简单的例子 / 数学问题¶
先交代符号、模型、可观测数据¶
-
记号:
- \(N\): 总样本量(有限总体)。
- \(i = 1, \dots, N\): 单位下标。
- \(\mathbf{X}_i \in \mathbb{R}^p\): 第 \(i\) 个单位的 \(p\) 维协变量(可观测)。
- \(W_i \in \{0, 1\}\): 处理分配指示变量(1=处理,0=对照)。由 rerandomization 机制决定。
- \(Y_i(0), Y_i(1)\): 第 \(i\) 个单位在对照和处理下的潜在结果(不可同时观测)。
- \(Y_i = W_i Y_i(1) + (1 - W_i) Y_i(0)\): 可观测结果。
- \(\tau_i = Y_i(1) - Y_i(0)\): 个体处理效应。
- \(\bar{\tau} = \frac{1}{N} \sum_{i=1}^N \tau_i\): 有限总体平均处理效应 (ATE) ——目标 estimand。
- \(\hat{\tau} = \frac{1}{N_t} \sum_{i: W_i=1} Y_i - \frac{1}{N_c} \sum_{i: W_i=0} Y_i\): difference-in-means 估计量,\(N_t, N_c\) 分别为处理和对照组的样本量(这里假设 \(N_t = N_c = N/2\) 即平衡设计,是全文的主要设定)。
- \(M\): 马氏距离,\(M = (\bar{\mathbf{X}}_t - \bar{\mathbf{X}}_c)^\top \hat{\Sigma}_{\mathbf{X}}^{-1} (\bar{\mathbf{X}}_t - \bar{\mathbf{X}}_c)\),其中 \(\bar{\mathbf{X}}_t, \bar{\mathbf{X}}_c\) 是协变量组均值,\(\hat{\Sigma}_{\mathbf{X}}\) 是协变量协方差矩阵的经验估计。
- \(a\): 平衡准则阈值。随机化被接受当且仅当 \(M \le a\)。
- \(p_a = P(M \le a)\): 接受概率。
-
模型(有限总体,design-based):
- 总体 \(\mathcal{P} = \{(Y_i(0), Y_i(1), \mathbf{X}_i)\}_{i=1}^N\) 是固定的、非随机的。
- 随机性仅来自处理分配 \(W_i\)。在 rerandomization 下,\(W_i\) 不是完全独立/随机的,而是在条件“马氏距离 \(\le a\)”下的条件随机化。
- 关键识别假设:不存在交互(即结果的个体效应是固定的,不依赖于其他人的处理分配),由 randomization-based 框架自动满足。
- 不需要超总体模型。
-
可观测数据:
- 实际观测到:对于每个单位,有 \((\mathbf{X}_i, W_i, Y_i)\)。
- 观测不到:\(Y_i(0)\) 和 \(Y_i(1)\) 不能同时观测(因果推断的根本缺失数据问题);个体处理效应 \(\tau_i\) 不可观测。
- 想要但观测不到:总体的异质性参数 \(S_\tau^2 = \frac{1}{N-1} \sum_{i=1}^N (\tau_i - \bar{\tau})^2\),即个体处理效应的方差(以及 \(S_{\tau}\))。本文的核心推导依赖于加入一个关于 \(\tau_i\) 的可识别假设(如 Ding et al., 2019 的分解 \(\tau_i = \bar{\tau} + \epsilon_i\) 且 \(\epsilon_i\) 与 \(Y_i(0)\) 有某种结构)。
讲最小内核:一个协变量、正态近似、无 heterogeneity 的简单情形¶
我们剥去 heterogeneity 和高维协变量的复杂性,考虑最简特例:
设定: 总体个数 \(N\) 很大,但只有 \(p=1\) 个协变量 \(X_i\)。假设 \(X_i\) 满足在完全随机化下 \(\bar{X}_t - \bar{X}_c \sim N(0, 2 \sigma_X^2 / N)\)(即正态近似成立,这里 \(\sigma_X^2\) 是 \(X_i\) 的总体方差)。假设处理效应是常数的,即 \(\tau_i = \bar{\tau}\)(无 heterogeneity)。
Rerandomization 准则: 要求马氏距离 \(M = (\bar{X}_t - \bar{X}_c)^2 / (2 \hat{\sigma}_X^2 / N) \le a\),其中 \(\hat{\sigma}_X^2 \approx \sigma_X^2\)。即,要求待选分配的 \(\bar{X}_t - \bar{X}_c\) 的绝对值不超过一个阈值。
感兴趣的 estimand: \(\bar{\tau}\)。我们关注检验 \(H_0: \bar{\tau} = 0\) 的功率。
此时的核心问题是什么? - 在完全随机化下,\(\hat{\tau} \sim N(\bar{\tau}, \sigma_Y^2 \cdot \text{const.})\), \(\sigma_Y^2\) 是 \(Y_i(0)\) 的方差。功率有封闭形式。 - 在 rerandomization 下,我们不再使用所有随机化,而是只保留那些马氏距离小的分配。这意味着 \(\hat{\tau}\) 的分布不再是正态,而是截断后的正态分布(因为协变量和结果相关,过滤了协变量不平衡的分配也过滤了那些估计量偏差大的分配)。更精确地说,\(\hat{\tau}\) 的分布近似为:
怎么做功率分析? 1. 推导 \(V_{\text{rerand}}\) 的解析式:Li et al. (2018) 已证明,在无 heterogeneity 时,方差缩减因子是 \(1 - \frac{c_a}{a}\),其中 \(c_a\) 是只依赖于 \(a\) 的常数。即 \(V_{\text{rerand}} = (1 - R^2) V_{\text{comp}}\),其中 \(R^2\) 是 \(Y\) 对 \(X\) 回归的 \(R^2\)。 2. 计算功率:由于 \(\hat{\tau}\) 仍然近似正态,功率 \(\text{Power} = \Phi\left( \frac{|\bar{\tau}|}{\sqrt{V_{\text{rerand}}/N}} - z_{\alpha/2} \right)\),其中 \(z_{\alpha/2}\) 是标准正态的临界点。 3. 反求样本量:令 \(\text{Power} \ge 1 - \beta\),解出所需的 \(N\)。
这就是无 heterogeneity 时最简情形的功率公式。它与完全随机化的形式完全相同,只是方差项取代了。这篇论文的核心工作就是在这个基础上加入“treatment effect heterogeneity”这个“配料”,使得分布发生质变——不再单纯是方差缩减,而是分布形状改变了(变得保守),从而功率在小效应时反倒降低。
三、这篇论文做了什么¶
三句话¶
- 研究问题:在 rerandomization 实验设计下,推导 power(功效)与样本量计算公式,特别关注 treatment effect heterogeneity 对 power 的非平凡影响。
- 核心方法:推导 rerandomization 下差估计量 \(\hat{\tau}\) 的渐近分布(非标准,涉及二次型截断),并在此基础上解析地表达 Type-I error(保守性) 和 power,最终给出可求逆的样本量公式。
- 主要结论:发现一个反直觉结果——对非常小的处理效应,rerandomization 的功率可能低于完全随机化;treatment effect heterogeneity 对功率的影响是双面性的(大效应时提升、小效应时降低)。
关键设定与假设¶
在第二节最小记号基础上,补全完整设定:
- 平衡准则:采用经典的马氏距离阈值 \(a\)(决定 \(p_a = P(M \le a)\))。作者假设 \(p_a\) 被固定,且不随 \(N\) 增长而趋近于 1(若 \(p_a \to 1\) 则退化到完全随机化)。这与 Li et al. (2018) 一致。
- 有限总体设定:总体 \(\mathcal{P}\) 固定,随机性仅来自 \(W_i\)。使用有限总体中心极限定理 (Li & Ding, 2017) 来保证 \(\hat{\tau}\) 的渐近正态性(在完全随机化下)。
- 关键假设:
- 平衡设计:处理组和控制组样本量相等 (\(N_t = N_c = N/2\))。这是为了简化马氏距离的表达式,作者在附录中提到了不平衡情形的推广。
- 协方差矩阵可逆:\(\Sigma_X\) 正定,以保证马氏距离有定义。
- 可识别性 heterogeneity 参数:作者引入一个“常见”的参数化模型 \(\tau_i = \bar{\tau} + \epsilon_i\),其中 \(\epsilon_i\) 是均值为0的随机项,且假设 \(\epsilon_i\) 与 \(Y_i(0)\) 的关系可以通过一个参数 \(\rho\) 来刻画(实际上他们使用了 Ding et al. (2019) 提出的分解 \(S_\tau^2 = S_{\bar{\tau}}^2 + S_{\tau - \bar{\tau}}^2\),其中 \(S_{\bar{\tau}}^2\) 是“系统的”由协变量 \(X\) 解释的方差部分,\(S_{\tau - \bar{\tau}}^2\) 是“异质的”剩余部分)。这是本文真正的假设创新点——前人忽略或不讨论 heterogeneity,本文必须对它做出可定量描述。
- 相比已有文献放宽或强化了哪些:
- 强化:相比 Morgan & Rubin (2012) 的高斯假设,本用渐近理论(有限总体 CLT)放宽了分布假设;但引入了 heterogeneity 参数化,这是更强的结构性假设(虽然不关心其真实值,但要能解析写出它对分布的影响)。
- 弱化:相比 Li et al. (2018) 的推断理论(仅关注置信区间),本文首次将其用于功率分析并引入 heterogeneity。一个未明确强调的弱化是:作者假设协变量 \(X\) 与结果 \(Y\) 的线性关系(通过马氏距离的方差缩减 \(R^2\) 隐含了)。
主要结果¶
定理 1(渐近分布):在 rerandomization 下,\(\hat{\tau}\) 的渐近分布不再是正态,而是一个以 \(\bar{\tau}\) 为中心、方差为 \(V_{\text{comp}} - \frac{c_a}{a} R^2 V_{\text{comp}}\) 但带截断修正的分布(当有 heterogeneity 时,截断是对复合二次型)。作者给出了其分布的表达式,其中核心是中心极限定理下的二次型近似。
定理 2(Type-I error 保守性):对于检验 \(H_0: \bar{\tau}=0\) 且使用标准正态临界值 \(z_{\alpha/2}\):当无 heterogeneity 时,实际 Type-I error 低于名义水平 \(\alpha\)(即测试过于保守)。保守程度由 \(R^2\) 和 \(p_a\) 决定。这是本文的关键发现之一,并直接驱动了后续的功率反直觉现象。
定理 3(Power 公式):在给定 \(\bar{\tau}, R^2, S_\tau^2, p_a, N\) 和名义显著性 \(\alpha\) 下,功率的渐近表达式为:
定理 4(样本量公式):通过逆推定理3,给出给定 Power = \(1-\beta\) 时所需样本量 \(N\) 的表达式。该表达式对于常用的 \(p_a\) 和 \(R^2\) 值可以用数值方法快速求解。
核心反直觉结果的解析说明: 当 \(\bar{\tau}\) 很小时,\(z_{\alpha_{\text{eff}}/2}\) 对于 \(\alpha=0.05\) 可能是 \(z_{0.02}\) 而不是 \(z_{0.025}\)(即更严格)。这个更严格的临界点直接使得检验拒绝区域变小,从而即使 rerandomization 缩减了方差(\(\sqrt{V_{\text{eff}}/N}\) 变小),但临界点移位带来的负面效应在足够小的 \(\bar{\tau}\) 下可能超过方差缩减的好处,导致功率低于完全随机化。
证明路线与技术技巧¶
整体路线(3-5 步逻辑主干): 1. 建立 rerandomization 下 \(\hat{\tau}\) 的条件分布:首先推导在“马氏距离 \(M \le a\)”条件下,\(\hat{\tau}\) 的联合分布与 \(M\) 的关系。利用 Li et al. (2018) 的结论:在无 heterogeneity 时,\(\hat{\tau}\) 与 \(M\) 是独立的(当协变量和结果在有限总体中给定后,这是一个二次型的条件独立性)。关键跳跃:加入 heterogeneity 后,这种独立性被打破,因为个休效应 \(\tau_i\) 引入了新的随机性。 2. 处理 heterogeneity 带来的耦合:作者将 heterogeneity 拆解为“系统部分”(与协变量相关)和“剩余部分”(独立于协变量)。系统部分可以通过马氏距离的条件过滤被部分“吸收”,而剩余部分独立于 \(M\) 并按照其自身的正态近似影响估计量的方差。通过这种分解,作者将 \(\hat{\tau}\) 的分布写成了两个独立变量的和:一个是函数 of \(M\)(来自系统部分),另一个是独立正态项(来自剩余部分)。 3. 推导 \(M\) 的条件分布:既然 \(\hat{\tau}\) 被分解了,它的条件分布就可以通过对 \(M\) 的分布进行截断然后取条件期望来得到。\(M\) 的条件分布是一个非中心卡方分布(但中心化后有偏移,依赖于 \(\bar{\tau}\) 和 \(S_\tau^2\))。作者利用二次型的矩生成函数或特征函数推导了其条件矩。 4. 计算 Type-I error 和 Power:有了条件分布(或其近似),Type-I error 就是 \(\hat{\tau}\) 实际分布中落在名义临界值之外的概率。作者利用贝叶斯定理或直接对条件分布进行积分,得到封闭型(或易于数值计算的)近似表达式。Power 则是在备择假设 \(\bar{\tau} \neq 0\) 下类似的概率计算。 5. 反求样本量:将 Power 公式中对 \(N\) 的依赖显式化。由于公式是单调的,可以通过二分法或 Newton 迭代快速求解 \(N\)。
关键跳跃点: - 跳跃点1: 处理 heterogeneity 对 \(\hat{\tau}\) 与 \(M\) 条件独立性的破坏。作者通过在 \(\hat{\tau}\) 的分解中分离出“与 \(M\) 相关的部分” 绕过了这个困难。这是一种“去相关”技巧,本质上是将 \(\hat{\tau}\) 投影到 \(M\) 生成的空间和它的正交补上。 - 跳跃点2: 推导 \(M\) 的条件分布表达式(特别是在 heterogeneity 下)。标准结果是 \(M\) 在完全随机化下是卡方分布,但在 rerandomization 下是截断卡方。作者通过特征函数和积分近似得到了封闭的渐近公式。
技术技巧点名: - 有限总体中心极限定理 (Li & Ding, 2017):用于证明 \(\hat{\tau}\) 和 \(M\) 的联合正态近似。 - 二次型的渐近分布:用于处理马氏距离。 - 投影与正交分解:用于分离与 \(M\) 相关的系统 heterogeneity 部分。 - 条件期望和特征函数近似:用于推导截断分布的矩。
真实例子与应用¶
本文包含一个模拟研究,没有真实数据案例。模拟目的有两个: 1. 验证理论公式的准确性:他们生成了不同 \(N\)、不同 \(\bar{\tau}\)、不同 \(R^2\) 和 \(S_\tau^2\) 的数据,比较了通过理论公式计算的 power 和通过大量 rerandomization 模拟得到的 power。结果发现理论公式在大样本下(\(N\) 几百以上)与模拟值吻合得很好。 2. 展示反直觉结果:在模拟中固定 \(N\) 和 \(R^2\),针对 \(\bar{\tau}\) 由小到大的变化,绘制了完全随机化和 rerandomization 的 power 曲线。在 \(\bar{\tau}\) 很小(接近0)的区域,rerandomization 的曲线确实低于完全随机化曲线,验证了本文的核心理论发现。 3. 说明 heterogeneity 的双面性:同样的模拟中,保持其他条件相同时,人为增大 heterogeneity 参数 \(\gamma\)(即剩余异质性),观察到:当 \(\bar{\tau}\) 较大时,power 提升;当 \(\bar{\tau}\) 很小时,power 下降。
这个例子想说明什么:验证理论公式的正确性,并生动展示“多大 effect size 下 rerandomization 反而不好”以及“heterogeneity 怎么改变这一关系”。
🔎 结论是否比证明窄¶
是的,值得注意: - 局限1:作者的理论推导对 \(\hat{\tau}\) 的分布假设了“协变量 \(X\) 和潜在结果 \(Y(0)\) 的线性关系足以刻画方差缩减”。这在马氏距离 rerandomization 下是成立的,但 \(R^2\) 总是可定义的(即,最坏情况下的线性预测能力)。但对于非线性关系(例如,一个协变量对结果的预测是曲线的),rerandomization 的方差缩减可能不完全由线性回归的 \(R^2\) 解释。作者在结语中提到“我们假设了线性调整”,但没有给出纯非线性情形的讨论。所以,那些“power improvement is guaranteed”的 claim 严格只在“线性预测关系”下成立。 - 局限2:对 heterogeneity 的模型假设——“\(\tau_i = \bar{\tau} + \epsilon_i\) 且 \(\epsilon_i\) 与 \(Y_i(0)\) 独立(或通过一个可参数化相关系数关联)”是一个很强的简化。作者在引言中提到“Ding et al. (2019) noted that \(S_\tau^2 \ge S_{\bar{\tau}}^2\)”,所以他们不是不知道相互作用形式更复杂。他们选择了最简单的可识别形式来获得解析解,但结论是否对更一般的 heterogeneity 结构(如异方差、非线性交互)鲁棒,论文没有证明,只在附录里顺带提了一句“模拟未发现违背”。 所以表头结论“heterogeneity has a two-sided effect”是基于该特殊模型的。 - 局限3:作者是针对“平衡设计(\(N_t = N_c = N/2\))”和“固定 \(p_a\)(接受概率)”做的可操作推导。他们未给出 \(p_a\) 变化时(例如,\(p_a\) 很小意味着非常严格的平衡)公式的显式行为。实践中常用 \(p_a = 0.001\)。公式在极端严格的平衡下是否稳定,需要额外检查。
四、开放问题(点到为止,扎根具体语句)¶
-
非平衡设计的 power 公式:本文假设 \(N_t = N_c\)。在实践中,处理组和对照组样本量往往不相等(如 cluster 实验中)。能否将公式推广到 \(N_t \neq N_c\) 的通用情形? 这是作者在附录中自己指出的局限(“Extension to unbalanced designs is left for future work”)。
-
更一般协变量平衡准则的推广:作者只用了标准的马氏距离。而对于 tiered rerandomization (Morgan & Rubin, 2015) 或 ridge rerandomization (Branson & Shao, 2021),power 公式会变成什么样?需要推导在这些更复杂准则下 \(\hat{\tau}\) 的渐近分布和相应的功率公式。
-
heterogeneity 的更精细建模与识别:本文对 heterogeneity 假设了一个线性可加的结构。但在许多实际场景中,heterogeneity 可能与协变量有复杂的交互。能否基于因果森林、BART 等非参数方法为 heterogeneity 建模,并在 rerandomization 下做 power analysis? 这需要更重的计算和理论。
-
统计-计算权衡的视角? (这一条是给研究者加的,原文未提到)rerandomization 的计算成本是 \(O(1/p_a)\) 的——\(p_a\) 越小,需要尝试的随机化次数越多。而 \(p_a\) 增大(更松的平衡)则会降低方差缩减、增加所需样本量。因此,rerandomization 本身就存在一个 “计算成本 vs 样本量节约” 的 tradeoff。能否用信息-计算 gap 的语言来刻画这一权衡? 即:达到给定 power,rerandomization 需要多少额外的计算(尝试次数)来换取样本量的减少?这首要需要将 rerandomization 的计算模型明确化(例如,算法类是什么?)。对研究者而言,这是一个可以连接其弱熟练方向(统计-计算权衡)和强熟练方向(因果推断估计理论)的 potential 新问题。
Maintained by 陈星宇 · Homepage · Source on GitHub