Randomization Inference with Sample Attrition¶

讲者: Xinran Li
会场: Design-Based Causal Inference
报告题目: Randomization Inference with Sample Attrition
链接: arXiv
来源: JCSDS 2026 · 返回会议总览

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向的核心问题是：在随机化实验中，当存在样本损耗（即部分单位的结果变量缺失）时，如何保证随机化推断（Randomization Inference）的有效性？ 随机化推断（Fisher randomization test, FRT）因其有限样本精确性和无需分布假设的优点而被广泛使用，但其有效性依赖于完整的结果数据。样本损耗破坏了这种完整性，导致经典的FRT无法直接应用。该方向旨在发展在各类缺失机制（包括信息性缺失，即缺失与否依赖于潜在结果）下，仍能保证size控制（Type I error rate ≤ nominal level）的随机化检验方法。当前该方向的成熟度中等：已有大量关于缺失数据下因果推断的文献，但专门针对随机化推断框架下的系统性研究相对较少，本文是这一方向上的一个系统性贡献。

发展脉络（history）¶

奠基工作：Fisher (1935) 与 Rubin (1974)。Fisher 提出了随机化检验（FRT）作为实验分析的黄金标准，其核心思想是利用已知的处理分配机制来生成检验统计量的零分布，无需任何分布假设。Rubin (1974) 建立了潜在结果框架，为因果推断提供了统一语言。这两项工作奠定了整个方向的基础：FRT 是理想实验下的精确工具，而潜在结果框架则提供了处理缺失数据（如样本损耗）的概念基础。
主要进展：从“sharp null”到“weak null”的扩展。经典FRT只能检验“sharp null”（所有个体处理效应均为零或某个已知向量）。Chung & Romano (2013) 和 Wu & Ding (2018) 等发展了在“weak null”（如平均处理效应为零）下仍能渐近有效的置换检验。Li & Ding (2016) 提供了有限总体中心极限定理，为这些渐近结果提供了理论基础。Caughey et al. (2021) 进一步将FRT扩展到“bounded null”（所有个体效应非正或非负）和效应分位数，并引入了分布自由的秩统计量，这为本文处理样本损耗提供了关键工具。
当前 frontier：样本损耗下的随机化推断。已有工作开始处理缺失数据下的随机化推断。Heng et al. (2023) 提出了“imputation and re-imputation”框架，在“sharp missingness”（缺失指示不受处理影响）假设下保证了有限样本精确性。Ivanova et al. (2022) 和 Heussen et al. (2024) 则利用多重插补来恢复随机化分布。但这些工作要么依赖于较强的缺失机制假设（如缺失完全随机或sharp missingness），要么需要模型假设。本文的位置：本文在更一般的缺失机制（允许信息性缺失）下，发展了一套计算高效的随机化检验方法，并系统地将随机化推断与部分识别（partial identification）文献中的界（bounds）联系起来。

子线索聚类¶

经典随机化推断及其扩展：这条线索关注在无缺失数据下，如何将FRT从sharp null扩展到weak null、bounded null和效应分位数。代表工作：Chung & Romano (2013), Wu & Ding (2018), Caughey et al. (2021), Su & Li (2022)。本文直接继承了Caughey et al. (2021)的分布自由秩统计量。
缺失数据下的因果推断（部分识别视角）：这条线索关注在信息性缺失下，如何对处理效应进行部分识别（即给出识别区间而非点估计）。代表工作：Manski (1990), Horowitz & Manski (2000), Zhang & Rubin (2003), Lee (2009)。这些工作给出了在单调缺失等假设下的sharp bounds。本文的“最坏情况”p值构造与这些界有直接对应关系。
缺失数据下的随机化推断：这条线索直接处理样本损耗对FRT的影响。代表工作：Heng et al. (2023), Ivanova et al. (2022), Heussen et al. (2024)。这些工作通常依赖于较强的缺失机制假设（如sharp missingness或MAR）。本文在更一般的缺失机制下发展了新方法，并利用两步法（two-step procedure）来利用缺失类型分布的部分信息，从而提高了功效。

这个方向在追问的核心问题¶

缺失机制假设：在什么缺失机制下，随机化检验仍能保证size控制？需要多强的假设才能得到有信息量的推断（即不平凡的p值或置信区间）？
p值构造：当缺失数据导致sharp null不再“sharp”（即无法完全归因潜在结果）时，如何构造一个有效（size控制）且尽可能不保守的p值？
功效优化：如何利用缺失机制的结构性假设（如单调性）或从观测数据中学习到的缺失类型分布信息，来提高检验的功效？
与部分识别的联系：随机化推断中的“最坏情况”p值与部分识别文献中的“sharp bounds”之间是否存在精确对应？这种对应能否指导更优的检验构造？

已知瓶颈：在一般缺失机制下，最坏情况p值往往非常保守（如本文表3中General列全为1.000），导致功效极低。如何在保证size控制的前提下，通过合理的假设或数据驱动的方法来收紧p值，是核心瓶颈。

⚠️ 作者的 framing¶

作者将缺口 frame 成：“现有随机化推断方法在处理样本损耗时，要么假设缺失完全随机（MAR），要么假设处理对缺失无影响（sharp missingness），无法处理信息性缺失（informative missingness）”。因此，本文的“显然的下一步”是：在允许信息性缺失的一般缺失机制下，发展一套计算高效、且能利用单调性等结构假设来提高功效的随机化检验方法。

被淡化或回避的竞争路线： - 多重插补（MI）路线（Ivanova et al., 2022; Heussen et al., 2024）：作者在引言中提及，但将其定位为依赖于“missing at random”或“zero treatment effect on missingness”等假设，而本文的方法不需要这些假设。作者没有深入讨论MI在信息性缺失下的表现或可能的扩展。 - 基于模型的贝叶斯方法：完全未被提及。这可能是因为本文坚持“design-based”的纯随机化推断范式，拒绝任何分布假设。

什么明显该被引/该存在、却没出现在intro里？ - Principal Stratification 文献的更深入讨论：本文的核心技术（composite potential outcome）本质上是在处理“principal stratum” {i: M_i(1)=M_i(0)=1} 上的效应。Frangakis & Rubin (2004) 的 principal stratification 框架是这一思路的奠基工作，但本文仅在引言末尾和正文中简单提及。更系统的引用和对比（如与Zhang & Rubin 2003的principal stratification视角的关联）会更好。 - 关于“always-takers”和“never-takers”的讨论：在工具变量（IV）文献中，类似的概念（compliers, always-takers, never-takers）有成熟的推断方法。本文的“always-observed” (M_i(1)=M_i(0)=1) 和“never-observed” (M_i(1)=M_i(0)=0) 与IV中的子群有结构上的相似性，但作者没有引用IV文献来建立这种联系。这可能是一个值得研究者去查的潜在连接点。

张力¶

未见明显对立引用。各被引工作之间在假设强度和方法论上存在梯度（从最弱的Manski bounds到最强的MAR），但彼此之间没有根本性的矛盾。本文的工作可以被视为在随机化推断框架下，沿着这个假设强度梯度系统地构造了一系列检验方法。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
n: 实验总单位数。
Z_i ∈ {0, 1}: 单位 i 的处理分配（1=处理，0=对照）。Z 是 n 维向量。
Y_i(0), Y_i(1) ∈ ℝ: 单位 i 在对照和处理下的潜在结果。这是固定常数（设计推断视角）。
τ_i = Y_i(1) - Y_i(0): 单位 i 的个体处理效应。
M_i(0), M_i(1) ∈ {0, 1}: 单位 i 在对照和处理下的潜在缺失指示（1=观测到，0=缺失）。这也是固定常数。
Y_i^obs: 实际观测到的结果。如果 M_i = 1，则 Y_i^obs = Z_i Y_i(1) + (1-Z_i) Y_i(0)；如果 M_i = 0，则 Y_i^obs = NA。
M_i: 实际观测到的缺失指示。M_i = Z_i M_i(1) + (1-Z_i) M_i(0)。
n_1, n_0: 处理组和对照组的单位数（固定）。
n_{zm}: 处理状态为 z、观测状态为 m 的单位数，例如 n_{11} = #{i: Z_i=1, M_i=1}。
模型：
设计：完全随机实验（CRE）。P(Z = z) = 1 / C(n, n_1)，如果 ∑ z_i = n_1，否则为0。处理分配独立于所有潜在变量（Y(0), Y(1), M(0), M(1)）。
SUTVA：单位间无交互，且处理水平无隐藏变种。
缺失机制：本文考虑一系列假设，从最一般的（Assumption 1: 任意依赖）到单调缺失（Assumption 2/3: M_i(1) ≥ M_i(0) 或 ≤）再到 sharp missingness（Assumption 4: M_i(1) = M_i(0)）。
待估对象：sharp null hypothesis H_δ: τ = δ，其中 δ 是一个已知的 n 维向量。例如，H_0: τ = 0 是经典的“无任何效应”假设。
可观测数据：
可观测：处理分配 Z，观测到的缺失指示 M，以及当 M_i=1 时的观测结果 Y_i^obs。
不可观测（潜在）：所有潜在结果 Y_i(0), Y_i(1) 和潜在缺失指示 M_i(0), M_i(1)。对于缺失的单位（M_i=0），其 Y_i^obs 也是缺失的。
关键识别问题：在 H_δ 下，对于观测到的单位（M_i=1），我们可以通过 Y_i(0) = Y_i^obs - Z_i δ_i 来归因一个潜在结果。但对于缺失的单位（M_i=0），我们既不知道 Y_i^obs，也无法归因 Y_i(0) 或 Y_i(1)。这使得 H_δ 不再是“sharp”的，因为无法从观测数据和 H_δ 唯一确定所有潜在结果。

第二步：讲最小内核¶

最简特例：考虑一个完全随机实验，n=4，n_1 = n_0 = 2。我们想检验 sharp null H_0: τ = 0（即 Y_i(1) = Y_i(0) 对所有 i）。假设单位1和2被分配到处理组（Z_1=Z_2=1），单位3和4被分配到对照组（Z_3=Z_4=0）。观测到的缺失情况是：单位1和3的结果被观测到（M_1=M_3=1），单位2和4的结果缺失（M_2=M_4=0）。观测到的结果为：Y_1^obs = 5，Y_3^obs = 2。

核心思路：在 H_0 下，Y_i(0) = Y_i(1) = Y_i^obs 对于观测到的单位成立。但对于缺失的单位2和4，Y_2(0) 和 Y_4(0) 是完全未知的。经典的FRT需要计算检验统计量（如Wilcoxon秩和统计量）在 H_0 下的分布，但这需要知道所有单位的 Y_i(0)。由于 Y_2(0) 和 Y_4(0) 未知，我们无法计算。

本文的关键想法：我们无法计算精确的p值，但可以计算一个最坏情况下的p值，这个p值在任何可能的缺失结果配置下都是有效的（即保守的）。为了构造这个最坏情况p值，我们利用分布自由的秩统计量（Caughey et al., 2021）。这类统计量的一个关键性质是：在CRE下，其零分布（即 t(Z, y) 在随机分配 Z 下的分布）不依赖于结果向量 y 的具体数值。因此，即使我们不知道缺失单位的 Y_i(0)，我们仍然知道检验统计量的零分布。

现在，问题简化为：在 H_0 下，对于给定的 Z，我们能否找到一个“最坏情况”的 Y(0) 向量，使得基于这个向量的检验统计量 t(Z, Y(0)) 尽可能小（从而p值尽可能大，即最保守）？答案是肯定的。为了最小化秩和统计量，我们应该让处理组（Z_i=1）的 Y_i(0) 尽可能小，对照组（Z_i=0）的 Y_i(0) 尽可能大。

在我们的特例中： - 处理组观测单位1：Y_1(0) = Y_1^obs = 5。 - 处理组缺失单位2：Y_2(0) 未知。最坏情况是让它尽可能小，即 -∞。 - 对照组观测单位3：Y_3(0) = Y_3^obs = 2。 - 对照组缺失单位4：Y_4(0) 未知。最坏情况是让它尽可能大，即 +∞。

因此，最坏情况下的 Y(0) 向量是 (5, -∞, 2, +∞)。然后我们计算 t(Z, (5, -∞, 2, +∞))，并利用已知的零分布 G 得到p值 p = G(t(Z, (5, -∞, 2, +∞)))。这个p值就是定理1中的 p^g_{Z,δ}。

为什么这个p值是有效的？ 因为对于任何可能的真实 Y(0)（在 H_0 下），它都满足：处理组的值 ≥ 最坏情况值，对照组的值 ≤ 最坏情况值。由于秩和统计量是“效应递增”的（即增大处理组结果或减小对照组结果会使统计量增大），所以真实统计量 t(Z, Y(0)) 一定 ≥ 最坏情况统计量 t(Z, Y^g_{Z,δ}(0))。因此，真实p值（基于真实统计量）≤ 最坏情况p值。由于真实p值在 H_0 下是均匀的（或至少是有效的），所以最坏情况p值也是有效的（即 P(p^g_{Z,δ} ≤ α) ≤ α）。

这个最小内核揭示了论文的核心数学操作：将缺失数据下的随机化检验问题，转化为一个在给定约束下最小化检验统计量的优化问题。分布自由的秩统计量使得零分布已知，从而将优化目标从“p值”简化为“统计量本身”。最坏情况归因（将缺失的处理组结果设为 -∞，缺失的对照组结果设为 +∞）是这个优化问题的闭式解。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在随机化实验中存在样本损耗（结果缺失）时，如何构造有效的随机化检验（FRT）来检验sharp null和bounded null假设，允许缺失机制是信息性的（即缺失与否依赖于潜在结果）。
核心工具/方法：利用分布自由的秩统计量（Caughey et al., 2021）将p值计算转化为一个最坏情况优化问题；引入复合潜在结果（composite potential outcome）来利用缺失机制的结构性假设（如单调性）；提出两步法（two-step procedure）来利用观测到的缺失模式信息，进一步提高功效。
主要结论：提出了一系列在一般缺失、单调缺失、sharp缺失和随机缺失机制下均有效的p值构造方法（定理1-7，命题1，定理A1）。这些方法计算高效（有闭式解或简单算法），且与部分识别文献中的sharp bounds（Manski, Zhang-Rubin, Lee）有精确对应。模拟和真实数据例子验证了方法的有效性。

关键设定与假设¶

设定：完全随机实验（CRE），有限总体（设计推断），SUTVA。
假设：
Assumption 1 (General Missingness)：M_i(1), M_i(0) 可以是任意常数，且可以任意依赖于 Y_i(1), Y_i(0)。这是最弱的假设，允许最严重的信息性缺失。
Assumption 2 (Monotone Missingness: treatment discourages missingness)：M_i(1) ≥ M_i(0) 对所有 i。即处理不会增加缺失的概率。例如，培训项目使人们更可能就业（从而观测到工资）。
Assumption 3 (Monotone Missingness: treatment encourages missingness)：M_i(1) ≤ M_i(0)。即处理不会减少缺失的概率。
Assumption 4 (Sharp Missingness)：M_i(1) = M_i(0) 对所有 i。即处理对缺失指示无影响。
Assumption 5 (Missing at Random, MAR)（在补充材料中）：(M_i(1), M_i(0)) 是i.i.d.的，且其分布不依赖于潜在结果。这等价于缺失完全随机（MCAR）在有限总体下的版本。
相比已有文献的强化/放宽：相比Heng et al. (2023) 的sharp missingness假设，本文放宽到单调和一般缺失。相比Ivanova et al. (2022) 的MAR假设，本文允许信息性缺失。相比Manski (1990) 的部分识别方法，本文提供了假设检验框架，且能处理无界结果。

主要结果¶

定理1（一般缺失，仅用结果）：在Assumption 1下，使用最坏情况归因 Y^g_{Z,δ}(0)（处理缺失→-∞，对照缺失→+∞）和分布自由秩统计量，构造的p值 p^g_{Z,δ} 是有效的。这是最保守但最稳健的方法。
定理2（一般缺失，用复合结果）：引入复合潜在结果 ˜Y_b(0)，其最坏情况归因 ˜Y^g_{Z,δ,b}(0) 在 b_01=∞, b_10=-∞ 时退化为定理1。定理2为后续利用缺失机制信息提供了框架。
定理3（单调缺失，用复合结果）：在Assumption 2或3下，利用单调性可以确定部分单位的 M_i(0) 或 M_i(1)，从而收紧最坏情况归因（例如，在Assumption 2下，缺失的处理组单位 M_i(0) 必为0，其复合结果不再是 -∞ 而是 b_00）。这导致更小的p值（更高功效）。推荐选择 b_00=b_01=∞（Assumption 2）或 b_00=b_10=-∞（Assumption 3）。
定理4（Sharp缺失）：在Assumption 4下，可以直接剔除缺失单位，对观测到的子总体进行标准FRT。这是最有效的方法。
定理5 & 6（两步法，单调缺失）：在单调缺失下，利用观测到的缺失模式（如对照组的观测数）来推断处理组中“若在对照下会缺失”的单位数量，从而在第二步中更精确地归因。这比定理3的“所有观测处理组单位都可能被观测到”的假设更不保守，功效更高。p值需加上第一步的置信水平 β 作为Bonferroni校正。
定理7（两步法，一般缺失）：在一般缺失下，通过构造预测集来约束潜在缺失类型的分布，然后求解一个更复杂的优化问题来得到更紧的下界。计算上需要枚举一个参数 K（m^t_{11} 的候选值）。
命题1 & 定理A1（Sharp缺失 & MAR）：提供了在更强假设下的有效检验，作为比较基准。

证明路线与技术技巧¶

整体路线（以定理1为例）： 1. 引理A3：证明在无缺失的理想情况下，基于真实 Y(0) 的FRT p值 p_{Z,δ} 是有效的。 2. 引理A1 & A2：证明秩统计量（7）、（9）、（10）具有“效应递增”性质：如果处理组的结果不增、对照组的结果不减，则统计量不增。 3. 构造最坏情况归因：证明 Y^g_{Z,δ}(0) 与真实 Y(0) 在 H_δ 下满足：处理组 Y^g ≤ Y，对照组 Y^g ≥ Y。 4. 应用单调性：由引理A1/A2，得 t(Z, Y^g) ≤ t(Z, Y)。 5. p值比较：由于p值是统计量的尾概率，统计量越小，p值越大。因此 p^g_{Z,δ} = G(t(Z, Y^g)) ≥ G(t(Z, Y)) = p_{Z,δ}。 6. 有效性：由于 p_{Z,δ} 有效，其上界 p^g_{Z,δ} 也有效。

关键跳跃点： - 从“未知统计量”到“已知零分布”：缺失数据导致 t(Z, Y(0)) 未知。但分布自由秩统计量的零分布 G 是已知的（仅依赖于 n_1, n_0 和 ϕ）。这使得问题从“计算未知分布下的p值”简化为“在约束下最小化统计量”。 - 从“复杂优化”到“闭式解”：最坏情况归因（-∞ 和 +∞）是优化问题的一个闭式解。这得益于秩统计量的单调性和缺失结果可以取任意值的假设。对于更复杂的假设（如单调缺失），闭式解仍然存在，但形式更精细（如定理3中的 b_00 选择）。 - 两步法的“信息利用”：第一步利用超几何分布（n_{01} ~ HG(N, ∑ M_i(0), n_0)）来推断 ∑ M_i(0) 的置信上界，从而得到处理组中“若在对照下会缺失”的单位数 m 的下界。第二步将这个下界作为约束，在优化时强制至少 m 个观测处理组单位的复合结果为 ∞（而不是 Y_i - δ_i），从而提高了统计量，降低了p值。

技术技巧点名： - 分布自由秩统计量（Caughey et al., 2021）：核心技巧，使得零分布已知，将问题从“推断分布”简化为“优化统计量”。 - 最坏情况优化：将缺失值设为 ±∞ 来构造保守p值，与部分识别中的Manski bounds直接对应。 - 超几何分布置信区间（Wang, 2015）：两步法中用于推断潜在缺失类型数量的精确有限样本方法。 - Bonferroni校正：两步法中用于控制第一步推断误差对最终检验size的影响。 - 复合潜在结果：通过引入常数 b 来编码缺失类型信息，将缺失机制假设转化为对 ˜Y_b(0) 的约束，从而统一了不同假设下的最坏情况归因。

真实例子与应用¶

数据：美国国家“Job Corps”项目数据，评估职业培训对工资的影响。这是一个大型随机实验，但工资仅在就业者中可观测，存在严重的样本选择（样本损耗）。
如何应用：作者将本文提出的各种随机化检验方法应用于该数据，检验“处理效应为零”的sharp null，并构造常数处理效应的置信区间。
结果：
表3：在一般缺失和单调缺失假设下，无法拒绝sharp null（p值很大，如1.000或0.973）。但在sharp missingness和MAR假设下，可以在5%水平上拒绝。两步法在单调缺失下几乎没有改进，因为处理组和对照组的缺失比例非常接近。
表4：在一般缺失下，常数处理效应的95%置信区间是 (-∞, ∞)，完全无信息。但在单调缺失假设下，区间显著收紧，例如在第90周为 [-0.042, 0.087]，排除了较大的负效应或正效应。在sharp missingness下，区间更窄，甚至排除了零（[0.001, 0.040]）。
这个例子想说明什么：
方法的应用价值：展示了在真实高缺失率（~50%）实验中，本文方法如何提供有意义的推断。
假设强度与信息量的权衡：从一般缺失（无信息）到单调缺失（有信息）到sharp缺失（信息最多），置信区间逐渐变窄，但依赖于更强的假设。研究者需要根据对缺失机制的信念来选择合适的假设。
两步法的局限性：当处理组和对照组缺失率相似时，两步法无法提供额外信息，因为无法从观测数据中有效推断出“若在对照下会缺失”的单位数量。

🔎 结论是否比证明窄¶

定理1-7的结论是严格的：每个定理都明确声明在特定假设（Assumption 1-4）下，所构造的p值是有效的。没有发现泛化的声称。
一个潜在的“窄”点：定理5-7（两步法）的证明依赖于特定的秩统计量形式（公式9或10）来获得闭式解。作者在算法中明确指定了使用哪种统计量。虽然作者声称“可以类似地推广到其他统计量”，但并未给出一般性的证明。因此，结论严格限于所指定的统计量类。
关于“sharpness”的讨论：作者在多个地方（如第7节末尾）提到其方法与部分识别中的“sharp bounds”有联系，并暗示其检验在某种意义上是“sharp”的（即不比其他方法更保守）。但作者并未给出一个正式的“sharpness”定理（即证明在给定假设下，不存在一个更不保守的有效检验）。这是一个conjecture，而非严格证明的结论。

四、开放问题¶

扩展到更复杂的实验设计：本文聚焦于完全随机实验（CRE）。如何将这套方法扩展到分层随机实验、配对实验、或阶梯设计（staggered rollout designs）？这些设计中的处理分配机制更复杂，最坏情况归因和两步法的计算可能更具挑战性。扎根点：论文在引言和框架部分提到“适用于可交换处理分配的实验”，但所有定理的证明都基于CRE。第2.2节末尾提到“包括CRE和伯努利随机实验”，但未涉及分层或配对设计。
与“测试机制”（Testing Mechanisms）方法的比较：Kwon & Roth (2024) 指出，他们的“完全中介的sharp null”检验也可以用于本文的设定。作者在讨论部分（第11节）承认了这一点，并指出“比较这两种方法是未来工作的重要方向”。这是一个具体的、有明确文献支撑的开放问题。扎根点：论文第11节最后一段。
两步法在更一般缺失机制下的计算优化：定理7（一般缺失下的两步法）需要枚举参数 K，计算复杂度可能随样本量增加而增加。是否存在更高效的算法（如动态规划或凸优化）来求解这个最坏情况优化问题？扎根点：算法3的步骤(v)需要计算 T_K 并对 K 取inf，作者没有讨论计算效率问题。
“sharpness”的正式证明：本文的检验是否在某种意义下是“最优”的（即给定假设下，不存在一个更不保守的有效检验）？作者将其与部分识别中的sharp bounds联系起来，但并未给出一个正式的统计最优性定理。证明或反驳这一点是一个重要的理论问题。扎根点：论文第7节末尾的讨论（“mirrors the comparison underlying the sharp lower bound...”），以及第11节没有提及sharpness。

Maintained by 陈星宇 · Homepage · Source on GitHub