Covariate adjustment in multiarmed, possibly factorial experiments¶

作者: Anqi Zhao, Peng Ding
来源: Journal of the Royal Statistical Society Series B
主题: 因果推断
相关性: 9/10
机构绿灯: National University of Singapore（US News 前 50，免分进入精读）
链接: https://doi.org/10.1093/jrsssb/qkac003

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向研究的是在随机实验（randomized experiments）中，如何通过回归调整（regression adjustment）来利用协变量（covariates）信息，以提高对平均处理效应（Average Treatment Effects, ATE）的估计效率。其核心统计问题是：在仅依赖随机化（design-based）的推断框架下，如何设计回归模型（如OLS、RLS）以在有限样本和渐近效率之间取得最佳权衡，同时避免对线性模型正确性的假设。该方向当前成熟度较高，但针对多臂（multiarmed）和因子（factorial）实验的协变量调整理论仍有待完善。

发展脉络（history）¶

奠基工作：Freedman (2008) 和 Lin (2013) 奠定了设计-based 回归调整的理论基础。Freedman (2008) 指出，在完全随机实验中，使用 OLS 回归调整（包含处理指示变量和协变量）得到的 ATE 估计量可能不一致，且标准误估计有偏。Lin (2013) 则证明，通过使用完全交互（fully interacted）模型（即处理指示变量与协变量的交互项），OLS 估计量在有限样本下是无偏的，且其渐近方差不超过未调整的简单差分估计量。这解决了 Freedman 的批评，并确立了 fully interacted OLS 作为标准方法。
主要进展：Bloniarz et al. (2016) 将高维协变量调整引入实验设计，提出了基于 Lasso 的回归调整方法，并证明了其在高维设定下的渐近有效性。Wu & Ding (2021) 将设计-based 回归调整推广到多臂实验（multiarmed experiments），分析了 additive 和 fully interacted 两种 OLS 模型的效率权衡，并指出 additive 模型在有限样本下可能有更小的方差，但渐近效率可能低于 fully interacted 模型。Zhao & Ding (2022) 进一步研究了因子实验（factorial experiments）中的回归调整，提出了基于 OLS 的因子效应估计方法。
当前 frontier：当前的前沿在于如何处理多臂且可能为因子设计的实验，并解决协变量多、处理臂多、样本量适中时的有限样本方差膨胀问题。Zhao & Ding (2024) 的这篇论文正是这一前沿的代表作。
本文的位置：本文在 Wu & Ding (2021) 和 Zhao & Ding (2022) 的基础上，首次从设计-based 视角建立了受限最小二乘（Restricted Least Squares, RLS）回归调整的理论性质。它试图解决 fully interacted OLS 在多臂、多协变量、中等样本量场景下有限样本方差过大的问题，并提供了一个统一框架来研究因子实验中的 OLS 回归调整。

子线索聚类¶

线索一：设计-based 回归调整的渐近理论：以 Lin (2013)、Wu & Ding (2021) 为代表，核心是证明在仅依赖随机化的假设下，特定 OLS 估计量的渐近正态性和效率。本文的 RLS 理论属于这一线索的延伸。
线索二：高维协变量调整：以 Bloniarz et al. (2016) 为代表，关注协变量维度 p 大于样本量 n 时的正则化方法。本文的 RLS 方法虽然不直接处理高维，但其约束策略（如对交互项系数施加约束）在协变量多时具有类似的正则化效果。
线索三：因子实验的回归调整：以 Zhao & Ding (2022) 为代表，专门研究因子设计（如 2×2 设计）中主效应和交互效应的估计。本文的 RLS 框架被证明可以统一研究这类实验中的 OLS 回归调整。

这个方向在追问的核心问题¶

如何设计回归模型以在有限样本和渐近效率之间取得最佳权衡？ additive 模型有限样本方差小但渐近效率低；fully interacted 模型渐近有效但有限样本方差大。RLS 试图通过施加约束来调和这一矛盾。
在仅依赖随机化的设计-based 框架下，如何保证回归调整估计量的有效性？ 核心挑战是避免对线性模型正确性的假设，同时确保标准误估计的准确性。
如何将回归调整理论从单臂或双臂实验推广到多臂和因子实验？ 处理臂数量的增加会显著增加待估参数的数量，导致有限样本方差膨胀。
当协变量数量多、处理臂多、样本量适中时，是否存在比 fully interacted OLS 更稳健的回归调整方法？ 这是本文直接回应的核心问题。

⚠️ 作者的 framing¶

作者的缺口 frame：作者将缺口 frame 为“fully interacted OLS 在协变量多、处理臂多、样本量适中时有限样本方差过大，而 additive OLS 又渐近无效”。因此，RLS 被呈现为“显然的下一步”——它通过施加“正确”的约束来减少待估参数，从而在有限样本下获得更小的方差，同时保持渐近有效性（当约束正确时）。
被淡化或回避的竞争路线：作者淡化了高维正则化方法（如 Lasso）的竞争。他们指出，RLS 的约束是“基于先验知识”的（如某些交互项为零），而 Lasso 是数据驱动的。作者没有深入讨论当先验知识不可靠时，RLS 与 Lasso 的性能对比。此外，作者回避了非参数或半参数方法（如基于核的回归调整）的讨论，这些方法可能更灵活但计算成本更高。
什么明显该被引 / 该存在、却没出现在 intro 里？ intro 中未提及基于模型辅助（model-assisted）的抽样推断文献，该领域也广泛使用 RLS 来提高估计效率。此外，贝叶斯回归调整方法（如使用先验来收缩交互项系数）未被讨论，这与 RLS 的约束策略有概念上的联系。

张力¶

未见明显对立引用。Lin (2013) 和 Wu & Ding (2021) 的结论是互补的，前者奠定了双臂实验的基础，后者将其推广到多臂。本文的 RLS 理论是对 Wu & Ding (2021) 的扩展，而非挑战。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
\( K \)：处理臂的数量（包括对照组）。\( k = 0 \) 表示对照组，\( k = 1, \dots, K-1 \) 表示处理组。
\( n \)：总样本量。
\( n_k \)：分配到处理臂 \( k \) 的样本量。
\( i \)：个体索引，\( i = 1, \dots, n \)。
\( T_i \)：处理指示变量，\( T_i \in \{0, 1, \dots, K-1\} \)。
\( Y_i \)：观测到的结果变量（标量）。
\( X_i \)：\( p \)-维协变量向量（包括截距项 1）。
\( Y_i(k) \)：潜在结果（potential outcome），即个体 \( i \) 被分配到处理臂 \( k \) 时将会观测到的结果。这是不可观测的，因为每个个体只能被分配到一个处理臂。
\( \tau_k = \mathbb{E}[Y_i(k) - Y_i(0)] \)：处理臂 \( k \) 相对于对照组的平均处理效应（ATE）。这是我们要估计的目标参数（estimand）。
\( \mu_k = \mathbb{E}[Y_i(k)] \)：处理臂 \( k \) 的潜在结果均值。
\( \mathbf{1}\{ \cdot \} \)：指示函数。
模型：
数据生成机制：完全随机实验。个体 \( i \) 被随机分配到处理臂 \( k \) 的概率为 \( \pi_k = n_k / n \)，且分配独立于潜在结果和协变量。即 \( T_i \perp (Y_i(0), \dots, Y_i(K-1), X_i) \)。
可观测数据：对于每个个体 \( i \)，我们观测到 \( (T_i, Y_i, X_i) \)，其中 \( Y_i = \sum_{k=0}^{K-1} \mathbf{1}\{T_i = k\} Y_i(k) \)。这是可观测的。
潜在量：\( Y_i(k) \) 是不可观测的。我们只能通过随机化来识别 \( \tau_k \)，因为 \( \mathbb{E}[Y_i | T_i = k] = \mathbb{E}[Y_i(k)] \)。
要估的对象：\( \tau_k \)（或等价地 \( \mu_k \)）。

第二步：讲最小内核¶

最简特例：考虑一个双臂实验（\( K = 2 \)，处理组 \( k=1 \)，对照组 \( k=0 \)），且只有一个协变量 \( X_i \)（\( p=1 \)）。我们想估计 \( \tau = \mathbb{E}[Y_i(1) - Y_i(0)] \)。

核心思路：fully interacted OLS 回归模型为：

\[Y_i = \alpha + \beta T_i + \gamma X_i + \delta (T_i \cdot X_i) + \epsilon_i\]

其中 \( T_i \in \{0, 1\} \)。OLS 估计量 \( \hat{\beta} \) 就是 \( \tau \) 的估计量。这个模型有 4 个参数（\( \alpha, \beta, \gamma, \delta \)），在样本量 \( n \) 较小时，估计方差可能很大。

RLS 的核心想法：如果我们有先验知识认为处理效应不随协变量变化（即没有交互效应），那么我们可以施加约束 \( \delta = 0 \)。此时模型退化为 additive 模型：

\[Y_i = \alpha + \beta T_i + \gamma X_i + \epsilon_i\]

这个模型只有 3 个参数，估计方差更小。如果约束 \( \delta = 0 \) 是正确的（即真实数据生成过程确实没有交互效应），那么 RLS 估计量 \( \hat{\beta}_{RLS} \) 不仅一致，而且渐近有效（达到半参数效率界）。如果约束是错误的（真实存在交互效应），那么 RLS 估计量仍然一致（因为随机化保证了 \( T_i \) 与 \( X_i \) 独立，所以 additive 模型对 \( \beta \) 的估计仍然无偏），但可能不是渐近有效的。

本文的关键贡献：将这一思想推广到多臂实验，并系统分析了 RLS 在约束正确、约束部分正确、约束错误三种情况下的性质。最小内核就是：在 fully interacted OLS 中，对处理-协变量交互项的系数施加线性约束，以换取有限样本方差减小，同时保证在约束部分正确时估计量的一致性。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在多臂（可能为因子）随机实验中，如何通过受限最小二乘（RLS）回归调整来估计各处理臂的 ATE，并系统分析其有限样本与渐近性质。
核心工具 / 方法：设计-based 推断框架下的 RLS 回归调整。该方法对 fully interacted OLS 模型中的系数施加线性约束（如某些交互项为零），然后使用约束下的 OLS 估计量。
主要结论：RLS 估计量在约束正确时渐近有效；在约束仅涉及处理指示变量系数（而非交互项系数）时仍一致；在协变量多、处理臂多、样本量适中的场景下，即使约束轻度 misspecified，有限样本表现也优于无约束 fully interacted OLS。RLS 框架还可统一研究因子实验中的 OLS 回归调整。

关键设定与假设¶

设定：完全随机实验，个体被随机分配到 \( K \) 个处理臂之一。协变量 \( X_i \) 是固定的（设计-based 视角），或被视为随机但条件于其分布。
假设：
随机化：\( T_i \perp (Y_i(0), \dots, Y_i(K-1), X_i) \)。这是唯一的核心假设。不假设线性模型正确。
SUTVA：个体间无交互，且处理版本唯一（隐含在潜在结果定义中）。
正则性条件：协变量的二阶矩存在且正定；各处理臂的样本量 \( n_k \) 与总样本量 \( n \) 成比例增长。
相比已有文献：相比 Wu & Ding (2021) 仅分析 additive 和 fully interacted OLS，本文引入了 RLS 这一更一般的框架。相比 Zhao & Ding (2022) 仅关注因子实验，本文的 RLS 框架可统一处理多臂和因子实验。

主要结果¶

定理 1（RLS 估计量的有限样本无偏性与一致性）：在随机化假设下，只要 RLS 的约束不涉及处理指示变量与协变量的交互项系数（即约束仅施加于处理指示变量的主效应系数），那么 RLS 估计量 \( \hat{\tau}_k^{RLS} \) 是有限样本无偏的（\( \mathbb{E}[\hat{\tau}_k^{RLS}] = \tau_k \)），并且是一致的。这个结果非常强，因为它不要求约束正确。
直觉：随机化保证了 \( T_i \) 与 \( X_i \) 独立，因此即使模型 misspecified，对处理效应的估计仍然无偏。约束仅影响协变量调整的“权重”，但不影响处理效应的无偏性。
解决的技术难点：在 design-based 框架下，证明 RLS 估计量的无偏性需要处理约束带来的投影矩阵，作者通过巧妙地利用随机化的期望性质绕过了这一难点。
定理 2（RLS 估计量的渐近方差）：给出了 RLS 估计量 \( \hat{\tau}_k^{RLS} \) 的渐近方差表达式。该方差由两部分组成：一部分是未调整的简单差分估计量的方差，另一部分是协变量调整带来的方差缩减。当约束正确时，该方差等于半参数效率界。
直觉：RLS 通过约束减少了待估参数，从而降低了估计方差。当约束正确时，这种方差缩减是最优的。
必要条件：约束必须正确，即真实数据生成过程满足约束条件。
定理 3（RLS 与 fully interacted OLS 的有限样本方差比较）：在有限样本下，RLS 估计量的方差总是小于或等于 fully interacted OLS 估计量的方差。这一结论不依赖于约束是否正确。
直觉：RLS 是带约束的 OLS，其解空间是 fully interacted OLS 解空间的子集。因此，RLS 的估计量方差更小（或相等）。这是“偏差-方差权衡”中的方差端。
解决的技术难点：在 design-based 框架下，比较两个估计量的有限样本方差需要处理复杂的协方差结构。作者通过将 RLS 估计量表示为 fully interacted OLS 估计量的线性变换，并利用矩阵不等式完成了证明。

证明路线与技术技巧¶

整体路线：
设定 RLS 问题：将 fully interacted OLS 模型写为 \( Y = D\theta + \epsilon \)，其中 \( D \) 是设计矩阵（包含处理指示变量、协变量、交互项），\( \theta \) 是系数向量。RLS 施加线性约束 \( R\theta = r \)。
推导 RLS 估计量的显式表达式：使用拉格朗日乘子法，得到 \( \hat{\theta}_{RLS} = \hat{\theta}_{OLS} - (D^T D)^{-1} R^T [R (D^T D)^{-1} R^T]^{-1} (R\hat{\theta}_{OLS} - r) \)。
利用随机化计算期望：在 design-based 框架下，对 \( \hat{\theta}_{RLS} \) 取期望，利用 \( \mathbb{E}[Y | T, X] \) 的表达式（由随机化保证）和 \( T \) 的随机性，证明无偏性。
计算渐近方差：使用 delta 方法和设计-based 的方差公式，推导 \( \hat{\tau}_k^{RLS} \) 的渐近方差。关键步骤是将方差分解为“处理效应异质性”和“协变量预测误差”两部分。
比较有限样本方差：利用矩阵的 Loewner 序，证明 RLS 估计量的协方差矩阵在有限样本下小于等于 fully interacted OLS 估计量的协方差矩阵。
关键跳跃点：
从 OLS 到 RLS 的无偏性证明：在 design-based 框架下，OLS 估计量的无偏性依赖于随机化。RLS 估计量是 OLS 估计量的非线性变换（涉及投影），其无偏性并非显然。作者的关键跳跃是证明了只要约束不涉及交互项系数，RLS 估计量仍然是有限样本无偏的。这需要精细地处理约束矩阵 \( R \) 的结构。
渐近方差表达式的推导：推导 RLS 估计量的渐近方差需要处理约束带来的“收缩”效应。作者的关键技巧是将 RLS 估计量重新参数化为一个“有效”的 OLS 估计量，然后应用标准的设计-based 方差公式。
技术技巧点名：
矩阵投影与 Loewner 序：用于比较 RLS 和 OLS 估计量的有限样本方差。
设计-based 方差分解：将估计量的方差分解为“处理效应异质性”和“协变量预测误差”两部分，这是设计-based 推断的标准技巧。
拉格朗日乘子法：用于推导 RLS 估计量的显式表达式。
Delta 方法：用于推导 RLS 估计量的渐近分布。

真实例子与应用¶

本文为纯理论论文，没有真实数据例子或模拟实验。作者在文中提到，RLS 方法在协变量多、处理臂多、样本量适中的场景下（如教育或公共卫生领域的多臂实验）具有实际应用价值，但未提供具体案例。

🔎 结论是否比证明窄¶

结论：作者声称 RLS 在“约束轻度 misspecified”时有限样本表现优于 fully interacted OLS。但证明中只严格证明了 RLS 的有限样本方差总是小于等于 fully interacted OLS。这意味着 RLS 的 MSE（均方误差）可能更大，因为约束 misspecified 会引入偏差。作者没有严格证明在“轻度 misspecified”下 MSE 也优于 OLS，这只是一个基于“偏差-方差权衡”的推测（conjecture），而非严格定理。具体语句见定理 3 的讨论部分：“...can have better finite sample performance than the unrestricted counterpart even when the restriction is moderately misspecified.” 这里的“can have”是可能性陈述，而非确定性结论。

四、开放问题¶

RLS 约束的“最优”选择问题：本文假设约束是给定的（基于先验知识）。如何数据驱动地选择约束（如通过交叉验证或信息准则），同时保证设计-based 推断的有效性？这扎根于本文的 limitation 讨论（“the choice of restrictions is left to the researcher”）。
RLS 在高维协变量下的推广：当协变量维度 \( p \) 大于样本量 \( n \) 时，fully interacted OLS 不可行，RLS 的约束策略如何与高维正则化方法（如 Lasso）结合？这扎根于本文未讨论高维设定这一事实。
RLS 在非完全随机实验中的性质：本文假设完全随机化。在更复杂的实验设计（如分层随机化、配对随机化）中，RLS 的无偏性和渐近性质是否仍然成立？这扎根于本文的假设 1（完全随机化）。
RLS 在因果中介分析或工具变量中的推广：本文的 RLS 框架能否推广到更复杂的因果结构（如 IV 或 mediation），以处理其中的协变量调整问题？这扎根于本文的结论部分提到“future work could extend RLS to other causal estimands”。

Maintained by 陈星宇 · Homepage · Source on GitHub