跳转至

Regression-based causal inference with factorial experiments: estimands, model specifications and design-based properties

作者: Anqi Zhao, Peng Ding
来源: Biometrika
主题: 因果推断
相关性: 8/10
机构绿灯: National University of Singapore（US News 前 50，免分进入精读）
链接: 期刊页 · arXiv

一、领域脉络与小综述

这个方向是什么

这个子方向要解决的根本问题是：在析因实验（factorial experiments）中，如何从设计-based（design-based）视角——即仅依赖于随机化机制、条件于潜在结果、不假设超总体模型——来证明基于回归的估计量（OLS）的因果有效性。具体而言，当研究者用线性回归（饱和或非饱和）来估计主效应和交互效应时，回归系数是否具有因果解释？其标准误是否有效？模型设定错误（如忽略交互项）会带来什么后果？当前该方向的成熟度处于“已有饱和回归理论，但非饱和回归的理论基础尚不完整”的阶段。

发展脉络

  1. 奠基工作：析因实验的经典框架与随机化推断
  2. Wu & Hamada (2009/2021)：教科书级工作，定义了高阶析因效应的递归结构（m阶条件效应 = 两个(m-1)阶条件效应之差），奠定了析因实验的经典分析框架。本文引用它来定义析因效应。

  3. Dasgupta et al. (2015)：首次在2^K析因设计中建立了随机化-based推断与回归-based推断的等价性，但仅限于饱和回归（含所有交互项）。本文引用它作为“饱和回归已有理论”的代表。

  4. 主要进展：从饱和回归到非饱和回归的缺口

  5. Lu (2016)：将Dasgupta et al. (2015)的框架推广到一般2^K析因设计，证明了饱和回归下回归系数与随机化推断的等价性。但本文明确指出：“the existing literature on the design-based properties of factor-based regression focuses on saturated specifications (Dasgupta et al. 2015; Lu 2016), and leaves the theory of their unsaturated counterparts an open question.”——这是本文要填补的核心缺口。
  6. Muralidharan, Romero & Wuthrich (2019)：实证研究发现，在27篇顶刊析因实验中，19篇使用了忽略交互项的“短模型”（additive specification），且加入交互项后超过一半的结果失去显著性。这从应用角度凸显了非饱和回归的潜在风险，但缺乏理论解释。本文引用它作为“短模型在实践中被广泛使用”的证据。
  7. Egami & Imai (2018)：提出了平均边际交互效应（AMIE），用带加权零和约束的ANOVA回归非参数地估计交互效应，解决了交互效应依赖于基线选择的问题。本文引用它来讨论交互效应的定义。

  8. de la Cuesta, Egami & Imai (2021)：指出AMCE（平均边际成分效应）依赖于其他属性的分布，提出了目标分布加权估计。本文引用它来讨论加权平均处理效应的定义。

  9. 当前frontier：设计-based推断的回归基础

  10. Wu & Ding (2020)：建立了Fisher随机化检验用于弱零假设的理论，包括一般析因实验下的统一框架。本文引用它来建立饱和回归下系数与样本均值的等价关系。
  11. Li & Ding (2017)：建立了有限总体中心极限定理的一般形式，为设计-based推断的渐近正态性提供了工具。本文引用它作为渐近性质的条件。

  12. Ding (2020)：将Frisch-Waugh-Lovell定理推广到标准误，揭示了分层实验中模型-based与设计-based标准误的差异。本文引用它来讨论回归标准误的等价性。

  13. 本文的位置：本文是第一个系统性地从设计-based视角推导非饱和回归（含部分交互项）的抽样性质的工作，填补了Lu (2016)和Dasgupta et al. (2015)留下的理论缺口，并量化了饱和与非饱和回归之间的偏差-方差权衡。

子线索聚类

  1. 饱和回归的随机化推断基础（Dasgupta et al. 2015; Lu 2016; Wu & Ding 2020）：这一簇证明在饱和回归下，OLS系数等价于特定样本均值，且稳健标准误有效。核心工具是有限总体中心极限定理和随机化推断。

  2. 非饱和回归的实践与风险（Muralidharan et al. 2019; Kahan 2013）：这一簇从实证角度揭示非饱和回归的普遍性及其潜在问题（忽略交互项导致偏差），但缺乏理论解释。

  3. 析因效应的定义与解释（Wu & Hamada 2009; Egami & Imai 2018; de la Cuesta et al. 2021）：这一簇关注如何定义和解释析因效应（主效应、交互效应、AMCE、AMIE），特别是如何使交互效应不依赖于基线选择。

  4. 设计-based推断的渐近工具（Li & Ding 2017; Ding 2020）：这一簇提供有限总体中心极限定理和标准误等价性等工具，为设计-based推断提供渐近基础。

这个方向在追问的核心问题

  1. 回归系数的因果解释：在非饱和回归下，OLS系数是否仍具有因果解释？它估计的是什么参数？
  2. 模型设定错误的影响：当回归模型忽略交互项时，估计量的偏差和方差如何变化？偏差-方差权衡的具体形式是什么？
  3. 标准误的有效性：在非饱和回归下，稳健标准误（如Eicker-Huber-White）是否仍能提供有效的Wald型推断？
  4. 一般析因设计的统一框架：如何将2^K设计的理论推广到一般多水平析因设计？

当前主流方法与已知瓶颈：主流方法是使用饱和回归（含所有交互项）进行推断，其理论已完善。瓶颈在于：实践中研究者常使用非饱和回归（如仅含主效应），但缺乏理论指导——偏差项如何计算？标准误是否有效？偏差-方差权衡如何量化？

⚠️ 作者的framing

作者把缺口frame成：“the existing literature on the design-based properties of factor-based regression focuses on saturated specifications, and leaves the theory of their unsaturated counterparts an open question.” 作者将本文定位为“显然的下一步”：在饱和回归理论已完善的基础上，系统性地处理非饱和回归。

被淡化或回避的竞争路线： - 作者回避了模型-based推断（超总体模型）的讨论，完全聚焦于设计-based视角。这意味着本文的结论不依赖于任何超总体假设，但代价是推导更复杂（需要处理有限总体的高阶矩）。 - 作者没有深入讨论模型选择问题（如如何选择交互项），而是将模型设定视为给定的。这与Muralidharan et al. (2019)的实证发现（模型选择影响显著性）形成张力。

什么明显该被引/该存在、却没出现在intro里？ - 没有引用关于“post-selection inference”或“model selection after factorial experiments”的文献。既然非饱和回归涉及模型选择，其后的推断问题（如选择后推断）是自然的延伸。 - 没有引用关于“multiple testing correction”在析因实验中的文献。析因实验通常涉及多个主效应和交互效应的同时检验，多重比较问题未被讨论。 - 没有引用关于“nonparametric estimation of factorial effects”的文献（如Egami & Imai 2018的AMIE方法虽然被引用，但仅用于定义，未用于估计）。这可能是作者有意将讨论限制在回归框架内。

张力

未见明显对立引用。所有被引工作基本一致地支持“饱和回归理论已完善，非饱和回归理论缺失”的判断。Muralidharan et al. (2019)的实证发现与本文的理论目标一致，不构成矛盾。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

符号： - 因子与水平：有K个因子（factors），记为A, B, C, ...。每个因子有多个水平（levels）。为简化，本文主要讨论2^K设计（每个因子2个水平），但理论可推广。 - 处理组合：每个处理组合是一个K维向量，记为z = (z_1, ..., z_K)，其中z_j ∈ {0, 1}表示第j个因子的水平。所有处理组合的集合记为T，|T| = 2^K。 - 潜在结果：对于每个单元i（i = 1, ..., N），有潜在结果Y_i(z)，表示单元i在处理组合z下的结果。这是不可观测的——每个单元只能观测到一个处理组合下的结果。 - 可观测数据：每个单元i被随机分配到一个处理组合Z_i ∈ T，观测到结果Y_i = Y_i(Z_i)。研究者观测到的是{(Z_i, Y_i) : i = 1, ..., N}。 - 处理分配：完全随机化（complete randomization）：恰好有N_z个单元被分配到处理组合z，其中∑_{z∈T} N_z = N。N_z是固定的（设计参数），不是随机的。 - 参数/estimand： - 主效应（main effect）：例如因子A的主效应，定义为处理组合中A=1与A=0的平均结果之差，平均掉其他因子。 - 交互效应（interaction effect）：例如A×B交互效应，定义为A的主效应在B不同水平下的差异。 - 本文定义了一般的析因效应（general factorial effects），用加权平均处理效应来统一。 - 回归模型： - 饱和回归（saturated）：包含所有主效应和所有交互项（共2^K - 1个回归元，加上截距共2^K个参数）。 - 非饱和回归（unsaturated）：仅包含部分交互项（如仅含主效应，或主效应+二阶交互）。 - 回归系数：β̂是OLS估计的回归系数向量。对于饱和回归，β̂等价于各处理组合的样本均值之差。 - 稳健标准误：V̂是Eicker-Huber-White稳健协方差矩阵估计量，用于Wald型推断。

模型： - 数据生成机制：Y_i(z)是固定的（非随机）潜在结果，随机性仅来自处理分配Z_i。这是设计-based推断的核心假设：不假设超总体模型，潜在结果是固定的常数。 - 处理分配机制：完全随机化，即Z_i的联合分布是：所有可能的分配（每个处理组合恰好N_z个单元）等概率。 - 要估的对象：析因效应（主效应、交互效应），它们是潜在结果的线性组合。

可观测数据： - 研究者观测到：每个单元i的处理分配Z_i和结果Y_i。 - 不可观测：每个单元在其他处理组合下的潜在结果Y_i(z')（z' ≠ Z_i）。 - 识别策略：通过随机化，处理组合的均值差是因果效应的无偏估计。回归只是计算这些均值差的一种便捷方式。

第二步：讲最小内核

最简特例：2^2析因设计，仅含主效应的非饱和回归

考虑最简单的析因实验：两个因子A和B，每个因子2个水平（0/1）。处理组合有4个：00, 01, 10, 11。总共有N个单元，每个处理组合有N_z个单元（z ∈ {00, 01, 10, 11}）。

饱和回归（含所有交互项）： 

Y_i ~ 1 + A_i + B_i + A_i * B_i
其中A_i和B_i是0/1变量。饱和回归有4个参数（截距+3个回归元），等价于估计4个处理组合的均值。系数β̂_A（A的主效应）等于(Ȳ_10 + Ȳ_11)/2 - (Ȳ_00 + Ȳ_01)/2，即A=1与A=0的平均结果之差（平均掉B）。

非饱和回归（仅含主效应，忽略交互项）： 

Y_i ~ 1 + A_i + B_i
这是实践中常用的“短模型”。此时，回归系数β̂_A的OLS估计是什么？它是否仍等于(Ȳ_10 + Ȳ_11)/2 - (Ȳ_00 + Ȳ_01)/2？

核心发现（本文的定理1特例）：在2^2设计中，非饱和回归的系数β̂_A等于： 

β̂_A = (Ȳ_10 + Ȳ_11)/2 - (Ȳ_00 + Ȳ_01)/2 + 偏差项
其中偏差项 = (N_11/N_10? - N_01/N_00?) × (交互效应) × (某种权重)。具体地，如果各处理组合的样本量不相等（N_z不相等），且存在真实的交互效应（A×B），则β̂_A会偏离“平均主效应”。

为什么这个特例是核心：它揭示了非饱和回归的核心问题——当模型忽略交互项时，OLS系数不再是简单的均值差，而是带权重的均值差，权重取决于各处理组合的样本量。这个偏差项在饱和回归中不存在（因为饱和回归包含了交互项，可以“吸收”交互效应）。

证明思路（特例下）： 1. 写出非饱和回归的设计矩阵X = [1, A, B]。 2. OLS系数β̂ = (X'X)^{-1} X'Y。 3. 将Y写成潜在结果的形式：Y_i = Y_i(Z_i)。 4. 计算β̂_A的期望（条件于潜在结果，仅对随机化取期望）：E[β̂_A] = 加权平均处理效应 + 偏差项。 5. 偏差项 = 交互效应 × (处理组合样本量的不平衡度量)。

这个特例说明：非饱和回归的系数估计的是“加权平均处理效应”，权重由各处理组合的样本量决定。如果样本量平衡（N_z相等），则偏差项为零，β̂_A等于饱和回归的系数。如果样本量不平衡且存在交互效应，则β̂_A有偏差。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在一般析因实验（包括2^K设计和多水平设计）中，从设计-based视角推导饱和与非饱和回归估计量的抽样性质（偏差、方差、渐近分布），并建立基于稳健标准误的Wald型推断的有效性。
  2. 核心工具/方法：设计-based推断（条件于潜在结果，仅对随机化取期望），结合有限总体中心极限定理和回归的代数性质（Frisch-Waugh-Lovell定理的推广）。
  3. 主要结论：①非饱和回归的系数估计的是特定加权平均处理效应，权重由处理组合的样本量决定；②推导了偏差和方差的显式表达式；③证明了稳健标准误在非饱和回归下仍能提供渐近有效的Wald型推断；④量化了饱和与非饱和回归之间的偏差-方差权衡。

关键设定与假设

完整设定（在第二节最小记号的基础上补充）：

  • 一般析因设计：K个因子，第j个因子有L_j个水平。处理组合集合T的大小为∏_{j=1}^K L_j。本文主要结果对一般多水平设计成立，但为简化，主要讨论2^K设计。
  • 完全随机化（Condition 1）：每个处理组合z ∈ T恰好有N_z个单元被分配，∑_{z∈T} N_z = N。这是本文的核心假设。
  • 潜在结果：Y_i(z)是固定的（非随机），i = 1, ..., N, z ∈ T。
  • 回归模型：一般形式为Y_i ~ 1 + 回归元，其中回归元是因子水平的某种编码（如效应编码、虚拟变量编码）。本文主要使用虚拟变量编码（0/1）。
  • 饱和回归：包含所有主效应和所有交互项，共|T|个参数（含截距）。
  • 非饱和回归：仅包含部分交互项，参数个数 < |T|。

相比已有文献的放宽或强化： - 放宽：已有文献（Dasgupta et al. 2015; Lu 2016）仅处理饱和回归，本文放宽到非饱和回归。 - 强化：本文的偏差-方差权衡分析是新的，已有文献未量化。 - 不变：仍假设完全随机化，未扩展到分层随机化或聚类随机化。

主要结果

定理1（非饱和回归系数的因果解释）： - 陈述：对于任意非饱和回归模型，OLS系数β̂是某个加权平均处理效应（weighted average treatment effect）的估计量，权重由各处理组合的样本量N_z和回归模型的设计矩阵决定。 - 直觉：非饱和回归的系数不是简单的均值差，而是带权重的均值差。权重取决于两个因素：①各处理组合的样本量；②回归模型的结构（哪些交互项被包含/忽略）。 - 必要条件：完全随机化（Condition 1）。不需要任何超总体假设。 - 解决的技术难点：如何将OLS系数显式地写成潜在结果的线性组合，并识别出权重。

定理2（偏差和方差的显式表达式）： - 陈述：给出了β̂的偏差（相对于饱和回归的系数）和方差的显式表达式。偏差项是忽略的交互项与样本量不平衡的乘积；方差项是各处理组合内方差的加权和。 - 直觉：偏差 = 忽略的交互效应 × 样本量不平衡度量。如果样本量平衡（N_z相等），偏差为零。方差 = 各处理组合内方差的加权和，权重由回归模型决定。 - 必要条件：完全随机化，且各处理组合内方差存在（有限）。 - 解决的技术难点：需要计算高阶矩（潜在结果的四阶矩）来推导方差表达式，因为设计-based推断下，方差涉及处理组合内方差的估计。

定理3（稳健标准误的有效性）： - 陈述：在非饱和回归下，Eicker-Huber-White稳健协方差矩阵估计量V̂是渐近一致的，即V̂ → V（依概率），其中V是β̂的渐近方差。因此，基于V̂的Wald型检验（如t检验、F检验）是渐近有效的。 - 直觉：即使模型设定错误（忽略交互项），稳健标准误仍能正确反映β̂的抽样变异性。这是因为稳健标准误不依赖于模型正确设定，只依赖于残差的异方差性。 - 必要条件：完全随机化，且各处理组合的样本量N_z → ∞（渐近框架）。 - 解决的技术难点：需要证明在非饱和回归下，残差的异方差结构不影响稳健标准误的一致性。关键是用有限总体中心极限定理（Li & Ding 2017）证明β̂的渐近正态性。

定理4（偏差-方差权衡）： - 陈述：饱和回归无偏差但方差较大（因为估计的参数多），非饱和回归有偏差但方差较小（因为估计的参数少）。具体地，饱和回归的方差比非饱和回归的方差大一个非负定矩阵，该矩阵是忽略的交互项对应的方差分量。 - 直觉：这是经典的偏差-方差权衡在析因实验中的体现。饱和回归“过拟合”了数据（估计所有交互项），非饱和回归“欠拟合”了数据（忽略交互项）。权衡的量化形式是：偏差的平方与方差减少量之间的比较。 - 必要条件：完全随机化，且各处理组合的样本量N_z足够大。 - 解决的技术难点：需要同时推导饱和和非饱和回归的方差表达式，并比较它们。

证明路线与技术技巧

整体路线（3-5步逻辑主干）：

  1. 第一步：将回归系数写成潜在结果的线性组合。利用OLS的代数性质，β̂ = (X'X)^{-1} X'Y。将Y替换为潜在结果（每个单元只观测到一个处理组合），得到β̂ = ∑_{i=1}^N w_i Y_i(Z_i)，其中w_i是权重向量（依赖于设计矩阵X和处理分配Z_i）。

  2. 第二步：计算条件期望（条件于潜在结果，对随机化取期望）。由于随机化是唯一的随机性来源，E[β̂ | Y(·)] = ∑{z∈T} (∑{i: Z_i = z} w_i) × (处理组合z的均值)。这给出了β̂的期望，即加权平均处理效应。

  3. 第三步：计算偏差。将β̂的期望与饱和回归的系数（即“真实”析因效应）比较，偏差 = E[β̂] - 饱和回归系数。偏差项可以写成忽略的交互效应与样本量不平衡的乘积。

  4. 第四步：计算方差。Var(β̂ | Y(·)) = E[β̂β̂' | Y(·)] - E[β̂ | Y(·)]E[β̂ | Y(·)]'。这需要计算β̂的二阶矩，涉及潜在结果的四阶矩。关键技巧是利用随机化的交换性（permutation symmetry）来简化计算。

  5. 第五步：证明渐近正态性和稳健标准误的一致性。利用有限总体中心极限定理（Li & Ding 2017）证明β̂的渐近正态性。然后证明V̂ → Var(β̂)（依概率），从而Wald型检验有效。

关键跳跃点： - 跳跃点1：从β̂的期望到偏差的显式表达式。难点在于将偏差写成“忽略的交互效应 × 样本量不平衡”的简洁形式。作者利用了回归的投影矩阵性质（Frisch-Waugh-Lovell定理的推广）。 - 跳跃点2：方差的计算。在设计-based推断下，方差涉及潜在结果的四阶矩，而不仅仅是二阶矩。作者通过将方差分解为“处理组合内方差”和“处理组合间方差”两部分，简化了计算。 - 跳跃点3：稳健标准误的一致性证明。在非饱和回归下，残差不是独立同分布的（因为模型设定错误），但作者证明了稳健标准误仍然一致，关键是用到了随机化下残差的特殊结构。

技术技巧点名： - Frisch-Waugh-Lovell定理的推广（Ding 2020）：用于将回归系数分解为“部分回归”的系数，从而分离出偏差项。 - 有限总体中心极限定理（Li & Ding 2017）：用于证明β̂的渐近正态性，这是设计-based推断的标准工具。 - 高阶矩计算：用于推导方差表达式，涉及潜在结果的四阶矩。作者利用了随机化下的交换性来简化计算。 - 投影矩阵与残差分析：用于证明稳健标准误的一致性，关键是将残差投影到设计矩阵的正交补空间。

真实例子与应用

模拟实验（本文有模拟，但无真实数据例子）： - 场景：2^3析因设计（3个因子，每个2水平），总样本量N = 120，各处理组合样本量不等（模拟不平衡设计）。 - 方法：比较饱和回归（含所有交互项）与三种非饱和回归（仅主效应、主效应+二阶交互、主效应+部分二阶交互）的估计量和标准误。 - 结果： - 当存在真实交互效应时，非饱和回归的系数有偏差，偏差大小与样本量不平衡程度成正比。 - 稳健标准误在非饱和回归下仍能覆盖真实参数（覆盖概率接近95%），验证了定理3。 - 饱和回归的方差大于非饱和回归的方差，验证了定理4的偏差-方差权衡。 - 这个例子想说明：①非饱和回归在实践中是危险的（如果存在交互效应且样本量不平衡）；②但稳健标准误仍然有效，所以研究者至少可以正确地进行推断（虽然估计量有偏差）；③偏差-方差权衡是真实的，研究者需要在偏差和方差之间做选择。

本文为纯理论/无实证例子：本文没有使用真实数据例子，只有模拟实验。模拟实验的目的是验证理论结果，而非展示实际应用。

🔎 结论是否比证明窄

  • 窄结论1：定理1声称非饱和回归系数估计的是“加权平均处理效应”，但证明中假设了完全随机化。对于分层随机化或聚类随机化，结论是否成立？作者在讨论中提到了“stratified factorial experiments”作为未来工作，暗示当前结论不直接适用。
  • 窄结论2：定理3（稳健标准误的有效性）的证明依赖于各处理组合样本量N_z → ∞的渐近框架。对于有限样本，稳健标准误可能表现不佳（如覆盖概率偏低），作者在模拟中验证了有限样本性质，但未给出有限样本界。
  • 窄结论3：偏差-方差权衡（定理4）的量化依赖于“忽略的交互效应”的定义。如果交互效应是零，则非饱和回归无偏差，但方差更小——此时非饱和回归严格优于饱和回归。但作者没有讨论如何检验交互效应是否为零（即模型选择问题）。
  • 泛泛claim：作者在引言中声称“the results help to clarify the causal interpretation of the coefficients in these factor-based regressions”，但证明仅针对完全随机化下的析因实验。对于观察性研究中的析因分析（如使用倾向得分匹配），结论不直接适用。

四、开放问题

  1. 分层析因实验的扩展：本文仅处理完全随机化。对于分层随机化（stratified factorial experiments），非饱和回归的偏差-方差权衡如何变化？扎根于本文第5节“Discussion”中提到的“stratified factorial experiments”作为未来工作。

  2. 模型选择后的推断：本文假设模型设定是给定的。但实践中，研究者可能先进行模型选择（如用AIC/BIC选择交互项），再基于选定模型进行推断。此时，选择后的推断（post-selection inference）如何调整？扎根于本文第5节“Discussion”中提到的“model selection”作为未来工作。

  3. 有限样本的精确推断：本文的渐近结果依赖于N_z → ∞。对于小样本析因实验（如N_z = 1或2），能否建立有限样本的精确推断（如Fisher随机化检验）？扎根于本文第5节“Discussion”中提到的“finite-sample properties”作为未来工作。

  4. 多水平设计的偏差-方差权衡：本文主要讨论2^K设计。对于多水平设计（每个因子有多个水平），非饱和回归的偏差项形式更复杂，偏差-方差权衡的量化是否仍然简洁？扎根于本文第5节“Discussion”中提到的“general factorial designs”作为未来工作。

提醒：要确认这些是否是真gap，建议去读近5年关于析因实验设计-based推断的文献（如Biometrika、JASA、JRSS-B上的相关论文）的intro——如果多篇都指向同一个问题，那就是共识性缺口；如果互相打架（如有的认为模型选择后推断可行，有的认为不可行），那就是机会。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论