EARL: Exposure- and Allocation-Reweighted Linear Estimator for Bipartite Experiments with Partial Assignment¶
作者: Alexey Kurennoy
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2609.31022
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是二分网络实验(bipartite experiments)中的因果推断。其根本科学问题是:当处理被随机化在一类单元(如商品、广告、视频)上,而结果在另一类单元(如用户、消费者)上测量,且两类单元通过一个已知的二分图相连时,如何从实验数据中无偏且高效地估计全局平均处理效应(GATE)。该方向的成熟度较高:已有大量工作处理"完全分配"(所有随机化单元都被分配到处理或对照)的情形,但"部分分配"(只有一部分随机化单元参与实验)这一实践中极为常见的场景,在理论上尚未被系统解决。本文正是针对这一缺口提出新估计量。
发展脉络(history)¶
- 奠基工作:Zigler and Papadogeorgou [23] 正式建立了二分实验的因果推断框架,将"干扰"(interference)问题从单层网络推广到二分结构。Aronow and Samii [1] 与 Hudgens and Halloran [10] 则提供了一般干扰下因果推断的早期理论基础,特别是暴露映射(exposure mapping)的概念。
- 主要进展:Doudchenko et al. [3] 将广义倾向得分(generalized propensity score)引入二分实验,提出了基于逆概率加权(IPW)的估计框架。Harshaw et al. [7] 则提出了暴露重加权线性(ERL)估计量,在"线性暴露-响应"假设下实现了无偏估计,并给出了渐近方差估计量——这是本文最直接的竞争者和前身。Masoero et al. [13] 将二分实验推广到多重随机化设计。Brennan et al. [2] 研究了聚类随机化设计在二分实验中的应用。
- 当前 frontier:Lu et al. [12] 在设计基推断(design-based inference)框架下重新审视二分实验,弱化了模型假设。Tan et al. [20] 首次明确处理了"部分合格性"(partial eligibility)问题,但他们的设定是合格性固定且已知,且估计策略依赖模型集成与自助法。Sävje [18] 则从更一般的角度讨论了暴露映射误设时的估计问题。
- 本文的位置:本文在 Harshaw et al. [7] 的 ERL 框架上,将"完全分配"推广到"随机部分分配"(每个随机化单元以概率 q 参与实验),并证明了一个关键结论:在部分分配下,简单地将 ERL 应用于参与单元(即"drop"未参与单元)会产生系统性偏差,而本文提出的 EARL 估计量通过额外的分配重加权(allocation reweighting)消除了这一偏差。与 Tan et al. [20] 相比,本文的设定更灵活(参与本身是随机的),且提供了闭式方差估计量而非依赖自助法。
子线索聚类¶
- 暴露映射与 IPW 方法:Aronow and Samii [1], Doudchenko et al. [3], Tan et al. [20]。这条线索强调通过倾向得分加权来平衡不同暴露水平下的单元,优点是对结果模型假设少,缺点是方差大、权重可能爆炸。
- 线性暴露-响应模型与 ERL:Harshaw et al. [7], Lu et al. [12], 以及本文。这条线索假设期望结果对暴露是线性的,从而可以用线性估计量实现无偏估计,方差远小于 IPW。本文的 EARL 属于此线索。
- 实验设计优化:Brennan et al. [2], Pouget-Abadie et al. [15]。这条线索关注如何通过聚类、相关随机化等设计手段减少干扰带来的偏差,与估计方法正交。
这个方向在追问的核心问题¶
- 如何在干扰存在时无偏估计 GATE? 主流方法是暴露映射 + 加权(IPW)或线性模型(ERL),瓶颈在于权重方差大或线性假设过强。
- 如何处理部分分配/部分合格性? 这是本文的核心贡献点。已知瓶颈是:简单删除未参与单元会引入"分配混淆"(allocation confounding),而现有方法(如 Tan et al. [20])要么假设合格性固定,要么依赖计算昂贵的模型集成。
- 如何在稀疏图下进行有效推断? 图越稀疏,每个分析单元的暴露越不稳定,方差估计越困难。Harshaw et al. [7] 和本文都给出了稀疏条件下的渐近理论,但最优方差下界仍未完全刻画。
⚠️ 作者的 framing(这是作者的说法)¶
作者将缺口 frame 为:"现有二分实验估计量(ERL、IPW)都假设所有随机化单元被完全分配,但实践中平台出于风险控制、保留组或并行测试的考虑,只分配一部分单元。忽略未分配单元会导致估计量收敛到 q·GATE 而非 GATE(偏差因子为 q)。" 作者声称其贡献是:(i) 构造了 EARL,在部分分配下无偏;(ii) 证明了 EARL 在自然线性估计量类中的最小方差性;(iii) 提供了闭式方差估计量。作者淡化了与 Tan et al. [20] 的竞争关系——后者处理的是"固定合格性"而非"随机参与",且未提供闭式方差估计。作者也回避了非线性结果模型的情形(其偏差界依赖于三阶导数,但无线性假设时无无偏性保证)。
张力¶
未见明显对立引用。但存在一个微妙的张力:Harshaw et al. [7] 的 ERL 在完全分配下是"设计无偏"的(不依赖结果模型),而本文的 EARL 在部分分配下需要线性期望结果假设(A3)才能无偏。这意味着:部分分配的无偏性是以更强的模型假设为代价的。作者在 Theorem 3.2(a) 中给出了无线性假设时的偏差界,但该界依赖于三阶导数的上确界,在实践中难以验证或估计。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号清单(逐个点名):
- 单元与图结构:
- \( \mathcal{A} \):分析单元(analysis units)集合,\( |\mathcal{A}| = N \),如用户。
- \( \mathcal{R} \):随机化单元(randomization units)集合,\( |\mathcal{R}| = M \),如商品。
- \( \mathcal{C} \subset \mathcal{A} \times \mathcal{R} \):二分图的边集,表示"分析单元与随机化单元有交互"。
- \( D(a) = \{ r \in \mathcal{R} : (a,r) \in \mathcal{C} \} \):与分析单元 \( a \) 相连的随机化单元集合,其大小 \( |D(a)| \le d_A \)(最大分析侧度数)。
-
\( d_R \):最大随机化侧度数(一个随机化单元最多连接多少个分析单元)。
-
随机变量与参数:
- \( S_r \in \{0,1\} \):随机化单元 \( r \) 是否参与实验(allocation indicator),\( S_r \sim \text{Bernoulli}(q) \),i.i.d.。
- \( Z_r \in \{0,1\} \):参与实验的单元 \( r \) 是否被分配到处理(treatment indicator),\( Z_r \sim \text{Bernoulli}(p) \),i.i.d.,且 \( S \perp\!\!\!\perp Z \)。
- \( Y_a \):分析单元 \( a \) 的可观测结果(随机变量)。
- \( e_a(s,z) = \mathbb{E}[Y_a \mid S=s, Z=z] \):给定所有分配与处理指示下的条件期望结果(潜在结果模型)。
- \( \mu_a(x,y) \):在"分配率 x、处理率 y"的假设实验下的期望结果(见公式 (2)),是 \( e_a \) 在独立 Bernoulli 分布下的平均。
- \( \mu(x,y) = \frac{1}{N} \sum_{a \in \mathcal{A}} \mu_a(x,y) \):总体平均期望结果。
- GATE(目标 estimand):\( \text{GATE} = \mu(1,1) - \mu(1,0) \),即所有随机化单元都参与且全部处理 vs 全部对照时的平均结果差。
-
\( \gamma_a = \mu_a(1,1) - \mu_a(1,0) \):单元 \( a \) 的个体处理效应(在完全分配下)。
-
可观测数据:
- 研究者观测到:图结构 \( \mathcal{C} \)、参与指示 \( S \)、处理指示 \( Z \)(仅对参与单元)、结果 \( Y_a \)(对所有分析单元)。
- 关键点:研究者观测不到未参与单元的"假如参与"的处理指示 \( Z_r \)(对 \( S_r=0 \) 的单元),也观测不到潜在结果 \( Y_a(s,z) \) 在所有反事实下的值。可观测与不可观测的区分:\( S, Z, Y \) 可观测;\( e_a, \mu_a, \gamma_a, \text{GATE} \) 是待估的 estimand,不可直接观测。
第二步:最小内核¶
最简特例:假设每个分析单元只连接一个随机化单元(\( |D(a)| = 1 \)),且每个随机化单元只连接一个分析单元(\( d_R = 1 \))。此时二分图退化为 \( N \) 对独立的"分析-随机化"配对。
- 数据生成:对每一对 \( (a,r) \):\( S_r \sim \text{Bernoulli}(q) \),若 \( S_r=1 \) 则 \( Z_r \sim \text{Bernoulli}(p) \),否则 \( Z_r \) 未定义(或不可观测)。结果 \( Y_a = \alpha_a + \beta_a S_r Z_r + \gamma_a S_r(1-Z_r) + \varepsilon_a \),其中 \( \beta_a \) 是处理效应,\( \gamma_a \) 是"参与但对照"的效应(可能不同于未参与的基线)。
- 目标:估计 \( \text{GATE} = \frac{1}{N} \sum_a (\beta_a - \gamma_a) \)(因为 \( \mu_a(1,1) - \mu_a(1,0) = \beta_a - \gamma_a \))。
为什么"drop"有偏:若只保留参与单元(\( S_r=1 \))并计算 ERL,则每个保留的配对 \( a \) 的权重是 \( (Z_r - p)/(p(1-p)) \),其期望为 \( \beta_a - \gamma_a \)。但未参与单元(\( S_r=0 \))的贡献被忽略,而它们在 GATE 中本应贡献 \( \beta_a - \gamma_a \)。由于 \( S_r \) 与 \( Z_r \) 独立,保留单元的期望贡献是 \( q(\beta_a - \gamma_a) \),因此 ERL-drop 的期望是 \( q \cdot \text{GATE} \),偏差因子为 \( q \)。
EARL 的修正:EARL 将每个参与连接 \( (a,r) \) 的权重乘以 \( 1/q \)(即 \( S_r/q \)),从而将保留单元的贡献"放大"回 \( \beta_a - \gamma_a \)。同时,它通过减去一个与分配率 \( G_a \) 相关的项(见公式 (18) 的构造),确保在期望中抵消掉未参与单元的影响。在最小例子中,EARL 的权重为 \( (S_r/q) \cdot (Z_r - p)/(p(1-p)) \),其期望恰好是 \( \beta_a - \gamma_a \),因为 \( \mathbb{E}[S_r/q] = 1 \) 且 \( S_r \) 与 \( Z_r \) 独立。
为什么成立:关键在于分配指示 \( S_r \) 与处理指示 \( Z_r \) 独立(假设 A1),且期望结果对暴露是线性的(假设 A3)。前者保证了 \( S_r/q \) 的乘法修正不会引入新的偏差;后者保证了单元 \( a \) 的期望结果可以分解为各随机化单元的独立贡献之和,从而可以通过线性加权恢复 GATE。若没有线性假设,EARL 的偏差由三阶导数控制(Theorem 3.2(a)),但无法保证无偏。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在二分网络实验中,当只有部分随机化单元参与实验(部分分配)时,如何无偏且高效地估计全局平均处理效应(GATE)。
- 核心工具/方法:提出了 EARL(Exposure- and Allocation-Reweighted Linear)估计量,通过同时按"参与连接中处理连接的比例"(暴露度)和"参与连接数"(每个连接按其参与倾向得分逆加权)重新加权观测,在自然线性估计量类中实现最小方差。
- 主要结论:EARL 在部分分配下无偏(在 A1–A3 假设下),且无论未分配单元经历何种体验(只要对期望结果有加性贡献),估计量都保持无偏;同时给出了两个渐近方差估计量,证明了估计量的一致性和渐近正态性,并在模拟中展示了相比现有基线最高 6 倍的误差降低。
关键设定与假设¶
- A1(随机化设计):\( S_r \sim \text{Bernoulli}(q) \),\( Z_r \sim \text{Bernoulli}(p) \),且 \( S \perp\!\!\!\perp Z \)。这比 Harshaw et al. [7] 的完全分配(\( q=1 \))更一般,但比 Tan et al. [20] 的固定合格性更灵活。
- A2(局部性与排除性):(i) 期望结果只依赖于直接相连的随机化单元的分配与处理(局部性);(ii) 未参与单元的"假如参与"处理指示不影响结果(排除性)。这比 [7] 的假设略弱,因为 [7] 要求所有单元都参与。
- A3(线性期望结果):\( e_a(s,z) \) 是 \( s_r \) 和 \( s_r z_r \) 的线性函数(加性贡献)。这是 EARL 无偏性的核心,也是与 [7] 相同的假设。
- A4/A4*(误差结构):条件期望之外的误差在给定 (S,Z) 下跨分析单元不相关(A4),或完全独立(A4*)。A4* 用于渐近正态性。
- A5(非退化性):EARL 的渐近方差有正下界,排除退化情形。
- A6(方差估计的非退化性):确保方差估计量的分母可逆,且图稀疏度满足 \( d_R d_A^3 = o(N) \) 等条件。
相比已有文献的放宽/强化:相比 [7],本文放宽了"完全分配"假设,但强化了方差估计的假设(A6 要求图足够稀疏,且对每个分析单元的度数有均匀下界)。相比 [20],本文不要求合格性固定,但强化了期望结果的线性假设([20] 允许更一般的暴露映射)。
主要结果¶
- Theorem 3.2(无偏性):(a) 在无线性假设时,EARL 的偏差被三阶导数控制(公式 (13));(b) 在 A3 下,EARL 精确无偏。这是本文的核心定理,证明思路是:先证明每个单元 \( a \) 的加权观测 \( \hat{\gamma}_a \) 的期望等于 \( \gamma_a \),再通过线性期望结果假设将单元级无偏性聚合为总体无偏性。
- Proposition 3.1(最优性):在形如 (11) 的线性重加权估计量类中,EARL 是唯一满足无偏性约束且方差最小的估计量。证明思路:将估计量分解为 EARL 加上一个与无偏性约束正交的项,利用方差的正定性证明分解项的系数必须为零。
- Theorem 3.3(一致性):在 \( d_R d_A^3 = o(N) \) 的稀疏图条件下,EARL 均方一致。证明思路:利用 Lemma A.3 的矩界和 Lemma A.1(b) 的协方差稀疏性,将均方误差分解为方差项和偏差项,分别控制。
- Theorem 3.4(渐近正态性):在 A4* 和 \( d_R^4 d_A^{10} = o(N) \) 条件下,标准化后的 EARL 依分布收敛到标准正态。证明思路:使用 Stein 方法(引用了 [16] Ross 的综述)处理局部依赖的随机变量和,将 EARL 表示为依赖图上的和,验证 Stein 方法的条件。
- Theorem 3.5(方差估计):构造的 \( \hat{V} \) 是精确无偏的方差估计量,且在 A6 条件下 \( \hat{V}/\text{var}(\hat{\tau}_{EARL}) \to 1 \)。证明思路:利用 A3* 的齐次性,将方差分解为可解析计算的矩项,通过 Lemma A.4 的集中不等式控制剩余项。
- Theorem 3.6(随机化推断):在强零假设 \( H_0^* \) 下,基于重随机化的方差估计量 \( \hat{V}_{RI} \) 渐近等价于真实方差。证明思路:利用重随机化样本的条件独立性,将 \( \hat{V}_{RI} \) 表示为独立同分布变量的经验方差,再结合 A4* 和稀疏性条件。
证明路线与技术技巧¶
- 整体路线:从"单元级无偏性"出发(Step 1),通过线性期望结果假设聚合为总体无偏性(Step 2-3),再通过矩界和稀疏性条件建立一致性(Theorem 3.3)和渐近正态性(Theorem 3.4)。方差估计部分则利用 A3* 的齐次性,将方差分解为可解析计算的矩项。
- 关键跳跃点:
- 从"期望"到"无偏"的跳跃:Theorem 3.2 的证明中,关键是将 \( \mathbb{E}[\hat{\gamma}_a] \) 表示为 \( \mu_a \) 的混合偏导数(公式 (25)),这需要 A2 的局部性和 A3 的线性性同时成立。
- 方差估计的矩匹配:Theorem 3.5 的证明中,关键是通过 A3* 将 \( \mathbb{E}[\hat{\gamma}_{a_1}\hat{\gamma}_{a_2}] \) 表示为 \( \gamma_{a_1}\gamma_{a_2} \) 加上一个可解析计算的偏差项,然后通过构造 \( R_{a_1,a_2} \) 的矩条件(公式 (18))精确抵消该偏差。
- 随机化推断的零假设:Theorem 3.6 的证明中,关键是在强零假设 \( H_0^* \) 下,\( Y_a \) 与 (S,Z) 独立,从而重随机化样本的条件分布与真实分布一致。
- 技术技巧点名:
- Stein 方法(引用了 [16] Ross 的综述):用于处理局部依赖随机变量和的渐近正态性,替代了传统的 Lyapunov 条件(后者在依赖图上难以验证)。
- Horvitz–Thompson 逆概率加权:EARL 的权重 \( S_r/q \) 本质上是分配倾向得分的逆,但通过线性化避免了 IPW 的权重爆炸问题。
- 矩匹配与正交分解:在 Proposition 3.1 中,将估计量分解为 EARL 加上正交项,利用方差的正定性证明最优性。
真实例子与应用¶
本文的实证部分为半合成模拟,基于两个公开数据集构建二分图:
- 数据:
- Amazon:用户-商品二分图,从 He and McAuley [8] 和 McAuley et al. [14] 的 Amazon 评论数据中抽取 1000 个用户(分析单元)和 2718 个商品(随机化单元),每个用户连接 2-50 个商品。
- MovieLens:用户-电影二分图,使用 MovieLens-100K 数据集 [6],943 个用户(分析单元)和 1682 部电影(随机化单元),每个用户连接数百部电影(\( d_A = 737 \)),是刻意选择的"密集图"压力测试。
-
Synthetic:按 Doudchenko et al. [3] 的设计生成,1000 个分析单元、100 个随机化单元,每个分析单元连接 1-10 个随机化单元。
-
结果:
- 无偏性:在 A3 满足时,EARL 在所有分配率 \( q \in \{0.1, ..., 1.0\} \) 下均无偏(偏差 < 0.03,在蒙特卡洛误差内),而 ERL-drop 的偏差随 \( 1-q \) 线性增长,在 \( q=0.2 \) 时偏差约为 GATE 的 80%。
- 方差:EARL 的方差在稀疏图(Synthetic、Amazon)上接近理论下界,在密集图(MovieLens)上略高,但始终低于 IPW 类估计量。在 MovieLens 上,IPW-alloc 因"纯暴露"事件概率极小(约 \( 10^{-100} \))而完全失效(返回 0),而 EARL 仍能给出合理估计。
- 随机化推断:在强零假设下,\( \hat{V}_{RI} \) 的覆盖概率接近名义水平(95%),但在 \( \gamma_u=1 \) 时(违反 \( H_0^* \))覆盖概率降至约 85%,验证了 Theorem 3.6 的理论预测。
🔎 结论是否比证明窄¶
- Theorem 3.2(a) 的偏差界:论文声称"无需线性假设即可控制偏差",但该界依赖于 \( \sup |\partial^3 \mu / \partial x^2 \partial y| \),这是一个无法从数据中估计的量。论文没有给出该上界的可操作估计方法,因此该结果更像是一个"定性保证"而非"定量工具"。
- Theorem 3.4 的渐近正态性:论文在 A4* 下证明了标准化后的渐近正态性,但 A4* 要求误差与 (S,Z) 完全独立,这在实践中可能过强(例如,未参与单元的经历可能通过一般均衡效应影响误差)。论文没有讨论 A4* 失败时的鲁棒性。
- Theorem 3.5 的方差估计:论文假设 A3*(齐次线性模型)来构造无偏方差估计量。但 A3* 比 A3 更强(要求系数不随单元变化),论文没有说明当 A3* 失败但 A3 成立时,\( \hat{V} \) 的偏差有多大。
- Theorem 3.6 的随机化推断:论文明确指出该结果需要强零假设 \( H_0^* \),且模拟显示在违反 \( H_0^* \) 时覆盖概率下降。论文没有提供在部分违反 \( H_0^* \) 时的校正方法。
四、开放问题¶
-
非线性期望结果的推断:Theorem 3.2(a) 的偏差界依赖于三阶导数,但未给出可操作的估计方法。能否构造一个对非线性模型鲁棒的估计量,或给出可估计的偏差校正项?(扎根于 Theorem 3.2(a) 的陈述与讨论)
-
方差估计的鲁棒性:Theorem 3.5 的方差估计量依赖 A3*(齐次线性模型)。当 A3* 失败但 A3 成立时,\( \hat{V} \) 的偏差有多大?能否构造一个不依赖齐次性的方差估计量?(扎根于 Theorem 3.5 的假设条件)
-
随机化推断的扩展:Theorem 3.6 需要强零假设 \( H_0^* \),且模拟显示在违反时覆盖概率下降。能否在更弱的零假设(如仅处理效应为零,但允许分配效应存在)下构造有效的随机化检验?(扎根于 Theorem 3.6 的讨论与模拟结果)
-
最优分配策略:本文假设分配率 \( q \) 是外生给定的。能否将 EARL 嵌入一个最优分配设计问题,即选择 \( q \) 以最小化估计量的渐近方差,同时满足风险约束?(扎根于结论部分的 future work 方向)
-
加权图的扩展:本文假设二分图是未加权的(每条边权重为 1)。在实际场景中,边可能有权重(如交互强度)。EARL 的权重公式如何推广到加权图?(扎根于公式 (17) 的权重定义)
提醒:要确认上述某条是否是真 gap,建议去读同一子方向近期约 5 篇论文(如 Lu et al. [12], Tan et al. [20], Sävje [18] 及其引用)的引言部分——如果多篇论文都指向同一个未解决问题,那很可能是共识性的真 gap;如果各论文对同一问题的处理方式互相矛盾,那可能是机会所在。
Maintained by 陈星宇 · Homepage · Source on GitHub