EARL: Exposure- and Allocation-Reweighted Linear Estimator for Bipartite Experiments with Partial Assignment¶
作者: Alexey Kurennoy
主题: 因果推断
相关性: 8/10
链接: https://arxiv.org/abs/2609.31022
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是二分图实验(bipartite experiments)中的因果推断。其根本科学问题是:当处理(treatment)随机化在一类单元(如商品、广告、帖子)上,而结果(outcome)在另一类单元(如顾客、用户)上测量,且两类单元通过一个已知的二分图相连时,如何从实验数据中无偏且高效地估计全局平均处理效应(GATE)——即若将所有处理单元全部置于处理或对照状态时,结果单元平均结果的差异。该方向的成熟度处于快速发展期:理论基础(如线性暴露-响应模型)已建立,但实际部署中的诸多约束(如部分分配、并发实验)尚未被充分纳入估计框架。
发展脉络¶
- 奠基工作:Zigler and Papadogeorgou (2021) 正式提出二分图实验框架,将处理单元与结果单元分离,并引入暴露映射(exposure mapping)的概念。Aronow and Samii (2017) 则从更一般的网络干扰角度,给出了在任意干扰结构下估计平均效应的 Horvitz-Thompson 型方法。这两篇奠定了"暴露"作为连接随机化与结果的桥梁这一核心思想。
- 主要进展:Harshaw et al. (2023) 提出暴露重加权线性(ERL)估计量,在假设结果单元对处理单元的响应是线性的(线性暴露-响应模型)下,证明了 ERL 的无偏性、一致性和渐近正态性,并给出了无偏方差估计量。这是本文的直接前身。同期,Doudchenko et al. (2020) 从广义倾向得分角度处理二分图干扰,强调暴露概率(generalized propensity score)在偏差校正中的作用。Brennan et al. (2022) 则转向设计问题,研究在二分图干扰下如何通过聚类随机化最小化估计偏差。
- 当前 frontier:两个方向正在推进。一是设计-估计联合优化:如 Lu et al. (2025) 在设计框架下(将处理分配视为固定,仅对随机化求期望)研究稀疏图下的估计与推断,提出保守方差估计量;Tan et al. (2025) 则引入"部分合格性"(partial eligibility)概念,研究只有部分处理单元有资格被随机化时的效应估计。二是方差估计与推断方法:Shi et al. (2024) 提出可扩展的随机化推断方法(CA-ERL),并给出线性时间算法。
- 本文的位置:本文填补了一个明确的空白——随机化单元只有部分被分配(partial assignment)。与 Tan et al. (2025) 的"部分合格性"(确定性、已知的合格子集)不同,本文的"部分分配"是随机的(每个单元以概率 q 参与),且未参与单元的经验是未知的、可能非对照的。本文在 ERL 的线性暴露-响应框架下,通过同时重加权暴露和分配覆盖,构造了无偏估计量,并证明其在自然线性估计量类中的方差最优性。
子线索聚类¶
- 线索一:暴露映射与线性响应模型。核心假设是结果单元对处理单元的响应可分解为各处理单元贡献之和(可加性)。代表:Harshaw et al. (2023)、本文。这一线索追求在明确模型下的精确无偏性与效率。
- 线索二:设计-估计联合优化。关注如何通过改变随机化机制(聚类、相关随机化)来降低估计方差或偏差。代表:Brennan et al. (2022)、Lu et al. (2025)。这一线索更贴近实验平台的工程约束。
- 线索三:非参数/弱假设方法。不假设线性响应,而是通过暴露概率加权(IPW)或机器学习估计暴露倾向得分。代表:Aronow and Samii (2017)、Doudchenko et al. (2020)、Tan et al. (2025)。这一线索追求模型鲁棒性,但方差通常较大。
这个方向在追问的核心问题¶
- 如何在部分分配下无偏估计 GATE? 当只有部分处理单元参与实验时,未参与单元的经验未知,如何避免估计偏差?本文给出的答案是:用分配覆盖(allocation coverage)重加权,并证明在可加性假设下无偏。
- 在什么条件下,线性估计量类中不存在比 ERL 更优的估计量? 本文证明了在自然线性类中,EARL 是方差最小的(Proposition 3.1)。
- 如何在不假设线性响应的情况下进行有效推断? 这是 IPW 类方法的领域,但方差爆炸问题严重。本文的线性假设换来了方差最优性,但牺牲了模型鲁棒性。
- 稀疏图下如何保证估计量的渐近性质? 本文的定理 3.3 和 3.4 给出了稀疏条件(d_R d_A^3 = o(N)),与 Harshaw et al. (2023) 的条件一致,说明这是该框架下的本质瓶颈。
⚠️ 作者的 framing¶
作者将缺口 frame 为:"现有方法(ERL)假设所有随机化单元都被分配,但实践中常存在未分配单元(如平台限制风险、保留 holdout 组),忽略它们会导致估计偏差。" 因此,本文的贡献是"在部分分配下构造无偏且方差最优的线性估计量"。作者淡化的竞争路线包括:(1) IPW 类方法(如 Tan et al. 2025),作者指出其方差随连接数指数增长;(2) 设计层面的解决方案(如仅对参与单元做条件推断),作者认为这不满足 GATE 的定义。值得研究者去查的问题:作者声称"EARL 在自然线性类中方差最优",但这一最优性是否依赖于 Bernoulli 分配?如果分配机制是聚类或相关的,EARL 是否仍然最优?作者未在文中讨论。
张力¶
未见明显对立引用。但存在一个微妙的张力:Harshaw et al. (2023) 的 ERL 在完全分配下是最优的,而本文的 EARL 在部分分配下是最优的,两者在 q=1 时重合。然而,Tan et al. (2025) 的"部分合格性"设定下,其估计量(基于广义倾向得分)并不要求线性响应,这与本文的线性假设形成对比——在非线性响应下,EARL 是否有界偏差? 作者在定理 3.2(a) 中给出了一个偏差界(由三阶导数控制),但未讨论该界在实践中的大小。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号(逐个点名):
- 单元与图:\(A\) 为结果单元(analysis units)集合,\(|A| = N\);\(R\) 为随机化单元(randomisation units)集合,\(|R| = M\)。二分图 \(C \subseteq A \times R\) 表示连接;\(D(a) = \{r \in R : (a,r) \in C\}\) 为与结果单元 \(a\) 相连的随机化单元集合,\(d_A = \max_a |D(a)|\) 为最大结果单元度数;\(d_R = \max_r |\{a : (a,r) \in C\}|\) 为最大随机化单元度数。
- 随机化与分配:\(S_r \in \{0,1\}\) 为分配指示(1 表示参与实验),\(S_r \sim \text{Bernoulli}(q)\);\(Z_r \in \{0,1\}\) 为处理指示(1 表示处理),\(Z_r \sim \text{Bernoulli}(p)\),且 \(S \perp Z\)。注意:\(Z_r\) 对未参与单元(\(S_r=0\))也有定义,但不可观测。
- 暴露与覆盖:\(G_a = \frac{1}{|D(a)|} \sum_{r \in D(a)} S_r\) 为分配覆盖(参与比例);\(H_a = \frac{1}{|D(a)|} \sum_{r \in D(a)} S_r Z_r\) 为暴露(参与且处理的比例);\(\tilde{H}_a = H_a / G_a\)(当 \(G_a > 0\))为参与单元中的处理比例。
- 结果与期望:\(Y_a\) 为结果单元 \(a\) 的观测结果;\(e_a(s,z) = E[Y_a | S=s, Z=z]\) 为条件期望结果;\(\mu_a(x,y) = E_{S \sim \text{Bern}(x), Z \sim \text{Bern}(y)}[e_a(S,Z)]\) 为在分配率 \(x\)、处理率 \(y\) 下的平均期望结果;\(\mu(x,y) = \frac{1}{N} \sum_a \mu_a(x,y)\)。
- 目标量:\(GATE = \mu(1,1) - \mu(1,0)\),即全部处理与全部对照时的平均结果差异。
- 估计量:\(\hat{\tau}_{EARL} = \frac{1}{N} \sum_a \phi_a Y_a\),其中 \(\phi_a = \sum_{r \in D(a)} \frac{S_r}{q} \cdot \frac{Z_r - p}{p(1-p)}\) 是 EARL 权重。
模型:数据生成机制如下——首先随机化单元独立地以概率 \(q\) 被分配参与实验(\(S_r\)),参与单元再独立地以概率 \(p\) 被分配处理(\(Z_r\))。结果单元 \(a\) 的期望结果 \(e_a(S,Z)\) 是 \(S\) 和 \(Z\) 的函数,满足可加性假设(Assumption A3):\(e_a(s,z) = \sum_{r \in D(a)} [\beta^a_{r,0} + \beta^a_{r,1}(1-s_r) + \beta^a_{r,2} s_r z_r + \beta^a_{r,3} s_r(1-z_r)]\),即每个随机化单元对结果单元的贡献是独立的,且取决于其状态(未参与/参与且对照/参与且处理)。可观测数据:研究者观测到 \((Y_a, \{S_r, Z_r\}_{r \in D(a)})\) 对所有 \(a\),即结果、分配指示、处理指示(仅对参与单元)。不可观测:未参与单元(\(S_r=0\))的"反事实"处理指示 \(Z_r\),以及未参与单元对结果的影响(通过 \(\beta^a_{r,1}\) 体现)。
第二步:最小内核¶
最简特例:假设每个结果单元只连接一个随机化单元(\(d_A = 1\)),且每个随机化单元只连接一个结果单元(\(d_R = 1\)),即 \(N = M\) 且图是完美匹配。此时 \(G_a = S_a\),\(H_a = S_a Z_a\),\(\tilde{H}_a = Z_a\)(当 \(S_a=1\))。GATE 简化为 \(\mu(1,1) - \mu(1,0) = \frac{1}{N} \sum_a (\beta^a_{1,2} - \beta^a_{1,3})\),即每个单元的处理效应均值。
核心问题:在部分分配(\(q<1\))下,如何无偏估计 GATE?
朴素方法(有偏):只使用参与单元(\(S_a=1\)),计算 \(\hat{\tau}_{drop} = \frac{1}{N} \sum_a S_a \cdot \frac{Z_a - p}{p(1-p)} Y_a\)。其期望为:
EARL 的修正:EARL 权重 \(\phi_a = \frac{S_a}{q} \cdot \frac{Z_a - p}{p(1-p)}\)。注意 \(\frac{S_a}{q}\) 的期望为 1,且 \(S_a\) 与 \(Z_a\) 独立,所以:
为什么这个例子是"最小内核":它揭示了 EARL 的核心机制——用 \(\frac{S_r}{q}\) 重加权分配覆盖,用 \(\frac{Z_r-p}{p(1-p)}\) 重加权处理分配。前者修正了"未分配单元被忽略"的偏差,后者是标准的倾向得分加权。在 \(d_A > 1\) 的一般情形下,这个机制不变,只是权重变为 \(\phi_a = \sum_{r \in D(a)} \frac{S_r}{q} \cdot \frac{Z_r - p}{p(1-p)}\),且需要处理单元之间的相关性(通过定理 3.3 的稀疏条件控制)。数学上,本文干的事情就是:在可加性假设下,构造一个线性权重 \(\phi_a\),使得 \(E[\phi_a Y_a] = \gamma_a\)(单元级效应),并证明在所有形如 \(\sum_a c_a Y_a\) 的线性估计量中,EARL 的方差最小(Proposition 3.1)。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在二分图实验中,当只有部分随机化单元被分配参与实验(partial assignment)时,如何无偏且高效地估计全局平均处理效应(GATE)。
- 核心工具/方法:提出 EARL(Exposure- and Allocation-Reweighted Linear)估计量,通过同时按分配覆盖(\(G_a\))和暴露(\(\tilde{H}_a\))重加权观测,在可加性假设下实现无偏估计,并给出两个方差估计量。
- 主要结论:EARL 在自然线性估计量类中方差最小;在稀疏图条件下(\(d_R d_A^3 = o(N)\))一致且渐近正态;模拟显示其误差比最强基线低至六倍,比 Horvitz-Thompson 式替代方案低一个数量级以上。
关键设定与假设¶
- A1(实验设计):\(S_r \sim \text{Bernoulli}(q)\),\(Z_r \sim \text{Bernoulli}(p)\),\(S \perp Z\)。这是部分分配的核心假设,比 Harshaw et al. (2023) 的完全分配(\(q=1\))更一般。
- A2(局部性与排除性):(i) 结果单元 \(a\) 的期望结果只依赖于 \(D(a)\) 中单元的分配与处理(局部性);(ii) 未参与单元的"反事实"处理指示不影响结果(排除性)。这比 Harshaw et al. (2023) 的假设更弱,因为允许未参与单元有非对照体验(通过 \(\beta^a_{r,1}\) 体现)。
- A3(可加性):\(e_a(s,z) = \sum_{r \in D(a)} [\beta^a_{r,0} + \beta^a_{r,1}(1-s_r) + \beta^a_{r,2} s_r z_r + \beta^a_{r,3} s_r(1-z_r)]\)。这是 EARL 无偏性的关键,也是其方差最优性证明的基础。相比 Harshaw et al. (2023) 的线性暴露-响应模型,A3 允许未参与单元有独立贡献,但不允许单元间交互。
- A4(误差不相关):条件于 \((S,Z)\),误差 \(\varepsilon_a = Y_a - e_a(S,Z)\) 跨单元不相关。这是方差估计的基础。
- A4*(误差独立):误差与 \((S,Z)\) 联合独立。用于随机化推断。
- A5(非退化):\(N \cdot \text{var}(\hat{\tau}_{EARL}) > \delta > 0\),排除退化情形。
- A6(方差估计非退化):\(\Sigma_{a_1,a_2}\) 的最小特征值有下界,保证方差估计量可逆。
相比已有文献的放宽/强化:放宽了完全分配假设(\(q=1\) → \(q<1\)),强化了可加性假设(A3 比 Harshaw et al. 的线性暴露-响应模型更具体,但允许未参与单元有非对照体验)。相比 Tan et al. (2025) 的"部分合格性"(确定性、已知子集),本文的"部分分配"是随机的,且未参与单元的经验未知。
主要结果¶
- 定理 3.2(无偏性):(a) 在无 A3 的情况下,\(|E[\hat{\tau}_{EARL}] - GATE|\) 由 \(\mu\) 的三阶偏导数控制(偏差界);(b) 在 A3 下,\(\hat{\tau}_{EARL}\) 精确无偏。证明技巧:引入辅助函数 \(T_a(y)\)(对 \(Y_a\) 做 Horvitz-Thompson 式重加权),利用 A2 的局部性将期望化简为 \(\mu_a\) 的混合偏导数,再用中值定理得到偏差界。
- Proposition 3.1(方差最优性):在所有形如 \(\hat{\tau}_c = \frac{1}{N} \sum_a \sum_{r \in D(a)} c(S_r) \frac{Z_r-p}{p(1-p)} Y_a\) 的线性估计量中(\(c(0), c(1)\) 为常数),EARL(\(c(s) = s/q\))是唯一满足 \(E[\hat{\tau}_c] = GATE\) 且方差最小的。证明技巧:将 \(\hat{\tau}_c\) 分解为 EARL 加一个正交项,利用 Cauchy-Schwarz 不等式证明正交项方差非负。
- 定理 3.3(一致性):在 \(d_R d_A^3 = o(N)\) 下,\(\hat{\tau}_{EARL} \xrightarrow{p} GATE\)。证明技巧:将估计量分解为"主项"(可精确计算期望)和"余项"(由图稀疏性控制),用 Chebyshev 不等式和 Cauchy-Schwarz 不等式给出余项的 \(L^2\) 界。
- 定理 3.4(渐近正态性):在 \(d_R^4 d_A^{10} = o(N)\) 下,标准化估计量依分布收敛到标准正态。证明技巧:使用 Stein 方法(引用 Ross 2011)处理局部依赖结构,将估计量表示为依赖图上的和,验证 Stein 方法的条件。
- 定理 3.5(方差估计):\(\hat{V}\) 精确无偏且一致。证明技巧:构造权重 \(R_{a_1,a_2}\) 使得 \(E[Y_{a_1}Y_{a_2}R_{a_1,a_2}] = \text{cov}(\hat{\gamma}_{a_1}, \hat{\gamma}_{a_2})\),利用 A3* 的齐次性将期望化简为可计算的矩。
- 定理 3.6(随机化推断):在强零假设 \(H_0^*\) 下,基于重随机化的方差估计量 \(\hat{V}_{RI}\) 渐近有效。证明技巧:利用 A4* 使重随机化副本与观测数据独立,将 \(\hat{V}_{RI}\) 表示为独立同分布变量的经验方差。
真实例子与应用¶
本文没有真实数据应用,但有一个详细的模拟研究(第 4 节),使用两个公开数据集构建二分图: - 数据:Amazon 产品评论图(用户-商品,\(N=1000\) 用户,\(M=2718\) 商品,\(d_A=42\))和 MovieLens-100K 图(用户-电影,\(N=943\) 用户,\(M=1682\) 电影,\(d_A=737\)),以及一个合成图(\(N=1000\),\(M=100\),\(d_A=10\))。 - 场景:三种结果生成模型——S1(正异质效应)、S2(近零效应)、S3(非线性响应,违反 A3)。 - 对比:EARL vs ERL-drop(在缩减图上运行的标准 ERL)vs IPW-assign(仅处理分配的 Horvitz-Thompson)vs IPW-alloc(同时考虑分配与处理的 Horvitz-Thompson)。 - 结果:EARL 在 S1 中无偏且 RMSE 最低(比 ERL-drop 低至 6 倍,比 IPW 低一个数量级以上);在 S2 中 EARL 的 RMSE 略高于 ERL-drop(因为方差惩罚),但仍无偏;在 S3 中所有线性估计量都有偏,但 EARL 的偏差最小。这个例子想说明:部分分配下,EARL 的无偏性优势在效应显著时远超其方差代价,且对模型误设有一定鲁棒性。
🔎 结论是否比证明窄¶
- 定理 3.2(a) 的偏差界:作者在定理陈述中给出了一个由三阶导数控制的偏差界,但在摘要和引言中声称"无偏"时,未明确说明这仅在 A3 下成立。具体语句:摘要中"unbiased"一词未限定 A3,而定理 3.2(b) 才给出精确无偏性。读者需注意,在非线性响应下,EARL 的偏差可能不可忽略。
- 定理 3.4 的渐近正态性:条件 \(d_R^4 d_A^{10} = o(N)\) 比定理 3.3 的 \(d_R d_A^3 = o(N)\) 强得多,但作者在结论部分(第 5 节)仅提到"在稀疏图条件下",未强调这一更强的条件。具体语句:第 5 节"under the same graph-sparsity conditions known for full-assignment ERL",但定理 3.4 的条件实际上比 Harshaw et al. (2023) 的对应条件更严格。
- 方差估计量的非负性:作者在第 3.4.2 节提到 \(\hat{V}\) 可能为负,但未给出修正方案或讨论其概率。具体语句:"\(\hat{V}\) is not guaranteed to be non-negative in finite samples",但未说明这是否影响实际使用。
四、开放问题¶
-
非线性响应下的偏差校正:定理 3.2(a) 的偏差界由三阶导数控制,但未给出可操作的偏差校正方法。扎根点:第 5 节"relaxing the homogeneity assumption underlying variance estimation"。要确认这是否为真 gap,可读 Sävje (2024) 关于 misspecified exposure mappings 的近期工作,看其是否已提出类似校正。
-
非伯努利分配机制下的最优性:Proposition 3.1 的最优性依赖于伯努利分配(\(S_r\) iid)。如果分配是聚类或相关的(如平台按地域或时段分配),EARL 是否仍然最优?扎根点:第 5 节"unit-specific allocation and assignment probabilities"。可查 Brennan et al. (2022) 的聚类设计文献,看是否有相关结果。
-
方差估计量的有限样本性质:\(\hat{V}\) 可能为负,且其收敛速度依赖于 \(\lambda_N\)(A6)。在 \(\lambda_N \to 0\) 时,方差估计的精度如何?扎根点:第 3.4.2 节"the smallest eigenvalue of \(\Sigma_{a_1,a_2}\) is at least \(\lambda_N\)"。可对比 Harshaw et al. (2023) 的方差估计量,看是否有改进空间。
-
与 IPW 类方法的理论比较:作者在模拟中比较了 IPW 类方法,但未给出理论上的方差比较。扎根点:第 4.2 节"IPW-alloc ... is so noisy"。可推导 EARL 与 IPW 的渐近相对效率,看是否在理论上也成立。
-
协变量调整:作者提到 covariate adjustment 是未来方向(第 5 节),但未给出具体方案。扎根点:第 5 节"covariate adjustment in the spirit of CA-ERL"。可参考 Shi et al. (2024) 的 CA-ERL,看其方法是否能直接扩展到部分分配情形。
提醒:要确认上述问题是否为真 gap,建议读近期(2024-2026)关于 bipartite experiments 的 5 篇左右论文(如 Lu et al. 2025, Tan et al. 2025, Shi et al. 2024),看它们是否已解决这些问题。如果多篇论文都指向同一问题,则可能是共识性 gap;如果互相矛盾,则可能是机会。
Maintained by 陈星宇 · Homepage · Source on GitHub