跳转至

The Double Diagonal Estimator: Reducing Bias in Two-Sided Marketplace Experiments

作者: Saanvi Chawla, Vasilis Syrgkanis
主题: 因果推断
相关性: 6/10
链接: https://arxiv.org/abs/2610.41294


一、领域脉络与小综述

  • 这个方向是什么:双边市场(如 Airbnb、Uber、Upwork)平台在评估产品干预(如搜索排序调整、徽章展示)时,面临一个核心的因果推断难题:干扰(interference)。由于市场供需双方通过均衡机制相互影响,对一部分用户(如乘客)施加处理会通过价格、库存等渠道改变另一部分用户(如司机)的行为,从而违反 SUTVA 假设,使标准 A/B 测试的估计量产生严重偏差。本子方向的核心问题是:在存在跨单位干扰的市场均衡条件下,如何设计实验与估计量,以无偏或低偏地估计全局处理效应(GTE)。该领域目前处于快速发展期,从早期识别干扰问题的存在,到近期开始系统比较不同估计量在特定市场模型下的理论性质。

  • 发展脉络(history):

    • 奠基工作:Eckles et al. (2017) 与 Ugander et al. (2013) 最早系统性地将网络干扰引入实验设计,证明了在存在干扰时,传统估计量(如完全随机化下的差分均值)是有偏的,并提出图聚类随机化等设计手段来缓解偏差。Hudgens & Halloran (2008) 与 Manski (2013) 则从潜在结果框架出发,形式化定义了在干扰下的因果 estimand(如直接效应、间接效应、全局效应),为后续研究提供了语言基础。
    • 主要进展(双边市场特化):Johari et al. (2021) 首次将干扰问题特化到双边市场,提出了均值场(mean-field)市场模型,并在此模型下分析了单边随机化(CR/LR)与双边随机化(TSR)的偏差来源。他们指出,市场均衡下的干扰是内生性的,偏差方向取决于市场供需结构。Wager & Xu (2021) 进一步从均衡视角出发,提出"实验即政策"的框架,强调在均衡条件下估计 GTE 需要同时考虑处理对直接参与者和间接参与者的影响。Li et al. (2022) 则系统研究了处理分配比例(treatment proportion)对偏差和方差的影响,为平台选择实验规模提供了指导。
    • 当前 frontier:Masoero et al. (2026) 将实验设计推广到多重随机化(MRD),在局部干扰假设下给出了有限样本方差与中心极限定理,但其分析侧重于方差与推断,对偏差的系统性比较仍不充分。Munro et al. (2025) 与 Shirani & Bayati (2024) 则尝试用更复杂的网络模型(如因果消息传递)来刻画干扰,但尚未在双边市场均衡框架下给出可操作的估计量比较。本文的位置:本文直接切入 Johari et al. (2021) 留下的空白——在均值场模型下,对 TSR 设计中的估计量选择问题给出首个系统性理论比较,而非仅分析单边随机化或仅关注方差。
  • 子线索聚类:

    1. 网络干扰的通用理论(Eckles, Ugander, Hudgens, Manski, Rosenbaum):关注一般网络结构下的因果识别与实验设计,为双边市场研究提供概念工具。
    2. 市场均衡与平台实验(Johari, Li, Wager, Xu, Bajari):以供需均衡为建模核心,分析干扰如何通过价格、库存等市场机制传导,并设计针对性的估计量。
    3. 特定场景的偏差校正(Bright et al., Farias et al., Goli et al., Nandy et al.):针对具体平台(如网约车、内容推荐、排名)提出启发式或模型驱动的偏差校正方法,但缺乏统一的理论框架。
    4. 实验设计与推断(Masoero et al., Han et al.):关注多重随机化设计的方差估计、假设检验与有限样本性质,与本文的偏差分析形成互补。
  • 这个方向在追问的核心问题:

    1. 识别问题:在何种市场结构(供需弹性、匹配技术)下,哪些 estimand 是可识别的?GTE 能否从实验数据中无偏恢复?
    2. 估计量设计:给定 TSR 设计,如何组合四个观测单元(处理/对照 × 处理/对照)的均值,以最小化偏差?是否存在一致优于 TSRN 的线性估计量?
    3. 偏差的方向与大小:市场参数(如外部选项吸引力、处理效应强度)如何决定偏差的符号与量级?何时偏差可以忽略?
    4. 方差与偏差的权衡:低偏差估计量是否必然伴随高方差?在有限样本下,如何选择最优估计量?
  • ⚠️ 作者的 framing(必须明确标注成"这是作者的说法"):作者将缺口 frame 成"在均值场模型下,TSRN 估计量的偏差在平衡市场条件下被系统性高估,且缺乏对估计量选择的指导"。他们声称"现有分析主要关注极端市场(高度供给或需求约束),而实际平台多处于平衡状态",因此需要一个新的估计量(DD)来填补这一空白。值得研究者去查的问题:作者在引言中淡化了 Li et al. (2022) 对偏差与分配比例关系的分析,也回避了 Masoero et al. (2026) 提出的 MRD 框架——DD 估计量是否可视为 MRD 的一个特例?作者未讨论方差问题,而 TSRN 的低方差可能是其在实际中被偏好的原因,这一竞争性解释被完全忽略。

  • 张力:未见明显对立引用。但存在一个隐含张力:Johari et al. (2021) 的插值估计量(TSRI-k)旨在通过市场平衡参数 β 自适应地选择 CR/LR 权重,而本文的 DD 估计量则完全绕开 β,直接使用所有四个单元。这两种思路在哲学上不同——前者假设市场参数可估计,后者则试图构造对参数不敏感的估计量。作者未在文中直接比较 DD 与 TSRI-k 的理论性质,仅通过实验展示 DD 更优,这是一个值得注意的回避。

二、最核心、最简单的例子 / 数学问题

第一步:把符号、模型、可观测数据交代清楚

  • 符号:
  • 市场参数:\(n\) 客户类型数,\(m\) 列表类型数;\(\rho_j\) 为 \(j\) 类列表的质量(总质量归一化为 1);\(\mu\) 为客户到达率;\(\tau_j\) 为 \(j\) 类列表的周转率(返回率)。
  • 匹配矩阵:\(P_{ij} \geq 0\) 为控制技术下客户 \(i\) 对列表 \(j\) 的匹配倾向;\(\tilde{P}_{ij}\) 为处理技术下的匹配倾向。处理效应体现为 \(\tilde{P}\) 与 \(P\) 的差异。
  • 状态变量:\(s_j(t) \in [0, \rho_j]\) 为 \(t\) 时刻 \(j\) 类列表的可用(未占用)质量;\(s = (s_1, \ldots, s_m)\) 为市场状态向量。
  • 可观测数据:在 TSR 实验下,观测到四个单元的稳态预订率 \(Q_{00}, Q_{01}, Q_{10}, Q_{11}\),其中 \(Q_{dz}\) 表示 \(d\) 类客户(0=对照,1=处理)预订 \(z\) 类列表(0=对照,1=处理)的速率。这些 \(Q\) 是可观测的标量,由实验数据聚合得到。
  • 目标量:全局处理效应 \(\text{GTE} = Q_{\text{treatment}} - Q_{\text{control}}\),其中 \(Q_{\text{treatment}}\) 是全局处理(所有客户和列表都用 \(\tilde{P}\))下的稳态总预订率,\(Q_{\text{control}}\) 是全局控制下的稳态总预订率。GTE 是不可直接观测的,因为实验只运行了混合状态。
  • 估计量:\(\widehat{\text{GTE}}_{\text{TSRN}}\)(公式 13)、\(\widehat{\text{GTE}}_{\text{DD}}\)(公式 20)等,都是 \(Q_{00}, Q_{01}, Q_{10}, Q_{11}\) 的线性组合。

  • 模型:均值场市场模型。客户到达后,根据当前可用列表 \(s\) 和匹配倾向 \(P\)(或 \(\tilde{P}\))以概率 \(\pi_{ij}(s) = \frac{P_{ij} s_j}{\epsilon_i + \sum_k P_{ik} s_k}\) 选择列表 \(j\) 并预订;预订后该列表质量被占用,直到以速率 \(\tau_j\) 释放。市场状态 \(s(t)\) 按确定性动力学方程(公式 3)演化,并收敛到唯一稳态 \(s^*\)。实验设计 TSR 将客户和列表各按比例 \(\alpha_C, \alpha_L\) 分为处理/对照,形成四个"类型",每个类型有各自的匹配矩阵(\(P\) 或 \(\tilde{P}\)),市场在"加倍"的类型空间上达到新的稳态 \(s^*_e\)。

第二步:讲最小内核

把模型剥到只剩一个客户类型、一个列表类型(\(n=m=1\)),并设周转率 \(\tau=1\)、客户到达率 \(\mu=1\)、列表总质量 \(\rho=1\)。控制匹配倾向 \(P=1\),处理匹配倾向 \(\tilde{P}=1+\varepsilon\)(\(\varepsilon>0\) 很小)。外部选项为 \(a>0\)。

在这个单类型世界里,市场状态只有一个变量:可用列表质量 \(s \in [0,1]\)。稳态条件为"流入 = 流出":

  • 全局控制:\(1 - s_C = \frac{s_C}{a + s_C}\)(左边是列表释放速率,右边是客户预订速率)。解得 \(s_C = \frac{-a + \sqrt{a^2 + 4a}}{2}\)。
  • 全局处理:\(1 - s_T = \frac{(1+\varepsilon) s_T}{a + (1+\varepsilon) s_T}\)。解得 \(s_T = \frac{-a + \sqrt{a^2 + 4a(1+\varepsilon)}}{2(1+\varepsilon)}\)。

GTE 就是全局处理与全局控制的预订率之差:

\[\text{GTE} = \frac{(1+\varepsilon) s_T}{a + (1+\varepsilon) s_T} - \frac{s_C}{a + s_C} = (1 - s_T) - (1 - s_C) = s_C - s_T.\]

现在做 TSR 实验:客户一半处理(\(\alpha_C = 1/2\)),列表一半处理(\(\alpha_L = 1/2\))。市场有四个类型:\((C,C), (C,T), (T,C), (T,T)\),每个类型有质量 \(\rho_{dz} = 1/4\) 和各自的匹配倾向。稳态下,每个类型的可用质量 \(s_{dz}\) 满足:

\[\frac{1}{4} - s_{dz} = \text{该类型的预订率}。\]

具体地,\(s_{CC}\) 满足 \(\frac{1}{4} - s_{CC} = \frac{s_{CC}}{a + s_{CC} + s_{CT} + s_{TC} + (1+\varepsilon) s_{TT}}\)(对照客户面对所有列表,但处理列表对其匹配倾向仍为 1,因为处理技术只在处理客户-处理列表对时激活)。类似地可以写出其他三个方程。解这个 4 维方程组得到 \(s_{CC}, s_{CT}, s_{TC}, s_{TT}\)。

核心思想:DD 估计量(公式 20)在这个单类型世界里退化为:

\[\widehat{\text{GTE}}_{\text{DD}} = \frac{s_{CC} + s_{TC}}{1/2} - \frac{s_{CT} + s_{TT}}{1/2} = 2(s_{CC} + s_{TC} - s_{CT} - s_{TT}).\]

注意 \(s_{CC} + s_{TC}\) 是所有对照列表的可用质量(无论客户是处理还是对照),\(s_{CT} + s_{TT}\) 是所有处理列表的可用质量。所以 DD 估计量就是"对照列表的可用质量减去处理列表的可用质量,再乘以 2 来模拟全局市场"。

为什么这个估计量有效:在全局处理下,所有列表都是处理列表,可用质量是 \(s_T\);在全局控制下,所有列表都是对照列表,可用质量是 \(s_C\)。GTE 是 \(s_C - s_T\)。在 TSR 实验中,对照列表的可用质量 \(s_{CC} + s_{TC}\) 近似于全局控制下的 \(s_C\)(因为对照列表从未被处理技术增强,其被预订的速率与全局控制类似),而处理列表的可用质量 \(s_{CT} + s_{TT}\) 近似于全局处理下的 \(s_T\)(但打了折扣,因为只有 \(\alpha_C\) 的客户是处理客户,能对处理列表施加增强的匹配倾向)。DD 估计量通过除以 \(\alpha_L\) 来放大处理列表的效应,从而近似恢复全局处理的预订率。

数学上发生了什么:在小 \(\varepsilon\) 极限下,可以证明 \(\widehat{\text{GTE}}_{\text{DD}} = \text{GTE} + O(\varepsilon^2)\),而 \(\widehat{\text{GTE}}_{\text{TSRN}} = \text{GTE} + O(\varepsilon)\)。也就是说,DD 的一阶偏差为零,而 TSRN 的一阶偏差不为零。原因在于:TSRN 将 \(Q_{11}\) 除以 \(\alpha_C \alpha_L\) 来模拟全局处理,但忽略了处理客户与对照列表、对照客户与处理列表之间的交互项;而 DD 通过同时使用 \(Q_{01}\) 和 \(Q_{10}\) 这两个"非对角"项,恰好抵消了这些交互项的一阶贡献。这就是整篇论文的核心:DD 利用非对角单元的信息来校正干扰偏差,而 TSRN 只使用对角单元,因此丢失了关键的干扰信号。

三、这篇论文做了什么

三句话: 1. 研究了什么问题:在双边市场 TSR 实验下,比较不同估计量(TSRN、CR、LR、TSRI-k、DD)在估计全局处理效应时的偏差,并给出何时选择哪个估计量的理论指导。 2. 核心工具/方法:采用均值场市场模型(Johari et al. 2021),在小处理效应(\(\varepsilon \to 0\))下对估计量做一阶泰勒展开,将偏差表示为市场参数(外部选项 \(a\)、处理分配比例 \(\alpha_C, \alpha_L\))的显式函数。 3. 主要结论:DD 估计量的偏差在平衡市场条件下严格小于 TSRN;两者偏差方向相反(DD 低估,TSRN 高估);存在唯一临界阈值 \(a^*(\alpha_L)\),当外部选项低于该阈值时 DD 占优,高于时 TSRN 占优;\(a^*\) 随 \(\alpha_L\) 单调递减。

关键设定与假设: - 模型:单客户类型、单列表类型(\(n=m=1\)),控制匹配倾向归一化为 1,处理匹配倾向为 \(1+\varepsilon\)。外部选项 \(a>0\) 代表客户不预订平台列表时的效用。 - 实验设计:TSR,客户处理比例 \(\alpha_C\),列表处理比例 \(\alpha_L\)。处理技术仅在处理客户-处理列表对时激活(即 \(\tilde{P}\) 只作用于 \((T,T)\) 单元)。 - 小处理效应:\(\varepsilon \to 0\),所有偏差分析基于一阶泰勒展开。这是论文最关键的简化假设——它使得偏差可以解析表达,但也限制了结论对"大处理效应"的适用性。 - 稳态分析:所有量在均值场稳态下计算,忽略有限样本噪声。因此论文只分析偏差,不分析方差。 - 与已有文献的对比:相比 Johari et al. (2021) 的极端市场分析(\(\beta \to 0\) 或 \(\beta \to \infty\)),本文首次给出中间平衡市场的完整偏差刻画;相比 Masoero et al. (2026) 的非参数框架,本文在参数模型下给出更精细的偏差符号与大小。

主要结果: - 定理 1(i):DD 的偏差 \(B_{DD}(\varepsilon) < 0\) 对所有 \(a > 0\) 和 \(\alpha_L \in (0,1)\) 成立(小 \(\varepsilon\) 下)。即 DD 系统性低估真实 GTE。 - 定理 1(ii):TSRN 的偏差 \(B_{TSRN}(\varepsilon) > 0\) 对所有 \(a > 0\) 和 \(\alpha_L \in (0,1)\) 成立。即 TSRN 系统性高估真实 GTE。 - 定理 1(iii):存在唯一 \(a^*(\alpha_L) > 0\) 使得 \(|B_{DD}| < |B_{TSRN}|\) 当且仅当 \(a < a^*(\alpha_L)\)。\(a^*\) 是方程 \(\Psi(a, \alpha_L) = 0\) 的唯一根,其中 \(\Psi = B_{DD} + B_{TSRN}\)。 - 定理 1(iv):\(a^*(1/2) = \frac{4}{3} + \frac{8\sqrt{7}}{21} \approx 2.34\)。 - 定理 1(v):\(da^*/d\alpha_L < 0\),即列表处理比例越高,DD 的占优区间越小。 - 实验验证:40 个场景中,DD 在 35 个场景中取得最低绝对偏差(87.5%),在剩余 5 个场景中(极端供给/需求约束)TSRI-2 或 TSRN 占优。DD 的中位相对偏差为 20.5%,而 TSRN 为 117%。

证明路线与技术技巧: - 整体路线: 1. 稳态求解:写出全局控制、全局处理、TSR 实验三种场景下的稳态方程组(公式 23-32),利用单类型假设将方程组化简为关于 \(s_C, s_T, s_{CC}, s_{CT}, s_{TC}, s_{TT}\) 的代数方程。 2. 一阶展开:将 \(s_{CC}, s_{CT}, s_{TC}, s_{TT}\) 在 \(\varepsilon = 0\) 处泰勒展开,代入稳态方程,利用隐函数定理(引理 8)解出各状态变量对 \(\varepsilon\) 的导数。 3. 偏差计算:将估计量(TSRN、DD)的表达式代入,计算其一阶偏差 \(B = \frac{d}{d\varepsilon}(\widehat{\text{GTE}} - \text{GTE})|_{\varepsilon=0}\)。 4. 符号分析:对 \(B_{DD}\) 和 \(B_{TSRN}\) 做代数化简,利用多项式符号判别法(Sturm 定理)证明其符号恒定。 5. 阈值求解:令 \(\Psi = B_{DD} + B_{TSRN} = 0\),将 \(\Psi\) 写成 \(L + M\sqrt{a+4}\) 的形式(引理 6),通过共轭有理化将方程化为二次多项式 \(Q(a, \alpha_L) = 0\),求根并验证唯一性。 - 关键跳跃点: - 引理 7:证明 TSR 实验稳态下 \(s_{CC} + s_{TC} = (1-\alpha_L)\hat{s}_C\) 和 \(s_{CT} + s_{TT} = \alpha_L \hat{s}_C\) 在 \(\varepsilon=0\) 时成立。这个"比例性"是 DD 估计量能精确恢复全局控制/处理状态的关键——它保证了实验稳态是全局稳态的凸组合。 - 定理 4 的证明:将 \(\Psi\) 的零点问题转化为二次多项式 \(Q(a, \alpha_L)\) 的根问题。这里最精妙的一步是共轭有理化:\(\Psi = L + M\sqrt{a+4} = 0\) 等价于 \(L^2 - M^2(a+4) = 0\),从而消去根号,得到显式多项式。作者通过验证 \(Q\) 在 \((0,4)\) 和 \((4,\infty)\) 上的符号变化,排除了伪根。 - 定理 5 的证明:利用隐函数定理对 \(Q(a^*(\alpha_L), \alpha_L) = 0\) 求导,得到 \(da^*/d\alpha_L\) 的表达式,再通过多项式系数符号分析证明其恒为负。 - 技术技巧点名: - 隐函数定理(引理 8):用于保证稳态解对 \(\varepsilon\) 的连续可微性,从而允许泰勒展开。 - Sturm 定理/符号判别:用于证明 \(B_{DD}\) 和 \(B_{TSRN}\) 的符号恒定,避免直接求解高次多项式。 - 共轭有理化:将含 \(\sqrt{a+4}\) 的表达式转化为多项式,是求解阈值的关键代数技巧。 - 多项式系数分析:通过检查 \(Q(a, \alpha_L)\) 各项系数的符号,确定根的分布区间。

真实例子与应用: - 本文没有真实数据案例,但包含一个大规模模拟实验(40 个场景),覆盖六类市场结构:处理效应异质性、供需不平衡、稀疏/稠密市场、幂律分布、结构干预(如新匹配)、极端外部选项。 - 模拟方法:对每个场景,设定 \(P, \tilde{P}, \mu, \tau, \rho, \epsilon\) 参数,数值求解稳态方程组(用不动点迭代),计算各估计量的偏差并与真实 GTE 比较。 - 关键结果:DD 在 35/40 场景中最低偏差;在"处理效应异质性"和"结构干预"场景中优势最明显(相对偏差 < 10%);在"极端供给约束"(\(\tau\) 极小)场景中,TSRI-2 略优于 DD。 - 模拟还验证了理论预测的偏差方向:DD 始终低估,TSRN 始终高估,且两者偏差随 \(a\) 增大而趋近(在 \(a \to \infty\) 时都趋于零)。

🔎 结论是否比证明窄: - 明确窄于证明的声明:定理 1 的证明严格限于 \(n=m=1\)、\(\alpha_C = 1/2\)、\(\varepsilon \to 0\)。但作者在摘要和结论中声称"DD 在平衡市场条件下优于 TSRN",这一表述未涵盖多类型市场(\(n,m > 1\))或大处理效应情形。作者在结论中承认"多类型市场的理论分析留待未来工作",但摘要的措辞可能让读者高估结论的适用范围。 - 模拟中未验证的边界:模拟场景虽多,但没有覆盖 \(\alpha_C \neq 1/2\) 的情形(理论要求 \(\alpha_C = 1/2\)),也没有覆盖 \(\varepsilon\) 较大(如 \(\varepsilon > 0.5\))的情形。作者在 8.3 节承认"方差分析超出本文范围",但未说明在有限样本下 DD 的方差可能远高于 TSRN(因为 DD 使用了非对角单元,其样本量可能很小)。 - 一个可疑的 claim:作者在 7.4 节声称"DD 的偏差独立于 \(\alpha_L\)"(定理 2 的推论),但定理 4 的阈值 \(a^*(\alpha_L)\) 又依赖 \(\alpha_L\)。这两者并不矛盾(偏差符号独立,但大小比较依赖),但作者未明确区分"偏差符号"与"偏差大小"的独立性,可能造成混淆。

四、开放问题

  1. 多类型市场的理论分析(扎根于 8.3 节"formal theoretical analysis of heterogeneous markets remains an open direction"):当 \(n,m > 1\) 时,DD 估计量的偏差是否仍为负?阈值 \(a^*\) 是否存在且唯一?这需要处理高维稳态方程组,可能用到随机矩阵或算子谱理论。
  2. 方差分析与有限样本推断(扎根于 8.3 节"we have only focused on bias and ignored any variance consideration"):DD 的低偏差是否以高方差为代价?在有限样本下,MSE 最优的估计量是什么?能否构造类似 TSRN 的保守方差估计量?
  3. 大处理效应(扎根于定理 1 的 \(\varepsilon \to 0\) 假设):当 \(\varepsilon\) 较大时,DD 的偏差符号是否反转?是否存在二阶项主导的区间?
  4. 非均值场模型(扎根于 2 节对均值场模型的依赖):当市场存在异质性匹配(如地理空间约束)或策略性行为(如卖家动态定价)时,DD 估计量是否仍然有效?这需要将均值场模型推广到更一般的随机网络模型。
  5. 与 MRD 框架的统一(扎根于 2 节对 Masoero et al. 的引用):DD 估计量在 Masoero et al. 的局部干扰框架下是否具有有限样本无偏性?能否将 DD 的偏差分析嵌入 MRD 的方差分析框架,得到 MSE 最优的线性组合?

提示:要确认这些是否是真 gap,建议去读 Johari et al. (2021) 的后续工作(尤其是他们是否已有多类型市场的分析)、Li et al. (2022) 的方差分析(可能已部分回答第 2 点)、以及 Munro et al. (2025) 的均衡实验框架(可能已涉及第 4 点)。如果这些文献中已有答案,则上述问题的价值会降低。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论