跳转至

Measuring Gift Card Program Incrementality via Causal Data Fusion

作者: Justin Whitehouse, William Betz, Yan Zhang, Peter Coles, Ramesh Johari, Vasilis Syrgkanis
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2610.08558


一、领域脉络与小综述

这个方向是什么

本文研究的核心问题是礼品卡项目的增量收益(incrementality)的因果识别与估计。具体而言,企业希望知道:如果不存在礼品卡项目,客户原本会消费多少?礼品卡项目带来的"额外"消费(增量收益)是多少?这一问题的根本困难在于,在观测数据中,客户的处理状态(是否持有礼品卡)是系统性缺失的——只有当客户实际发生购买行为时,企业才能观察到其是否使用了礼品卡;对于未购买的客户,企业无法知道其是否持有礼品卡。这种"处理变量部分缺失"(treatment censoring)的问题使得标准的因果推断方法(如倾向得分匹配、逆概率加权)无法直接应用。本文的核心贡献在于提出一种数据融合(data fusion)策略:将大规模观测数据(处理状态缺失)与小规模实验数据(处理状态完全观测)相结合,在温和的可迁移性条件下实现增量收益的非参数识别与估计。

发展脉络

本文的方法论根基可以追溯到三条文献线索:

  1. 数据融合与可迁移性(Data Fusion & Transportability):这是本文最直接的理论框架。Bareinboim and Pearl [2016] 提出了系统性的数据融合理论,用选择图(selection diagrams)刻画不同总体/实验环境之间因果结构的异同。本文的"可迁移风险比"假设(Assumption 4)正是这一框架的具体化——它不要求实验与观测总体的结果分布或处理分配机制相同,只要求"有/无礼品卡条件下购买概率之比"跨总体不变。这比传统的"结果回归可迁移"假设(如 Dahabreh et al. [2019] 的 generalizability 文献)更弱,因为允许基线购买率存在任意差异。

  2. 缺失数据与部分可观测处理(Missing Data & Partially Observed Treatment):本文的处理变量缺失问题与 Lewbel [2007]、Braun et al. [2017] 研究的"处理变量测量误差/错分"问题有本质区别。在错分问题中,处理变量被噪声污染但并非系统性缺失;而本文中,处理状态仅在购买事件发生时被揭示,未购买者的处理状态完全不可观测。Zhou and Tchetgen [2024] 研究的"隐藏处理"(hidden treatment)问题与本文最接近,但他们的识别策略依赖于代理变量结构,而本文依赖的是实验数据的辅助信息。

  3. 半参数效率理论与去偏机器学习:本文的估计策略建立在 Chernozhukov et al. [2018] 的 double/debiased machine learning (DML) 框架之上。DML 的核心思想是通过 Neyman 正交化构造对 nuisance 参数一阶不敏感的估计方程,使得最终估计量在 nuisance 以较慢速率收敛时仍能达到 √n 收敛速率。本文的特殊之处在于:目标参数涉及两个不同分布(观测与实验)的 nuisance 函数,且实验样本量远小于观测样本量,这要求对跨样本的交叉拟合和正交化进行专门设计。Chernozhukov et al. [2023] 关于协变量偏移下线性泛函估计的结果是本文技术证明的直接基础。

子线索聚类

  • 线索一:因果识别的可迁移性条件(Bareinboim and Pearl [2016], Dahabreh et al. [2019], Colnet et al. [2024]):这一簇文献回答"什么条件下,一个总体中的因果效应可以迁移到另一个总体"。本文的 Assumption 4 是这一问题的变体:不是迁移效应本身,而是迁移"条件购买概率之比"。
  • 线索二:处理变量缺失/错分下的因果推断(Lewbel [2007], Braun et al. [2017], Zhou and Tchetgen [2024]):这一簇文献处理"处理状态不可完全观测"的问题。本文的独特之处在于缺失机制与结果变量(购买行为)直接关联——缺失本身是内生的。
  • 线索三:去偏机器学习与半参数效率(Chernozhukov et al. [2018, 2022a,b,c,d, 2023], Van Der Laan and Rubin [2006], Bang and Robins [2005]):这一簇文献提供估计与推断的工具箱。本文的贡献在于将 DML 框架推广到"观测+实验"双样本、双 nuisance 的场景。

这个方向在追问的核心问题

  1. 识别问题:在何种条件下,处理状态部分缺失的数据仍能识别因果效应?本文给出的答案是:需要实验数据提供"条件购买概率之比",且该比值可迁移。
  2. 估计问题:如何在高维 nuisance 函数存在时构造 √n 一致的估计量?本文的答案是 Neyman 正交化 + 交叉拟合。
  3. 推断问题:当实验样本量远小于观测样本量时,如何构造有效的置信区间?本文的答案是 delta method 结合影响函数分解。

⚠️ 作者的 framing

作者将本文定位为"数据融合文献中处理变量部分缺失的新场景"。他们强调,与传统的 surrogacy 文献(如 Athey et al. [2025])不同,本文的中间变量 B(购买行为)不是一个完整的替代结局(surrogate),因为处理变量 G 对结局 Y 的直接影响即使在控制 B 后仍然存在(即 Y 不独立于 G 给定 X 和 B)。这是作者明确指出的与 surrogacy 框架的关键区别(见 Appendix E 的讨论)。作者还淡化了与"处理错分"文献的联系,强调本文的缺失机制是"系统性"的而非随机的。

值得研究者去查的问题:作者声称"本文的识别策略在现有数据融合文献中未被研究过",但这一 claim 是否成立?Zhou and Tchetgen [2024] 的"隐藏处理"框架是否真的无法容纳本文的场景?此外,作者在 Appendix G.2 中承认实验的预处理筛选(pre-screening)可能使实验总体与观测总体存在系统性差异,但这一差异是否真的能被"风险比可迁移"假设充分吸收,值得进一步推敲。

张力

未见明显的文献间对立引用。但存在一个微妙的内部张力:作者一方面强调"可迁移性假设比结果分布可迁移更弱"(这是优点),另一方面在 Appendix G.2 中承认实验的预处理筛选可能使"风险比可迁移"本身受到威胁(这是弱点)。这一张力在敏感性分析(Appendix F.3)中得到了部分回应,但敏感性分析只考虑了乘性偏离,未考虑更复杂的偏离形式。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号清单(逐个点名):

符号 含义 类型
\(X\) 客户特征向量(153维,含历史消费、浏览行为等) 可观测协变量
\(G \in \{0,1\}\) 是否持有礼品卡(处理变量) 潜在/不可观测(对未购买者)
\(B \in \{0,1\}\) 是否发生购买(购买行为) 可观测
\(Y \geq 0\) 消费金额(Gross Booking Value, GBV) 可观测(当 \(B=1\) 时);\(Y=0\) 当 \(B=0\)
\(S = G \cdot B\) 是否使用礼品卡购买(观测到的处理指示) 可观测
\(D = (1-G) \cdot B\) 是否无礼品卡购买 可观测
\(Y(0)\) 无礼品卡时的潜在消费 潜在结果
\(Y(1)\) 有礼品卡时的潜在消费 潜在结果
\(B(0), B(1)\) 无/有礼品卡时的潜在购买决策 潜在结果
\(A\) 礼品卡面值(redeemed amount) 可观测(当 \(S=1\) 时)
\(\Delta_0\) 增量收益(incremental revenue) 目标 estimand
\(\kappa_0\) 增量系数(incrementality coefficient) 目标 estimand
\(\rho_0\) 增量比率(incrementality ratio) 目标 estimand
\(p_0(x)\) 实验总体中无礼品卡时购买概率 nuisance(实验数据识别)
\(q_0(\tau, x)\) 实验总体中有礼品卡时购买概率 nuisance(实验数据识别)
\(g_0(x)\) 无礼品卡购买者的平均消费(organic spend) nuisance(观测数据识别)
\(r_0(\tau, x)\) 使用礼品卡购买的概率 nuisance(观测数据识别)
\(\ell_0(x)\) 无礼品卡购买概率(观测数据) nuisance(观测数据识别)
\(\pi_0(x)\) 观测数据中持有礼品卡的概率(倾向得分) nuisance(不可识别,但可消去)

模型设定:

  • 观测数据:\(W = (X, S, D, B, Y)\),其中 \(S = G \cdot B\),\(D = (1-G) \cdot B\)。关键约束:当 \(B=0\) 时,\(G\) 不可观测,因此 \(S=D=0\)。
  • 实验数据:\(Z = (X, G, B, Y)\),处理 \(G\) 完全随机分配(或至少条件随机),\(G\) 对所有单元可观测。
  • 核心结构假设:\(Y = 0\) 当且仅当 \(B = 0\)(不购买则不消费);\(Y = Y(0)\) 当 \(G=0\)(一致性);\(Y(0) = 0\) 当 \(B(0) = 0\)(无礼品卡时不购买则无消费)。

目标 estimand:

\[\Delta_0 = E[(Y - Y(0)) \cdot G]\]

即:礼品卡项目带来的人均增量收益。由此派生:

\[\kappa_0 = \frac{\Delta_0}{E[A \cdot G]} \quad \text{(每美元礼品卡面值带来的增量收益)}\]
\[\rho_0 = \frac{\Delta_0}{E[Y \cdot G]} \quad \text{(礼品卡持有者消费中属于增量的比例)}\]

第二步:最小内核

剥去所有技术细节后,本文要解决的最小数学问题是:

给定观测数据中 \(G\) 对非购买者不可观测,如何用实验数据"补全"缺失的信息?

最简特例:假设 \(X\) 为空集(无协变量),且实验数据中 \(G\) 完全随机分配。此时:

  • 观测数据可识别:\(P(B=1|S=1) = 1\)(使用礼品卡购买者必然购买),\(E[Y|S=1]\)(礼品卡购买者的平均消费),\(E[Y|D=1]\)(无礼品卡购买者的平均消费),\(P(B=1)\)(总购买率)。
  • 观测数据不可识别:\(P(G=1)\)(礼品卡持有率),\(P(B=1|G=1)\)(持卡者购买率),\(P(B=1|G=0)\)(非持卡者购买率)。

实验数据可识别:\(p_0 = P(B=1|G=0)\) 和 \(q_0 = P(B=1|G=1)\)。

关键识别步骤(无协变量情形):

  1. 增量收益可分解为:

    \[\Delta_0 = E[Y \cdot G] - E[Y(0) \cdot G]\]

  2. 第一项 \(E[Y \cdot G] = E[Y \cdot S]\)(因为 \(Y=0\) 当 \(B=0\),且 \(G \cdot Y = G \cdot B \cdot Y = S \cdot Y\)),可直接从观测数据估计。

  3. 第二项 \(E[Y(0) \cdot G]\) 需要分解:

    \[E[Y(0) \cdot G] = E[Y(0) \cdot B(0) \cdot G] = E[Y(0) \cdot B(0) \cdot G \cdot \mathbf{1}\{B(0)=1\}]\]

  4. 利用条件独立性 \(Y(0) \perp G | X\)(无礼品卡时的消费与是否收到礼品卡独立,给定协变量),以及 \(Y(0) = Y\) 当 \(G=0\):

\[E[Y(0) \cdot G] = E\left[ \frac{G \cdot P(B(0)=1|X)}{P(B=1|G=0,X)} \cdot Y(0) \cdot B(0) \right]\]
  1. 关键一步:可迁移风险比假设(Assumption 4)给出:
    \[\frac{P(B=1|G=0,X)}{P(B=1|G=1,X)} = \frac{p_0(X)}{q_0(X)} = \frac{p_0^{exp}(X)}{q_0^{exp}(X)}\]

即观测总体中"无礼品卡/有礼品卡购买概率之比"等于实验总体中的对应比值。这允许我们用实验数据估计 \(p_0(X)/q_0(X)\),而无需知道 \(P(G=1|X)\)。

  1. 最终识别公式(无协变量时):
    \[\Delta_0 = E[Y \cdot S] - E\left[ g_0(X) \cdot \frac{p_0(X)}{q_0(X)} \cdot S \right]\]

其中 \(g_0(X) = E[Y|D=1,X]\) 是观测数据可识别的"无礼品卡购买者的平均消费"。

为什么这个特例抓住了核心:所有技术复杂性(Neyman 正交化、交叉拟合、影响函数)都是在为这个基本识别公式服务。公式中的三个 nuisance 函数——\(g_0\)(观测数据估计)、\(p_0/q_0\)(实验数据估计)、以及它们之间的交互——构成了估计的全部挑战。当 \(X\) 非空时,需要估计这些函数的条件版本;当实验样本量小时,需要特殊的去偏处理。但识别的逻辑在无协变量时已经完整呈现。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在礼品卡处理状态对非购买者系统性缺失的观测数据中,如何结合小规模实验数据来识别和估计礼品卡项目的增量收益(增量系数 \(\kappa_0\) 和增量比率 \(\rho_0\))。
  2. 核心方法:提出一种数据融合识别策略,仅需"条件购买概率之比"(风险比)在观测与实验总体间可迁移,结合 Neyman 正交化与交叉拟合构造 √n 一致、渐近正态的估计量。
  3. 主要结论:在 Airbnb 北美四个渠道的真实数据上,发现第三方渠道(B2B、Retail Online)的礼品卡项目具有显著增量性(IR 约 0.20-0.22),而第一方渠道(First-Party)增量性为负但不显著;自购礼品卡者的增量性显著高于一般人群。

关键设定与假设

假设体系(按重要性排序):

  1. Assumption 1(单侧条件可忽略性):\(Y(0) \perp G | X\)。这是最核心的因果假设,只要求无礼品卡时的潜在消费与处理分配独立。比标准的强可忽略性(\(Y(0), Y(1) \perp G | X\))弱得多,因为不需要 \(Y(1)\) 的条件独立性。在观测数据中,这意味着控制了 153 维特征后,是否收到礼品卡与"无礼品卡时的消费潜力"无关。相比标准因果推断文献,这是显著弱化。

  2. Assumption 4(可迁移风险比):\(\frac{P^{obs}(B=1|G=0,X)}{P^{obs}(B=1|G=1,X)} = \frac{P^{exp}(B=1|G=0,X)}{P^{exp}(B=1|G=1,X)}\)。这是数据融合的关键桥梁。它允许两个总体的基线购买率、协变量分布、处理分配机制完全不同,只要求"风险比"不变。相比要求结果回归可迁移或处理机制可迁移的文献,这是显著弱化。

  3. Assumption 3(部分观测结构):\(S = G \cdot B\),\(D = (1-G) \cdot B\)。这是问题的结构性定义,不是可验证的假设。

  4. Assumption 2(单侧正性):\(P^{obs}(G=0|X=x) > 0\)。保证观测数据中存在足够的无礼品卡购买者来估计 \(g_0\)。

  5. Assumption 9(Logistic 风险比模型):\(p_0(x)\) 和 \(q_0(\tau, x)\) 服从 logistic 回归。这是半参数简化,将非参数 nuisance 函数降为有限维参数,避免维数灾难。作者在 Remark 中承认这是为了实际可行性,但理论上可以放宽。

相比已有文献的强化/弱化: - 相比 surrogacy 文献(Athey et al. [2025]):本文不需要 \(Y \perp G | (X, B)\)(即 B 不是完整中介),这是一个重要放松。 - 相比 transportability 文献(Bareinboim and Pearl [2016]):本文的假设更具体、更可操作,但适用范围更窄。 - 相比处理错分文献(Lewbel [2007]):本文的缺失机制是确定性的(\(S=1 \Rightarrow G=1\)),而非概率性的,因此识别策略完全不同。

主要结果

定理 5.1(同质识别):在假设 1-4 下,增量收益 \(\Delta_0\) 由公式 (8) 非参数识别。证明思路:将 \(\Delta_0\) 分解为观测可识别部分和需要实验补全的部分,利用风险比可迁移性将后者转化为实验可识别量。

定理 5.2(异质识别):在假设 1, 2, 6, 7, 8 下,考虑礼品卡类型(面值、购买时间)异质性,识别公式推广为 (12)。关键创新:引入条件风险比 \(\eta_0(\tau, x) = p_0(x)/q_0(\tau, x)\),允许不同礼品卡类型有不同的购买概率提升。

定理 D.2(渐近正态性):在 nuisance 估计速率条件下,交叉拟合估计量满足:

\[\sqrt{n}(\hat{\Delta} - \Delta_0) \Rightarrow N(0, \sigma^2_{obs} + \sigma^2_{exp})\]
其中 \(\sigma^2_{obs}\) 和 \(\sigma^2_{exp}\) 分别来自观测和实验样本的影响函数方差。证明的关键技术点: - Neyman 正交化:构造对 nuisance 函数一阶不敏感的估计方程,使得 nuisance 估计误差不进入一阶渐近展开。 - 交叉拟合:将样本分为 K 折,每折的 nuisance 估计来自其他折,避免过拟合偏差。 - 影响函数分解:将估计量的渐近方差分解为观测和实验两部分,分别对应两个样本的贡献。

技术技巧点名: - Neyman 正交得分:核心技巧。通过 Gateaux 导数计算,找到使一阶变分为零的得分函数。具体地,对 \(\Delta_0\) 的识别公式求关于每个 nuisance 函数的 Gateaux 导数,然后构造修正项。 - 交叉拟合 (Cross-fitting):来自 Chernozhukov et al. [2018] 的标准技巧,用于避免 Donsker 条件。 - 影响函数线性化:将估计量表示为样本均值加余项,余项为 \(o_P(T^{-1/2})\)。 - Delta method:从 \(\hat{\Delta}\) 的渐近正态性推导 \(\hat{\kappa}\) 和 \(\hat{\rho}\) 的渐近正态性。 - Moore-Penrose 伪逆:处理 logistic 模型 Hessian 矩阵可能奇异的情况(Lemma C.1 的证明中)。

真实数据例子

数据:Airbnb 2024 年北美四个渠道(First-Party, Retail Online, Retail In-Store, B2B)的月度数据,每月约 30,000 名礼品卡购买者、350 万非礼品卡购买者、300 万未购买者。实验数据来自 2022 年约 26,980 名客户的随机实验,其中 50% 获得礼品卡(面值 $100 或 $200)。

结果: - B2B 渠道:IR = 0.221(95% CI: [0.035, 0.406]),IC = 0.545(95% CI: [0.083, 1.008]),显著为正。 - Retail Online 渠道:IR = 0.204(95% CI: [-0.006, 0.415]),IC = 0.428(95% CI: [-0.019, 0.875]),边际显著。 - First-Party 渠道:IR = -0.199(95% CI: [-0.544, 0.146]),IC = -0.676(95% CI: [-1.856, 0.505]),不显著为负。 - Retail In-Store 渠道:IR = -0.049(95% CI: [-0.265, 0.168]),IC = -0.131(95% CI: [-0.485, 0.324]),不显著。

关键发现: 1. 第三方渠道(B2B、Retail Online)的礼品卡项目具有显著增量性,而第一方渠道(First-Party)则不然。 2. 自购礼品卡者(购买后一周内使用)的 IR 估计在 0.35-0.50 之间,远高于一般人群,表明自购行为是增量收益的主要驱动因素。 3. 与 naive 基线相比,未调整的观测估计(0.38-0.43)严重高估了增量性,说明数据融合方法有效纠正了选择偏差。

这个例子想说明什么:验证了方法在实际业务场景中的可行性,同时揭示了渠道间增量性的显著异质性,为企业的礼品卡投放策略提供了量化依据。

🔎 结论是否比证明窄

是。具体表现: 1. 定理 5.1 和 5.2 的证明假设 nuisance 函数已知,而定理 D.2 才处理 nuisance 估计问题。但定理 D.2 的证明依赖于"Null-Space Containment"条件(假设 12),该条件在正文中未明确讨论其业务含义。 2. 定理 D.2 要求 nuisance 估计达到特定收敛速率(如 \(\|\hat{g} - g_0\|_{L^2} \times \|\hat{\alpha} - \alpha_0\|_{L^2} = o_P(T^{-1/2})\)),但正文未给出这些速率在具体机器学习算法(如随机森林、XGBoost)下如何验证。 3. 敏感性分析(Appendix F.3)只考虑了乘性偏离(即 \(\eta_0\) 乘以常数 \(\Lambda\)),未考虑更一般的偏离形式(如 \(\eta_0\) 的函数形式错误)。 4. 正文声称"不要求实验与观测总体相似",但 Appendix G.2 中承认实验的预处理筛选可能使风险比可迁移性本身受到威胁,这一矛盾未被正式处理。


四、开放问题

  1. 可迁移性假设的检验:Assumption 4(风险比可迁移)是否可检验?如果观测数据中存在部分可观测的处理状态(例如,通过礼品卡注册记录),能否构造对可迁移性的检验?扎根于:正文第 5.2 节对假设的讨论,以及 Appendix G.2.2 对违反假设的定性分析。

  2. 半参数效率界:在给定 nuisance 函数收敛速率下,本文的估计量是否达到半参数效率下界?扎根于:定理 D.2 的渐近方差表达式,以及正文未讨论效率最优性。

  3. 异质性处理效应的扩展:本文的识别策略能否扩展到连续处理(如不同面值的礼品卡)或动态处理(如多次收到礼品卡)?扎根于:定理 5.2 对离散类型异质性的处理,以及正文第 5.4 节对扩展方向的暗示。

  4. 敏感性分析的深化:能否发展出对可迁移性假设的局部敏感性分析(local sensitivity analysis),类似于 Rosenbaum [2002] 对不可观测混杂的敏感性分析?扎根于:Appendix F.3 的乘性偏离模型,以及正文未讨论的偏离形式。

  5. 政策学习:本文的估计量能否用于最优礼品卡投放策略的学习?扎根于:正文第 9 节提到的"policy learning"方向,以及估计量的渐近正态性为策略学习提供的理论基础。

提示:要确认这些是否是真 gap,建议去读以下近期文献的 intro:(i) 数据融合与 transportability 的最新进展(如 Colnet et al. [2024] 的综述);(ii) 处理变量缺失下的因果推断(如 Zhou and Tchetgen [2024]);(iii) 半参数效率理论在 DML 框架下的最新应用。如果这些文献的 intro 都指向同一问题,那就是共识性 gap;如果互相矛盾,则可能是机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论