ARMA-Design: Optimal Treatment Allocation Strategies for A/B Testing in Partially Observable Experiments¶
作者: Ke Sun, Linglong Kong, Hongtu Zhu, Chengchun Shi
来源: Journal of the American Statistical Association
主题: 因果推断
相关性: 7/10
机构绿灯: University of North Carolina at Chapel Hill(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv
一、领域脉络与小综述¶
这个方向是什么¶
本文研究的根本问题是:在存在时间依赖(carryover effects)和部分可观测性(partial observability)的在线实验中,如何设计治疗分配策略(treatment allocation strategy),使得平均处理效应(ATE)的估计精度最高。 这是一个典型的"实验设计 × 纵向因果推断"交叉问题。传统 A/B 测试假设个体间独立、无时间干扰,但网约车、电商等平台场景中,今天的治疗会影响明天的结果(如司机位置分布改变),且系统状态无法完全观测(如司机意图、乘客耐心等隐变量)。该子方向当前处于"从马尔可夫假设向更一般时间依赖结构扩展"的阶段,成熟度中等——已有工作(如 Xiong et al. 2023; Wen et al. 2024)处理了马尔可夫或有限阶依赖,但对 MA 结构(即噪声的长期记忆)尚未有系统处理。
发展脉络¶
- 奠基工作:Bojinov and Shephard (2019) 首次系统提出时间序列实验中的因果推断框架,指出 SUTVA 在时间维度上的违反(即 carryover effect),并给出精确随机化检验方法。这是本文"时间依赖实验"问题的起点。
- 主要进展(马尔可夫设定):Xiong et al. (2023) 在马尔可夫链/马尔可夫决策过程(MDP)假设下研究 switchback 设计,证明平衡设计(balanced design)在估计长期效应时的最优性。Wen et al. (2024) 进一步在 MDP 框架下分析 switchback 设计的方差,提出基于状态转移差异的最优切换频率。这两篇是本文最直接的竞争基线。
- 主要进展(部分可观测):Hu and Wager (2023) 提出 partial history importance weighting 方法,在部分可观测 MDP 下构造策略值估计量,但聚焦于估计而非设计。Uehara et al. (2022) 系统综述了 off-policy evaluation 在 POMDP 下的挑战,指出 belief state 推断的统计与计算困难。
- 当前 frontier:Liang and Recht (2023) 提出线性状态空间模型用于因果推断,但聚焦于估计与推断,未涉及设计优化。Liu et al. (2024) 和 Jia et al. (2024) 开始处理空间-时间联合干扰下的实验设计,但模型设定仍限于马尔可夫。
- 本文位置:作者声称自己是"第一个"在 controlled ARMA(而非 MDP)框架下研究最优设计的,通过引入 MA 结构来刻画部分可观测性,并给出三种常用设计(AT、AD、UR)的闭式渐近 MSE 及效率指标。
子线索聚类¶
- 时间序列实验设计(Bojinov & Shephard 2019; Xiong et al. 2023; Wen et al. 2024; 本文):核心问题是"何时切换治疗"以最小化 ATE 估计方差。共同假设是结果由过去治疗历史决定,但依赖结构不同(马尔可夫 vs. ARMA)。
- 部分可观测下的策略评估(Hu & Wager 2023; Uehara et al. 2022; Liu et al. 2022):核心问题是"如何用观测数据估计策略值",方法包括重要性加权、belief state 建模。本文的贡献在于将部分可观测性具体化为 MA 噪声结构,从而获得可解析的 MSE。
- 实验设计作为优化问题(Foster et al. 2021; Blau et al. 2022; Zhao 2024):用贝叶斯优化或强化学习数值求解最优设计。本文的 RL 方法属于此线索,但目标函数(渐近 MSE)来自理论推导而非纯黑盒。
这个方向在追问的核心问题¶
- 依赖结构如何影响最优设计? 马尔可夫 vs. 非马尔可夫(MA)下,最优切换频率是否不同?本文的答案是:MA 结构引入额外的噪声相关项,使得 AT 与 AD 的相对优劣取决于 MA 系数的符号。
- 部分可观测性如何量化? 现有 POMDP 方法需要推断 belief state,统计效率低。本文的答案是:用 MA 噪声近似部分可观测性,可获得闭式解。
- 设计优化与估计效率的权衡? 更复杂的策略(如 RL 学到的历史依赖策略)是否值得额外的计算与实现成本?本文的答案是:在 small signal 框架下,最优策略可被简化为马尔可夫且平稳的策略。
⚠️ 作者的 framing(这是作者的说法)¶
作者将缺口 frame 成:"现有 switchback 设计研究(Xiong et al. 2023; Wen et al. 2024)都假设马尔可夫环境,但真实平台数据(如图 2 的 PACF 图)显示高阶滞后相关,即部分可观测性。我们引入 controlled ARMA 模型填补这一空白,并证明在此模型下最优设计仍可通过简单指标(EI_AD、EI_AT)确定。" 作者淡化的竞争路线包括:(i) 完全非参数的 POMDP 方法(Hu & Wager 2023),认为其"统计效率低、计算复杂";(ii) 贝叶斯最优设计(Foster et al. 2021),认为其"缺乏可解释性"。值得注意的是,作者没有讨论模型误设问题——如果真实数据生成过程不是 ARMA,本文的"最优"设计是否仍然稳健?
张力¶
未见明显对立引用。但存在一个微妙的张力:Xiong et al. (2023) 在马尔可夫设定下证明平衡设计最优,而本文在 ARMA 设定下证明 AT 或 AD 可能更优(取决于 MA 系数)。这不是逻辑矛盾,而是模型假设不同导致的结论差异——这恰恰是"模型依赖的最优性"这一普遍现象的例证。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号清单(逐个点名):
| 记号 | 含义 | 类型 |
|---|---|---|
| \(Y_t\) | \(t\) 时刻的观测向量(\(d\) 维),\(Y_{t,1}\) 为感兴趣的结果 | 随机变量(可观测) |
| \(U_t\) | \(t\) 时刻的治疗分配,取值 \(\{-1, +1\}\) | 随机变量(可观测,由设计决定) |
| \(\epsilon_t\) | \(t\) 时刻的噪声(\(d\) 维),i.i.d.,均值为 0,协方差 \(\Sigma\) | 随机变量(不可观测) |
| \(Z_t\) | MA 残差,\(Z_t = \sum_{j=0}^q \theta_j \epsilon_{t-j}\)(标量情形)或 \(Z_t = \sum_{j=0}^q M_j \epsilon_{t-j}\)(向量情形) | 随机变量(不可观测) |
| \(a_j\)(标量)/\(A_j\)(向量) | AR 系数,刻画 carryover effect | 参数(未知,需估计) |
| \(b\)(标量)/\(\mathbf{b}\)(向量) | 治疗对当前结果的直接效应 | 参数(未知,需估计) |
| \(\theta_j\)(标量)/\(M_j\)(向量) | MA 系数,刻画部分可观测性 | 参数(未知,需估计) |
| \(\mu\) | 截距 | 参数(未知,需估计) |
| \(\pi\) | 治疗分配策略,\(\pi_t\) 是 \(U_t\) 给定历史的条件分布 | 设计(由实验者选择) |
| \(\xi_\pi\) | \(\lim_{t\to\infty} E(U_t)\),策略的长期平均治疗水平 | 由 \(\pi\) 决定的量 |
| \(\text{ATE}\) | 平均处理效应,\(\lim_{T\to\infty} E_1[\frac{1}{T}\sum_{t=1}^T Y_{t,1}] - E_{-1}[\frac{1}{T}\sum_{t=1}^T Y_{t,1}]\) | 目标 estimand |
| \(\widehat{\text{ATE}}\) | ATE 的估计量 | 估计量 |
| \(T\) | 实验总时长 | 样本量指标 |
| \(p\) | AR 阶数 | 模型阶数 |
| \(q\) | MA 阶数 | 模型阶数 |
| \(\sigma^2\) | 标量噪声方差 | 参数 |
| \(\Sigma\) | 向量噪声协方差矩阵 | 参数 |
| \(e\) | 单位向量 \((1,0,\ldots,0)^\top\) | 常数 |
| \(D\) | 治疗序列的差分算子(用于 AT 设计分析) | 算子 |
| \(\tau\) | 每天的时间段数(AD 设计参数) | 设计参数 |
| \(\alpha, \beta\) | 马尔可夫策略的转移概率参数 | 设计参数 |
模型(标量情形,向量类似):
可观测数据:\(\{(Y_t, U_t): t = 1, \ldots, T\}\),即结果和治疗分配的配对序列。
关键区分: - 可观测:\(Y_t\)(结果)、\(U_t\)(治疗)、\(E_t\)(外生变量,若有) - 不可观测(潜在):\(\epsilon_t\)(噪声)、\(Z_t\)(残差)、以及"如果一直用治疗/一直用对照"的反事实结果序列 \(\{Y_t(1)\}\) 和 \(\{Y_t(-1)\}\)
识别假设: 1. 无未测量混杂:\(U_t\) 由设计决定(随机化),故 \(U_t \perp \epsilon_t\) 及未来噪声。 2. 观测无噪声:\(Y_t\) 被精确记录。 3. 平稳性:AR 多项式无单位根(Assumption 1),保证过程遍历。 4. 观测无关策略(observation-agnostic):\(U_t\) 的分布只依赖过去治疗,不依赖过去结果 \(Y\)。这是本文的核心限制——意味着设计者不能根据中期结果调整治疗。
第二步:最小内核¶
最小内核:考虑最简单的 AR(1) 模型(\(p=1, q=0\)):
目标是估计 \(\text{ATE} = 2b/(1-a)\)。我们比较两种设计:
- UR 设计:\(U_t\) i.i.d. \(\text{Bernoulli}(0.5)\),与过去独立。
- AT 设计:\(U_t = -U_{t-1}\),严格交替。
核心命题(本文 Theorem 1 的特例):在 small signal 渐近下(\(b \to 0\)),
对于 AR(1) 且 \(q=0\),\(Z_t = \epsilon_t\),噪声不相关,因此:
(因为 \(U_t\) 与 \(\epsilon_t\) 独立,且 \(U_t^2 = 1\) 恒成立。)
关键结论:在 \(q=0\) 时,所有平衡设计(\(\xi_\pi = 0\))的渐近 MSE 相同,都等于 \(4\sigma^2/(1-a)^2\)。UR 和 AT 没有区别!
为什么? 因为当噪声无序列相关时,治疗序列的自相关结构不影响 \(\sum U_t \epsilon_t\) 的方差——每个 \(U_t \epsilon_t\) 的方差都是 \(\sigma^2\),协方差为零(\(U_t\) 与 \(\epsilon_t\) 独立,且 \(\epsilon_t\) 与 \(\epsilon_s\) 独立)。
当 \(q > 0\) 时,情况改变:\(Z_t = \epsilon_t + \theta_1 \epsilon_{t-1}\),此时
这就是本文的核心洞察:治疗序列的自相关 \(E(U_t U_{t-1})\) 直接影响估计方差。AT 设计(\(E(U_t U_{t-1}) = -1\))与 UR 设计(\(E(U_t U_{t-1}) = 0\))产生不同的 MSE。若 \(\theta_1 > 0\)(正自相关噪声),AT 设计通过负自相关治疗序列抵消噪声正自相关,从而降低方差。
最小内核的数学本质:本文解决的核心问题是——给定噪声的 MA 结构(由部分可观测性导致),如何选择治疗序列的自相关结构以最小化 \(\sum U_t Z_t\) 的方差。这是一个"信号与噪声的谱匹配"问题:治疗序列的功率谱应尽量与噪声功率谱的倒数匹配。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在部分可观测(非马尔可夫)的在线实验环境中,如何设计治疗分配策略以最小化 ATE 估计的渐近 MSE。
- 核心工具/方法:提出 controlled ARMA/VARMA 模型刻画部分可观测性;在 small signal 渐近框架下推导 ATE 估计量的闭式渐近 MSE;提出两种算法(约束优化 CO 和强化学习 RL)求解最优设计。
- 主要结论:最优设计满足五个条件(平衡、确定性、平稳、\(q\) 阶依赖、最优性);三种常用设计(AT、AD、UR)的优劣由两个效率指标(EI_AD、EI_AT)决定;RL 算法能学到接近最优的策略,且对模型误设有一定稳健性。
关键设定与假设¶
模型设定(完整版):
- \(Y_t \in \mathbb{R}^d\):观测向量,第一维为结果
- \(U_t \in \{-1, 1\}\):二元治疗
- \(E_t\):外生协变量(如时间趋势、节假日)
- \(\epsilon_t\):i.i.d. 白噪声,\(E(\epsilon_t) = 0\),\(\text{Cov}(\epsilon_t) = \Sigma\)
核心假设:
| 假设 | 内容 | 统计含义 |
|---|---|---|
| A1(无单位根) | \(I - \sum_{j=1}^p A_j z^j\) 的行列式根在单位圆外 | 保证过程平稳、遍历,ATE 定义良好 |
| A2(观测无关) | \(\pi_t\) 只依赖 \(\{U_1, \ldots, U_{t-1}\}\),不依赖 \(Y\) | 排除自适应设计;保证 \(U_t\) 与 \(\epsilon_t\) 独立 |
| A3(small signal) | \(\text{ATE} \to 0\)(即 \(\mathbf{b} \to 0\)) | 简化渐近分析,忽略治疗对系统动态的二阶影响 |
| A4(矩条件) | 噪声 \(\epsilon_t\) 四阶矩有限 | 保证 CLT 成立 |
相比已有文献的放宽/强化: - 放宽:允许 \(q > 0\)(MA 噪声),即非马尔可夫;Xiong et al. (2023) 和 Wen et al. (2024) 仅处理 \(q=0\)。 - 强化:限制为 observation-agnostic 设计(\(U_t\) 不依赖 \(Y\));Hu and Wager (2023) 允许依赖历史的策略。 - 关键限制:small signal 假设(A3)——当 ATE 较大时,最优设计可能偏离本文结论。
主要结果¶
Theorem 1(ARMA 情形的渐近 MSE):
关键推论: - 平衡设计(\(\xi_\pi = 0\))消除第一项中的 \((1-\xi_\pi^2)^{-2}\) 因子。 - 最优策略需最小化 \(\frac{1}{T}\text{Var}(\sum U_t Z_t)\),这等价于最小化治疗序列与噪声的互谱积分。
Theorem 3(最优设计的五个条件): 1. 平衡:\(\xi_{\pi^*} = 0\)(长期治疗比例 50%) 2. 确定性:\(\pi^*\) 是确定性策略(非随机) 3. 平稳:\(\pi^*_t\) 不依赖 \(t\)(时间齐次) 4. \(q\) 阶依赖:\(\pi^*_t\) 只依赖最近 \(q\) 个治疗 5. 最优性:最小化 (4.4) 中的目标函数
效率指标:
- \(\text{EI}_{AD} < 0\) 且 \(\text{EI}_{AD} < \text{EI}_{AT}\) → AD 最优
- \(\text{EI}_{AT} < 0\) 且 \(\text{EI}_{AT} < \text{EI}_{AD}\) → AT 最优
- 两者皆正 → UR 最优
证明路线: 1. Step 1:建立 controlled ARMA 与 POMDP 的等价性(Appendix B),证明 ARMA 是线性 POMDP 的特例。 2. Step 2:推导 Yule-Walker 估计量的渐近分布(Appendix C),利用 small signal 假设简化 Delta method 展开。 3. Step 3:证明 Theorem 1 的 MSE 公式(Appendix A.1),关键步骤是证明 \(\widehat{\text{ATE}}\) 的渐近方差仅由 \(\frac{1}{T}\text{Var}(\sum U_t Z_t)\) 决定。 4. Step 4:证明 Theorem 3 的最优性条件(Appendix A.3),通过构造 MDP 并利用动态规划的最优性原理。 5. Step 5:推导效率指标(Appendix E),利用 \(\text{Cov}(U_t, U_{t-k}) = (2\alpha-1)^k\) 的闭式表达式。
技术技巧: - Small signal 渐近:通过令 \(\text{ATE} \to 0\),忽略治疗对系统动态的非线性影响,使 MSE 计算线性化。 - MDP 等价性:将 ARMA 转化为状态空间模型,从而将设计问题转化为 MDP 的策略搜索问题。 - 谱方法:利用 \(\text{Var}(\sum U_t Z_t)\) 的频域表示,将设计问题转化为谱匹配问题。 - 动态规划:利用 Bellman 最优性方程求解最优策略,避免穷举 \(2^T\) 种策略。
真实例子与应用¶
实验设置: - 合成调度器:9×9 网格,50 名司机,50 个订单/天,20 个时间段/天,模拟早晚高峰。 - 城市级调度器:85 个六边形区域,基于真实历史数据训练。 - 真实数据:来自某网约车公司的两个城市,各 40 天数据。
结果: - 效率指标预测:合成环境中 EI_AD 为负、EI_AT 为正 → 预测 AD 优于 AT。 - 实际 MSE:AD 的 MSE 比 AT 低约 40%,比 UR 低约 60%(合成环境)。 - 城市级环境:CO 和 RL 的 MSE 比最优 switchback 低 30-50%。 - 真实数据:CO 和 RL 的排名指标(1-8)显著优于 AT、UR、AD。
例子想说明什么: 1. 效率指标能准确预测设计的相对优劣(验证理论)。 2. CO 和 RL 算法能找到比简单设计(AT、UR、AD)更优的策略。 3. 即使数据不完全服从 ARMA 模型(真实数据),方法仍有效(稳健性)。
🔎 结论是否比证明窄¶
是。具体表现: 1. Theorem 1 的证明严格限于 observation-agnostic 设计(\(U_t\) 不依赖 \(Y_t\)),但结论部分声称"最优设计"时未强调此限制。对于依赖历史结果的策略(如根据中期表现调整治疗),本文的 MSE 公式不适用。 2. Theorem 3 的最优性在 small signal 假设下证明,但讨论部分声称"无论信号大小,我们的设计都是安全的"。当 ATE 较大时,治疗对系统动态的影响不可忽略,最优设计可能偏离。 3. 效率指标的适用性:文中说"效率指标可用于比较三种设计",但严格证明仅对 ARMA(1,q) 成立。对 ARMA(p,q)(\(p>1\)),效率指标的表达式更复杂,文中未给出闭式形式。 4. 模型误设:实验部分声称"对模型误设稳健",但没有理论保证。如果真实过程不是 ARMA(如 GARCH 或非线性),本文的最优设计可能失效。
四、开放问题¶
-
放松 observation-agnostic 限制:如果允许 \(U_t\) 依赖过去结果 \(Y\)(即自适应设计),最优策略是什么?本文的 Theorem 3 证明依赖于 observation-agnostic 假设,放松后最优性条件可能改变。扎根于 Theorem 3 的假设部分。
-
有限样本下的最优设计:本文的 MSE 公式是渐近的(\(T \to \infty\))。在有限样本(如 \(T = 100\))下,哪种设计最优?是否存在有限样本修正?扎根于 Theorem 1 的渐近框架。
-
非线性模型扩展:本文的 controlled ARMA 是线性模型。如果真实动态是非线性的(如阈值效应、交互效应),如何设计实验?扎根于 Section 6.2 讨论的模型扩展方向。
-
多臂治疗的推广:本文只考虑二元治疗(\(U_t \in \{-1, 1\}\))。对于多臂治疗(如多个定价策略),最优设计是什么?效率指标如何推广?扎根于 Section 6.1 提到的应用扩展。
-
模型选择与稳健性:如何从数据中确定 ARMA 的阶数 \(p, q\)?如果 \(p, q\) 估计错误,最优设计的性能损失有多大?扎根于 Section 5.3 中 AIC/BIC 选择 \(p, q\) 的做法。
-
与空间干扰的联合设计:Section 6.1 提到空间依赖实验,但未给出具体方法。如何将本文的时间设计扩展到时空联合干扰场景?扎根于 Section 6.1 的讨论。
提示:若要确认上述开放问题是否为真 gap,建议检索近 5 年(2020-2025)在 JASA, JRSS-B, Annals of Statistics, Management Science 上关于"experimental design under interference"、"switchback experiments"、"partially observable MDP"的论文,看是否有工作已经处理了这些问题。特别是 Xiong et al. (2023) 和 Wen et al. (2024) 的后续工作,以及 Hu and Wager (2023) 的扩展。
Maintained by 陈星宇 · Homepage · Source on GitHub