跳转至

Design-Driven Inference for Online Experiments: Jointly Optimal Evidence Collection, Testing, and Estimation

作者: Jun Yu, Wenbiao, Zhao, Lixing, Zhu
主题: 数理统计 / 假设检验
相关性: 6/10
链接: https://arxiv.org/abs/2610.07831


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是在线受控实验(A/B 测试)中的序贯推断与实验设计联合优化。其根本的统计问题是:在用户流量持续到达、可随时停止实验的在线场景下,如何同时保证 (i) 序贯检验的 Type-I 错误在任意停止时间下受控(anytime-valid),(ii) 对实际可忽略的效应尽早停止以释放流量,(iii) 若实验跑满预设时长,对处理效应的估计仍达到某种最优性。该方向的核心张力在于:检验(evidence accumulation)与估计(parameter precision)通常被视为两个目标,而本文试图证明在合适的实验设计下二者可以同时达到最优,不存在 trade-off。该方向当前处于活跃发展阶段,e-value / e-process 框架(Grunwald et al., 2024; Vovk & Wang, 2021; Shafer, 2021)已提供了序贯检验的有效工具,但将设计(allocation)作为推断的一部分来联合优化,是本文的新贡献。

发展脉络(history)

  • 奠基工作:Wald (1945) 的序贯概率比检验(SPRT)。这是序贯检验的起点,提供了固定错误水平下期望样本量最优的检验程序,但假设简单假设、单一数据流、无 nuisance 参数。本文在引言中将其作为"always-valid sequential inference"的源头。
  • e-value / e-process 框架的建立。Grunwald et al. (2024, "Safe Testing") 提出 s-value(即 e-value)作为 p-value 的替代,其核心性质是期望 ≤ 1(在零假设下),从而通过 Ville 不等式获得任意停止时间下的错误控制。Vovk & Wang (2021) 系统化了 e-value 的校准、组合与应用。Shafer (2021) 提出"testing by betting"的博弈论解释。这一支文献解决了"连续监控下如何保持有效性"的问题,但默认设计(allocation)是外生给定的。
  • 在线实验的 always-valid 推断。Johari et al. (2022) 提出 always-valid p-process,在商业 A/B 测试平台(如 LinkedIn)上大规模部署,解决了"用户随时看数据导致错误膨胀"的实际问题。但该工作同样将设计视为固定,且主要处理单因素或简单对照实验。
  • 经典实验设计理论。Kiefer (1974) 的通用等价理论(general equivalence theory)给出了 A-/D-/E-最优性的统一刻画,但面向的是固定样本、无中间停止的设定。Dette 等人在模型歧视与估计的折中设计上有一系列工作(如 Dette & Titoff, 2009 的 T-最优性;Ai et al., 2025 用多臂老虎机平衡模型不确定性与估计)。
  • 本文的位置:本文首次将"设计选择"与"e-value 构造"纳入同一个决策问题,证明在块正交各向同性设计下,检验的 minimax 最优性与估计的通用最优性(universal optimality)同时成立。这填补了"always-valid 检验"与"最优实验设计"两条文献之间的空白。

子线索聚类

  1. e-value / e-process 理论(Grunwald et al., 2024; Vovk & Wang, 2021; Shafer, 2021; Perez-Ortiz et al., 2024):研究如何构造满足期望 ≤ 1 的检验统计量,以及如何在复合假设下达到最优生长率。本文的 GROW 准则和径向 e-value 属于此线索。
  2. 在线实验的序贯推断(Johari et al., 2022; Howard et al., 2021):研究在连续监控下保持有效性的 p 值 / 置信序列构造。本文的 anytime-valid e-process 属于此线索。
  3. 最优实验设计(Kiefer, 1974; Atkinson et al., 2007; Dette & Titoff, 2009; Ai et al., 2025):研究如何选择设计点以优化估计精度(A-/D-/E-最优性)或模型歧视(T-/KL-最优性)。本文的块正交各向同性设计属于此线索。
  4. 高维 / 多因素实验的稀疏效应检测(本文的 minimax 分析部分):当处理效应方向未知时,如何在球面上做最坏情况分析。此线索与高维统计中的 minimax 检验理论相连。

这个方向在追问的核心问题

  1. 如何在连续监控下保持 Type-I 错误控制? 主流答案是 e-value / e-process(期望 ≤ 1 + Ville 不等式),但代价是相对于固定样本检验的功率损失。已知瓶颈:e-value 的期望约束比 p-value 的均匀性约束更强,因此可达到的检验功效更低。
  2. 如何同时保证检验功效与估计精度? 传统观点认为二者存在 trade-off(如 T-最优性 vs. A-最优性),本文试图证明在特定设计类下不存在 trade-off。
  3. 当 nuisance 维度接近样本量时,检验和估计是否仍然可行? 本文的 Proposition 1 表明,在无设计干预的 i.i.d. 采样下,nuisance 会导致一阶损失(o_p(nρ²_n)),而块正交设计可以恢复最优速率。

⚠️ 作者的 framing(这是作者的说法)

作者将缺口 frame 为:"现有 always-valid 推断方法将设计视为外生,而现有最优设计理论不考虑序贯停止;因此需要一个新的框架,将设计选择与证据规则联合优化。" 作者声称其贡献是:(i) 识别了 nuisance 污染的 structural obstruction(Theorem 1);(ii) 证明块正交设计构成完备类(Theorem 2);(iii) 建立检验与估计的双重最优性(Theorems 5-6)。被淡化的竞争路线包括:贝叶斯自适应设计(如 Thompson sampling)、以及基于置信序列的估计后检验(先估计再检验的两阶段方法)。作者未讨论这些方法在其框架下的相对表现。

张力

未见明显对立引用。但存在一个潜在张力:Grunwald et al. (2024) 的 GROW 准则在复合原假设下通常需要先验或最小二乘投影,而本文的局部 GROW 框架通过引入分离参数 ρ_n 绕过了这一困难——这是对原框架的修正而非直接继承。读者可留意:这种"局部化"处理是否牺牲了全局最优性。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号清单(逐个点名):

记号 含义 类型
\(q\) 处理因素(treatment factors)个数 维度参数(固定)
\(p\) 总因素个数(处理 + 区组) 维度参数(可随 n 发散)
\(x \in \mathbb{R}^q\) 处理因素取值向量 可设计变量(随机/固定)
\(z \in \mathbb{R}^{p-q}\) 区组/干扰因素取值向量 可设计变量(随机/固定)
\(\psi \in \mathbb{R}^q\) 处理效应向量 参数 / estimand(感兴趣)
\(\lambda \in \mathbb{R}^{p-q}\) 区组主效应 nuisance 参数
\(\theta\) 处理×区组交互效应 nuisance 参数
\(Y\) 观测响应 可观测随机变量
\(\varepsilon \sim N(0,1)\) 噪声 不可观测随机变量
\(X, Z, J\) 设计矩阵(处理、区组、交互) 可观测(设计者选择)
\(M_n = X^\top X = n A_n\) 处理信息矩阵 由设计决定
\(\Delta\) 实际意义阈值(practical significance) 用户指定常数
\(\rho_n\) 分离参数(separation) 可随 n 变化
\(E\) e-变量(非负,零假设下期望 ≤ 1) 检验统计量
\(S_n = X^\top Y\) 充分统计量(处理得分) 可观测
\(Q_n = \|S_n\|^2 / n\) 径向统计量 可观测
\(B_n(\rho_n)\) 径向 benchmark(KL 散度) 理论量
\(\Gamma_n(A_n, \rho_n)\) 给定设计下的最优生长率 理论量

模型(式 1):

\[Y = x^\top \psi + z^\top \lambda + (x \otimes z)^\top \theta + \varepsilon, \quad \varepsilon \sim N(0,1)\]
- 这是一个线性模型,处理效应 \(\psi\) 是感兴趣的参数,\(\lambda, \theta\) 是 nuisance。 - 关键假设:误差方差已知为 1(可推广,但本文固定)。 - 设计者控制 \(X, Z\) 的取值(allocation),观测 \(Y\)。

可观测数据:\((X, Z, Y)\) 的联合实现。设计矩阵 \(X, Z\) 是设计者选择的(非随机),\(Y\) 是随机响应。

检验问题(式 2):

\[H_0: \|\psi\| \ge \Delta \quad \text{vs.} \quad H_1: \|\psi\| < \Delta\]
- 注意:原假设是"效应足够大"(不值得停止),备择是"效应可忽略"(希望尽快停止)。这与传统检验方向相反——停止意味着接受备择。 - Type-I error = 在 \(\|\psi\| \ge \Delta\) 时错误停止的概率。

第二步:最小内核

剥掉所有一般性假设后,本文的核心数学问题是什么?

考虑最简单的情形:\(q=1\)(单个处理因素),\(p=2\)(一个区组因素),无交互项(\(\theta=0\))。模型退化为:

\[Y_i = x_i \psi + z_i \lambda + \varepsilon_i\]
设计者选择 \(n\) 对 \((x_i, z_i)\),观测 \(Y_i\)。

核心困难:如果 \(x\) 与 \(z\) 相关(即设计非正交),那么 \(\psi\) 的估计和检验会受到 \(\lambda\) 的污染。在序贯设定下,这种污染会导致 evidence 的虚假增长——即可能在 \(\psi\) 实际上很大时错误停止。

本文的关键想法:通过设计强制 \(X^\top Z = 0\) 和 \(X^\top J = 0\)(块正交),使得处理得分 \(S_n = X^\top Y\) 的分布不依赖于 nuisance 参数:

\[S_n = X^\top Y = X^\top X \psi + X^\top Z \lambda + X^\top J \theta + X^\top \varepsilon = n A_n \psi + X^\top \varepsilon\]
(因为 \(X^\top Z = 0, X^\top J = 0\))

于是 \(S_n \sim N(n A_n \psi, n A_n)\),这是一个无 nuisance 的多元正态问题。检验和估计都只依赖于 \(S_n\)。

最小内核命题:在块正交设计下,构造 e-变量 \(E_n^* = f_{q, n(\Delta-\rho_n)^2}(Q_n) / f_{q, n\Delta^2}(Q_n)\)(两个非中心卡方密度之比),其中 \(Q_n = \|S_n\|^2 / n\)。这个 e-变量在零假设 \(\|\psi\| \ge \Delta\) 下期望 ≤ 1(e-变量性质),在备择 \(\|\psi\| \le \Delta - \rho_n\) 下以速率 \(n\rho_n^2/2\) 指数增长(最优性)。

为什么这是最小内核:所有一般性(多因素、交互、序贯、自适应)都是在这个基础上"加壳": - 多因素 → 球面均匀化(各向同性设计) - 交互项 → 块正交设计吸收 - 序贯 → 逐批相乘 e-变量 - 自适应 → 证明无改进空间(Proposition 3)


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在线多因素实验中,如何联合选择分配方案(design)与证据规则(e-value),使得在连续监控下既能对可忽略效应尽早停止(控制 Type-I error),又能在实验跑满时对处理效应进行最优估计。
  2. 核心工具/方法:块正交各向同性设计 + 径向 e-value(非中心卡方密度比)+ minimax 生长率分析 + Kiefer 通用最优性理论。
  3. 主要结论:块正交各向同性设计在检验(worst-case evidence growth)和估计(A-/D-/E-最优性)两个维度上同时达到最优,且该设计-推断联合体在序贯设定下保持最优性;自适应设计无法改进最坏情况下的局部 minimax 生长率。

关键设定与假设

假设 内容 统计含义
线性模型(式 1) \(Y = x^\top\psi + z^\top\lambda + (x\otimes z)^\top\theta + \varepsilon\) 处理效应线性可加;交互项被显式建模
高斯误差,方差已知 \(\varepsilon \sim N(0,1)\) 简化似然比计算;可推广到未知方差
块正交 \(X^\top Z = 0, X^\top J = 0\) 处理得分 \(S_n\) 的分布不依赖 nuisance
各向同性 \(A_n = X^\top X / n = I_q\) 信息在各方向均匀分配,避免弱方向
分离参数 \(\rho_n\) \(0 \le \rho_n \le \Delta\) 将复合备择局部化,避免平凡 e-变量
可重分配性 设计在区组内可重排 保证块正交设计可达(Theorem 2 的完备类)
预设完整实验 若未提前停止,跑满 T 批 估计最优性在完整实验上评估

相比已有文献的放宽/强化: - 放宽:允许 \(p\)(总因素数)随样本量发散(接近高维设定);允许 nuisance 维度接近批次大小。 - 强化:要求检验和估计同时最优(已有文献通常只保证其一);要求对方向未知的备择做最坏情况分析(已有 e-value 文献通常假设已知备择方向)。

主要结果

Theorem 1(必要设计条件):若 \(\text{col}(X) \cap \text{col}([Z, J]) \neq \{0\}\),则存在不可区分的零假设与备择配置,导致任何 e-变量的最坏情况生长率为 0。含义:设计必须满足块正交(或至少列空间不相交),否则序贯检验在 minimax 意义下完全失效。

Theorem 2(完备类):在可重分配轨道内,块正交设计支配所有其他设计——对任意 e-变量和任意设计,存在块正交设计和一个 e-变量使得生长率不降。证明路线:利用 Rao-Blackwell 化(对区组置换取平均)+ 高斯模型的充分性约简。

Theorem 3(各向同性最优):在块正交设计中,各向同性设计 \(A_n = I_q\) 最大化最坏情况生长率。关键不等式:\(\Gamma_n(A_n, \rho_n) \le \frac{n\rho_n^2}{2} \lambda_{\min}(A_n) \le \frac{n\rho_n^2}{2}\),等号当且仅当 \(A_n = I_q\)。证明技巧:将生长率表示为 \(\lambda_{\min}(A_n)\) 的函数,利用迹约束 \(\text{tr}(A_n) = q\) 和 \(\lambda_{\min} \le 1\)。

Theorem 4(显式最优 e-值):在块正交各向同性设计下,径向 e-值 \(E_n^* = f_{q, n(\Delta-\rho_n)^2}(Q_n) / f_{q, n\Delta^2}(Q_n)\) 是局部 GROW 最优的。证明路线:利用球面均匀先验 + Bayes 因子 = e-变量 + 生长率最优性(Grunwald et al., 2024 的 JIPr 刻画)。

Theorem 5(minimax 率最优):对任意设计(不要求块正交)和任意 e-变量,最坏情况生长率不超过 \(B_n(\rho_n) = \text{KL}(\chi^2_q(n(\Delta-\rho_n)^2) \| \chi^2_q(n\Delta^2))\),而本文的设计-e-值对达到该上界。证明技巧:信息论上界(Lemma 1 的熵不等式)+ 构造性下界(Theorem 4 的 e-值)。

Theorem 6(估计通用最优):块正交各向同性设计使 \(\hat{\psi} = S_n / n\) 的协方差矩阵 \(\text{Cov}(\hat{\psi}) = n^{-1} I_q\) 在 Loewner 序下同时最小化所有凸、单调、正交不变的泛函 \(\Phi\)。证明路线:Kiefer (1974) 的通用等价理论——各向同性设计是 \(\Phi\)-最优的当且仅当它在所有方向上的信息相等。

Theorem 7(序贯双重最优):重复块正交各向同性设计得到的 e-过程 \(E_T^* = \prod_{t=1}^T E_{n_t}^*\) 是 anytime-valid 的(Ville 不等式),且累积生长率 \(C_T^*(\rho)/V_T(\rho) \to 1\)。证明路线:Proposition 2(贪心最优性)+ Proposition 3(无自适应改进空间)。

证明路线与技术技巧

整体路线(3-5 步逻辑主干): 1. 约简到充分统计量:利用块正交性,将完整数据 \((X, Y)\) 约简为处理得分 \(S_n = X^\top Y \sim N(n A_n \psi, n A_n)\)。这一步消除了 nuisance。 2. 构造 e-变量:在约简模型中,用球面均匀先验构造 Bayes 因子 \(E_n^*\),证明其 e-变量性质(期望 ≤ 1)。 3. 生长率分析:计算 \(E_n^*\) 在备择下的期望对数生长率,证明其等于径向 benchmark \(B_n(\rho_n)\)。 4. 上界匹配:用 Lemma 1(熵不等式)证明任何 e-变量的生长率不超过 \(B_n(\rho_n)\),从而得到 minimax 最优性。 5. 序贯扩展:利用 e-变量的乘法封闭性,将单批结果扩展到多批,并用 Proposition 2/3 排除自适应改进。

关键技术技巧: - 球面均匀化:对方向未知的备择,用球面上的均匀先验做 Bayes 因子,将多元问题约简为径向统计量 \(Q_n = \|S_n\|^2/n\) 的一维问题。 - 非中心卡方密度比:\(E_n^*\) 的闭式表达式涉及两个非中心卡方密度的比,最终化简为修正 Bessel 函数之比(式 12)。这个技巧使得 e-值可以显式计算,无需数值优化。 - Rao-Blackwell 化:Theorem 2 中,对区组置换取平均来构造块正交设计,同时不降低生长率。 - Kiefer 通用等价理论:Theorem 6 中,将估计最优性转化为设计矩阵的谱性质,避免逐准则验证。

真实例子与应用

模拟实验(Section 6): - 设定:\(q=2\) 个处理因素,\(p=6\) 个总因素(2 处理 + 4 区组),批次大小 \(n=32\),总批数 \(T=8\),阈值 \(\Delta=0.65\)。 - 比较对象:(I) 完全随机化 + Grunwald et al. (2024) 的 safe test;(II) 自适应设计 + 径向 e-值;(III) 自适应线性设计 + 线性 betting。 - 关键结果(Table 1): - 本文方法 Type-I error = 5.8%(接近名义 5%),而自适应线性设计 (III) 的 Type-I error = 19.6%(严重失控)。 - 本文方法平均停止批次 = 1.406(远快于 (I) 的 7.733)。 - 本文方法在零假设下的 MSE(\(\psi\) 和 \(\lambda\))均低于所有竞争者。 - 自适应设计 (II) 虽然 Type-I 受控,但生长率(0.554)远低于本文方法(3.704),且 nuisance 估计 MSE 高达 0.9654(几乎无信息)。

真实数据实验(Section 7): - 场景:LLM prompt 设计实验,使用 DeepSeek API(deepseek-v4-pro 模型),4 个因素(2 处理 + 2 区组),8 批,每批 16 个 prompt 单元。 - 任务:证明 Cramér-Rao 下界相关的数理统计习题。 - 结果(Table 2):本文方法在第 4 批停止并拒绝零假设(log e-value = 3.14),而所有竞争方法跑满 8 批且无法拒绝。全数据基准(Table 3)确认 \(\|\hat{\psi}\| = 0.288 < \Delta = 0.50\),即效应确实可忽略——本文方法正确且及时地停止了实验。 - 该例说明:在弱信号场景下,设计质量直接决定能否在预算内得出结论。

🔎 结论是否比证明窄

  • Theorem 5 的"任意设计":证明中假设竞争设计满足 estimability(\(A_n \succ 0\))和迹约束 \(\text{tr}(A_n) \le q\)。但文中未明确讨论非块正交设计是否可能通过非线性 e-变量(非 score-based)达到更高生长率。Theorem 2 的完备类结论仅对 score-based e-变量成立,而 Lemma 1 的上界对所有 e-变量成立——但上界是否可达对非 score-based e-变量未证明。
  • Theorem 7 的"自适应无改进":Proposition 3 的结论是"固定各向同性设计在最坏情况下最优",但未排除自适应设计在特定方向上的点态改进。文中承认"adaptive design can provide pointwise gains in a selected direction"(Section 5 末尾),但未量化这种点态增益的幅度。
  • 高斯假设:全文假设误差正态且方差已知。作者在结论中承认推广到非高斯和未知方差是未来工作,但未给出任何 conjectured 结果。
  • "普遍最优性"的表述:Theorem 6 的结论是"在所有正交不变凸泛函下最优",这确实是 Kiefer 意义下的普遍最优性。但注意这只在块正交设计类内成立,对非块正交设计未声明。

四、开放问题

  1. 非高斯 / 未知方差的推广(扎根于结论段:"extending this design-driven framework to generalized linear models for non-Gaussian outcomes"):本文的 e-值闭式解强烈依赖正态似然。在 GLM 或未知方差下,径向 e-值是否仍有闭式解?minimax 率是否仍是 \(n\rho_n^2/2\)?

  2. 交互项的识别(扎根于 Theorem 2 的完备类证明):块正交设计消除了 nuisance 污染,但代价是无法识别交互项(因为 \(X^\top J = 0\) 意味着交互列被投影掉)。若要同时估计交互项,设计应如何调整?是否存在检验-估计-交互识别的三方权衡?

  3. 自适应设计的点态增益量化(扎根于 Proposition 3 的局限:"adaptive design can provide pointwise gains in a selected direction"):能否构造一个自适应策略,在保持最坏情况 minimax 率的同时,对某些方向获得严格更好的点态生长率?这需要刻画"最坏情况最优"与"点态最优"之间的 Pareto 前沿。

  4. 多臂推广:本文处理的是 \(q\) 个处理因素(可视为多臂的连续化)。当臂数为有限离散集合且存在臂间相关性时,块正交设计是否仍是最优?这需要将 Kiefer 理论推广到非连续设计空间。

  5. e-值与置信序列的联合:本文只用了 e-值做检验。能否用同一个 e-过程构造 anytime-valid 的置信序列(如通过 e-值倒推),使得停止时的估计附带有效的置信区间?这需要 e-值到置信区间的对偶理论。

  6. 实际部署中的 nuisance 维度:当 \(p\)(总因素数)接近批次大小 \(n\) 时,块正交设计需要 \(n \geq p + q(p-q)\)(Theorem 2 的构造),这在流量紧张时可能不可行。是否存在近似块正交设计,以轻微的生长率损失换取更小的批次要求?


提醒:若要确认上述某条是否为真 gap,建议去读以下近期文献的引言部分(各约 5 篇): - e-value / e-process:Grunwald et al. (2024), Vovk & Wang (2021), Ramdas et al. (2023), Waudby-Smith & Ramdas (2024), 以及本文引用的 Perez-Ortiz et al. (2024)。 - 在线实验设计:Johari et al. (2022), Larsen et al. (2024), 以及 AI/ML 领域的自适应实验设计文献。 - 若这些文献的引言都指向同一问题(如"非高斯 e-值"),则大概率是共识性 gap;若互相矛盾(如有的认为自适应设计必要,有的认为不必要),则是机会型 gap。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论