跳转至

Always-On Experimentation

作者: Ricardo J. Sandoval, David Arbour, Avi Feller, Michael I. Jordan
主题: 因果推断
相关性: 6/10
链接: https://arxiv.org/abs/2609.38695


一、领域脉络与小综述

这个方向是什么

"Always-On Experimentation"(常开实验)研究的是这样一类统计推断问题:在一个持续运行的实验平台上,处理(treatment)可以随时被生成、加入或移除,实验者需要实时决定是否接受或拒绝每一个处理,同时控制某种全局错误率(如 FDR)。它处于三个子领域的交叉点:平台试验(platform trials)、在线多重检验(online multiple testing) 与 任意有效推断(anytime-valid inference)。与经典 A/B 测试不同,这里处理臂的数量、进入时间和退出时间都不是预先固定的,而是由数据驱动的"可预测"过程决定。论文的核心贡献是:在允许任意停止时间和可预测处理调度的前提下,构造出既能控制在线 FDR、又在几乎必然意义下增长率最优的序贯检验。

发展脉络(history)

  1. 潜在结果框架与因果推断基础。论文采用 Rubin (1974) 的潜在结果框架 [34, 48],将每个单元在不同处理路径下的潜在结果视为随机变量,处理效应定义为潜在结果之差。这是所有后续因果估计与检验的基石。

  2. 平台试验:动态添加/移除处理臂的实践。生物医学中的平台试验(platform trials)允许在试验进行中加入或移除治疗臂,如 Berry et al. (2015) 和 Saville & Berry (2016) 提出的自适应平台设计 [1, 64, 52]。这些设计通常依赖预先指定的主方案(master protocol)和中期分析规则,但统计推断往往基于频率学派或贝叶斯的固定样本理论,对"任意停止时间"的保证不足。

  3. 在线多重检验与 FDR 控制。Foster & Stine (2008) 提出 α-investing 框架 [17],将 FDR 控制问题转化为在线决策问题:每个假设按顺序到达,决策者根据历史信息分配显著性水平。Javanmard & Montanari (2015, 2018) 提出 LOND 和 LORD 算法 [24, 25],在假设 p 值相互独立或满足特定依赖结构时控制在线 FDR。Ramdas 等人 (2018) 提出 SAFFRON [39],进一步提高了自适应能力。Xu & Ramdas (2024) 提出 e-LOND [65],将 e 值引入在线 FDR 控制,允许检验统计量是任意 e 过程(e-process)。Zrnic 等人 (2021) 和 Fischer 等人 (2024) 则考虑了异步到达的假设 [68, 16],即检验可以重叠、开始和结束时间不同——这与 Always-On 实验中的处理臂生命周期直接相关。

  4. 任意有效推断与测试超鞅。任意有效推断(anytime-valid inference)要求统计推断在任意停止时间下仍然有效。核心工具是测试超鞅(test supermartingale)和 e 值。Howard et al. (2021) 建立了时间均匀置信序列的一般理论 [21];Waudby-Smith & Ramdas (2024) 提出通过 betting 构造有界随机变量均值的置信序列 [62];Sandoval et al. (2026) 将 betting 推广到多臂序贯检验 [51]。Karatzas & Kardaras (2007) 的 numéraire portfolio 理论 [26] 为增长率最优性提供了数学框架,而 Larsson et al. (2024) 将 numéraire 与 e 变量联系起来 [29]。

  5. 因果推断中的序贯分配与微随机试验。Boruvka et al. (2018) 和 Liao et al. (2016) 提出微随机试验(micro-randomized trials),用于移动健康中频繁、随机化的处理分配 [30, 7]。这些工作强调"近端效应"(proximal effect)的估计,与本文 Section B 中处理历史(treatment history)的设定有直接联系。

子线索聚类

  • 线索 A:平台试验的统计设计。代表工作:[1, 64, 52, 4]。关注如何在多臂、动态加入/移除的试验中保持错误控制。已知瓶颈:多数方法要求预设中期分析次数或处理臂集合,无法处理"任意时间、任意顺序"的处理到达。
  • 线索 B:在线 FDR 控制。代表工作:[17, 24, 25, 39, 65, 68, 16]。关注假设按顺序到达时的错误率控制。已知瓶颈:大多数算法假设每个假设的检验统计量(如 p 值或 e 值)在到达时即可计算,且假设之间独立或弱依赖;对于同一处理臂跨多个子实验累积数据、且处理臂可被中途移除的情形,需要额外的理论保证。
  • 线索 C:任意有效推断与 betting。代表工作:[62, 63, 51, 35, 36, 37, 50, 10, 21, 29]。关注构造在任意停止时间下有效的 e 过程,并通过 betting 达到增长率最优。已知瓶颈:多数结果针对单一假设或固定假设集合,如何与在线 FDR 结合并适应动态处理臂集合是开放问题。
  • 线索 D:因果推断中的动态处理与历史依赖。代表工作:[30, 7, 6, 53]。关注处理历史对结果的影响,以及如何定义和估计随时间变化的处理效应。已知瓶颈:通常假设处理臂固定,且样本量预先确定。

这个方向在追问的核心问题

  1. 错误控制:当处理臂数量未知、到达时间任意、停止时间由数据决定时,如何严格控制 FDR(或 FWER)?需要什么样的假设(独立性、依赖结构)?
  2. 功效/效率:在保证错误控制的前提下,如何使检验尽快发现真实效应?增长率最优(growth-rate optimal)的定义和实现方式是什么?
  3. 可预测调度:处理臂的加入/移除决策可以依赖历史数据(即可预测),这种适应性是否会影响统计有效性?如何形式化"可预测"?
  4. 因果识别:当处理臂动态变化、且单元可能被重复观测时,目标估计量是什么?如何利用 Horvitz-Thompson 估计等工具在非平稳、非独立的数据下保持无偏性?

已知瓶颈与当前方法

  • 现有在线 FDR 方法(LOND/LORD/SAFFRON)通常要求 p 值或 e 值在假设到达时即可计算,且假设之间独立或满足特定依赖条件。Always-On 场景中,同一处理臂的数据跨多个子实验累积,且处理臂可能被提前移除,这导致检验统计量之间存在复杂依赖。
  • 平台试验的统计方法(如 group sequential)通常需要预设分析时间点,无法处理"任意停止时间"。
  • Testing by betting 的增长率最优性结果(如 [63])通常假设数据 i.i.d. 且假设固定,而 Always-On 中每个处理臂的数据量是随机的,且处理臂之间共享对照组数据,这给最优性分析带来困难。

⚠️ 作者的 framing(这是作者的说法)

作者在引言中声称:现有实验框架(平台试验、在线 FDR、多臂老虎机)都要求"实验者预先知道所有可能的处理,或者处理臂的集合是固定的",而生成式 AI 使得处理可以"连续不断地被生成",因此需要一种新的框架,允许处理"在任意时间点被提出、测试、接受或拒绝"。作者将这种框架命名为"Always-On Experimentation",并声称他们的方法"在任意可预测处理调度下控制在线 FDR",且构造的检验超鞅"在几乎必然意义下增长率最优"。作者还强调,他们的框架"统一并推广了平台试验和在线 FDR 文献",并"为生成式 AI 驱动的实验提供了统计基础"。

什么明显该被引 / 该存在、却没出现在 intro 里?(值得查证)

  • 关于 sequential multiple testing with adaptive stopping 的早期工作,如 Siegmund (1985) 或 Jennison & Turnbull (2000) 的 group sequential 方法,在参考文献中未见直接引用(虽然 [1] 可能涉及)。
  • 多臂老虎机中的 FDR 控制(如 Yang et al. 2017 [66] 被引用了,但其他如 Jamieson & Jain 2018 的 best-arm identification 与 FDR 结合的工作可能未被提及)。
  • e 值在因果推断中的应用,如 Fisher (2023) 或 Guo & Richardson (2022) 关于 e-values for causal effects 的工作,未见引用。
  • 非平稳时间序列或在线学习中的任意有效推断,如 Ramdas et al. (2022) 的综述 [41] 被引用了,但可能缺少对 nonparametric e-processes 的近期进展(如 Waudby-Smith et al. 2024)的引用。
  • 关于 平台试验中非并发对照(non-concurrent controls) 的识别问题,[52] 被引用了,但可能缺少对 estimand 定义 的讨论(如 ICH E9(R1) 估计目标框架)。

二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

记号(按论文 Section 3 和 4):

  • 单元(unit):\(i \in \mathcal{I}\),所有进入实验的单元集合。
  • 子实验(sub-experiment):\(s \in [t] := \{1,\dots,t\}\),\(t\) 为总子实验数,有限。
  • 处理臂(treatment arm):\(a \in \mathcal{A}_s\),子实验 \(s\) 中活跃的处理集合;\(\mathcal{A} := \bigcup_{s=1}^t \mathcal{A}_s\) 为所有出现过的处理。
  • 对照(control):记为 \(0\),每个子实验都存在。
  • 处理路径(treatment path):\(z \in \mathcal{Z}\),表示单元在整个实验期间可能接受的处理序列。在 Section 4(单元只观测一次)中,\(\mathcal{Z} = \mathcal{A} \cup \{0\}\);在 Section B(重复观测)中,\(\mathcal{Z}\) 是长度为 \(t\) 的处理序列集合。
  • 潜在结果:\(Y_i(z) \in \mathbb{R}\),单元 \(i\) 在处理路径 \(z\) 下的潜在结果。Assumption 1 假设 \((Y_i(z))_{z \in \mathcal{Z}} \sim P\) 对每个 \(i\) 独立同分布。
  • 观测结果:\(Y_{i,s}\),单元 \(i\) 在子实验 \(s\) 中观测到的结果。
  • 处理分配:\(A_{i,s} \in \mathcal{A}_s \cup \{0\}\),单元 \(i\) 在子实验 \(s\) 中被分配的处理。
  • 处理效应(estimand):\(\psi_P(a) := E_P[Y_i(a) - Y_i(0)]\)(Section 4),或 \(\psi_P(a,h) := E_P[Y_i(\text{path ending with }a) - Y_i(\text{path ending with }0) \mid H_{i,s-1}=h]\)(Section B,条件于历史 \(h\))。
  • 检验超鞅:\(W_{N_a(t)}\),对处理 \(a\) 构造的检验过程,其中 \(N_a(t)\) 是处理 \(a\) 累积的"有效样本量"(即分配到 \(a\) 或对照的单元数)。
  • 显著性水平:\(\alpha_a\),由在线 FDR 算法(Algorithm 1)分配给处理 \(a\) 的阈值。
  • 可预测调度(predictable schedule):\(\mathcal{A}_s\) 和 \(\pi_s\)(倾向性得分)是 \(F_{s-1}\)-可测的,即只依赖过去的数据。

模型(数据生成机制):

  1. 自然按子实验顺序 \(s=1,\dots,t\) 运行实验。
  2. 在每个子实验 \(s\) 开始前,实验者根据历史数据 \(F_{s-1}\) 决定活跃处理集 \(\mathcal{A}_s\) 和分配概率 \(\pi_s\)(可预测)。
  3. 每个单元 \(i \in \mathcal{I}_s\) 独立地按 \(\pi_s\) 分配到某个活跃处理或对照。
  4. 观测结果 \(Y_{i,s}\) 由潜在结果和分配决定(SUTVA 隐含在潜在结果定义中)。
  5. 处理 \(a\) 的检验统计量基于所有分配到 \(a\) 或对照的单元数据构造,且可以在任意停止时间被检验。

可观测数据:对每个单元 \(i\),观测到 \((A_{i,s}, Y_{i,s})\) 以及所在子实验 \(s\);对每个处理 \(a\),观测到其活跃的子实验集合 \(T_t(a)\) 和对应的分配概率。

第二步:最小内核

最简特例:只有一个处理 \(a\),一个对照 \(0\),只有一个子实验(\(t=1\)),单元只观测一次。此时问题退化为经典的序贯检验:数据 \((A_i, Y_i)_{i=1}^n\) 独立同分布,其中 \(A_i \in \{a, 0\}\),\(Y_i \in [0,1]\)。要检验

\[H_0: \psi_P(a) \le \delta \quad \text{vs.} \quad H_1: \psi_P(a) > \delta.\]

Testing by betting 的核心思想:将检验看作赌徒在赌场上对"处理效应是否存在"下注。赌徒初始财富为 1,每观测一个单元,根据当前财富和预测规则选择下注比例 \(\lambda_i \in [0,1]\),然后根据该单元的"结果"(即变换后的估计量)获得财富倍增或减少。如果零假设为真,赌徒的财富过程是一个非负鞅(期望不增);如果备择为真,财富以指数速度增长。当财富超过 \(1/\alpha\) 时拒绝零假设。

具体构造(论文 Section 4 的简化版):

  • 对每个单元 \(i\),定义变换后的估计量:
    \[\hat{\psi}_i(a) := Y_i \left( \frac{1\{A_i = a\}}{\pi(a)} - \frac{1\{A_i = 0\}}{\pi(0)} \right),\]
    其中 \(\pi(a), \pi(0)\) 是分配概率。在零假设下,\(E[\hat{\psi}_i(a)] = \psi_P(a) \le \delta\)。
  • 定义 \(g_s(x) = 1 + \pi_s(0) x\)(Section 4 的变换,将 \(x\) 映射到非负值)。注意 \(g_s(\hat{\psi}_i(a))\) 在零假设下期望 \(\le g_s(\delta)\)。
  • 检验超鞅(单个处理):
    \[W_{N_a(t)} = \prod_{s \in T_t(a)} \prod_{i \in I_s} \left( 1 - \lambda_{i,s} + \lambda_{i,s} \frac{g_s(\hat{\psi}_{i,s}(a))}{g_s(\delta)} \right)^{\xi_{i,s}(a)},\]
    其中 \(\xi_{i,s}(a) = 1\{A_{i,s} = a \text{ or } A_{i,s} = 0\}\) 表示单元 \(i\) 是否参与了处理 \(a\) 的比较,\(\lambda_{i,s}\) 是预测选择的赌注(可依赖过去数据)。

为什么成立:在零假设下,每个因子 \(\left(1 - \lambda + \lambda \frac{g_s(\hat{\psi})}{g_s(\delta)}\right)\) 的条件期望 \(\le 1\)(因为 \(E[g_s(\hat{\psi})] \le g_s(\delta)\)),所以 \(W_{N_a(t)}\) 是超鞅。由 Ville 不等式,\(P(\sup_t W_{N_a(t)} \ge 1/\alpha) \le \alpha\),从而控制了单个处理的 Type I 错误。

多处理与 FDR:当有多个处理时,每个处理 \(a\) 有自己的检验超鞅 \(W_{N_a(t)}\)。Algorithm 1 根据处理到达的顺序分配显著性水平 \(\alpha_a\)(类似于 e-LOND),使得 \(\sum_a \alpha_a \le \alpha\)。由于每个零处理的检验超鞅在任意停止时间都是 e 过程,且 \(\alpha_a\) 只依赖过去(可预测),可以证明 FDR 被控制。

这个最小内核揭示了论文的核心数学问题:如何构造一个"增长率最优"的检验超鞅,使得在备择假设下财富增长最快。论文证明,当每个单元独立且分配概率已知时,使用 numéraire portfolio(即最优赌注)可以达到几乎必然的增长率最优,且该最优性不依赖于处理调度的具体形式。


三、这篇论文做了什么

三句话

  1. 研究问题:在生成式 AI 驱动的"常开"实验平台上,处理可以动态生成、加入和移除,论文研究了如何对每个处理进行序贯检验,同时控制在线 FDR。
  2. 核心方法:基于 testing by betting 框架,为每个处理构造检验超鞅(test supermartingale),并结合 e-LOND 类型的在线 FDR 算法分配显著性水平,使得在任意可预测处理调度下 FDR 得到控制。
  3. 主要结论:构造的检验超鞅在几乎必然意义下是增长率最优的(相对于任何其他检验超鞅),且通过半合成实验验证了方法在 FDR 控制和发现数量上优于现有平台试验方法。

关键设定与假设

  • Assumption 1(潜在结果 i.i.d.):每个单元的潜在结果向量 \((Y_i(z))_{z \in \mathcal{Z}}\) 独立同分布于某个分布 \(P\)。这保证了跨子实验的单元可交换性,是构造鞅的基础。
  • Assumption 2(分配机制):每个子实验 \(s\) 中,给定历史 \(F_{s-1}\),分配 \(A_{i,s}\) 与潜在结果独立(条件可忽略性),且每个活跃处理 \(a\) 的分配概率 \(\pi_s(a)\) 有正下界 \(p_s > 0\)(positivity)。这保证了 Horvitz-Thompson 估计的条件无偏性。
  • Assumption 3(可预测调度):处理 \(a\) 在子实验 \(s\) 是否继续活跃的决定是 \(F_{s-1}\)-可测的;新处理的加入也是 \(F_{s-1}\)-可测的。这保证了"停止/继续"不依赖未来数据,从而检验超鞅的性质不被破坏。
  • Assumption 4(单次观测):每个单元只在一个子实验中出现一次(Section 4 的设定)。这简化了估计量的构造,避免了重复测量的相关性。
  • Assumption 5(有限结果水平):潜在结果只取有限个值(Section B 的设定)。这用于处理重复观测时历史依赖的复杂性,保证状态空间有限。
  • Assumption 6(Markov 性):给定最近 \(\ell\) 期的历史,结果的条件分布与更早的历史无关。这限制了时间依赖的阶数,使得 numéraire portfolio 的计算可行。

相比现有文献,论文的假设放宽了"处理臂集合预先固定"和"停止时间必须预先指定"的限制,但保留了可预测性和正性假设。这些假设在实验平台中通常由设计保证。

主要结果

  • Proposition 3.2(FDR 控制):在 Assumptions 1–3 下,使用 Algorithm 1 分配显著性水平,并对每个处理使用检验超鞅(2),则对任意停止时间 \(s \in [t]\),有 \(\text{FDR}(D_s) \le \alpha\)。证明的关键是将每个处理的检验超鞅视为 e 过程,并利用 e-LOND 的性质:\(\sum_{a \in A} \alpha_a \le \alpha\),且每个零处理的 e 过程期望 ≤ 1。
  • Theorem 4.4(增长率最优性):在 Section 4 的设定下(单次观测),使用 Universal Portfolio 算法选择赌注 \(\lambda_{i,s}\) 构造的检验超鞅,对于任何 \(Q \in \mathcal{Q}(a)\),满足
    \[\liminf_{n_t \to \infty} \frac{1}{N_a(t)} \left( \log W_{N_a(t)} - \log \widetilde{W}_{N_a(t)} \right) \ge 0 \quad Q\text{-a.s.},\]
    其中 \(\widetilde{W}_{N_a(t)}\) 是任何其他可容许的检验超鞅。这意味着在几乎必然意义下,没有其他检验超鞅能获得更高的指数增长率。
  • Section B 的扩展:对于重复观测同一组单元的情形(处理历史),论文定义了条件于历史的处理效应 \(\psi_P(a,h)\),并构造了相应的检验超鞅。Theorem B.4 给出了类似的增长率最优性,但需要 Assumptions 5–6 来保证状态空间有限和 Markov 性。

证明路线与技术技巧

整体路线(以 Theorem 4.4 为例):

  1. 将检验超鞅分解为逐单元因子:\(W_{N_a(t)} = \prod_{s \in T_t(a)} \prod_{i \in I_s} F_{i,s}\),其中 \(F_{i,s} = (1 - \lambda_{i,s} + \lambda_{i,s} e_{i,s})^{\xi_{i,s}(a)}\),\(e_{i,s} = g_s(\hat{\psi}_{i,s}(a))/g_s(\delta)\)。
  2. 定义 numéraire portfolio:对每个子实验 \(s\),给定历史 \(F_{s-1}\),存在一个最优赌注 \(\lambda^{(Q)}_s(a)\) 最大化条件期望对数增长:
    \[\lambda^{(Q)}_s(a) = \arg\max_{\lambda \in [0,1]} E_{Q}\left[ \log(1 - \lambda + \lambda e_{i,s}) \mid F_{s-1}, \xi_{i,s}(a)=1 \right].\]
  3. 证明 Universal Portfolio 的 regret 界:论文引用 [12] 的结论,即 Universal Portfolio 算法选择的赌注 \(\lambda_{i,s}\) 满足
    \[\sum_{i \in I_s} \log\left( \frac{1 - \lambda_{i,s} + \lambda_{i,s} e_{i,s}}{1 - \lambda^{(Q)}_s(a) + \lambda^{(Q)}_s(a) e_{i,s}} \right) \le R_{\hat{N}_a(s)} = O(\log \hat{N}_a(s)),\]
    其中 \(\hat{N}_a(s)\) 是到子实验 \(s\) 为止参与处理 \(a\) 比较的单元数。
  4. 利用大数定律和 Borel-Cantelli:由于每个子实验的单元数 \(n_s \to \infty\),且 regret 是 \(O(\log n)\),归一化后 regret 趋于 0。结合 numéraire portfolio 的性质(任何其他赌注的增长率不超过 numéraire),得到几乎必然的增长率最优性。

关键技巧:

  • 随机停止时间的处理:通过可预测调度假设,将停止时间转化为鞅停时,从而使用 Ville 不等式和可选停时定理。
  • e 过程与 FDR 的结合:将每个处理的检验超鞅视为 e 值,利用 e-LOND 的"alpha 投资"机制,将全局 FDR 控制分解为每个处理的局部检验,避免了复杂的依赖结构分析。
  • 增长率最优性的证明:使用 numéraire portfolio 的变分刻画([13, Theorem 15.2.2]),将最优性问题转化为凸优化问题,然后通过 Universal Portfolio 的 regret 界建立几乎必然收敛。

真实例子与应用

论文使用 Upworthy Research Archive(Matias et al., 2021)进行了半合成实验。该数据集包含 32,487 个真实在线实验,每个实验有多个标题/图片变体(处理),记录点击率。作者构造了一个 Always-On 场景:

  • 将每个月的实验视为一个子实验,处理(标题变体)在子实验内随机分配。
  • 模拟处理动态加入:每个子实验开始时,新的处理(来自下个月的实验)被加入;当某个处理的检验超募尔超过阈值时,该处理被宣布为发现并移除。
  • 比较方法:论文提出的方法(Universal Portfolio + e-LOND) vs. 平台试验中常用的 group sequential 方法(如 O'Brien-Fleming 边界) vs. 未校正的重复检验。

结果(论文 Figure 2 和 3): - 论文方法将 FDR 控制在名义水平 0.05 以下,而"未校正"方法 FDR 超过 0.2。 - 在相同 FDR 水平下,论文方法发现的真实处理数量比 group sequential 方法多约 12%(在 10 个并发处理、最大样本量 5000 的设置下)。 - 增长率曲线显示,论文方法的检验超募尔在备择下以接近理论最优的速率增长,而 group sequential 方法因多重比较校正而损失效率。

例子想说明什么:验证了理论结果——在动态处理加入/移除的现实场景中,论文方法既能严格控制 FDR,又能保持接近最优的检验效率,而现有平台试验方法要么 FDR 失控,要么过于保守。

🔎 结论是否比证明窄

  • 论文在 Section 4 的定理 4.4 中证明了增长率最优性,但该证明依赖于每个子实验的单元数 \(n_s \to \infty\) 且处理 \(a\) 在每个活跃子实验中都有正概率被分配(Assumption 2 的 \(p_s > 0\))。在有限样本或处理分配概率趋于 0 的情况下,增长率最优性可能不成立。论文在 Section 5 的模拟中使用了较大的样本量,但未给出有限样本的保证。
  • Section B 的定理 B.4 需要 Assumptions 5–6(有限状态和 Markov 性)。对于连续结果或长期依赖,该结果不适用。论文在结论中承认这是未来工作,但未给出具体猜想。
  • FDR 控制(Proposition 3.2)的证明依赖于 e-LOND 的性质,而 e-LOND 要求每个处理的 e 过程在零假设下是"有效的"(即期望 ≤ 1)。论文通过 Lemma 3.1 验证了这一点,但 Lemma 3.1 要求 \(E[g_s(\hat{\psi}_{i,s}(a)) \mid F_{i-1,s}, \xi_{i,s}(a)=1] = g_s(\psi_P(a))\)。这个条件在 Horvitz-Thompson 估计下成立,但要求倾向性得分 \(\pi_s\) 已知且正确。如果 \(\pi_s\) 需要从数据估计,则可能引入额外误差,论文未讨论。
  • 论文声称"统一并推广了平台试验和在线 FDR 文献",但未与贝叶斯自适应设计(如 Thompson sampling + FDR)进行理论比较。在模拟中只比较了 group sequential 方法,未包括其他在线 FDR 算法(如 LORD 的变体)。

四、开放问题

  1. 有限样本下的 FDR 控制与最优性:论文的 FDR 控制是渐近的(依赖于 e-LOND 的渐近性质),增长率最优性是几乎必然意义下的。能否给出非渐近的 FDR 界和有限样本的 regret 界?特别是当处理数量 \(|\mathcal{A}|\) 随 \(t\) 增长时,控制是否退化?

  2. 倾向性得分未知或估计:论文假设 \(\pi_s\) 已知(由实验设计决定)。如果倾向性得分需要从历史数据估计(例如在自适应分配中),检验超鞅的性质如何变化?能否构造对估计误差稳健的 e 过程?

  3. 连续结果与复杂依赖:Section B 的 Markov 假设和有限状态假设限制了应用。对于连续结果、长期依赖或非平稳环境,如何构造增长率最优的检验超鞅?是否需要新的工具(如在线凸优化、经验过程理论)?

  4. 自适应分配与 FDR 的联合优化:论文将分配(\(\pi_s\))视为外生给定。如果分配策略本身是自适应的(如 bandit 算法),能否在控制 FDR 的同时最小化累积遗憾?是否存在信息论意义上的下界?

  5. 与贝叶斯方法的联系:e 值与贝叶斯因子有密切联系。论文的检验超鞅是否等价于某种先验下的贝叶斯因子?如果是,能否利用贝叶斯计算工具(如 MCMC、变分推断)构造更复杂的检验?

  6. 实际部署中的多重性:当处理被移除后,其数据是否仍可用于后续检验?如果处理可以重新加入,如何处理重复检验带来的依赖?论文的框架是否允许"复活"处理?

  7. 非随机对照:如果对照组本身随时间变化(例如使用历史对照),如何调整检验超鞅?这涉及到平台试验中非并发对照的偏倚问题,论文未涉及。

  8. 计算效率:Universal Portfolio 算法需要对每个处理维护一个分布,当处理数量极大(如生成式 AI 产生数千个候选)时,计算和存储成本如何?是否存在更简单的近似最优策略?


提醒:若要确认上述开放问题是否为真空白,建议检索近 2–3 年关于 online FDR、e-processes、platform trials 的文献(如 Ramdas & Wang 2024 的综述 [38]、Xu & Ramdas 2024 [65]、Fischer et al. 2024 [16]),看它们是否已解决类似问题。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论