Design of Bayesian A/B Tests Controlling False Discovery Rates and Power¶
作者: Luke Hagar, Nathaniel T. Stevens
来源: Journal of Business & Economic Statistics
主题: 数理统计 / 假设检验
相关性: 6/10
机构绿灯: University of Waterloo(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是贝叶斯 A/B 测试的实验设计(design),核心问题可以概括为:在给定多重检验目标(控制 FDR 与平均功效)的前提下,如何高效地确定最小所需样本量 n 与最优决策阈值 γ。该方向的根本张力在于:A/B 测试的最终用户(企业)关心的是"这个改动是否值得上线",而统计学家关心的是"在多重比较下如何控制错误率"——两者之间的桥梁正是实验设计阶段的样本量与阈值选择。该方向的成熟度属于应用驱动、理论跟进的状态:业界实践(Kohavi 等)已形成成熟的操作规范,但严格的统计设计理论仍在发展中,尤其是贝叶斯框架下的多重检验设计。
发展脉络(history)¶
奠基工作:FDR 的提出与贝叶斯检验的复兴。 Benjamini & Hochberg (1995) 提出了 FDR 作为比 FWER 更宽松、更实用的多重检验错误率指标,其关键洞见是:在大量假设检验中,允许一定比例的错误发现比严格控制"至少一个错误"更符合实际需求。同期,Bayesian 方法因 p 值误用问题(Wasserstein et al., 2016, 2019)而重新受到重视,后验概率作为检验统计量逐渐成为 A/B 测试的主流工具(Deng, 2015; Stevens & Hagar, 2022)。
主要进展:贝叶斯 A/B 测试的实用化。 Kohavi et al. (2020) 的《Trustworthy Online Controlled Experiments》是这一领域的"圣经",它系统化了 A/B 测试的实践流程,并给出了一个关键的操作建议:如果所有指标都是平的或正的,就上线新体验。这一建议隐含了多重检验的思想,但没有给出严格的错误率控制。Stevens & Hagar (2022) 提出了 comparative probability metrics (CPMs),用后验概率来量化"实际等价"与"优越性",为贝叶斯 A/B 测试提供了更丰富的决策框架。同期,Golchi (2021) 和 Golchi & Willard (2023) 在临床试验背景下提出了高效估计后验概率抽样分布的方法,利用后验的大样本理论(Bernstein-von Mises 定理)来减少模拟负担。
当前 frontier:从"单检验设计"到"多重检验设计"。 Hagar & Stevens (2024, 2025) 提出了关键的理论工具:将后验概率的 logit 变换建模为样本量 n 的近似线性函数,从而只需在两个样本量下模拟即可外推整个样本量空间。这一结果将贝叶斯检验的设计成本从"逐点模拟"降为"两点模拟"。本文(Hagar & Stevens, 2025, arXiv:2312.10814v6)是这一思路向多重检验场景的自然延伸:将单检验的 logit 线性性质推广到联合抽样分布,从而同时控制 FDR 与平均功效。
本文的位置:本文处于"贝叶斯 A/B 测试设计"这一支流的最新节点——它解决了此前方法无法处理的多重检验设计问题,且继承了 Hagar & Stevens (2024, 2025) 的"两点模拟"效率优势。但它的代价是引入了更强的假设(对 Ψ 的依赖、对后验近似精度的依赖),这些假设在实践中的稳健性尚未被充分检验。
子线索聚类¶
这些被引文献大致落在三条子线索上:
-
FDR 控制的理论基础(Benjamini & Hochberg, 1995; Benjamini & Yekutieli, 2001; Storey, 2002):这条线索关注"如何在依赖结构下控制 FDR",是本文的统计理论根基。Benjamini & Yekutieli (2001) 特别处理了任意依赖结构下的 FDR 控制,但代价是更保守的阈值。
-
贝叶斯 A/B 测试的推断与决策(Deng, 2015; Stevens & Hagar, 2022; Deng et al., 2024):这条线索关注"如何用后验概率做决策",是本文的推断框架来源。Stevens & Hagar (2022) 的 CPMs 为后验概率的决策阈值提供了语义解释。
-
贝叶斯试验设计的计算效率(Golchi, 2021; Golchi & Willard, 2023; Hagar & Stevens, 2024, 2025):这条线索关注"如何减少设计阶段的模拟成本",是本文方法论的直接前身。Hagar & Stevens (2024) 的 logit 线性性质是本文的核心工具。
这个方向在追问的核心问题¶
- 如何在依赖结构未知的情况下控制 FDR? 本文通过 Ψ 显式建模依赖结构,但实践中 Ψ 的设定可能不准确。Benjamini & Yekutieli (2001) 提供了不依赖 Ψ 的保守方案,但功效损失显著。
- 如何平衡设计阶段的模拟成本与设计精度? 本文的"两点模拟"大幅降低了成本,但代价是依赖 logit 线性近似的精度。当 n 较小时,这种近似的误差有多大?
- 如何将多重检验的错误率控制与业务决策(上线/不上线)衔接? Kohavi et al. (2020) 的"全平或全正"规则是启发式的,本文的 FDR+功效框架提供了更严格的替代,但代价是需要显式设定 Ψ。
⚠️ 作者的 framing(这是作者的说法)¶
作者将缺口 frame 为:"现有贝叶斯 A/B 测试设计方法要么忽略多重检验问题(将多个指标聚合为单一复合度量),要么施加过于严格的 FWER 控制导致功效不足。本文提供了一种同时控制 FDR 与平均功效的经济框架。" 这一 framing 隐含了两个判断:(1) 复合度量方法不可取("丢失信息");(2) FWER 控制过严("降低功效")。被淡化的竞争路线包括:频率学派的 FDR 控制方法(如 Benjamini-Hochberg 程序)在 A/B 测试中的应用——作者仅在引言中一笔带过,未深入比较;以及贝叶斯自适应设计(如 Thompson sampling 的变体)——这类方法在业界已有广泛应用,但作者未提及。明显该被引却没出现在 intro 里的工作包括:Johari et al. (2017) 的"Always Valid Inference"系列(在线 A/B 测试的序贯检验)、以及 Bayesian FDR 控制的经典文献(如 Newton et al., 2004; Müller et al., 2006)——这些工作与本文的核心问题直接相关,但未被引用。
张力¶
未见明显对立引用。但存在一个隐含的张力:Hagar & Stevens (2024, 2025) 的 logit 线性性质依赖于 Bernstein-von Mises 定理的正则条件,而本文将其推广到多重检验场景时,需要联合后验的渐近正态性。当 K 较大或依赖结构复杂时,这种联合渐近正态性是否仍然成立?作者在文中未讨论这一限制。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号清单(逐个点名):
| 记号 | 含义 | 类型 |
|---|---|---|
| \(K\) | 指标(metric)总数 | 常数(问题规模) |
| \(k = 1, \dots, K\) | 指标索引 | 索引 |
| \(H_{0,k}, H_{1,k}\) | 第 k 个指标的零假设 / 备择假设 | 假设(未知真伪) |
| \(Y^{(n)} = \{Y_i\}_{i=1}^n\) | 未来样本,\(Y_i \in \mathbb{R}^K\) | 随机变量(设计阶段未观测) |
| \(n_A, n_B\) | A/B 两组样本量,\(n = n_A + n_B\) | 设计变量(待优化) |
| \(c\) | 分配比,\(n_A = \lfloor c n_B \rceil\) | 常数(固定) |
| \(\eta_j\) | 第 j 组的模型参数向量,\(j = A, B\) | 参数(未知) |
| \(\eta = (\eta_A, \eta_B)\) | 两组参数联合 | 参数(未知) |
| \(f(y; \eta_j)\) | 第 j 组的数据生成分布 | 模型(已知形式) |
| \(\theta = g(\eta)\) | 目标推断量(如 lift) | 参数(未知,待推断) |
| \(\theta_k = g_k(\eta)\) | 第 k 个指标的 lift | 参数(未知) |
| \(\delta_{L,k}, \delta_{U,k}\) | 第 k 个指标的区间端点,\(H_{1,k}: \theta_k \in (\delta_{L,k}, \delta_{U,k})\) | 常数(由业务设定) |
| \(\Pr(H_{1,k} \mid \text{data})\) | 第 k 个指标的后验概率 | 随机变量(依赖数据) |
| \(\gamma_k \in [0.5, 1)\) | 第 k 个指标的决策阈值 | 设计变量(待优化) |
| \(\gamma = \{\gamma_k\}_{k=1}^K\) | 阈值向量 | 设计变量 |
| \(q \in (0,1)\) | FDR 上界 | 常数(由业务设定) |
| \(1 - \beta\) | 平均功效目标 | 常数(由业务设定) |
| \(V, S, T\) | 错误发现数、正确发现数、真实假设数 | 随机变量(依赖数据与阈值) |
| \(\Psi\) | 关于 \(\eta\) 的概率模型(设计假设) | 模型(由设计者设定) |
| \(\Psi_\Lambda\) | 子模型:\(\Lambda\) 中指标为假 | 模型(Ψ 的分量) |
| \(m\) | 模拟重复次数 | 计算资源参数 |
| \(\hat{\theta}_r^{(n)}\) | 第 r 次模拟中 θ 的 MLE | 估计量 |
| \(I(\theta_r)\) | Fisher 信息矩阵 | 矩阵(由模型决定) |
| \(\Phi(\cdot)\) | 标准正态 CDF | 函数 |
模型(用直白语言):
数据生成机制:每个用户 \(i\) 属于 A 组或 B 组,其 \(K\) 个二元/连续指标 \(Y_i\) 由组别对应的分布 \(f(y; \eta_A)\) 或 \(f(y; \eta_B)\) 独立生成。目标是推断 \(\theta = g(\eta)\),即两组参数差异的某种函数(如相对提升率)。设计者需要设定: 1. 先验 \(p(\eta)\):用于贝叶斯后验推断,反映设计者对参数的不确定性。 2. 概率模型 \(\Psi\):用于设计阶段,描述"未来数据可能来自哪些 \(\eta\) 值"。\(\Psi\) 与 \(p(\eta)\) 可以不同——\(\Psi\) 是设计假设("如果真实效果是 X,我们需要多大样本?"),\(p(\eta)\) 是推断假设("给定数据,效果是 X 的概率是多少?")。
可观测数据(关键区分):
- 设计阶段:研究者没有真实数据。可观测的是模拟数据——从 \(\Psi\) 中抽取 \(\eta_r\),再从 \(f(y; \eta_r)\) 生成 \(y_r^{(n)}\)。这些模拟数据用于估计后验概率的抽样分布。
- 推断阶段(未来):研究者将观测到真实数据 \(y^{(n)}\),计算后验概率 \(\Pr(H_{1,k} \mid y^{(n)})\),并与阈值 \(\gamma_k\) 比较做出决策。
- 不可观测:每个 \(\eta_r\) 的真实值(在模拟中已知,但在真实实验中未知);\(H_{1,k}\) 的真伪(在模拟中由 \(\eta_r\) 决定,在真实实验中未知)。
第二步:最小内核¶
最简特例:\(K = 1\)(单一指标),\(f(y; \eta_j)\) 为 Bernoulli 分布(二元转化率),\(\theta = \pi_B - \pi_A\)(转化率差),\(H_1: \theta > 0\)( superiority 检验),\(\Psi\) 为两点分布:以 0.5 概率 \(\theta = 0\)(零假设为真),以 0.5 概率 \(\theta = \theta^* > 0\)(备择假设为真,\(\theta^*\) 为最小可检测效应)。
要解决的问题:找到最小的 \(n\) 和阈值 \(\gamma\),使得: 1. FDR 控制:\(\mathbb{E}_{\eta \sim \Psi}[\mathbb{E}[V/(V+S)]] \leq q\)(错误发现比例不超过 \(q\)) 2. 平均功效:\(\mathbb{E}_{\eta \sim \Psi}[\mathbb{E}[S/T]] \geq 1 - \beta\)(真实假设被发现的平均比例不低于 \(1-\beta\))
核心数学困难:后验概率 \(\Pr(H_1 \mid y^{(n)})\) 的抽样分布没有闭式表达式。要评估一个 \((n, \gamma)\) 组合是否满足上述两个条件,传统方法需要对每个 \(n\) 做大量模拟(算法 1),计算量随 \(n\) 的搜索范围线性增长。
本文的核心思想(最小内核):
-
logit 变换的线性性质:对固定的 \(\eta_r\) 和 \(u_r\),后验概率的 logit 变换 \(\text{logit}(\Pr(H_{1,k} \mid y_r^{(n)}))\) 作为 \(n\) 的函数,其斜率渐近收敛到定理 1 给出的常数(不依赖于 \(u_r\))。这意味着,只需在两个样本量 \(n_0\) 和 \(n_1\) 下模拟,就可以通过线性插值得到任意 \(n\) 下的后验概率 logit 值。
-
分位数匹配:由于 logit 变换是单调的,后验概率的排序在 \(n\) 变化时保持不变(对固定的 \(\eta_r\) 和 \(u_r\))。因此,可以通过匹配两个样本量下的分位数来构造整个抽样分布的近似。
-
两点模拟:算法 2 只在 \(n_0\) 和 \(n_1\) 两个样本量下运行算法 1,然后利用线性性质外推所有中间 \(n\) 值,从而在几分钟内完成原本需要数小时的搜索。
为什么成立(直觉):后验概率 \(\Pr(H_{1,k} \mid y^{(n)})\) 在 \(n\) 增大时以指数速度趋向 0 或 1(取决于 \(\theta_k\) 的真实值是否在区间内)。logit 变换将这种指数收敛转化为线性收敛,使得线性插值成为精确的渐近近似。定理 1 的贡献在于证明了这种线性收敛的斜率不依赖于抽样点 \(u_r\),从而保证了插值的有效性。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:如何高效地设计涉及多个指标的贝叶斯 A/B 测试,使得样本量和决策阈值同时满足 FDR 与平均功效的控制标准。
- 核心工具/方法:利用 Bernstein-von Mises 定理推导后验概率 logit 变换关于样本量的渐近线性性质,据此提出"两点模拟"框架(算法 2),仅在两个样本量下模拟即可外推整个样本量空间。
- 主要结论:在真实 A/B 测试数据(Optimizely 案例,K=5 个二元指标)上,该方法能以约 3 分钟的计算时间推荐出满足 FDR≤0.05 且平均功效≥0.8 的样本量 n=13328 与阈值 γ=0.9411;相比 FWER 控制(Bonferroni)所需样本量 27956,FDR 控制可减少约 52% 的样本量。
关键设定与假设¶
设定: - 每个用户 \(i\) 有 \(K\) 个二元指标 \(Y_i = (Y_{i1}, \dots, Y_{iK})\),组间独立。 - 每组数据由参数 \(\eta_j\) 控制的多项分布生成(图 1 展示了 13 个概率的依赖结构)。 - 目标推断量 \(\theta_k = (\pi_{B,k} - \pi_{A,k}) / \pi_{A,k}\)(lift)。 - 假设检验:\(H_{1,k}: \theta_k > 0\)(即 \(\delta_{L,k} = 0, \delta_{U,k} = \infty\))。 - 决策规则:若 \(\Pr(H_{1,k} \mid y^{(n)}) \geq \gamma_k\),则判定第 k 个指标为"发现"。
假设(逐条说明统计含义):
- Bernstein-von Mises 定理条件(附录 A.1):后验分布渐近正态。这要求模型是正确设定的、先验在参数空间内部有正质量、似然函数满足标准正则条件。含义:当 \(n\) 足够大时,后验分布可以用正态分布近似,这是 logit 线性性质的理论基础。
- MLE 正则条件(附录 A.2):Fisher 信息矩阵存在且正定,MLE 渐近正态。含义:保证了 \(\hat{\theta}^{(n)}\) 的抽样分布可以用正态近似,且其方差以 \(n^{-1}\) 速率衰减。
- Ψ 的设定:设计者必须指定 \(\Psi\),即"未来数据可能来自哪些参数值"的概率分布。含义:这是设计阶段的假设,不是从数据中学习的。如果 Ψ 与实际数据生成过程不符,设计结果可能不满足 FDR/功效目标。
- logit 线性近似的局部有效性:定理 1 的结论是渐近的,对于有限 \(n\),线性插值存在误差。含义:算法 2 的精度依赖于 \(n_0\) 和 \(n_1\) 的选择——它们应该足够大以保证渐近近似合理,但又不能太大以保持计算效率。
相比已有文献的放宽/强化: - 放宽:相比 FWER 控制(Bonferroni),本文的 FDR 控制允许更小的样本量,且不需要假设检验之间的独立性。 - 强化:相比 Hagar & Stevens (2024, 2025) 的单检验方法,本文需要处理联合抽样分布,因此需要更强的渐近条件(联合正态性)。
主要结果¶
定理 1(核心理论结果): - 陈述:对任意 \(\eta_r \sim \Psi\) 和 \(u_r \in [0,1]^K\),条件 logit 概率 \(\text{logit}(\Pr(H_{1,k} \mid \hat{\theta}_r^{(n)}))\) 关于 \(n\) 的导数渐近收敛到 \((0.5 - \mathbb{I}\{\theta_{r,k} \notin (\delta_{L,k}, \delta_{U,k})\}) \times \min\{a_k(\delta_{U,k}, \theta_r)^2, a_k(\delta_{L,k}, \theta_r)^2\}\),其中 \(a_k(\delta, \theta_r) = (\delta - \theta_{r,k}) / \sqrt{I_{k,k}(\theta_r)^{-1}}\)。 - 直觉:当 \(\theta_{r,k}\) 在区间内(\(H_{1,k}\) 为真)时,斜率收敛到 \(0.5 \times \min\{a_k(\delta_{U,k})^2, a_k(\delta_{L,k})^2\}\)(正斜率,logit 趋向 \(+\infty\));当 \(\theta_{r,k}\) 在区间外(\(H_{1,k}\) 为假)时,斜率收敛到 \(-0.5 \times \min\{a_k(\delta_{U,k})^2, a_k(\delta_{L,k})^2\}\)(负斜率,logit 趋向 \(-\infty\))。 - 必要条件:\(n\) 足够大使得 BvM 定理成立;\(\theta_{r,k}\) 不恰好落在区间边界上(否则斜率趋向 0,线性近似失效)。 - 技术难点:证明的关键在于处理联合抽样分布中不同指标之间的依赖结构。作者通过条件化于 \(\hat{\theta}_r^{(n)}\) 的前 \(k-1\) 个分量,将联合分布分解为条件分布,从而将多变量问题转化为单变量问题。
推论 1(算法 2 的收敛性): - 陈述:在定理 1 的条件下,算法 2 返回的 \((n_2, \gamma_{n_2})\) 组合使得 FDR 和平均功率分别收敛到 \(q\) 和 \(1 - \beta\)。 - 证明路线:利用 logit 线性性质,证明算法 2 构造的抽样分布近似与真实抽样分布的 Kolmogorov-Smirnov 距离随 \(n \to \infty\) 收敛到 0,从而 FDR 和平均功率的估计量一致。
真实数据例子(Optimizely 案例): - 数据:2012 年 Optimizely 网站改版的 A/B 测试,5 个二元指标(点击、使用编辑器、访问定价页、触发对话框、创建账户)。 - 方法应用:定义 Ψ 为 30 个子模型的等权混合(每个子模型对应一种"哪些假设为假"的组合),每个子模型中假假设的 lift 为 0,真假设的 lift 为 10%。 - 结果: - 推荐样本量 \(n_A = 13328\)(每组),阈值 \(\gamma = 0.9411\)。 - 验证模拟显示 FDR≈0.0497,平均功率≈0.7992,与目标值吻合。 - 对比 Bonferroni 校正(FWER 控制)所需 \(n_A = 27956\),本文方法节省约 52% 样本量。 - 对比忽略依赖结构的独立设计(\(n_A = 14427\)),本文方法节省约 8% 样本量,且阈值更灵活。
证明路线与技术技巧¶
整体路线(3-5 步):
- 建立代理抽样分布:利用 BvM 定理,将后验概率 \(\Pr(H_{1,k} \mid y^{(n)})\) 的抽样分布近似为基于 MLE 渐近正态性的函数。
- 推导 logit 线性性质:证明对固定的 \(\eta_r\) 和 \(u_r\),logit 变换后的后验概率关于 \(n\) 的导数收敛到常数(定理 1)。
- 构造两点插值:在 \(n_0\) 和 \(n_1\) 两个样本量下运行算法 1,得到 logit 值的两个端点,用直线连接得到中间 \(n\) 的近似。
- 优化样本量与阈值:在插值得到的抽样分布上,搜索满足 FDR≤q 且平均功率≥1−β 的最小 \(n\) 和最优 \(\gamma\)。
- 验证与修正:在推荐的 \((n, \gamma)\) 处运行完整的算法 1 进行验证,必要时迭代调整。
关键引理/技术技巧:
- logit 变换的方差稳定化:logit 变换将 [0,1] 上的后验概率映射到 \((-\infty, \infty)\),使得其抽样分布更接近正态,从而线性插值更精确。
- 分位数匹配:由于 logit 是单调变换,两个样本量下的分位数可以一一对应,从而保持联合分布的秩结构。
- 子模型分解:将 Ψ 分解为子模型 \(\Psi_\Lambda\) 的混合,每个子模型对应一种"哪些假设为假"的组合。这允许算法 2 分别处理每种组合下的抽样分布,再按权重混合。
- 线性规划构造多项分布:在 Optimizely 案例中,使用线性规划(Guenin et al., 2014)构造满足边际概率约束的 13 个多项分布概率,确保依赖结构合理。
证明中的关键步骤: - 定理 1 的证明分为两部分:(a) 利用 BvM 定理和 delta method 推导 logit 后验概率的渐近正态性;(b) 计算 logit 关于 \(n\) 的导数,证明其收敛到常数。 - 推论 1 的证明利用连续映射定理和一致大数定律,证明算法 2 的估计量一致收敛。
🔎 结论是否比证明窄¶
是,存在明显差距:
-
定理 1 是渐近结果,但算法 2 用于有限样本。作者在 Optimizely 案例中使用了 \(n_0 = 1.2 \times 10^4\),但未提供任何有限样本误差界。对于较小的 \(n\)(如 \(n < 10^3\)),logit 线性近似可能严重失真,但文中未讨论这一限制。
-
推论 1 的收敛性依赖于 Ψ 的正确设定。如果实际数据生成过程与 Ψ 不符(例如,真实 lift 大于 10%,或依赖结构更复杂),算法 2 推荐的 \((n, \gamma)\) 可能不满足 FDR/功效目标。作者在 Section 5 中仅讨论了 Ψ 设定合理的情况,未做敏感性分析。
-
"最优"阈值的选择标准未严格定义。文中提到"最大化平均功率"作为选择 γ 的标准,但未证明该标准在某种意义下是最优的(例如,是否最小化期望样本量?是否在 FDR 约束下最大化功效?)。这是一个未解决的开放问题。
-
依赖结构的处理是隐式的。作者通过 Ψ 的混合隐式建模依赖结构,但未提供诊断工具来检验 Ψ 的设定是否合理。对于实际 A/B 测试中常见的复杂依赖(如时间序列相关、用户异质性),该方法可能需要扩展。
四、开放问题¶
-
有限样本误差界:定理 1 的渐近结果在有限样本下的误差有多大?能否构造一个可计算的误差界,使得算法 2 的推荐在有限样本下也有保证?(扎根于定理 1 的渐近性质与算法 2 的有限样本使用之间的差距。)
-
Ψ 的敏感性分析:当 Ψ 设定不准确时,算法 2 的推荐会如何变化?是否存在一个"最坏情况"的 Ψ 使得 FDR 和功效目标被违反?(扎根于 Section 5 中"我们建议实践者根据最小可检测效应定义 Ψ"这一建议,但未提供敏感性分析。)
-
最优阈值选择标准的严格化:在 FDR 约束下最大化平均功率是否是最优的?是否存在其他目标函数(如最小化期望样本量、最小化错误发现代价)会导致不同的阈值选择?(扎根于 Section 4 中"优化方案"的描述,但未定义最优性的精确含义。)
-
依赖结构的显式建模:当指标之间存在复杂依赖(如时间序列、网络效应)时,如何扩展算法 2?是否可以利用 copula 或其他依赖建模工具?(扎根于 Section 6 中"我们的方法可扩展到更复杂的模型"这一展望,但未给出具体方向。)
-
序贯 A/B 测试的扩展:本文考虑的是固定样本设计。对于实践中常见的序贯测试(如"随时监控、提前停止"),如何调整算法 2 以控制 FDR 和功效?(扎根于 Section 6 中"序贯测试是未来工作"这一陈述。)
提示:若要确认上述开放问题是否为真 gap,建议阅读以下近期工作(各约 5 篇)的 intro:(i) Bayesian adaptive design 的文献(如 Golchi, 2021 的后续工作);(ii) 在线 A/B 测试的序贯检验文献(如 Johari et al., 2017 的后续);(iii) 多重检验中 FDR 控制的贝叶斯方法(如 Newton et al., 2004 的后续)。如果这些文献都未解决上述问题,则它们很可能是值得投入的真 gap。
Maintained by 陈星宇 · Homepage · Source on GitHub