Multiple testing with the horseshoe¶
作者: Sayantan Banerjee, Ismaël Castillo, Fanny Villers
主题: 数理统计 / 假设检验
相关性: 7/10
链接: https://arxiv.org/abs/2606.30375
一、领域脉络与小综述¶
这个方向是什么¶
本文研究的根本问题是:在稀疏高维模型中,如何利用连续收缩先验(如 horseshoe)进行多重假设检验,并在频率学意义下控制错误率(FDR/FNR)。传统贝叶斯变量选择依赖 spike-and-slab 先验,因其产生精确零值,可直接计算后验包含概率(ℓ-value)作为检验统计量。但连续收缩先验(horseshoe 等)不产生精确零值,后验包含概率恒为 0,因此无法直接套用 ℓ-value 框架。本文的核心贡献在于提出基于后验的决策规则(s-value、S-value、Cs-value),使得连续收缩先验也能用于多重检验,并证明其在稀疏正常均值模型下达到最优检测边界。
该方向的成熟度:理论框架已基本建立,但仍有大量开放问题。对于 spike-and-slab 先验的 ℓ-value 程序,其频率学性质(FDR 控制、最优检测边界)已在 [3](Abraham, Castillo & Roquain, 2024, Ann. Statist.)中得到完整刻画。但对于连续收缩先验,此前缺乏系统性的理论保证——这正是本文填补的空白。
发展脉络¶
- 奠基工作:Efron 的两组模型(two-groups model)与经验贝叶斯方法 [21](Efron et al., 2001)奠定了贝叶斯多重检验的框架;Benjamini & Hochberg [7](1995)引入 FDR 作为错误控制指标。Storey [43](2003)提出 q-value,将 FDR 控制与贝叶斯后验概率联系起来。
- spike-and-slab 路径:Castillo & Roquain [15](2020, Ann. Statist.)建立了 ℓ-value 程序的频率学性质——证明其 FDR 趋于 0,且对强信号 q-value 的 FDR 接近目标水平。Abraham, Castillo & Roquain [3](2024, Ann. Statist.)进一步刻画了 ℓ-value 程序的最优检测边界(sharp minimax multiple testing risk),给出了 FDR+FNR 的精确最小最大率。这是本文的直接理论对标。
- 连续收缩先验路径:horseshoe 先验由 Carvalho, Polson & Scott [12](2010, Biometrika)提出;van der Pas et al. [47](2014, Electron. J. Stat.)建立了其稀疏正常均值模型下的后验收缩率;van der Pas et al. [49](2014)分析了自适应收缩性质;van der Pas et al. [50](2017, Bayesian Anal.)研究了不确定性量化与边际可信区间。但这些工作聚焦于估计,而非检验。
- 当前 frontier:本文的位置——将 [3] 的最优检测边界理论从 spike-and-slab 推广到连续收缩先验。作者明确指出,此前"没有理论支持"连续收缩先验的检验程序(引言部分),本文首次给出系统性证明。
子线索聚类¶
- 频率学最优检测边界理论([3], [22], [37]):刻画 FDR+FNR 最小最大风险的精确常数与收敛速率,为检验程序提供理论基准。
- 贝叶斯多重检验的频率学分析([15], [2], [1]):研究 ℓ-value、q-value 等贝叶斯检验程序在固定真值下的频率学性质(FDR 控制、功效)。
- 连续收缩先验的估计理论([47], [49], [50], [12]):聚焦后验收缩率、自适应性与不确定性量化,不涉及检验。
- 可扩展计算([28], [31], [32]):horseshoe 先验的高效采样算法,使 p 达 10⁴ 量级成为可能。
核心问题¶
- 如何为连续收缩先验定义"检验统计量"? 没有精确零值,后验包含概率不可用,需要新的决策规则。
- 这些规则能否达到最优检测边界? 即 FDR+FNR 的最小最大风险是否与 [3] 中 ℓ-value 程序一致。
- 如何自适应地选择先验超参数? 特别是全局收缩参数 τ,本文采用边际最大似然估计(MMLE)。
⚠️ 作者的 framing¶
作者将本文定位为"填补连续收缩先验多重检验理论空白"的工作。引言中明确写道:"to the best of our knowledge, there is no theory yet backing up one method or the other"(指现有阈值化后验均值/可信区间等经验方法)。作者将 spike-and-slab 的 ℓ-value 理论([3], [15])作为基准,证明 horseshoe 的 s-value 程序同样达到该最优边界,从而将连续收缩先验"提升"到与 spike-and-slab 同等的理论地位。
值得注意的淡化:作者在引言中承认,对于更复杂的模型(高维回归、图模型),理论尚未建立,仅通过模拟展示有效性。这意味着本文的理论贡献严格限于序列模型。
张力¶
未见明显对立引用。但存在一个微妙的理论张力:horseshoe 先验的后验收缩([47])与检验最优性(本文)之间的关系。前者表明 horseshoe 后验在 ℓ₀ 球上以近 minimax 速率收缩,后者表明 s-value 程序达到最优检测边界。两者是否在更深层次上等价或互补,本文未讨论。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
模型(稀疏正常均值模型): - 观测数据:\(X = (X_1, \ldots, X_n) \in \mathbb{R}^n\),其中 \(X_i = \theta_i + \varepsilon_i\),\(\varepsilon_i \overset{iid}{\sim} N(0,1)\)。 - 未知参数:\(\theta = (\theta_1, \ldots, \theta_n) \in \mathbb{R}^n\),确定性未知向量(非随机)。 - 稀疏性假设:\(\theta \in \ell_0[s_n] = \{\theta : |\{i : \theta_i \neq 0\}| \leq s_n\}\),其中 \(s_n \to \infty\) 且 \(s_n/n \to 0\)。 - 信号强度类:\(L_0[s_n; b] = \{\theta \in \ell_0[s_n] : |\theta_i| \geq \sqrt{2\log(n/s_n)} + b \text{ for all } i \in S_\theta\}\),其中 \(b\) 为固定实数。这个类要求非零信号足够强(高于检测阈值),是检测问题中标准的"可检测区域"。
先验(horseshoe): - 对每个坐标独立施加:\(\theta_i \mid \lambda_i, \tau \sim N(0, \tau^2 \lambda_i^2)\),\(\lambda_i \sim C^+(0,1)\)(半柯西),\(\tau \sim C^+(0,1)\)。 - 关键点:这是一个连续先验,\(\mathbb{P}(\theta_i = 0) = 0\),因此后验包含概率 \(\Pi[\theta_i = 0 \mid X] = 0\) 恒成立,ℓ-value 不可用。
可观测数据:仅有 \(X\)。研究者需要基于 \(X\) 决定对每个 \(i\) 是否拒绝 \(H_{0i}: \theta_i = 0\)。
目标量(estimand): - 对每个 \(i\),决策 \(\phi_i(X) \in \{0,1\}\)(1 表示拒绝)。 - FDR:\(\text{FDR}(\theta, \phi) = E_\theta\left[\frac{\sum_{i: \theta_i = 0} \phi_i(X)}{1 \vee \sum_i \phi_i(X)}\right]\)(期望的假发现比例)。 - FNR:\(\text{FNR}(\theta, \phi) = E_\theta\left[\frac{\sum_{i: \theta_i \neq 0} (1 - \phi_i(X))}{1 \vee s_n}\right]\)(期望的漏检比例)。 - 多重检验风险:\(R(\theta, \phi) = \text{FDR}(\theta, \phi) + \text{FNR}(\theta, \phi)\)。
关键区别:这里的目标是检验(每个坐标是否为零),而非估计(θ 的值)。检验的难度在于:信号强度恰好处于检测阈值附近时,任何程序都无法同时控制 FDR 和 FNR。
第二步:最小内核¶
核心困难:连续收缩先验不产生精确零值,如何定义"拒绝"?
s-value 的定义(公式 (5)–(6)):
直观理解:s-value 是后验分布在 0 两侧中较小一侧的概率的两倍。若后验分布集中在正侧(\(X_i\) 很大且为正),则 \(\Pi[\theta_i < 0 \mid X_i] \approx 0\),s-value 很小;若后验集中在 0 附近(\(X_i \approx 0\)),则两侧概率各约 1/2,s-value 约等于 1。因此 s-value 度量了"后验分布偏离 0 的程度",可作为检验统计量。
为什么因子 2? 对连续对称先验(如 horseshoe),当 \(X_i = 0\) 时,后验对称,\(\Pi[\theta_i < 0 \mid X_i] = \Pi[\theta_i > 0 \mid X_i] = 1/2\),此时 s-value = 1。当 \(X_i \to \infty\) 时,\(\Pi[\theta_i < 0 \mid X_i] \to 0\),s-value → 0。因此 s-value 的取值范围是 \([0, 1]\),且"越小越显著"。
s-value 程序:拒绝 \(H_{0i}\) 当且仅当 \(s_i(X) < t\),其中 \(t \in (0,1)\) 是阈值。
最小内核的数学命题(Theorem 1 的简化版):
命题(非正式):设 \(\theta_0 \in L_0[s_n; b]\),\(b\) 固定。若 \(t\) 随 \(n\) 适当选取(例如 \(t = s_n/n\) 的某个幂次),则 s-value 程序的 FDR 和 FNR 满足:
\[\sup_{\theta_0 \in L_0[s_n; b]} \left[\text{FDR}(\theta_0, \hat{\phi}^s_t) + \text{FNR}(\theta_0, \hat{\phi}^s_t)\right] = \bar{\Phi}(b) + o(1),\]其中 \(\bar{\Phi}(b) = P[N(0,1) > b]\) 是标准正态尾部概率。
这个命题在说什么:s-value 程序的风险恰好等于 [3] 中 ℓ-value 程序的最优风险 \(\bar{\Phi}(b)\)。这意味着: 1. 最优性:s-value 程序达到最小最大检测边界,与 spike-and-slab 的 ℓ-value 程序同样好。 2. 自适应:MMLE 对 τ 的估计不损失渐近最优性。 3. 普适性:该结果对任何满足一定条件的连续收缩先验都成立,不仅限于 horseshoe。
为什么这个命题成立(证明直觉):
证明分三步(见 Section 6.2 的 outline):
-
s-value 的精确估计(Lemma 6.2):对 horseshoe 先验,s-value 可以近似为
\[s(x;\tau) \approx \frac{1}{1 + \tau h(x)}\]其中 \(h(x) = x^2/2 \cdot \phi(x)/\bar{\Phi}(x)\) 是 Mills 比率相关的函数。这个近似在 \(x\) 不太小、\(\tau\) 不太大时成立。 -
MMLE 的集中性(Proposition 1):\(\hat{\tau}\) 以高概率落在 \([d_1 \tau_n(s_n), d_2 \tau_n(s_n)]\) 内,其中 \(\tau_n(s_n) = (s_n/n)\sqrt{\log(n/s_n)}\)。这个区间足够窄,使得 \(\hat{\tau}\) 的随机性不影响 s-value 的渐近行为。
-
FDR/FNR 的精细控制:利用 s-value 的近似表达式,将 FDR 和 FNR 分别转化为对标准正态尾部概率的求和,再用 Bernstein 不等式(Lemma A.4)和泊松二项分布的随机占优性质(Lemma S-25 in [3])得到精确的上下界。
最小内核的"一句话"总结:本文证明的核心是——s-value 的行为在渐近意义上与 ℓ-value 完全一致,因此连续收缩先验可以"免费"获得 spike-and-slab 先验已有的最优检验性质。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在稀疏正常均值模型下,如何为连续收缩先验(以 horseshoe 为代表)设计多重检验程序,使其在频率学意义下控制 FDR 并达到最优检测边界。
- 核心工具/方法:提出三种基于后验的决策规则——s-value(基于后验符号概率)、S-value(基于条件尾部概率)、Cs-value(累积 s-value 程序),并采用边际最大似然估计(MMLE)自适应选择全局收缩参数 τ。
- 主要结论:s-value 程序在 \(L_0[s_n; b]\) 上达到最小最大检测风险 \(\bar{\Phi}(b) + o(1)\),与 spike-and-slab 的 ℓ-value 程序最优性一致;S-value 程序在目标 FDR 水平 \(t\) 下实现 FDR → t 且 FNR → \(\bar{\Phi}(b)\);模拟验证了方法在高维回归和图模型中的有效性。
关键设定与假设¶
- 模型:\(X_i = \theta_i + \varepsilon_i\),\(\varepsilon_i \overset{iid}{\sim} N(0,1)\)。噪声方差已知为 1(可推广到未知方差,但本文未讨论)。
- 稀疏性:\(\theta_0 \in \ell_0[s_n]\),\(s_n \to \infty\),\(s_n/n \to 0\)。没有假设信号强度的具体分布,只要求信号强度不低于检测阈值(\(L_0[s_n; b]\) 类)。
- 先验:horseshoe 先验(3),即 \(\theta_i \mid \lambda_i, \tau \sim N(0, \tau^2 \lambda_i^2)\),\(\lambda_i \sim C^+(0,1)\),\(\tau \sim C^+(0,1)\)。关键假设:\(\tau\) 通过 MMLE 估计,而非完全贝叶斯(分层先验)。
- 与已有文献的对比:
- 相比 [15](spike-and-slab ℓ-value):本文处理的是连续先验,ℓ-value 不可用,需要新的统计量。
- 相比 [42](Salomond, 2017):后者仅处理"大信号"情形(信号强度远高于阈值),本文处理阈值附近的信号(\(L_0[s_n; b]\) 类),这是检测问题中最困难的情形。
- 相比 [36](Paul et al., 2026):后者假设已知稀疏度 \(s_n\),本文完全自适应(通过 MMLE 估计 τ)。
主要结果¶
Theorem 1(s-value 的最优性):对任意固定 \(b \in \mathbb{R}\),
Theorem 2(S-value 的 FDR 控制):对任意固定 \(b \in \mathbb{R}\) 和目标水平 \(t \in (0, 1/2]\),
Proposition 1(MMLE 的集中性):\(\hat{\tau}\) 以高概率落在 \([d_1 \tau_n(s_n), d_2 \tau_n(s_n)]\) 内。
Proposition 2(s-value 程序是稀疏保持的):s-value 程序的总发现数不超过 \(O(s_n)\) 量级。
证明路线与技术技巧¶
整体路线(以 Theorem 1 为例):
-
Step 1:建立 s-value 的精确上下界(Lemma 6.2)。核心技巧是将 s-value 表示为两个积分之比,然后利用半柯西先验的尾部性质,将积分近似为初等函数。关键结果是:
\[s(x;\tau) = \frac{1 + O(\tau^{1/4})}{1 + \tau h(x)}\]其中 \(h(x) = x^2/2 \cdot \phi(x)/\bar{\Phi}(x)\)。 -
Step 2:证明 MMLE 的集中性(Proposition 1)。利用 [49] 中关于边际似然的精细估计,证明 \(\hat{\tau}\) 以高概率落在目标区间内。关键技巧是将 \(\hat{\tau}\) 的随机性"吸收"到 s-value 的误差项中,从而在渐近分析中可以"冻结" \(\hat{\tau}\)。
-
Step 3:FDR 的控制。将 FDR 分解为
\[\text{FDR} = E\left[\frac{FP}{FP + TP}\right],\]其中 FP 和 TP 分别是假阳性和真阳性数。利用 s-value 的近似表达式,将 \(E[FP]\) 和 \(E[TP]\) 分别转化为对标准正态尾部概率的求和。关键技巧是泊松二项分布的随机占优(Lemma S-25 in [3]):FP 的分布被一个参数为 \(p_i = \bar{\Phi}(\sqrt{2\log(n/s_n)} + b)\) 的泊松二项分布随机占优,从而可以用 Bernstein 不等式得到指数衰减的尾概率。 -
Step 4:FNR 的控制。类似地,将 FNR 转化为对信号坐标的漏检概率求和。关键技巧是利用 \(L_0[s_n; b]\) 类的定义(信号强度不低于阈值),将漏检概率上界为 \(\bar{\Phi}(b) + o(1)\)。
技术技巧点名:
- Mills 比率与尾部近似:用于估计 s-value 的积分表达式(Lemma 6.2)。
- 泊松二项分布的随机占优:用于将 FDR/FNR 的期望转化为可计算的尾部概率(Lemma S-25 in [3])。
- Bernstein 不等式:用于控制泊松二项分布的尾概率(Lemma A.4)。
- MMLE 的集中不等式:用于处理自适应参数估计(Proposition 1,基于 [49] 的精细估计)。
- 对称化与符号概率:s-value 的定义利用了后验分布在 0 两侧的对称性,这是连续收缩先验特有的结构。
真实例子与应用¶
本文包含三个模拟场景:
-
序列模型(Section 4.1):\(n = 10^4\),\(s_n = 10\) 或 \(100\),信号强度 \(\mu\) 从 0 到 8 变化。比较 s-value、S-value、Cs-value 与 ℓ-value(spike-and-slab)、阈值化后验均值等方法。结果显示 s-value 的 FDR 始终低于目标水平,且 TDR 与 ℓ-value 相当。
-
高维线性回归(Section 4.2):\(n = 3000, 5000\),\(p = 6000, 10000\),\(s = 6, 30, 60, 100\)。使用 Mhorseshoe 包进行后验采样,s-value 和 Cs-value 程序在 FDR 控制和功效上均优于现有方法。
-
高斯图模型(Section 4.3):\(n = 120\),\(p = 100, 200\),使用图形 horseshoe 先验。s-value 和 Cs-value 程序在边检测中表现出良好的 FDR 控制。
这些例子的作用:验证理论结果在更复杂模型中的适用性,并展示方法的计算可行性(p 达 \(10^4\) 量级)。
🔎 结论是否比证明窄¶
是的,存在明显差距:
-
理论严格限于序列模型。Theorem 1 和 2 的证明强烈依赖序列模型的独立结构和正态似然。作者在 Section 5 中明确承认:"a very natural setting to derive further theory would be high-dimensional linear regression",但本文没有提供该情形的理论结果。
-
Theorem 2 的证明仅覆盖"边界信号"。作者在 Section 3.3 中说明,S-value 的 FDR 控制证明要求信号强度恰好处于 \(L_0[s_n; b]\) 的边界(即 \(|\theta_i| = \sqrt{2\log(n/s_n)} + b\)),对于更强的信号,FDR 控制是平凡的(因为 FDR 只会更低),但证明并未显式处理。
-
Cs-value 程序没有理论保证。作者在 Section 3.3 中写道:"we do not provide theoretical guarantees for the Cs–value procedure",仅给出模拟证据。
-
MMLE 的集中性证明依赖 [49] 的假设。Proposition 1 的证明引用了 [49] 中关于边际似然的技术性假设(如 \(\tau\) 的取值区间),这些假设在更一般的模型(如回归)中未必成立。
结论中的泛化表述:作者在摘要和引言中声称方法"适用于一大类连续收缩先验",但 Theorem 1 的证明实际上只对 horseshoe 先验(或满足特定尾部条件的先验)成立。作者在 Section 2.6 中讨论了推广,但未给出严格证明。
四、开放问题¶
以下问题均扎根于论文的具体语句:
-
高维回归的理论保证(Section 5, "Discussion"):作者写道:"A very natural setting to derive further theory would be high-dimensional linear regression, where we see empirically that the FDR control remains equally good compared to the sparse sequence model, at least under weakly or moderately correlated designs." 要证明什么:在 \(p \gg n\) 的线性回归下,s-value 程序是否仍能达到最优检测边界?这需要处理设计矩阵的相关性、后验计算的近似误差等。
-
Cs-value 程序的理论分析(Section 3.3):作者写道:"we do not provide theoretical guarantees for the Cs–value procedure, and leave this for future work." 要证明什么:Cs-value 程序是否也能达到最优检测边界?其 FDR 控制是否严格?
-
其他收缩先验的推广(Section 2.6):作者写道:"The method can be applied to any sparse prior",但未给出严格条件。要证明什么:对于 Dirichlet-Laplace、horseshoe+ 等先验,s-value 的最优性是否成立?需要什么样的尾部条件?
-
分层贝叶斯(Hierarchical Bayes)情形(Section 4.1, 附录 B.1.4):作者在模拟中展示了 HB 版本的 s-value 程序表现良好,但理论分析仅覆盖 MMLE。要证明什么:当 τ 本身有先验(如半柯西)时,s-value 的频率学性质是否保持不变?
-
依赖结构下的 FDR 控制(Section 5):作者写道:"understanding this bias and the settings where it may appear for Bayesian sparse procedures is an interesting question that goes much beyond the scope of this work." 要证明什么:当观测之间存在相关性(如图模型)时,s-value 程序的 FDR 控制是否仍然成立?相关性如何影响最优检测边界?
-
检验与估计的联合最优性:本文只关注检验风险(FDR+FNR),但 horseshoe 先验同时具有优秀的估计性质([47])。是否存在一个统一的框架,同时刻画检验和估计的最优性?本文未涉及。
给研究者的提示:若要确认上述问题是否为真 gap,建议阅读 [3](Abraham, Castillo & Roquain, 2024)的引言和结论,以及 [36](Paul et al., 2026)的摘要——如果近期 5 篇相关论文都指向同一问题,则大概率是共识性 gap;如果互相矛盾,则可能是机会。
Maintained by 陈星宇 · Homepage · Source on GitHub