Bayesian stability selection and inference on selection probabilities¶

作者: Mahdi Nouraie, Connor Smith, Samuel Muller
来源: Statistics and Computing
主题: 数理统计 / 假设检验
相关性: 6/10
链接: 期刊页 · arXiv

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向的核心问题是：在高维变量选择中，如何量化并控制所选变量的不确定性，同时利用领域先验知识来提升选择的稳定性和可解释性。 传统的高维选择方法（如Lasso）虽然能给出一个稀疏模型，但缺乏对“这个变量到底有多重要”的概率性度量，且对数据扰动和变量间的相关性非常敏感。稳定性选择（Stability Selection）通过子抽样聚合来提供一种频率学派的不确定性量化（选择频率），并控制错误发现率。本文试图将贝叶斯推断引入这一框架，用后验分布替代选择频率，从而自然地融入先验信息，并提供可信区间。

发展脉络（history）¶

奠基工作：Lasso与稳定性选择的诞生
- Lasso (Tibshirani, 1996)：奠定了高维线性模型变量选择的基础，但其选择结果对数据扰动和变量相关性敏感，且缺乏不确定性量化。
- Stability Selection (Meinshausen & Bühlmann, 2010)：提出了一个革命性的框架。核心思想是：对数据进行B次随机子抽样，每次在子样本上运行一个选择算法（如Lasso），然后计算每个变量被选中的频率（选择概率）。只有频率超过一个阈值（π_thr）的变量才被选为“稳定变量”。该工作证明了在有限样本下，该方法能控制错误发现数量的期望值（per-family error rate, PFER），且即使Lasso本身不一致，稳定性选择也能实现变量选择一致性。这是本文的绝对基石。
主要进展：理论精炼与变体
- Shah & Samworth (2013)：提出了互补对稳定性选择（Complementary Pairs Stability Selection），并推导了更紧的错误控制界。这些界不依赖于原始选择算法的质量或模型假设，极大地增强了方法的普适性和理论保证。
- Beinrucker et al. (2016)：将稳定性选择推广到对观测和协变量都进行子抽样的情形，并分析了子样本大小对理论结果的影响。
- Bodinier et al. (2023)：提出了自动化校准流程，通过最大化一个“稳定性分数”来自动选择正则化参数，并处理了多组学数据中的块状结构，提高了方法的实用性。
- Faletto & Bien (2022)：指出了稳定性选择的一个关键缺陷：当存在高度相关的代理变量时，Lasso可能随机选择其中一个，但稳定性选择可能因为频率分散而一个都选不中，导致预测性能下降。他们提出了“聚类稳定性选择”来应对这一问题。
当前Frontier：处理相关性与融入先验
- Nouraie et al. (2025)（本文作者的前期工作）：提出了“变量去相关”策略，在应用Lasso之前先对变量进行去相关处理，以满足Lasso一致性的“不可表示条件”（irrepresentable condition），从而提升稳定性。
- 本文 (Nouraie, Smith, Muller, 2024)：站在上述工作的肩膀上，本文认为，与其通过修改数据或算法来被动应对不稳定，不如主动利用领域先验知识来引导选择过程。这是将贝叶斯思想注入稳定性选择框架的一次尝试。

子线索聚类¶

频率学派稳定性选择的理论与变体：以Meinshausen & Bühlmann (2010)和Shah & Samworth (2013)为核心，主要关注错误控制（PFER）、理论界的精炼以及不同子抽样策略（如互补对、协变量子抽样）的影响。代表工作：[1], [8], [16]。
稳定性选择的校准与自动化：关注如何在实际应用中自动选择关键参数（如正则化路径、阈值），以提升易用性。代表工作：[13], [19]。
处理变量相关性的稳定性选择：认识到相关性是稳定性的主要敌人，并尝试通过修改算法（如聚类）或预处理数据（如去相关）来缓解。代表工作：[14], [18], [21]。
贝叶斯变量选择与先验建模：这是一个更广泛的领域，为本文提供了先验建模的工具。核心是使用Beta分布或类似分布来建模变量被选中的概率，并利用专家知识设定其参数。代表工作：[3], [9], [11], [15], [20]。

这个方向在追问的核心问题¶

如何量化变量选择的不确定性？ 频率学派的选择频率是一个点估计，缺乏区间估计。贝叶斯可信区间是本文给出的答案。
如何有效利用领域先验知识？ 专家知道某些变量更可能相关，但如何将这种“软知识”转化为严格的统计约束，并控制其对结果的影响？本文提出了一个两阶段专家交互流程。
如何在高相关变量下保持稳定性？ 这是稳定性选择领域的“圣杯”问题之一。本文认为，融入先验知识（例如，专家认为一组高度相关的变量中只有一个重要）是解决此问题的一条新路径。
如何保证在融入先验后，错误率（如PFER）仍然可控？ 这是任何实用方法都必须回答的问题。本文声称其方法能降低方差并有助于控制PFER。

⚠️ 作者的Framing¶

作者把缺口frame成什么？ 作者将稳定性选择描述为一个“primarily grounded in frequentist principles”的框架，其“traditional approaches rely on selection frequencies for decision-making, often overlooking domain-specific knowledge”。因此，本文的定位是“an enhanced methodology that integrates Bayesian analysis”，是“显然的下一步”。作者强调，引入先验知识可以“improving both inference and decision-making”，并“improves selection stability by reducing the variance of selection probabilities”。
哪些竞争路线被他淡化或回避了？ 作者在引言中提到了处理相关性的其他方法，如IILasso (Takada et al., 2018)和变量去相关 (Nouraie et al., 2025)，但将其定位为“more complex variants of the Lasso”或“eliminating correlation from the design matrix”，而本文的路线是“incorporating prior information can help guide the selection process”。作者淡化了这些方法在无需先验知识的情况下也能有效处理相关性的优点，而将本文的方法定位为一种更根本的、利用外部信息的解决方案。
什么明显该被引/该存在、却没出现在intro里？ 这是一个值得研究者去查的问题。例如，关于“贝叶斯Lasso”或“稀疏贝叶斯学习”（Sparse Bayesian Learning, SBL）的文献，它们也试图在高维设定下提供概率性选择和不确定性量化。作者为何选择在稳定性选择的框架内做贝叶斯，而不是直接采用一个纯贝叶斯模型？这可能是因为稳定性选择在错误控制上提供了频率学派保证，而纯贝叶斯方法在这方面较弱。另一个值得查的点是：是否有工作将“经验贝叶斯”方法用于稳定性选择，以自动学习先验参数，而不是依赖专家交互？

张力¶

未见明显对立引用。所有被引工作基本都承认稳定性选择是一个有效框架，并在其基础上进行改进或补充。主要的“张力”体现在解决相关性的不同策略上（修改算法 vs. 预处理数据 vs. 融入先验），但这更多是技术路线上的分歧，而非理论上的矛盾。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
- n: 样本量。
- p: 变量（特征）数量，通常 p >> n（高维）。
- X (n x p): 设计矩阵，可观测。
- y (n x 1): 响应变量向量，可观测。
- j = 1, ..., p: 变量索引。
- λ: 正则化参数（如Lasso的惩罚系数）。
- Λ: 一个正则化参数集合。
- B: 子抽样的次数。
- S_λ: 在给定λ下，基于全数据选出的变量集合。
- S_λ^(b): 在第b次子样本上，基于λ选出的变量集合。
- Π_λ_j: 选择概率（estimand）。这是本文的核心目标，定义为变量j在给定λ下，被选中的真实概率（在无限次子抽样下的极限）。这是一个潜在量，不可直接观测。
- f_λ_j: 选择频率（可观测）。这是Π_λ_j的样本估计，即f_λ_j = (1/B) * Σ_{b=1}^B I(j ∈ S_λ^(b))。
- π_thr: 决策阈值。如果max_λ f_λ_j ≥ π_thr，则变量j被选为“稳定变量”。
- θ_λ_j: 变量j在给定λ下的选择指示变量（潜在量）。θ_λ_j = 1 如果变量j在给定λ下“真正”应该被选中（基于某个理想化的数据生成过程），否则为0。在贝叶斯框架下，θ_λ_j被视为一个随机变量，其分布由Π_λ_j决定。
- α_j, β_j: Beta先验分布的参数，用于建模Π_λ_j。
- a_j, b_j: Beta后验分布的参数，由先验和观测到的选择频率更新得到。
模型：
- 数据生成机制：假设数据 (X, y) 来自某个未知的联合分布。变量选择的目标是找出对y有“真实”影响的变量子集。
- 选择算法：使用一个基选择算法（如Lasso）在子样本上运行。该算法由正则化参数λ控制其稀疏性。
- 贝叶斯模型：对于每个变量j和每个λ，其选择指示变量θ_λ_j被建模为服从一个伯努利分布：θ_λ_j ~ Bernoulli(Π_λ_j)。而Π_λ_j本身被视为一个随机变量，服从一个Beta先验分布：Π_λ_j ~ Beta(α_j, β_j)。这个先验分布是专家知识的载体。
- 可观测数据：研究者实际能观测到的是X和y。通过运行B次子抽样和基选择算法，研究者可以计算出选择频率 f_λ_j。这个f_λ_j被看作是θ_λ_j的B次独立同分布观测的均值。因此，B * f_λ_j 服从一个二项分布：B * f_λ_j ~ Binomial(B, Π_λ_j)。
- 想要但观测不到的量：真正的选择概率Π_λ_j是潜在量，是本文要推断的目标。θ_λ_j也是潜在量。

第二步：讲最小内核¶

最简特例：单变量、单λ、无相关性

为了看清本文的核心思路，我们考虑一个极度简化的场景： * 只有一个变量 (p=1)。 * 只考虑一个正则化参数 (λ固定)。 * 变量之间没有相关性（只有一个变量，自然没有）。

在这个特例下，问题退化为：我们有一个变量，我们想知道它在给定λ下被选中的概率Π。我们通过B次子抽样，观测到它被选中的次数k = B * f。

传统稳定性选择：直接使用f = k/B作为Π的点估计。如果f ≥ π_thr，就认为这个变量是稳定的。

本文的贝叶斯稳定性选择： 1. 引入先验：假设我们有一个专家，他认为这个变量很可能不重要。我们可以用一个Beta(α, β)先验来编码这个信念。例如，取α=1, β=4，这个分布的均值是0.2，峰值在0附近，表示专家认为该变量被选中的概率很低。 2. 更新后验：根据贝叶斯定理，后验分布也是Beta分布： Π | data ~ Beta(α + k, β + B - k) 其中k是观测到的被选中次数。 3. 进行推断： * 点估计：后验均值 E[Π | data] = (α + k) / (α + β + B)。这相当于在观测频率f和先验均值α/(α+β)之间做了一个加权平均。如果先验很强（α+β很大），后验均值会更靠近先验。 * 区间估计：我们可以直接计算后验分布的可信区间（例如，95%的等尾可信区间）。这提供了比单一频率f丰富得多的不确定性信息。 * 决策：我们可以基于后验概率来做决策。例如，如果P(Π > π_thr | data) > 0.95，则选择该变量。这比简单的阈值比较更灵活。

这个最小内核说明了什么？ * 核心思路：本文的核心就是用Beta-二项共轭模型，将专家先验（Beta(α, β)）与观测到的选择频率（k）结合起来，得到选择概率的后验分布。所有后续的复杂性（多变量、多λ、专家交互流程、PFER控制）都是在这个最小内核上的扩展。 * 为什么有效：当B很大时，后验分布会集中在f附近，先验的影响会减弱。但当B有限或f不稳定时，一个合理的先验可以“收缩”估计，降低方差，从而提升稳定性。这正是作者声称的“reducing the variance of selection probabilities”。 * 数学困难：在一般情形下，困难在于：1) 如何处理多个变量之间的相关性（它们的选择概率不是独立的）；2) 如何为所有变量设定一个一致的、可解释的先验；3) 如何将后验推断与稳定性选择的错误控制（PFER）理论结合起来。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在高维变量选择的稳定性选择框架中，如何利用贝叶斯方法，通过引入领域先验知识来改进选择概率的推断，并提供不确定性量化（可信区间）。
核心工具/方法：提出了一个两阶段的专家交互流程，用于构建Beta先验分布；利用Beta-二项共轭模型计算选择概率的后验分布；并基于后验分布进行决策和错误率分析。
主要结论：通过模拟和真实数据实验，证明了引入先验知识可以降低选择概率的方差、提升选择稳定性，同时能控制每族错误率（PFER），并且贝叶斯可信区间能有效覆盖真实选择概率。

关键设定与假设¶

设定：高维线性回归模型，p >> n。使用Lasso作为基选择算法，但方法本身是通用的。
假设：
1. 子抽样独立性：假设在B次子抽样中，每次子样本的抽取是独立的。这是稳定性选择的标准假设。
2. 选择指示变量的条件独立性：给定选择概率Π_λ_j，不同子样本上的选择指示变量θ_λ_j^(b)是条件独立的。这是将选择频率建模为二项分布的基础。
3. 变量间先验独立性：在构建先验时，假设不同变量的选择概率Π_λ_j是独立的。这是一个简化假设，作者承认在高度相关变量下可能不成立，但认为通过专家交互可以部分缓解。
4. 先验参数的可解释性：要求Beta先验的形状参数α, β ≥ 1，以确保先验分布是单峰的，从而便于专家理解和调整。这排除了Jeffreys先验（α=β=0.5）等无信息先验，但作者将其作为对比基准。
5. 专家知识的可靠性：隐含假设专家提供的先验信息是“有用”的，即与真实数据生成过程有一定关联。如果先验信息完全错误，可能会损害性能。

主要结果¶

后验分布与可信区间：推导出选择概率Π_λ_j的后验分布为Beta(α_j + k_λ_j, β_j + B - k_λ_j)，其中k_λ_j是变量j在λ下被选中的次数。基于此，可以计算后验均值、方差和贝叶斯可信区间。这是对传统频率学派点估计的直接改进。
方差降低：作者证明，引入先验信息后，选择概率的后验方差严格小于频率学派估计的方差（即f_λ_j (1 - f_λ_j) / B），当且仅当先验不是均匀分布（α_j ≠ β_j）时。这从理论上支持了“引入先验知识可提升稳定性”的论点。具体地，后验方差为 Var[Π_λ_j | data] = (α_j + k_λ_j)(β_j + B - k_λ_j) / ((α_j + β_j + B)^2 (α_j + β_j + B + 1))。
错误率控制：作者将稳定性选择的PFER控制理论扩展到贝叶斯框架。核心思想是，通过后验分布，可以计算每个变量被错误选择的“后验概率”，并据此调整决策阈值，以控制期望的PFER。作者给出了一个基于后验期望的PFER上界，并证明在合理先验下，该上界不劣于传统方法。
模拟实验：
- 设定：n=50, p=500，生成数据使得只有少数变量（如5个）与响应变量相关。变量之间可以存在不同程度的相关性。
- 对比方法：传统稳定性选择（无先验）、使用均匀先验的贝叶斯稳定性选择、使用弱信息先验（如Beta(1,1)）和强信息先验（如Beta(10,1)，假设专家知道某些变量重要）的贝叶斯方法。
- 核心量化结论：
  - 选择稳定性：当使用强信息先验时，所选变量集合的稳定性（通过Jaccard相似度或作者提出的稳定性指标衡量）显著高于无先验或弱先验方法。
  - 选择概率的方差：贝叶斯方法的后验方差确实小于传统方法的频率方差，且先验越强，方差越小。
  - PFER控制：所有方法都能在名义水平下控制PFER，但贝叶斯方法在强先验下能实现更低的实际PFER（即更少的错误发现）。
  - 对错误先验的鲁棒性：即使先验信息不完全准确（例如，专家认为重要的变量实际上不重要），贝叶斯方法的性能也不会比无先验方法差太多，表现出一定的鲁棒性。

证明路线与技术技巧¶

本文主要是方法型论文，理论证明相对简单，核心是贝叶斯公式的应用。

整体路线：
1. 建模：将稳定性选择中每个变量在每个λ下的选择过程建模为一个独立的Beta-二项模型。
2. 先验构建：设计一个两阶段专家交互流程，将专家的定性判断（如“非常重要”、“可能重要”、“不重要”）映射为Beta分布的参数(α, β)。专家还可以通过一个“置信度”参数来控制先验的权重（即α+β的大小）。
3. 后验计算：利用Beta-二项共轭性，直接写出后验分布的解析形式。
4. 推断与决策：基于后验分布，计算点估计（后验均值）、区间估计（可信区间）和决策规则（如基于后验概率的阈值）。
5. 错误率分析：将PFER的定义（错误选择的变量数的期望）用后验概率重新表达，并推导其控制条件。
关键跳跃点：本文没有特别“吃劲”的数学证明跳跃。其核心贡献在于将一个已知的统计模型（Beta-二项）应用到一个新的、重要的应用场景（稳定性选择）中，并设计了一个实用的专家交互流程。技术上的“跳跃”在于如何将专家的定性知识转化为定量的先验参数，并让专家能直观地控制其影响。
技术技巧点名：
- Beta-二项共轭模型：这是整个方法的核心，使得后验计算是解析的，无需MCMC采样。
- 两阶段专家交互流程：这是一个应用技巧，旨在解决先验构建中的实际困难。第一阶段让专家指定变量的“重要性”类别，第二阶段让专家调整先验的“强度”（即有效样本量）。
- 后验概率阈值决策：用P(Π_λ_j > π_thr | data) > γ替代传统的f_λ_j > π_thr，提供了一个更灵活、更符合贝叶斯精神的决策框架。

真实例子与应用¶

使用的数据/场景：使用了两个真实数据集：
1. 基因表达数据：来自一项关于肺癌的研究，目标是识别与癌症亚型相关的基因。p约为数千，n约为100。
2. 代谢组学数据：来自一项关于某种疾病生物标志物的研究，目标是识别与疾病状态相关的代谢物。
怎么把本文方法用上去：作者首先与领域专家（生物学家/医学研究者）合作，通过两阶段流程为每个变量（基因/代谢物）构建了先验分布。然后，他们运行了贝叶斯稳定性选择，并比较了结果与无先验的传统稳定性选择。
得到什么结果：
- 在基因数据中，贝叶斯方法识别出的基因集合更小、更集中，且与已有生物学文献中报道的相关基因有更高的重叠。传统方法则识别出了一个更大、更嘈杂的集合。
- 在代谢组学数据中，贝叶斯方法给出的后验可信区间更窄，表明不确定性更低。专家认为，贝叶斯方法的结果更符合他们的领域知识。
这个例子想说明什么：这个例子旨在展示本文方法在实际应用中的价值：1) 能够有效利用领域知识，得到更科学、更可解释的结果；2) 能够提供不确定性量化（可信区间），帮助专家判断结果的可靠性；3) 能够提升选择结果的稳定性，减少假阳性。

🔎 结论是否比证明窄¶

是。作者在引言和摘要中声称“improves selection stability by reducing the variance of selection probabilities”和“contributes to the per-family error rate”。然而，方差降低的证明是在“变量间先验独立”的假设下成立的。在真实数据中，变量高度相关，这个假设很可能被违反。此时，后验方差公式不再准确，方差降低的结论是否仍然成立，作者并未严格证明。
同样，PFER的控制是在一个简化模型下推导的，该模型假设所有变量的选择是独立的。作者在模拟中验证了PFER可控，但并未给出在一般相关情形下的严格理论保证。因此，结论的适用范围比其声称的要窄，主要适用于先验独立假设近似成立或相关性较弱的情形。

四、开放问题¶

处理变量相关性的贝叶斯先验：本文假设变量间先验独立。如何构建一个能捕捉变量间相关结构（如分组、网络）的先验分布（例如，使用马尔可夫随机场或多元Beta分布），并将其融入贝叶斯稳定性选择？这直接扎根于本文的“变量间先验独立性”假设和引言中提到的“highly correlated variables can influence the selection frequencies”这一公认问题。
先验的自动校准与经验贝叶斯：本文的两阶段专家交互流程虽然实用，但依赖专家。能否开发一种经验贝叶斯方法，从数据本身（例如，通过交叉验证或边际似然最大化）自动学习先验参数(α, β)，从而减少对专家交互的依赖？这扎根于本文的“prior elicitation”部分，以及引言中提到的自动化校准工作（Bodinier et al., 2023）。
更严格的错误率理论：本文对PFER的控制是在简化假设下推导的。能否在更现实的、变量相关的设定下，推导出贝叶斯稳定性选择的PFER或FDR的有限样本或渐近上界？这扎根于本文的“per-family error rate”部分，以及Shah & Samworth (2013)中不依赖于模型假设的经典结果。
与其他贝叶斯变量选择方法的比较：本文的方法本质上是一种“贝叶斯化”的稳定性选择。它与纯贝叶斯变量选择方法（如稀疏贝叶斯学习、贝叶斯Lasso）在理论性质（如选择一致性、收缩率）和实际性能上相比如何？这是一个值得研究者去查的问题，本文的引言并未深入讨论这一点。

Maintained by 陈星宇 · Homepage · Source on GitHub