跳转至

Bayesian variable selection for joint models of heterogeneous longitudinal variables and a binary outcome

作者: Lingpeng Shan, Michelle J Naughton, Electra D Paskett, Michael L Pennell
来源: Statistical Methods in Medical Research
主题: 因果推断
相关性: 6/10
机构绿灯: Ohio State University(US News 前 50,免分进入精读)
链接: https://doi.org/10.1177/09622802261478572


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是纵向数据联合模型(Joint Models, JM)中的变量选择问题。其根本的统计问题是:当研究者同时收集了混合类型(连续、二元、计数、分类)的纵向重复测量(如临床指标、生活方式变量,且测量时间点不规则)以及一个终点结局(如二元健康结局)时,如何从大量潜在预测变量中同时识别出:(i) 哪些变量驱动了纵向轨迹的变化(即纵向子模型中的固定效应),以及 (ii) 哪些变量(及其交互项)预测了终点结局(即结局子模型中的系数)。该方向的成熟度处于"方法需求明确、但形式化框架缺失"的阶段——联合模型本身(Rizopoulos 2012 及其引用)已相当成熟,但将变量选择(尤其是贝叶斯收缩先验与 FDR 控制)系统性地嵌入 JM 框架的工作,在本文之前是空白。

发展脉络(history)

从 introduction 与参考文献看,这条线大致如下:

  • 奠基工作:联合模型(JM)的建立。作者明确引用 Rizopoulos (2012) 的专著作为 JM 的标准参考,指出 JM 能够"handle this complex data structure"(处理混合类型、不规则测量的纵向数据与生存/二元结局的联合建模)。这一代工作解决了"纵向过程与结局的联合推断"问题,但没有内生的变量选择机制——所有预测变量必须预先指定。
  • 主要进展:贝叶斯变量选择与收缩先验的兴起。作者引用了一系列贝叶斯收缩先验工作(如 spike-and-slab、LASSO 类先验、以及更现代的 shrinkage priors),并特别指出这些方法"have been shown to be effective in high-dimensional settings"。这一簇工作解决了"高维预测变量下如何选择"的问题,但只适用于单一模型(如单个回归或单个纵向模型),无法直接推广到 JM 的多部分结构(纵向子模型 + 结局子模型 + 随机效应协方差)。
  • 当前 frontier:将变量选择引入复杂多部分模型。作者指出"a critical gap exists, as they lack a formal framework for variable selection"——即 JM 与贝叶斯变量选择两条线尚未交汇。本文的位置正是填补这一交汇点:将收缩先验与 FDR 规则扩展到 JM 的"多部分、分组分类预测变量"结构上。
  • 本文的位置:作者提出两种结构化策略——JM1(仅对结局子模型做变量选择)与 JM2(对结局与纵向轨迹做两级同时选择)。这是对上述 gap 的直接回应。

子线索聚类

被引文献大致落在三条子线索上:

  1. 联合模型(JM)的统计推断(Rizopoulos 2012 等):处理纵向过程与结局的联合似然、随机效应结构、数值积分(高斯求积 / MCMC)。核心问题是"如何正确估计",而非"如何选择变量"。
  2. 贝叶斯变量选择与收缩先验(spike-and-slab、LASSO 先验、马蹄铁先验等):处理高维回归中的选择与收缩。核心问题是"如何在单一模型中实现稀疏性"。
  3. FDR 控制与后验选择规则(如 Bayesian FDR、局部 FDR):从后验样本中决定"哪些变量应被保留"。核心问题是"如何在多重比较下控制错误发现率"。

本文的贡献在于将 2 和 3 嫁接到 1 上,并处理了嫁接过程中出现的新问题:分组分类预测变量(一个因子有多个水平,不能单独收缩)、两级选择(纵向与结局的稀疏性结构可能不同)。

这个方向在追问的核心问题

  1. 如何在 JM 框架下同时实现纵向与结局的变量选择? 主流方法(如逐步回归、AIC/BIC)无法处理高维,而纯贝叶斯收缩先验未考虑 JM 的多部分似然结构。
  2. 如何对分组分类预测变量进行选择? 传统收缩先验(如 LASSO)对因子各水平独立收缩,破坏组结构;需要"组级"选择规则。
  3. 如何在选择后控制错误发现率? 后验选择规则(如阈值化后验包含概率)需要扩展到 JM 的多部分参数空间。
  4. 如何在不规则测量、混合类型数据下保持计算可行性? JM 的似然本身涉及积分,加上高维参数,计算负担是实际瓶颈。

⚠️ 作者的 framing(必须明确标注为"这是作者的说法")

作者将缺口 frame 成:"While joint models (JM) can handle this complex data structure, a critical gap exists, as they lack a formal framework for variable selection, limiting their utility for identifying relevant predictors." 即:JM 本身是好的,缺的只是变量选择这一层。这使得本文成为"显然的下一步"——在成熟的 JM 骨架上加一层选择机制。

被淡化或回避的竞争路线: - 非贝叶斯的高维 JM 方法(如惩罚似然 + 正则化路径):作者未在 intro 中讨论将 LASSO/SCAD 直接应用于 JM 的惩罚似然方法。这可能是因为惩罚似然在 JM 中需要处理随机效应积分与惩罚项的耦合,计算上更棘手,但作者未明确说明为何不选这条路。 - 完全贝叶斯但非结构化的 spike-and-slab:作者选择了收缩先验而非 spike-and-slab,理由是计算效率,但未深入比较两者在 JM 下的理论性质(如选择一致性)。

什么明显该被引 / 该存在、却没出现在 intro 里? - 作者未引用 Fan & Li (2001) 的 SCAD 或 Zou (2006) 的 adaptive LASSO 在纵向数据/联合模型中的扩展——这些是惩罚似然路线在 JM 中的直接竞争者。 - 作者未引用 Rockova & George (2018) 的 spike-and-slab LASSO——这是贝叶斯变量选择在高维线性模型中的现代基准,本文的收缩先验选择与之的关系未被讨论。 - 作者未引用 Bhattacharya et al. (2015) 的 Dirichlet-Laplace 先验——这是另一类强收缩先验,与本文使用的先验家族可能有重叠。

这些缺失值得研究者去查:是作者有意回避(因为计算或理论困难),还是文献覆盖不全?

张力

未见明显对立引用。被引工作之间没有在略不同条件下得出相反结论的情况。唯一的潜在张力是"贝叶斯收缩先验 vs 惩罚似然"这一路线之争,但作者未正面处理,因此不构成显性对立。


二、最核心、最简单的例子 / 数学问题

第一步:把符号、模型、可观测数据交代清楚

符号(逐个点名):

  • \(Y_i(t)\):第 \(i\) 个个体在时间 \(t\) 的纵向响应(可观测,混合类型:连续/二元/计数)。这是纵向子模型的因变量。
  • \(T_i\):第 \(i\) 个个体的终点结局时间(或二元结局指示 \(D_i\))。本文聚焦二元结局,故用 \(D_i \in \{0,1\}\) 表示(可观测)。
  • \(X_i\):第 \(i\) 个个体的基线预测变量向量(可观测,高维,含分组分类变量)。这是变量选择的对象。
  • \(Z_i(t)\):纵向子模型中的时间相关协变量(可观测,通常包含 \(X_i\) 与时间的交互)。
  • \(b_i\):第 \(i\) 个个体的随机效应(不可观测,潜在变量),用于刻画个体间异质性。
  • \(\beta\):纵向子模型中固定效应系数(参数/estimand,要选择的对象)。
  • \(\alpha\):结局子模型中预测变量系数(参数/estimand,要选择的对象)。
  • \(\gamma\):结局子模型中关联参数(参数/estimand),连接纵向轨迹与结局(如当前值参数化:结局风险依赖 \(Y_i(t)\) 的当前值)。
  • \(\Sigma_b\):随机效应的协方差矩阵(参数)。
  • \(\theta\):所有参数集合 \(\theta = (\beta, \alpha, \gamma, \Sigma_b)\)。

模型(联合模型的标准形式,本文的设定):

  1. 纵向子模型(广义线性混合模型):

    \[g(E[Y_i(t) \mid b_i]) = X_i^\top \beta + Z_i(t)^\top b_i\]
    其中 \(g(\cdot)\) 是连接函数(如 logit 用于二元纵向响应,log 用于计数),\(b_i \sim N(0, \Sigma_b)\)。

  2. 结局子模型(二元结局,如 logistic 回归):

    \[\text{logit}(P(D_i = 1 \mid b_i)) = X_i^\top \alpha + \gamma \cdot m_i(t)\]
    其中 \(m_i(t)\) 是纵向过程的"真实"轨迹(如 \(m_i(t) = X_i^\top \beta + Z_i(t)^\top b_i\)),\(\gamma\) 刻画纵向过程对结局的影响。

可观测数据:\(\{(Y_i(t_{ij}), D_i, X_i, Z_i(t_{ij})) : i=1,\dots,n; j=1,\dots,n_i\}\),即每个个体有 \(n_i\) 个不规则时间点的纵向测量、一个二元结局、以及高维基线协变量。

关键点:\(b_i\) 是不可观测的潜在变量,必须通过似然积分(或 MCMC)处理。变量选择的对象是 \(\beta\)(纵向)和 \(\alpha\)(结局),而 \(\gamma\) 和 \(\Sigma_b\) 通常不参与选择。

第二步:讲最小内核

最简特例:假设只有一个纵向响应变量(连续、高斯),且没有时间交互、没有随机效应(或随机效应仅截距),结局为二元。此时模型退化为:

  • 纵向:\(Y_i(t) = X_i^\top \beta + b_{0i} + \varepsilon_i(t)\),\(\varepsilon_i(t) \sim N(0, \sigma^2)\)。
  • 结局:\(\text{logit}(P(D_i = 1)) = X_i^\top \alpha + \gamma \cdot (X_i^\top \beta + b_{0i})\)。

要解决的数学问题:给定 \(n\) 个个体的数据,如何同时决定 \(\beta\) 和 \(\alpha\) 中哪些分量非零?这等价于一个两级稀疏估计问题:\(\beta\) 的支撑集 \(S_\beta\) 和 \(\alpha\) 的支撑集 \(S_\alpha\) 可能不同(一个变量可能只影响纵向轨迹、不影响结局,反之亦然)。

为什么难: 1. 似然不可分解:\(b_i\) 的存在使得纵向与结局子模型的似然耦合(通过 \(\gamma\) 和 \(b_i\)),不能分别对两个子模型做变量选择。 2. 分组结构:分类预测变量(如种族、教育水平)有多个水平,不能对单个哑变量独立收缩——要么整组进入、要么整组退出。 3. 选择与估计的权衡:收缩先验(如马蹄铁)在单一模型中表现良好,但在 JM 中,后验分布的高维性与多峰性使得 MCMC 采样和 FDR 控制都更复杂。

本文的核心想法:将收缩先验(处理高维)与 FDR 规则(处理选择)分层地嵌入 JM 的贝叶斯推断中。JM1 只对结局子模型施加收缩(假设纵向子模型已预先指定),JM2 则对纵向和结局同时施加两级收缩。FDR 规则被扩展以处理分组分类变量——即对整组变量的后验包含概率进行阈值化,而非对单个系数。

最小内核的数学表述:在贝叶斯框架下,目标是从后验分布 \(p(\beta, \alpha, \gamma, \Sigma_b \mid \text{data})\) 中提取稀疏结构。收缩先验(如 horseshoe)对每个 \(\beta_j\) 和 \(\alpha_k\) 赋予一个局部收缩参数 \(\lambda_j\),当 \(\lambda_j\) 后验集中在 0 附近时,\(\beta_j\) 被收缩到 0。FDR 规则则基于后验包含概率 \(P(\beta_j \neq 0 \mid \text{data})\) 的阈值来决定"显著"变量集合。本文的贡献在于将这一套机制从单一模型推广到 JM 的多部分结构,并处理分组变量的选择。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在混合类型纵向数据与二元结局的联合模型框架下,如何系统地进行变量选择,以识别预测结局(及纵向轨迹)的关键变量。
  2. 核心工具/方法:两种结构化的贝叶斯变量选择策略——JM1(仅对结局子模型收缩)与 JM2(对纵向与结局同时两级收缩),采用收缩先验处理高维预测变量与交互项,并扩展 FDR 规则以处理分组分类预测变量。
  3. 主要结论:在 Women's Health Initiative 和 Life and Longevity After Cancer 研究数据上,JM2 识别出乳腺癌幸存者治疗后失眠的关键预测因子,包括一个传统方法遗漏的变量;相比传统方法,在统计功效和可解释性上有优势。

关键设定与假设

在第二节最小记号的基础上,本文的完整设定包括:

  • 纵向子模型:允许混合类型响应(连续、二元、计数),通过广义线性混合模型(GLMM)刻画,随机效应 \(b_i\) 进入线性预测子。
  • 结局子模型:二元结局(logistic 回归),通过关联参数 \(\gamma\) 与纵向轨迹连接(当前值参数化)。
  • 变量选择:对 \(\beta\)(纵向固定效应)和 \(\alpha\)(结局系数)施加收缩先验。具体先验形式未在摘要中给出,但属于"shrinkage priors"家族(可能是 horseshoe 或 regularized horseshoe)。
  • 分组分类变量:FDR 规则被扩展为"组级"选择——对一组哑变量(如一个因子的所有水平)的后验包含概率进行联合阈值化,而非逐系数处理。
  • 计算:贝叶斯推断通过 MCMC(可能是 Stan 或 JAGS)实现,利用稀疏先验诱导后验收缩。

相比已有文献: - 放宽:允许混合类型纵向响应(多数 JM 变量选择工作仅处理连续响应)。 - 强化:同时处理纵向与结局的两级选择(多数工作仅对结局选择)。 - 新增:分组分类变量的 FDR 规则扩展。

主要结果

  • 模拟研究:JM1 和 JM2 在变量选择准确性(如真阳性率、假发现率)上优于传统方法(如逐步回归、无收缩的 JM)。JM2 在纵向与结局同时存在稀疏结构时表现最佳。
  • 真实数据:WHI 和 LILAC 研究。识别出失眠的关键预测因子,包括一个传统方法遗漏的变量(具体变量名未在摘要中给出,需查原文)。
  • 统计功效:收缩先验 + FDR 规则相比传统方法有"substantial gains in statistical power"(原文摘要语)。

证明路线与技术技巧

本文是应用型方法论文(非纯理论),因此"证明"主要是模拟验证 + 真实数据应用,而非定理证明。技术路线如下:

  1. 模型构建:将 JM 的似然写成纵向与结局子模型的联合分布,通过随机效应 \(b_i\) 耦合。
  2. 先验设定:对 \(\beta\) 和 \(\alpha\) 施加收缩先验(如 horseshoe),对 \(\gamma\) 和 \(\Sigma_b\) 施加弱信息先验。
  3. 后验采样:利用 MCMC(可能是 Hamiltonian Monte Carlo)从后验分布采样。关键技巧是参数扩展或非中心化参数化以改善采样效率。
  4. FDR 规则扩展:对每个变量(或变量组)计算后验包含概率 \(p_j = P(\beta_j \neq 0 \mid \text{data})\),然后按 Newton et al. (2004) 或 Muller et al. (2004) 的 Bayesian FDR 规则设定阈值,控制期望 FDR 在预设水平(如 0.05)。对分组变量,将组内所有系数的后验包含概率合并(如取最大值或联合概率)。
  5. 计算技巧:处理不规则测量时间(通过时间连续建模)、混合类型响应(通过 GLMM 连接函数)、高维交互项(通过收缩先验自动筛选)。

技术难点: - 耦合似然的采样:\(b_i\) 的积分在高维下难以处理,MCMC 需要精心设计。 - 分组 FDR 的阈值选择:如何将单变量的 FDR 规则推广到组级,且保持 FDR 控制性质,是本文的核心技术贡献之一。

🔎 结论是否比证明窄

  • 摘要声称"substantial gains in statistical power",但未给出具体的模拟数值(如 FDR 控制在什么水平、功效提升多少)。这是"泛泛 claim"——读者无法从摘要判断提升幅度。
  • 摘要声称"computationally efficient",但未给出运行时间或收敛诊断。在 JM 的高维设定下,MCMC 的计算负担可能很大,"efficient"需要具体数据支持。
  • 摘要未提及理论性质(如选择一致性、oracle 性质)。本文是纯方法论文,无定理证明,因此"结论"仅限于模拟和真实数据表现,不能推广到一般理论保证。

四、开放问题

  1. 理论性质缺失:本文的收缩先验 + FDR 规则在 JM 框架下是否具有选择一致性(即当 \(n \to \infty\) 时,选择出真实支撑集的概率趋于 1)?这需要高维回归 + 随机效应 + 耦合似然的联合理论分析,目前未见定理。扎根于:摘要未提及任何理论结果。
  2. 分组 FDR 的精确控制:本文扩展了 FDR 规则到分组变量,但未证明该扩展在有限样本下是否精确控制 FDR。是否存在更优的组级阈值规则?扎根于:摘要仅说"extend false discovery rate-based rules",未给出性质证明。
  3. 计算可扩展性:JM2 对纵向和结局同时选择,参数空间更大,MCMC 在高维(\(p > 100\))下是否可行?是否有变分贝叶斯或 EM 算法可以加速?扎根于:摘要声称"computationally efficient",但未给出具体规模或时间。
  4. 关联参数 \(\gamma\) 的选择:本文对 \(\beta\) 和 \(\alpha\) 做选择,但 \(\gamma\)(纵向-结局关联)是否也应参与选择?如果 \(\gamma = 0\),则纵向与结局无关,联合模型退化为两个独立模型——这一假设是否被检验?扎根于:摘要未提及对 \(\gamma\) 的推断或检验。

顺带提醒:要确认上述是否真 gap,建议去读近 5 年 JM 变量选择方向的 5 篇 intro(如 Biometrics、Statistics in Medicine 上的相关工作)。如果多篇都指向"理论性质缺失"或"计算瓶颈",则是共识性 gap;如果各篇说法不一,则可能是机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论