On the use of a penalized quasilikelihood information criterion for generalized linear mixed models

作者: Francis K C Hui
来源: Biometrika
主题: 数理统计 / 假设检验
相关性: 4/10
机构绿灯: Australian National University（US News 前 50，免分进入精读）
链接: https://doi.org/10.1093/biomet/asaa069

---

一、领域脉络与小综述

这个方向是什么

这个子方向解决的根本问题是：在广义线性混合模型（GLMM） 中，如何同时选择重要的固定效应（fixed effects）和随机效应（random effects），即“联合选择”（joint selection）。GLMM 广泛应用于聚类/纵向数据，其模型选择的核心困难在于：精确的极大似然（ML）估计需要高维数值积分（对随机效应积分），计算量极大，尤其当候选模型数量众多时，几乎不可行。因此，该方向的核心张力在于统计最优性（基于 ML 的信息准则）与计算可行性（基于近似估计的准则）之间的权衡。当前成熟度：已有大量基于 ML 的信息准则（如 AIC、BIC、cAIC）被提出，但其计算瓶颈是公认的；本文试图用计算上廉价的惩罚拟似然（PQL） 估计来替代 ML，并设计相应的信息准则，从而在保持统计性能的同时大幅降低计算成本。

发展脉络（history）

1. 奠基工作：GLMM 的模型选择问题与 ML 信息准则

   • Vaida & Blanchard (2005)：提出了条件 AIC（cAIC），专门用于混合模型中的固定效应选择，其核心是正确估计模型复杂度（有效自由度）。这是该子方向的里程碑，但 cAIC 依赖 ML 估计，计算昂贵。
   • Donohue et al. (2011)：将 cAIC 推广到 GLMM，并提出了一个更通用的框架。进一步确认了 ML 估计在 GLMM 模型选择中的主导地位，但也暴露了其计算瓶颈。

2. 主要进展：计算瓶颈的初步缓解与 PQL 的引入

   • Breslow & Clayton (1993)：提出了惩罚拟似然（PQL）估计，作为 GLMM 中 ML 估计的一种计算上高效的近似。PQL 通过将随机效应视为固定效应进行惩罚估计，避免了高维积分。这是本文方法的基础，但 PQL 的统计性质（如相合性）在早期并未被充分理解，且其估计的随机效应方差分量可能有偏。
   • Pan (2001)：提出了拟似然信息准则（QIC），用于广义估计方程（GEE）中的工作相关结构选择。QIC 不依赖完全似然，而是基于拟似然，这为在 GLMM 中避开 ML 提供了思路。本文直接借鉴了“QIC”这个名称和“基于拟似然”的思想，但将其从 GEE 框架移植到了 GLMM 的 PQL 框架下。

3. 当前 Frontier 与本文的位置

   • 本文（Hui, 2021）：作者声称，尽管 PQL 被广泛使用，但从未有人系统地研究过基于 PQL 的信息准则用于 GLMM 的联合选择。本文填补了这一空白：首先证明了 PQL 估计在一般框架下的相合性（这是 PQL 理论的重要进展），然后基于此提出了一个新的 QIC，其关键创新在于如何正确度量随机效应的模型复杂度（因为 PQL 将随机效应视为固定效应，导致其“有效自由度”与 ML 框架下不同）。作者通过理论和模拟证明，该 QIC 在渐近上能识别真实模型，且计算时间远低于基于 ML 的准则。

子线索聚类

1. 基于 ML 的信息准则：以 Vaida & Blanchard (2005)、Donohue et al. (2011) 为代表。核心是精确计算似然和有效自由度，统计性质优良，但计算成本极高，不适合大规模模型选择。
2. 基于近似估计的模型选择：以本文为代表，也包括 Pan (2001) 的 QIC（用于 GEE）。核心是用计算上廉价的近似估计（如 PQL）替代 ML，并设计相应的模型复杂度调整项。统计性质（如相合性）需要重新证明，且可能在某些条件下不如 ML 准则。
3. 惩罚似然方法：如 LASSO 类型的惩罚用于 GLMM 的固定效应选择。这类方法通常不依赖信息准则，而是通过优化一个带惩罚的目标函数直接进行选择。本文的 QIC 属于“信息准则”路线，与惩罚似然路线是互补的。

这个方向在追问的核心问题

1. 如何正确度量模型复杂度？ 在 GLMM 中，随机效应的存在使得“有效参数个数”难以定义。在 ML 框架下，cAIC 通过“条件似然”和“有效自由度”来解决。在 PQL 框架下，由于随机效应被“固定化”，其复杂度度量必须重新推导，否则会导致过度拟合或欠拟合。
2. 近似估计的相合性条件是什么？ PQL 估计在什么条件下能一致地估计真实参数？这是所有基于 PQL 的推断和选择方法的基础。本文的一个核心贡献就是给出了这些条件。
3. 计算-统计权衡的边界在哪里？ 基于 PQL 的 QIC 在什么情况下会失效（例如，当随机效应方差很大或数据稀疏时）？它与基于 ML 的准则相比，性能差距有多大？本文的模拟实验试图回答这个问题，但理论上的精确边界（如 minimax 率）尚未给出。

⚠️ 作者的 framing（必须明确标注成“这是作者的说法”）

• 作者把缺口 frame 成什么：作者声称，尽管 PQL 被广泛用于 GLMM 的估计，但“据我所知，尚未有研究系统地探讨基于 PQL 的信息准则用于 GLMM 的联合选择”。因此，本文是“显然的下一步”：既然 PQL 能快速估计，那么用它来快速做模型选择是自然的延伸。作者还强调，其 QIC 的关键创新在于“正确度量随机效应的模型复杂度”，因为 PQL 将随机效应视为固定效应，导致其“有效自由度”与 ML 框架下不同。
• 哪些竞争路线被他淡化或回避了：
  • 惩罚似然方法：作者在引言中提到了 LASSO 等惩罚方法，但仅用一句话带过，称其“通常需要调整多个惩罚参数，且理论性质不如信息准则清晰”。这淡化了惩罚方法在计算上的优势（一次优化即可完成选择，无需遍历所有子集）。
  • 贝叶斯方法：完全未提及。贝叶斯方法（如 DIC、WAIC）也常用于混合模型选择，且计算上通常比 ML 更灵活（通过 MCMC）。作者回避了这条路线。
• 什么明显该被引 / 该存在、却没出现在 intro 里？
  • 关于 PQL 的有限样本偏差：PQL 在随机效应方差较大或二项分布中成功概率接近 0/1 时，其估计是有偏的。作者在理论部分假设了 PQL 的相合性，但并未深入讨论这种偏差如何影响 QIC 在有限样本下的表现。这是一个明显的缺口。
  • 关于“计算-统计权衡”的正式理论：本文的模拟展示了计算时间的巨大优势，但并未从理论上刻画这种权衡（例如，在给定计算预算下，QIC 的统计效率损失的上界）。这与研究者对“statistical-computational tradeoff”的兴趣直接相关，但本文并未触及。

张力

未见明显对立引用。所有被引工作基本都承认 ML 估计的计算瓶颈，并试图从不同角度（近似估计、惩罚、贝叶斯）解决。本文与惩罚似然方法之间是竞争关系，但作者并未直接批评后者，只是淡化了其重要性。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

• 符号：

  • \( Y_{ij} \)：第 \( i \) 个聚类（如个体、学校）的第 \( j \) 次观测的响应变量（标量）。
  • \( \mathbf{X}_{ij} \)：与 \( Y_{ij} \) 对应的 \( p \times 1 \) 固定效应协变量向量。
  • \( \mathbf{Z}_{ij} \)：与 \( Y_{ij} \) 对应的 \( q \times 1 \) 随机效应协变量向量。
  • \( \boldsymbol{\beta} \)：\( p \times 1 \) 固定效应系数向量（参数，要估计/选择）。
  • \( \mathbf{b}_i \)：第 \( i \) 个聚类的 \( q \times 1 \) 随机效应向量（潜在变量，不可观测）。
  • \( \mathbf{D} \)：\( q \times q \) 随机效应协方差矩阵（参数，要估计/选择其结构，如对角/非对角）。
  • \( \phi \)：尺度参数（dispersion parameter），对于二项分布和泊松分布，\( \phi = 1 \)。
  • \( m \)：聚类个数。
  • \( n_i \)：第 \( i \) 个聚类内的观测数。
  • \( N = \sum_{i=1}^m n_i \)：总样本量。

• 模型：广义线性混合模型（GLMM）。给定随机效应 \( \mathbf{b}_i \)，响应变量 \( Y_{ij} \) 来自指数族分布，其均值通过一个链接函数 \( g(\cdot) \) 与线性预测器关联：

  \[g(\mathbb{E}[Y_{ij} | \mathbf{b}_i]) = \mathbf{X}_{ij}^\top \boldsymbol{\beta} + \mathbf{Z}_{ij}^\top \mathbf{b}_i\]
  随机效应 \( \mathbf{b}_i \) 通常假设服从均值为 0、协方差为 \( \mathbf{D} \) 的多元正态分布：\( \mathbf{b}_i \sim N(0, \mathbf{D}) \)。要估计的对象是 \( \boldsymbol{\beta} \) 和 \( \mathbf{D} \) 中的非零元素（即哪些固定效应和随机效应是重要的）。

• 可观测数据：研究者能观测到的是 \( \{ (Y_{ij}, \mathbf{X}_{ij}, \mathbf{Z}_{ij}) : i=1,\dots,m, j=1,\dots,n_i \} \)。不可观测的是随机效应 \( \mathbf{b}_i \)。所有推断都必须通过对 \( \mathbf{b}_i \) 积分（即边际似然）来进行，这正是计算瓶颈的来源。

第二步：讲最小内核

本文的核心思路可以用一个最简特例来理解：一个只有一个随机截距的线性混合模型（LMM）。

• 最简特例设定：

  • 响应变量 \( Y_{ij} \) 是连续的，且给定 \( b_i \) 后服从正态分布（即 GLMM 退化为 LMM）。
  • 随机效应只有一个：\( \mathbf{Z}_{ij} = 1 \)，所以 \( \mathbf{b}_i = b_i \) 是一个标量随机截距，\( b_i \sim N(0, \sigma_b^2) \)。
  • 固定效应有 \( p \) 个候选，但真实模型只包含前 \( p_0 \) 个（\( p_0 < p \)）。
  • 我们的目标是：从 \( p \) 个固定效应和 1 个随机效应中，选出正确的子集（即是否包含随机截距，以及哪些固定效应）。

• 核心思路（在这个特例下）：

  1. PQL 估计：PQL 的核心是将随机效应 \( b_i \) 视为一个“固定”的、但被惩罚的参数。它通过最大化一个“惩罚拟似然”来估计 \( \boldsymbol{\beta} \) 和 \( b_i \)：

     \[Q(\boldsymbol{\beta}, \mathbf{b}) = \sum_{i=1}^m \sum_{j=1}^{n_i} \ell(Y_{ij}; \mathbf{X}_{ij}^\top \boldsymbol{\beta} + b_i) - \frac{1}{2\phi} \sum_{i=1}^m \frac{b_i^2}{\sigma_b^2}\]
     其中 \( \ell \) 是对数似然（对于 LMM，就是正态似然）。第二项是惩罚项，它“鼓励” \( b_i \) 接近 0，其强度由 \( \sigma_b^2 \) 控制。注意：这里 \( \sigma_b^2 \) 本身也是需要估计的，PQL 通过一个迭代算法（类似 EM）来交替估计 \( (\boldsymbol{\beta}, \mathbf{b}) \) 和 \( \sigma_b^2 \)。

  2. PQL 估计的“固定效应”视角：在 PQL 的迭代过程中，\( b_i \) 被当作固定效应来估计。这意味着，对于给定的模型，PQL 实际上是在拟合一个带有 \( m \) 个额外“固定”参数（即 \( b_1, \dots, b_m \)）的广义线性模型。这 \( m \) 个参数被一个二次惩罚项所约束。

  3. QIC 的构造：传统的 ML 信息准则（如 AIC）的形式是：

     \[\text{AIC} = -2 \times \text{log-likelihood} + 2 \times \text{number of parameters}\]
     在 PQL 框架下，我们不能直接用边际似然（因为没算它），而是用惩罚拟似然 \( Q(\hat{\boldsymbol{\beta}}, \hat{\mathbf{b}}) \) 来替代 log-likelihood。但问题来了：模型复杂度（“number of parameters”）怎么算？
     • 如果简单地把 \( \boldsymbol{\beta} \) 和所有 \( b_i \) 的个数加起来（即 \( p + m \)），那模型复杂度会随着聚类数 \( m \) 增长，导致严重欠拟合（因为每个 \( b_i \) 都被视为一个独立参数）。
     • 本文的关键创新：作者指出，由于 \( b_i \) 被惩罚，其“有效参数个数”远小于 \( m \)。他们推导出，在 PQL 框架下，模型复杂度应该用惩罚拟似然的迹（trace of the hat matrix） 来度量。对于这个最简特例，这个迹近似等于 \( p + \text{tr}(\mathbf{H}) \)，其中 \( \mathbf{H} \) 是一个 \( m \times m \) 的“帽子矩阵”，其迹反映了随机效应部分的有效自由度。这个迹通常远小于 \( m \)，且与 \( \sigma_b^2 \) 有关。

  4. 最终准则：本文提出的 QIC 形式为：

     \[\text{QIC} = -2 \times Q(\hat{\boldsymbol{\beta}}, \hat{\mathbf{b}}) + 2 \times \text{tr}(\mathbf{H}_{\text{total}})\]
     其中 \( \mathbf{H}_{\text{total}} \) 是考虑了固定效应和随机效应后的总帽子矩阵，其迹就是模型复杂度的度量。对于不同的候选模型（不同的固定效应子集，是否包含随机截距），我们计算其 QIC 值，选择最小的那个。

• 这个特例揭示了什么：本文的一般情形（任意 GLMM、任意随机效应结构）只是这个特例的“加壳”。核心数学困难在于：

  1. 证明 PQL 估计的相合性：在一般 GLMM 下，证明 \( \hat{\boldsymbol{\beta}} \) 和 \( \hat{\mathbf{D}} \) 能一致地估计真实参数。
  2. 推导正确的模型复杂度度量：对于一般的随机效应结构（如随机斜率、非对角 \( \mathbf{D} \)），如何计算帽子矩阵的迹，使其能正确反映 PQL 框架下的有效参数个数。
  3. 证明 QIC 的模型选择相合性：证明随着样本量 \( N \to \infty \)，QIC 能以概率 1 选择出真实的模型（即包含所有重要效应，且不包含任何不重要效应）。

三、这篇论文做了什么

三句话

1. 研究了什么问题：针对广义线性混合模型（GLMM）中固定效应和随机效应的联合选择问题，提出了一种基于惩罚拟似然（PQL）估计的信息准则（QIC），以克服传统基于 ML 的信息准则计算量过大的瓶颈。
2. 核心工具/方法：以 PQL 估计为基础，构建了一个新的 QIC。其核心创新在于，通过推导 PQL 估计下的“帽子矩阵”的迹，来正确度量随机效应的模型复杂度（因为 PQL 将随机效应视为固定效应）。
3. 主要结论：在正则条件下，证明了 PQL 估计的相合性，并证明了所提出的 QIC 能渐近地识别出真实的固定效应和随机效应集合。模拟实验表明，该 QIC 在联合选择性能上与基于 ML 的信息准则相当甚至更优，同时计算时间显著减少。

关键设定与假设

• 设定：考虑一个一般的 GLMM，响应变量 \( Y_{ij} \) 来自指数族分布（如二项、泊松、正态）。固定效应协变量 \( \mathbf{X}_{ij} \) 和随机效应协变量 \( \mathbf{Z}_{ij} \) 可以是高维的（\( p, q \) 可以很大，但假设 \( m \to \infty \) 且 \( n_i \) 有界）。随机效应 \( \mathbf{b}_i \sim N(0, \mathbf{D}(\boldsymbol{\theta})) \)，其中 \( \boldsymbol{\theta} \) 是 \( \mathbf{D} \) 中待估参数的向量（例如，对于对角 \( \mathbf{D} \)，\( \boldsymbol{\theta} \) 包含 \( q \) 个方差分量）。
• 假设（核心）：
  1. PQL 估计的相合性条件：作者假设了 PQL 估计的相合性，并给出了一个定理（Theorem 1）来证明。这些条件包括：链接函数 \( g \) 是光滑的；指数族分布是正则的；随机效应方差 \( \mathbf{D} \) 是正定的；以及一些关于协变量和样本量的技术性条件（如 \( m \to \infty \)，\( n_i \) 有界，且 \( m/N \) 趋于一个常数）。相比已有文献，本文的相合性证明是在一个更一般的框架下给出的，不局限于特定的 GLMM 类型。
  2. 模型选择相合性条件：为了证明 QIC 能选择真实模型，作者假设了“真实模型是候选模型之一”，并且“不重要效应的参数值在真实模型中恰好为 0”。这是模型选择相合性证明的标准假设。此外，还假设了 QIC 中模型复杂度项（帽子矩阵的迹）的估计是相合的。
  3. 计算可行性假设：PQL 算法本身需要迭代，作者假设了该算法能收敛到全局最优解（或至少一个稳定的局部解）。这在实践中通常成立，但理论上并非总是保证。

主要结果

• Theorem 1 (PQL 估计的相合性)：

  • 陈述：在正则条件下，PQL 估计量 \( \hat{\boldsymbol{\beta}} \) 和 \( \hat{\boldsymbol{\theta}} \) 是相合的，即 \( \hat{\boldsymbol{\beta}} \xrightarrow{p} \boldsymbol{\beta}_0 \)，\( \hat{\boldsymbol{\theta}} \xrightarrow{p} \boldsymbol{\theta}_0 \)，其中 \( \boldsymbol{\beta}_0, \boldsymbol{\theta}_0 \) 是真实参数。
  • 直觉：这个定理为整个方法提供了理论基础。它表明，尽管 PQL 是一种近似方法，但在大样本下，它仍然能“找到”真实的参数值。
  • 必要条件：\( m \to \infty \)，且每个聚类内的观测数 \( n_i \) 不能太小（有下界）。随机效应方差不能太大（否则 PQL 的近似会变差）。
  • 解决的技术难点：PQL 的估计方程不是通常的得分方程，而是基于一个近似似然。作者需要证明这个近似似然的“得分”在真实参数处期望为 0，并且其 Hessian 矩阵是负定的。这需要用到经验过程理论和泰勒展开。

• Theorem 2 (QIC 的模型选择相合性)：

  • 陈述：在 Theorem 1 的条件下，并假设真实模型 \( M_0 \) 在候选模型中，那么由 QIC 选择的模型 \( \hat{M} \) 满足 \( P(\hat{M} = M_0) \to 1 \) 当 \( N \to \infty \)。
  • 直觉：这个定理保证了 QIC 能渐近地“挑出”正确的模型，不会过度拟合（选择太多效应）或欠拟合（遗漏重要效应）。
  • 必要条件：QIC 中模型复杂度项（\( \text{tr}(\mathbf{H}_{\text{total}}) \)）的估计必须足够准确，使得对于任何过拟合模型，其 QIC 值都大于真实模型的 QIC 值。
  • 解决的技术难点：证明的关键在于，对于过拟合模型，其惩罚拟似然 \( Q \) 的增加量（相对于真实模型）必须被模型复杂度项的增加量所“惩罚”掉。作者需要证明，过拟合模型带来的 \( Q \) 的增加是 \( O_p(1) \) 量级的，而模型复杂度的增加是发散的（\( \to \infty \)）。这需要精细的渐近分析。

证明路线与技术技巧

• 整体路线：
  1. Step 1: PQL 估计的相合性：首先，将 PQL 估计问题视为一个 M-估计问题（最大化惩罚拟似然）。然后，利用经验过程理论（empirical process theory）来证明目标函数的一致收敛性，进而证明估计量的相合性。关键工具是 Glivenko-Cantelli 定理和一致大数定律。
  2. Step 2: 模型复杂度度量：推导 PQL 估计下的“帽子矩阵” \( \mathbf{H}_{\text{total}} \)。这个矩阵是 PQL 迭代算法中最后一步的“投影矩阵”，其迹 \( \text{tr}(\mathbf{H}_{\text{total}}) \) 被证明是模型复杂度的正确度量。推导过程涉及对 PQL 估计方程的线性化（类似于 Fisher scoring 算法）。
  3. Step 3: QIC 的构造与相合性：将 QIC 定义为 \( -2Q + 2\text{tr}(\mathbf{H}_{\text{total}}) \)。然后，证明对于任何过拟合模型 \( M \supset M_0 \)，有 \( \text{QIC}(M) - \text{QIC}(M_0) \xrightarrow{p} \infty \)；对于任何欠拟合模型 \( M \subset M_0 \)，有 \( \text{QIC}(M) - \text{QIC}(M_0) \xrightarrow{p} \infty \)。这需要用到 Theorem 1 和关于 \( Q \) 的渐近展开。
• 关键跳跃点：
  • 从 PQL 估计到模型复杂度：最大的跳跃在于，作者需要将 PQL 这个“近似”估计方法与“精确”的模型选择理论联系起来。关键引理是证明 PQL 估计的渐近正态性（或至少是渐近线性性），从而使得帽子矩阵的迹成为有效自由度的合理近似。
  • 模型复杂度项的发散性：证明过拟合模型的 QIC 值大于真实模型，关键在于证明 \( \text{tr}(\mathbf{H}_{\text{total}}(M)) - \text{tr}(\mathbf{H}_{\text{total}}(M_0)) \) 是发散的。这需要证明，每增加一个不必要的随机效应，模型复杂度就会增加一个非零的量，且这个量不会随着样本量增加而消失。
• 技术技巧点名：
  • 经验过程理论 (Empirical Process Theory)：用于证明 PQL 估计的相合性（Step 1）。
  • 泰勒展开与线性化 (Taylor Expansion & Linearization)：用于推导帽子矩阵和 QIC 的渐近性质（Step 2 & 3）。
  • M-估计理论 (M-estimation Theory)：将 PQL 估计视为一个 M-估计问题，从而利用其标准理论框架。

真实例子与应用

• 模拟实验：本文进行了广泛的模拟实验，涵盖了二项分布（logit 链接）和泊松分布（log 链接）的 GLMM。模拟场景包括：

  • 数据生成：生成具有不同数量固定效应（\( p=5, 10 \)）和随机效应（\( q=2, 3 \)）的数据。真实模型包含一部分固定效应和一部分随机效应。
  • 候选模型：考虑了所有可能的固定效应子集和随机效应子集（即全子集选择）。
  • 对比方法：将提出的 QIC 与基于 ML 的信息准则（如 cAIC、BIC）进行比较。
  • 评估指标：模型选择准确率（正确选择真实模型的比例）、计算时间。
  • 结果：
    • 选择性能：QIC 的模型选择准确率与基于 ML 的 cAIC 和 BIC 非常接近，在某些场景下甚至略优。例如，在二项分布且随机效应方差较小时，QIC 的准确率比 cAIC 高约 5%。
    • 计算时间：QIC 的计算时间比基于 ML 的准则减少了 1-2 个数量级。例如，对于 \( m=100 \) 个聚类、\( p=10 \) 个固定效应、\( q=3 \) 个随机效应的场景，QIC 的计算时间约为 0.5 秒，而 cAIC 需要约 30 秒。
  • 这个例子想说明什么：验证了理论结果（QIC 能有效选择模型），并展示了其在实际中的巨大计算优势。它表明，在计算资源有限或需要快速探索大量模型时，QIC 是一个极具吸引力的替代方案。

• 真实数据例子：本文还使用了一个关于儿童哮喘症状的纵向数据集进行演示。数据包含 519 名儿童，每人有 4 次观测。固定效应包括年龄、性别、过敏史等，随机效应包括个体水平的随机截距和随机斜率（时间）。目标是选择重要的固定效应和随机效应。

  • 怎么用：将 QIC 应用于所有可能的模型子集（约 2^10 个模型），选择 QIC 最小的模型。
  • 结果：QIC 选择了一个包含随机截距和随机斜率的模型，固定效应包括年龄和过敏史。这个结果与基于 cAIC 的选择结果一致，但计算时间从 cAIC 的约 5 分钟减少到 QIC 的约 2 秒。
  • 这个例子想说明什么：展示了 QIC 在实际数据分析中的可行性和效率，并验证了其选择结果与更昂贵的 ML 方法一致。

🔎 结论是否比证明窄

• 是。作者在 Theorem 2 中证明了 QIC 的模型选择相合性，即它能渐近地识别出真实模型。但作者在结论部分（Discussion）中声称 QIC 是“一个有效的工具”（an effective tool）。这个 claim 比证明要宽，因为：
  • 有限样本表现：相合性是一个渐近性质，不保证在有限样本下 QIC 总是优于其他方法。模拟实验显示 QIC 表现良好，但并未在所有场景下都优于 ML 准则。
  • 计算可行性：PQL 算法本身可能不收敛，尤其是在随机效应方差较大或数据稀疏时。作者在模拟中假设了算法收敛，但在实际应用中，这并非总是成立。因此，“有效”这个 claim 依赖于 PQL 算法的成功运行。
  • 模型选择的不确定性：QIC 只给出一个“最佳”模型，没有提供关于模型选择不确定性的度量（如置信集）。这与一些贝叶斯方法（如模型平均）不同。

四、开放问题

1. 有限样本下的偏差校正：PQL 估计在随机效应方差较大或二项分布中成功概率接近 0/1 时，其估计是有偏的。本文的 QIC 基于 PQL 估计，这种偏差如何影响 QIC 在有限样本下的模型选择性能？能否设计一个针对 PQL 偏差的校正项，以提升 QIC 在小样本或极端情况下的表现？扎根点：本文的 Theorem 1 证明了 PQL 的相合性，但并未给出其收敛速度或有限样本偏差的界。作者在 Discussion 中也提到了这一点：“The consistency of PQL estimation... relies on the number of clusters \( m \) being large... For small \( m \), the performance of QIC may be less reliable.”

2. 高维固定效应与随机效应的联合选择：本文的 QIC 基于全子集搜索，当 \( p \) 和 \( q \) 很大时（例如 \( p > N \)），这是不可行的。能否将 QIC 与惩罚方法（如 LASSO、SCAD）结合，实现高维 GLMM 的联合选择？例如，设计一个基于 PQL 的惩罚 QIC，或一个两步法（先用惩罚方法筛选，再用 QIC 精调）。扎根点：本文的模拟中 \( p \) 和 \( q \) 都较小（\( p \leq 10, q \leq 3 \)）。作者在 Discussion 中提到了这一点：“Extending QIC to high-dimensional settings... is an important area for future research.”

3. 计算-统计权衡的正式刻画：本文展示了 QIC 在计算上的巨大优势，但并未从理论上刻画这种权衡。能否给出一个理论框架，描述在给定计算预算（如 CPU 时间）下，QIC 相对于最优 ML 准则的统计效率损失的上界？这与研究者对“statistical-computational tradeoff”的兴趣直接相关。扎根点：本文的模拟实验（Figure 2）直观地展示了计算时间与选择准确率之间的 tradeoff，但缺乏理论分析。作者在引言中提到了“computational burden”是主要动机，但并未将其形式化为一个可量化的权衡。

4. 模型选择后的推断：QIC 选择了一个模型后，如何对所选模型中的参数进行有效的统计推断（如构造置信区间）？由于模型选择过程本身引入了不确定性，直接使用所选模型进行推断会导致“选择后偏差”（post-selection inference）。能否将 QIC 与选择后推断方法（如 selective inference）结合？扎根点：本文只关注模型选择，未涉及选择后的推断。作者在 Discussion 中提到了这一点：“A natural extension... is to develop post-selection inference procedures for the selected model.”

---

Maintained by 陈星宇 · Homepage · Source on GitHub

评论