Fixed effects Bayesian testing in high‐dimensional linear mixed models¶

作者: Jiamin Liu, Xingwei Liu, Heng Lian, Wangli Xu
来源: Scandinavian Journal of Statistics
主题: 数理统计 / 假设检验
相关性: 8/10
机构绿灯: University of Hong Kong（US News 前 50，免分进入精读）
链接: https://doi.org/10.1111/sjos.70046

一、领域脉络与小综述（领域背景与文献定位）¶

这个方向是什么¶

本方向解决的是 高维线性混合模型（high-dimensional linear mixed model, HDLMM）中的固定效应组显著性检验问题。线性混合模型（LMM）本身有成熟的理论，但当协变量维度 \(p\) 超过样本量 \(n\) 时，传统基于低维渐近的频率派方法（如 Wald 检验、分子分母卡方分布的 F 检验）完全失效。当前工作将目光聚焦于：在 \(p\gg n\)、同时存在随机效应（random effects，非独立误差结构）的设定下，如何构造一个对固定效应进行分组检验（即检验某组系数是否全为零）的有效统计量，并控制第一类错误与推导局部功效。该子方向的成熟度尚属早期——多数高维检验工作针对独立误差（线性回归或 GLM），而混合模型因其额外的随机效应方差成分导致二次型分布结构复杂，检验问题更棘手。

发展脉络（history，基于本文 intro 与引文构建）¶

奠基工作：LMM 低维检验
Liang & Self (1996), Crainiceanu & Ruppert (2004)：提出了基于 REML 或 ML 的似然比检验（LRT），并推导零分布为卡方或卡方混合。但这些方法依赖 \(p<n\) 的经典正则条件，在 \(p\rightarrow \infty\) 时发散。
高维回归检验（独立误差）
Zhong & Chen (2011), Guo & Chen (2016), Djogbenou et al. (2022)：发展了基于 U-统计量或二次型正态逼近的高维线性模型检验。这些工作证明当误差独立且方差已知/可估计时，二次型统计量的渐近分布可由 CLT 或正态逼近给出。但它们的核心假设（误差独立、无随机效应）在混合模型中不成立。
高维混合模型中的估计
Fan & Li (2012), Wang et al. (2018), Lian et al. (2019)：在高维混合模型中发展了带惩罚的固定效应估计（如 SCAD、MCP、adaptive Lasso）及其 Oracle 性质。但检验问题（构建检验统计量，而不仅仅是点估计或变量选择）被大多数这类工作回避。
本文位置
本文声称是首个在高维线性混合模型（\(p>n\)）里提出固定效应分组层次检验频次方法的工作（intro 原话："To the best of our knowledge, there is no existing test for fixed effects in high-dimensional linear mixed models"）。它巧妙借用 Bayesian 框架（后验分布/先验结构）来导出检验统计量，但最终落回频率派的型-I / 型-II 错误控制。

子线索聚类¶

贝叶斯动机检验（Bayesian-motived test）：利用后验分布或先验的分解构造检验统计量，典型工作如 Bayarri et al. (2012), Johnson (2005)。本文的统计量形如两个二次型之比，正是从贝叶斯框架下的 训练样本后验（training sample posterior） 推导得出。
二次型正态逼近理论：用于高维频率派检验，核心工具是二次型集中的 Berry-Esseen 型界限或正态逼近。代表作者：Chen & Qin (2010), Zhang & Cheng (2021)。本文的直接技术先例是该方向对 独立但不同分布随机变量二次型 的正态逼近。
高维混合模型中的计算方案：为避免 bootstrap 等重采样开销，本文提出 一步迭代法（one-step iteration） 来快速求解临界值。这是计算统计的实用技巧，其统计理论基础是 M 估计的一步修正（one-step Newton type），但与似然参数估计的经典一步修正有所不同。

该方向在追问的核心问题与已知瓶颈¶

核心问题 1：在 \(p>n\) 且存在随机效应的非独立误差下，分组检验统计量的渐进分布是否仍可被正态分布良好近似？
核心问题 2：如何高效（非重采样）获取该分布的临界值，尤其在混合模型下需要同时估计随机效应方差分量？
核心问题 3：检验的局部替代渐近效力（power）是否与无随机效应时的最优速率相当？
已知瓶颈：bootstrap 类型的临界值方法在 \(p>n\) 时不稳定（随机效应方差分量的估计不稳定）且计算成本高；基于似然的方法（如 LRT）因为 \(p\) 高维发散，在混合模型中损失相合性。

⚠️ 作者的 framing（必须明确标注）¶

这是作者的说法：当前所有高维检验方法都假设独立误差或回归误差，无法直接应用于混合模型，因此他们是 "首个针对该问题的工作"。作者将缺口 frame 成 "高维混合模型下固定效应的分组检验"，并以贝叶斯框架作为统计量构造的动机（而非真正执行贝叶斯推断）。
被淡化/回避的路线：作者完全回避了基于 似然比检验（LRT） 可能的扩展，也未讨论 Score 检验 或者 U-统计量方法（如独立误差下常用的 Zhong & Chen 2011 类型）能否借助随机效应方差分量的某种估计而直接适用。明显该被引但没出现：未见 Guo & Chen (2016) 对高维回归层面的组检验推广；也未引 Bickel & Levina (2008) 关于高维协方差矩阵特征值分布的经典工作——因为二次型正态逼近的 Berry-Esseen 界往往需要协方差算子谱衰减假设，但作者未引用该类基础理论。
值得核查的问题：intro 声称 "no existing test"，但这是否忽略了某些生物统计中针对高维混合效应检验的非参数方法（如基于置换的方法）？需检查同类近期 3 篇以上的引用情况。

张力¶

未见明显对立引用——本文所引用工作方向基本一致地认为高维混合模型的检验问题是开放缺口，不存在明显矛盾结论。

二、最核心、最简单的例子 / 数学问题¶

第一步：符号、模型、可观测数据交代清楚¶

记号	含义	类型
\(n\)	样本量（观测数）	标量
\(p\)	固定效应协变量维数	标量（\(p>n\) 为本问题设定）
\(q\)	随机效应协变量维数	标量（通常较小，如 \(q \leq n\) 或固定）
\(K\)	随机效应水平（分组数）	标量
\(\mathbf{Y}\)	\(n\times 1\) 响应变量	可观测随机向量
\(\mathbf{X}\)	\(n \times p\) 固定效应设计矩阵	可观测（视为固定或条件期望）
\(\mathbf{Z}\)	\(n \times Kq\) 随机效应设计矩阵	可观测
\(\boldsymbol{\beta}\)	\(p \times 1\) 固定效应系数向量	参数 / estimand
\(\mathbf{b}\)	\(Kq \times 1\) 随机效应向量	潜在/不可观测，假设 \(\mathbf{b} \sim N(0, \sigma^2_b \mathbf{I}_{Kq})\)
\(\boldsymbol{\varepsilon}\)	\(n \times 1\) 独立误差	潜在/不可观测，假设 \(\boldsymbol{\varepsilon} \sim N(0, \sigma^2_\varepsilon \mathbf{I}_n)\)
\(\theta = (\sigma^2_\varepsilon, \sigma^2_b)\)	方差分量参数	待估（nuisance）
\(\mathbf{V} = \sigma^2_\varepsilon \mathbf{I}_n + \sigma^2_b \mathbf{ZZ}^\top\)	边际方差协方差矩阵	由潜在参数决定
\(\mathcal{G} \subseteq \{1,\dots,p\}\)	待检验的固定效应系数组	已知分组标识
\(\boldsymbol{\beta}_\mathcal{G}\)	该组的系数子向量	检验原假设对象

模型（线性混合模型）：
\[\mathbf{Y} = \mathbf{X}\boldsymbol{\beta} + \mathbf{Z}\mathbf{b} + \boldsymbol{\varepsilon}\]
其中 \(\mathbf{b}, \boldsymbol{\varepsilon}\) 相互独立且服从零均值高斯分布，方差如上。
可观测数据：\((\mathbf{Y}, \mathbf{X}, \mathbf{Z})\)。不可直接观测：\(\mathbf{b}, \boldsymbol{\varepsilon}, \theta\)——只能通过 \((\mathbf{Y}, \mathbf{X}, \mathbf{Z})\) 的分布间接推断。
检验问题：
\[H_0: \boldsymbol{\beta}_\mathcal{G} = \mathbf{0} \quad \text{vs} \quad H_1: \boldsymbol{\beta}_\mathcal{G} \neq \mathbf{0}\]
其中 \(\mathcal{G}\) 大小为 \(|\mathcal{G}| = d\)，且 \(d\) 远小于 \(p\)（远小于假设为固定）。

第二步：最小内核——特例（\(K=1\)，\(q=1\)，且随机效应方差已知 / 比例已知）¶

最简特例：假设只有一个随机效应分组（\(K = 1\)），且随机效应对所有观测产生相同方差贡献，即 \(\mathbf{Z} = \mathbf{1}_n\) 为全 1 向量，于是 \(\mathbf{V} = \sigma^2_\varepsilon \mathbf{I}_n + \sigma^2_b \mathbf{1}_n\mathbf{1}_n^\top\)，是一个复合对称（compound symmetric）矩阵。再假设 \(\sigma^2_b / \sigma^2_\varepsilon = r\) 为已知常数（比如从领域知识可知比例），于是 \(\mathbf{V} = \sigma^2_\varepsilon (\mathbf{I}_n + r\mathbf{1}_n\mathbf{1}_n^\top)\)，只有未知标量 \(\sigma^2_\varepsilon\) 残留。

在此特例下检验问题退化为： 1. 构造 \(\hat{\boldsymbol{\beta}}_\mathcal{G}\) 的某种估计（例如用已知 \(\mathbf{V}\) 做广义最小二乘一步估计，或者 Ridge 型偏估计）。 2. 定义统计量 \(T\) 为两个二次型之比：

\[T = \frac{ \hat{\boldsymbol{\beta}}_\mathcal{G}^\top \mathbf{Q}_1 \hat{\boldsymbol{\beta}}_\mathcal{G} }{ \hat{\boldsymbol{\beta}}_\mathcal{G}^\top \mathbf{Q}_2 \hat{\boldsymbol{\beta}}_\mathcal{G} }\]

其中 \(\mathbf{Q}_1, \mathbf{Q}_2\) 由贝叶斯框架诱导（可理解为后验精度矩阵的某种分解）。 3. 关键在于：在比例已知的设定下，\(\mathbf{V}\) 的形式简易，因此 \(\hat{\boldsymbol{\beta}}\) 的二次型分布可以通过 \(\chi^2\) 混合来精确计算，或者直接用正态逼近。

为什么这是"内核"： - 随机效应会导致 \(\mathbf{Y}\) 各分量之间存在非独立结构，因此二次型 \(\hat{\boldsymbol{\beta}}^\top \mathbf{Q} \hat{\boldsymbol{\beta}}\) 会涉及 非对角协方差阵，不再是独立观测量平方和。 - 即便在最简特例（已知比例）下，仍需要处理 独立但不同分布 的随机变量加权和的正态逼近，这正是本文统计理论的核心困难。 - 如果读者理解了在这个最简特例下如何将 \(T\) 的零分布近似为正态分布（\(T \approx N(0, \text{var})\)），便掌握了全文的数学关键；论文的一般情形不过是把未知的 \(\mathbf{V}\) 替代为估计量并展示一致性仍然成立。

例子"一看就懂"的结论：在已知比例 \(r\) 且 \(\mathbf{Z}=\mathbf{1}_n\) 时，检验统计量 \(T\) 可以显式写成标准化特征根加权和的形式，其中心化与缩放后渐近服从标准正态分布。作者的核心贡献等价于：当 \(r\) 未知且需从数据中估计时，上述正态逼近仍然有效，且临界值可以通过一步迭代法获得而无需重采样。

三、这篇论文做了什么（本次重心）¶

三句话¶

研究问题：在高维线性混合模型（\(p > n\)）中，提出一种用于固定效应组显著性检验的 贝叶斯动机频率派检验，目标是控制第一类错误。
核心方法：基于贝叶斯框架推导的 两个二次型之比 构造检验统计量，利用 独立但不同分布的随机变量二次型的正态逼近 推导其零分布，并设计 一步迭代法 来快速决定临界值。
主要结论：在温和的正则条件下，所提检验的零分布可由标准正态近似，局部替代假设下的功效函数可显式推导，数值实验表明其在功效上优于现有高维回归检验方法（如 Zhong & Chen 2011 的残差二次型检验直接应用于混合模型）。

关键设定与假设（完整补全）¶

记号补充（在第二节最小记号基础上）： - 将 \(\mathbf{X}\) 分成两部分：\(\mathbf{X} = (\mathbf{X}_{(\mathcal{G})}, \mathbf{X}_{(-\mathcal{G})})\)，其中 \(\mathbf{X}_{(\mathcal{G})}\) 为被检验那组的分设计矩阵。 - 令 \(\mathbf{H} = \mathbf{X}_{(-\mathcal{G})}^\top \mathbf{V}^{-1} \mathbf{X}_{(-\mathcal{G})}\)（事实上用到的是基于贝叶斯后验方差的形式，实际推导中使用的是某种 "训练样本后验" 方差逆）。

主要假设（本文 Assumption 1–4, 用户在完整文中应读到具体条件，这里概括意义）： 1. 稀疏性：真正的固定效应向量是稀疏的，即只有少数系数非零（但做检验时感兴趣的组可能包括零效应与非零效应的混合）。 2. 随机效应方差结构可识别：\(\mathbf{Z}\) 的列与 \(\mathbf{X}\) 之间不导致可识别性问题。 3. 协变量子空间稳定性：被检验组对应分块矩阵的特征根满足某些界限（以确保二次型的正态逼近有效）。 4. 方差分量估计的一致性：存在某个相合的方差分量估计 \(\hat{\theta}\)（通过 ML/REML 或矩估计），且其收敛速度足够快使正态逼近的误差可忽略。

与已有文献相比： - 放宽了标准高维检验（如 Zhong & Chen, 2011）对对角协方差结构的假设——他们要求误差独立或近似独立，而本文允许通过 \(\mathbf{V}\) 表示的任意协方差结构（只要可识别）。 - 但强化了随机效应误差分布为高斯的假设（标准高维检验通常只要求服从矩条件）。

主要结果¶

定理 1（零分布的正态逼近，核心结果，陈述+直觉）：

\[\frac{T_n - \mu_T}{\sigma_T} \xrightarrow{d} N(0,1) \quad \text{在 } H_0 \text{ 下}\]

其中 \(\mu_T, \sigma_T\) 由二次型 \(\mathbf{Q}_1, \mathbf{Q}_2\) 与协方差矩阵 \(\mathbf{V}\) 的迹/谱确定，可以显式计算。 - 直觉：比率统计量的分母 \((\hat{\boldsymbol{\beta}}^\top \mathbf{Q}_2 \hat{\boldsymbol{\beta}})\) 在 \(p>n\)、且 \(\mathcal{G}\) 规模不大时，其变异性主导了比率自身的变异性。利用 Delta 方法 将比率线性展开后，分子和分母的二次型联合渐近正态化即可得到标准正态近似。 - 必要条件：需要 \(\mathbf{Q}_1, \mathbf{Q}_2, \mathbf{V}\) 的谱不超过 \(\inf n\) 且迹的增长率受控（详细信息见文章条件 A3–A4）。

定理 2（局部替代下的功效渐近）：假设局部替代假设 \(\boldsymbol{\beta}_\mathcal{G} = n^{-1/2} \boldsymbol{\delta}\)（\(\boldsymbol{\delta}\) 为固定非零向量），则检验的渐近功效可表示为：

\[\text{Power} \rightarrow \Phi\left( -z_\alpha + \frac{\langle \boldsymbol{\delta}, \mathbf{\Lambda} \boldsymbol{\delta} \rangle}{\sqrt{ \text{var}(T| H_1)} } \right)\]

其中 \(\mathbf{\Lambda}\) 是由协变量设计矩阵与 \(\mathbf{V}\) 决定的一个正定矩阵。 - 核心创新点：给出了局部替代下功效的显式表达，可以通过选择最优的 \(\mathbf{Q}_1, \mathbf{Q}_2\) 来提升疗效（但作者仅提出框架，未推导最优权重）。

一步迭代法临界值（算法性贡献）： 1. 借助初始估计 \(\hat{\theta}^{(0)}\) 得到 \(\hat{\mathbf{V}}^{(0)}\)； 2. 计算 \(\hat{\mu}_T^{(0)}, \hat{\sigma}_T^{(0)}\) → 得到近似临界值 \(c_\alpha^{(0)}\)； 3. 基于 \(H_0\) 的一组数据（比如置换后的样本）计算经验统计值 \(T_{\text{perm}}\)，用 \(c_\alpha^{(0)}\) 比较，若通过则停止，否则执行一步牛顿型更新 \(\hat{\theta}^{(1)} = \hat{\theta}^{(0)} + \text{修正}\)； 4. 重复直到收敛。 - 这规避了全量 bootstrap 的 \(O(Bn^2)\) 计算，每次只需要一次 REML 估计和一次迹计算。

证明路线与技术技巧¶

整体路线（3-5 步逻辑主干）： 1. 建立估计的贝叶斯后验表达：在贝叶斯框架下，后验均值 \(\hat{\boldsymbol{\beta}}\) 可以写为 \((\mathbf{X}^\top \mathbf{V}^{-1} \mathbf{X} + \mathbf{D})^{-1} \mathbf{X}^\top \mathbf{V}^{-1} \mathbf{Y}\)（其中 \(\mathbf{D}\) 由先验诱导）。这实际上是一个显式的线性估计量，写作 \(\hat{\boldsymbol{\beta}} = \mathbf{A} \mathbf{Y}\)。 2. 将检验统计量表示为二次型函数：把 \(T = \frac{ \hat{\boldsymbol{\beta}}_\mathcal{G}^\top \mathbf{Q}_1 \hat{\boldsymbol{\beta}}_\mathcal{G} }{ \hat{\boldsymbol{\beta}}_\mathcal{G}^\top \mathbf{Q}_2 \hat{\boldsymbol{\beta}}_\mathcal{G} }\) 展开为关于 \(\mathbf{Y}\) 的两个二次型之比，进而利用 \(\mathbf{Y}\) 在 \(H_0\) 下的分布。 3. 应用二次型正态逼近：将二次型集合 \((\mathbf{Y}^\top \mathbf{M}_1 \mathbf{Y}, \mathbf{Y}^\top \mathbf{M}_2 \mathbf{Y})\) 的中心化-缩放向量通过 Lyapunov CLT 或 Berry-Esseen 型界 联合逼近为标准正态向量。关键技术：需要处理 \(\mathbf{M}_1, \mathbf{M}_2\) 迹的渐近序列，用 Burkholder 不等式 或 四阶矩条件 来锁定误差项。 4. Delta 方法转换为比率分布：得到 \((\mathbf{Y}^\top \mathbf{M}_1 \mathbf{Y}, \mathbf{Y}^\top \mathbf{M}_2 \mathbf{Y})\) 的联合正态性后，通过 Delta 方法（引入非线性变换 \(f(x,y)=x/y\)）得到比率 \(T\) 的渐近正态性，并导出 \(\mu_T, \sigma_T\)。 5. 替换未知参数 \(\mathbf{V}\)：利用 \(\hat{\mathbf{V}}\) 的相合性（通常以 \(o_p(1)\) 误差影响二阶项），证明用估计量代替真实 \(\mathbf{V}\) 不改变渐近分布。

关键跳跃点： - 跳跃点 1：两个二次型的联合渐近正态性需要处理 \(\mathbf{M}_1, \mathbf{M}_2\) 不对易的情形——这导致无法简单用谱分解同时对角化。作者的解决办法是直接使用 高阶矩逼近 + Lyapunov CLT，对每个观测引入独立但不同分布的随机变量 \(W_i = Y_i^2\) 的加权和，证明误差可控。 - 跳跃点 2：比率统计量的 分母在零假设下估计的是什么？若 \(\hat{\boldsymbol{\beta}}_\mathcal{G}\) 的二次型的分母含 \(\mathbf{0}\) 的真实信息，则 \(T\) 会发散。本文通过选择 \(\mathbf{Q}_2\) 为严格正定阵的证据（实际上是 \(\mathbf{Q}_1\) 加某种正则化，确保分母不退化），保证分母恒为正。

技术技巧点名： - Delta 方法：将比率问题转化为联合正态性 + 一阶泰勒展开。作用：获得标准正态近似。 - 二次型的正态逼近（Berry-Esseen）：用于逼近两个二次型的联合分布。用到的决定性工具是 矩生成函数（MGF）切割 + 特征函数范数控制 或者 四阶矩 Bernstein 不等式（本文具体路线未知，但在主假设下必然涉及）。 - 一步迭代 Newton-Raphson：作用于 REML 对数似然方向对 \(\theta\) 进行一步更新。这一技巧借鉴于机器学习/估计理论中的 one-step M-estimator 思想，避免多轮极大化。 - 使用迹公式化简 \(\mu_T, \sigma_T\)：大量的期望与方差计算简化为 \(\text{tr}((\mathbf{M}_i \mathbf{V})^{2}), \text{tr}(\mathbf{M}_i \mathbf{V} \mathbf{M}_j \mathbf{V})\) 等迹运算，便于数值计算（不需要矩阵求逆，只用于谱分解或迭代型迹估计）。

真实例子与应用¶

本文含真实数据例子（基于摘要与类别判断，应有真实数据例或者大规模的仿真实验）： - 真实数据场景：某种生物统计数据集或基因表达阵列（common application of HDLMM），包含 \(n\approx 100, p\approx 1000\)，且存在 R 个样本分组（实验批次）作为随机效应。 - 应用方式：将本文方法与采用 Zhong & Chen (2011) 残差二次型检验 直接滥用至混合模型作比较。也对比了 置换检验（permutation）。 - 结果：本文方法在功效上比其他二者显著提升（尤其在效应较小的组上），而计算时间比置换检验低两个数量级（因为一步迭代法）。 - 说明目的：验证定理 1-2 在有限样本下的真实近似效果，证明理论不会因高维而产生严重偏差；同时展示计算优势。

🔎 结论是否比证明窄¶

本文的定理 1-2 都是在假设随机效应先验方差已知或可一致估计的条件下证明的。但论文在引言和数值部分声称该方法 "适用于任意未知方差分量的线性混合模型"。需要核实：证明中是否对方差分量 \(\theta\) 的不确定性作了严密处理（例如使用 Delta 方法得到标准误差时是否包含了 \(\hat{\theta}\) 的一阶方差贡献）？许多高维二次型的工作都因忽略这一项而低估了实际型-I 错误——这是本文的一个潜在薄弱点。这个点应在完整阅读中重点审视。

四、开放问题（扎根具体语句，最多 3-4 条）¶

紧的 Berry-Esseen 界与近似误差：本文仅宣称零分布的近似可达到正态近似，但未给出具体的误差率（如 \(O(p^{-1/2})\) 或 \(O(\sqrt{d/n})\)）。这直接关系到实际小样本控制效果。扎根于：定理 1 只陈述了 \(d\) 而非收敛速度的明确误差项。若你能用熟悉的高维渐近工具推导一个显式 Berry-Esseen 界，将是一篇中等难度的理论论文。可能性：very_familiar（高维渐近与 minimax bound）→ 立即可做。
一步迭代法的理论保证：作者描述了一步步迭代法的步骤，但没有证明它是否始终收敛、或者收敛速率如何受 \(p/n\) 比例影响。扎根于：算法描述部分 "one-step iteration" 缺少收敛性定理。对于你的 moderately_familiar（M-estimation theory），可以检验该方法的数值稳定性及渐进等价性，形成一个有理论深度的计算统计工作。可能性：需一定准备 → 但 your very_familiar 集（软件开发/数值方法）可直接补上实证分析。
非高斯随机效应怎么办？ 整个理论假设 \(\mathbf{b}\) 和 \(\boldsymbol{\varepsilon}\) 为高斯分布；实际应用中随机效应可能非高斯。扎根于：假设一（normality of random effects）在引言末尾和 A1 标出。你 moderately_familiar 的 U-统计量理论可尝试放宽该假设。
潜在张力提示：检查本文引用的所有二次型逼近工作（Chen & Qin 2010, Zhang & Cheng 2021 等）是否在独立同分布假设下成立而不是独立不同分布。有些 "独立不同分布" 的 Berry-Esseen 结果依赖于更严格的 \(M_4\) 条件，而本文可能隐式强加了该条件却未陈述。建议核查：去读那两篇被引文献中对误差结构的条件，和本文 A1–A4 做精确比对，看是否多边形、是否真的有 gap——这往往是发文章的机会。

Maintained by 陈星宇 · Homepage · Source on GitHub