跳转至

Asymptotics of numerical integration for two-level mixed models

作者: Blair Bilodeau, Alex Stringer, Yanbo Tang
来源: Bernoulli
主题: 统计计算 / 算法
相关性: 7/10
链接: 期刊页 · arXiv


一、领域脉络与小综述

  • 这个方向是什么:本文研究的是统计计算与渐近理论的交叉问题:当似然函数包含不可解析的积分(如混合模型中的随机效应积分)时,数值积分近似对统计推断(尤其是极大似然估计)的影响。其根本问题是:用近似似然代替精确似然进行推断时,近似误差如何传播到估计量上?在什么条件下,这种误差可以忽略? 该方向处于"计算统计"与"渐近理论"的交界处,成熟度中等——已有大量关于特定模型(如GLMM)的数值积分实践,但缺乏统一的、基于数据生成过程的随机误差分析框架。

  • 发展脉络(history):

  • 奠基工作:Vonesh (1996) 首次研究了 Laplace 近似下非线性混合效应模型中边际极大似然估计的收敛率,奠定了"近似推断的渐近性质"这一研究路线。作者在引言中评价其"研究了 Gaussian 非线性混合效应模型中 Laplace 近似边际极大似然估计的收敛率"(Section 1.3),这是本文的直接理论起点。
  • 主要进展:Jiang, Wand and Bhaskaran (2021) 为 GLMM 提供了精确极大似然估计的渐近正态性理论(含收敛率),使得"精确估计量的性质"有了清晰刻画;Bianconcini (2014) 则在潜变量模型(含 GLMM 作为特例)中研究了自适应 Gauss-Hermite 求积的渐近性质,但其证明依赖于"似然近似在固定邻域内一致收敛"这一未验证的假设。作者在引言中明确指出 Bianconcini (2014) "假设似然近似在参数空间的一个未指定区域上一致收敛"(Section 1.3),这是本文要填补的关键缺口。
  • 当前 frontier:Bilodeau, Stringer and Tang (2024) 首次给出了贝叶斯框架下自适应求积近似后验的随机收敛率,但其结果是逐点(pointwise)的,不适用于频率学派极大似然估计所需的均匀收敛。Ogden (2017) 研究了"用任意近似似然做推断"的一般条件,但其条件(两个导数一致收敛)在混合模型背景下难以验证。
  • 本文的位置:作者将 Bilodeau, Stringer and Tang (2024) 的逐点结果升级为均匀收敛(Lemma 1),并首次在显式、可验证的正则条件(Assumptions 2–7)下,建立了自适应求积近似 MLE 的一致性(Lemma 2)与渐近正态性(Theorem 2),且收敛率与精确 MLE 相同(仅差一个可任意小的 ε 因子)。同时,Theorem 1 首次从理论上证明了非自适应求积必然导致 MLE 不一致,为实践中"必须使用自适应求积"提供了理论依据。

  • 子线索聚类:

  • 精确 MLE 的渐近理论(Jiang, Wand and Bhaskaran 2021; Maestrini, Bhaskaran and Wand 2024; Bhaskaran and Wand 2023):研究 GLMM 中精确边际似然对应的 MLE 的收敛率与渐近分布,为近似推断提供"基准"。
  • 近似似然的确定性误差分析(Liu and Pierce 1994; Jin and Andersson 2020):研究自适应 Gauss-Hermite 求积对固定被积函数的确定性误差界,不涉及数据随机性。Jin and Andersson (2020) 修正了 Liu and Pierce (1994) 的误差率,指出其比先前认为的更慢。
  • 近似似然的随机误差分析(Bilodeau, Stringer and Tang 2024; 本文):将求积误差视为随机变量,研究其在数据生成分布下的随机收敛率。本文是该子线索中第一篇处理频率学派 MLE 的工作。
  • 一般近似推断理论(Ogden 2017):不针对特定积分方法,而是给出"任意近似似然"下推断有效性的充分条件。

  • 这个方向在追问的核心问题:

  • 近似误差的传播:数值积分误差以何种速率传播到 MLE 上?需要多少求积点才能使近似 MLE 与精确 MLE 渐近等价?
  • 自适应 vs 非自适应:为什么实践中自适应求积远优于固定求积?能否从理论上严格证明?
  • 均匀收敛的必要性:逐点收敛是否足以保证 MLE 的渐近性质?若不足,需要什么样的均匀收敛条件?
  • 正则条件的可验证性:现有理论的条件是否能在具体模型(如 GLMM)中被显式验证?

  • ⚠️ 作者的 framing(这是作者的说法):作者将缺口 frame 成"缺乏在显式、可验证条件下,自适应求积近似 MLE 的渐近理论"。他们强调自己的贡献是:(a) 将 Bilodeau, Stringer and Tang (2024) 的逐点结果升级为均匀收敛;(b) 首次证明非自适应求积不一致(Theorem 1);(c) 为 GLMM 验证了全部正则条件(Proposition 1)。被淡化的竞争路线:Ogden (2017) 的一般近似似然理论被描述为"条件太强、难以验证"(Section 1.3),但作者没有讨论其条件是否在某些模型下可以验证;Bianconcini (2014) 的均匀收敛假设被指出"未验证",但作者没有说明自己的 Assumptions 2–7 是否本质上弱于 Bianconcini 的假设,还是仅仅更显式。值得去查的问题:Assumptions 2–7 与 Bianconcini (2014) 的假设之间是否有蕴含关系?作者的 ε 因子是否可以通过更精细的分析去掉?

  • 张力:未见明显对立引用。但存在一个微妙的张力:Jiang, Wand and Band (2021) 的精确 MLE 理论要求 n_min/m → 0(组数增长快于组内样本量),而本文的 Theorem 2 在同样的条件下成立,但额外要求 m = n_min^q(q > 0),即组数必须随组内样本量多项式增长。这意味着本文的理论不覆盖 n_min 固定、m → ∞ 的情形(如仅有少量重复测量的纵向数据)。作者在 Corollary 2 中明确假设了 m = n_min^q,但未讨论这一限制是否本质。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

  • 数据:观测数据为 \( y = (y_1^T, \ldots, y_m^T)^T \),其中 \( y_i = (y_{i1}, \ldots, y_{in_i})^T \in \mathbb{R}^{n_i} \) 是第 \( i \) 组的观测向量。总样本量 \( N = \sum_{i=1}^m n_i \)。协变量 \( x_{ij} \in \mathbb{R}^q \)(固定效应设计)和 \( v_{ij} \in \mathbb{R}^d \)(随机效应设计)被视为固定已知。
  • 模型:给定随机效应 \( u_i \in \mathbb{R}^d \),组内观测独立,且
    \[y_{ij} \mid u_i \sim F(\eta_{ij}), \quad \eta_{ij} = x_{ij}^T \beta + v_{ij}^T u_i,\]
    其中 \( F \) 是自然指数族分布(如 Bernoulli、Poisson、Gamma),\( \beta \in \mathbb{R}^q \) 是固定效应系数。随机效应 \( u_i \sim N(0, \Sigma(\sigma)) \),其中 \( \sigma \in \mathbb{R}^s \) 是方差参数。
  • 参数:\( \theta = (\beta, \sigma) \in \Theta \subseteq \mathbb{R}^{q+s} \) 是待估参数。注意:这里 \( \theta \) 是参数(固定但未知),\( u_i \) 是潜变量(随机但不可观测)。
  • 边际似然:对随机效应积分后得到
    \[\pi(y; \theta) = \prod_{i=1}^m \int_{\mathbb{R}^d} \pi(y_i, u_i; \theta) du_i = \prod_{i=1}^m \pi_i(y_i; \theta),\]
    其中 \( \pi_i(y_i; \theta) = \int \left[ \prod_{j=1}^{n_i} f(y_{ij} \mid u_i; \theta) \right] g(u_i; \sigma) du_i \)。这个积分通常没有闭式解。
  • 可观测数据:研究者实际能观测到的是 \( y \)(以及协变量 \( x, v \)),观测不到的是随机效应 \( u_i \)。因此,推断必须基于边际似然 \( \pi(y; \theta) \),而该似然涉及不可解析的积分。
  • 近似:用自适应求积(adaptive quadrature, AQ)近似每个组内积分:
    \[\tilde{\pi}_i^{\text{AQ}}(y_i; \theta) = |L_i^\theta| \sum_{z \in Q} \pi(y_i, L_i^\theta z + \hat{u}_i^\theta; \theta) \omega(z),\]
    其中 \( \hat{u}_i^\theta \) 是给定 \( \theta \) 时对数联合密度的众数(即条件后验众数),\( L_i^\theta \) 是负 Hessian 的 Cholesky 因子,\( Q \) 是求积节点集合,\( \omega \) 是权重。当 \( k=1 \) 时,这就是 Laplace 近似。
  • 估计量:近似 MLE \( \tilde{\theta} = \arg\max_\theta \log \tilde{\pi}^{\text{AQ}}(y; \theta) \),而精确 MLE \( \hat{\theta} = \arg\max_\theta \log \pi(y; \theta) \)。

第二步:最小内核

本文的核心数学问题是:近似 MLE \( \tilde{\theta} \) 与精确 MLE \( \hat{\theta} \) 之间的距离有多大?

最小内核可以剥离为以下问题。假设我们有一个精确对数似然 \( \ell(\theta) = \sum_{i=1}^m \ell_i(\theta) \),其中 \( \ell_i(\theta) = \log \pi_i(y_i; \theta) \),以及一个近似对数似然 \( \tilde{\ell}(\theta) = \sum_{i=1}^m \tilde{\ell}_i(\theta) \)。设 \( \hat{\theta} = \arg\max \ell(\theta) \),\( \tilde{\theta} = \arg\max \tilde{\ell}(\theta) \)。

关键观察:如果近似误差 \( |\tilde{\ell}(\theta) - \ell(\theta)| \) 在参数空间的一个邻域内均匀地以速率 \( r_N \) 收敛到 0,那么通过标准的 M-估计量论证(利用强凹性和导数条件),可以证明 \( \|\tilde{\theta} - \hat{\theta}\| = O_p(r_N / \lambda_{\min}(-\nabla^2 \ell(\hat{\theta}))) \),其中 \( \lambda_{\min} \) 是 Hessian 的最小特征值。

因此,核心数学任务是:证明自适应求积的近似误差在参数空间的一个收缩邻域内均匀收敛,并给出收敛速率。这需要三个要素:

  1. 逐点收敛:对每个固定的 \( \theta \),近似误差 \( |\tilde{\ell}_i(\theta) - \ell_i(\theta)| \) 以速率 \( n_i^{-k} \) 收敛(其中 \( k \) 是求积阶数)。这由求积的确定性误差分析给出(Liu and Pierce 1994; Jin and Andersson 2020)。

  2. 均匀化:将逐点收敛升级为在收缩邻域 \( B_{\theta^*}(\zeta_N) \) 上的均匀收敛。这需要控制似然函数及其导数在邻域内的波动,即 Assumptions 2–7 中的一致 Lipschitz 或一致光滑性条件。关键技巧是:利用强对数凹性(或类似条件)来控制众数 \( \hat{u}_i^\theta \) 和 Hessian \( H_i^\theta \) 随 \( \theta \) 的变化,从而将逐点误差界"传播"到整个邻域。

  3. 平衡速率:均匀收敛速率 \( r_N \) 必须足够快,使得近似误差相对于统计误差(即 \( \|\hat{\theta} - \theta^*\| = O_p(m^{-1/2}) \) 或 \( O_p((mn)^{-1/2}) \))可忽略。这要求 \( m \cdot r_N \to 0 \)(在适当的归一化下)。

为什么非自适应求积会失败(Theorem 1 的直觉):固定求积的节点不随数据变化。当似然函数随 \( N \) 增大而越来越集中于其众数附近时(宽度 \( O(n_i^{-1/2}) \)),固定节点要么全部落在众数区域之外(导致近似误差不减小),要么需要节点间距随 \( n_i \) 缩小(但固定求积无法做到)。因此,固定求积的近似误差不会随 \( N \) 收敛到 0,导致 MLE 不一致。自适应求积通过将节点中心放在众数 \( \hat{u}_i^\theta \) 处并按 Hessian 缩放,使得节点始终覆盖似然的有效支撑区域,从而保证误差收敛。


三、这篇论文做了什么

三句话: 1. 研究了什么问题:在含单个分组因子的混合模型中,当边际似然用自适应求积近似时,近似 MLE 是否具有与精确 MLE 相同的渐近性质(一致性、收敛速率、渐近正态性)? 2. 核心工具/方法:将 Bilodeau, Stringer and Tang (2024) 的逐点求积误差分析升级为收缩邻域上的均匀收敛(Lemma 1),结合 M-估计量的标准论证(强凹性 + 导数条件),证明近似 MLE 与精确 MLE 的差异可忽略。 3. 主要结论:在显式正则条件(Assumptions 2–7)下,若求积阶数 \( k \) 足够高(满足 \( k > 2 \) 或 \( k > 3 \),取决于参数类型),则近似 MLE 与精确 MLE 具有相同的渐近分布;而非自适应求积在极弱的条件下就导致 MLE 不一致(Theorem 1)。

关键设定与假设(Assumptions 2–7,Appendix A): - Assumption 2(导数有界):对数联合密度 \( \ell_i^\theta(u) \) 对 \( \theta \) 和 \( u \) 的导数在局部一致有界,且随 \( n_i \) 的增长速率受控。这保证了似然函数的"平滑性",是均匀化论证的基础。 - Assumption 3(强凹性):负 Hessian \( -\partial^2_{(u,\theta)} \ell_i^\theta(u) \) 的特征值在局部一致有界,且最小特征值至少为 \( n_i^{1-\epsilon} \)(对任意 \( \epsilon > 0 \))。这保证了众数 \( \hat{u}_i^\theta \) 的唯一性和稳定性,是控制众数随 \( \theta \) 变化的关键。 - Assumption 4(尾部衰减):对数似然在远离众数区域以指数速率衰减。这保证了积分的主要贡献来自众数附近的小区域,使得求积误差可控。 - Assumption 5(全局可识别性):似然函数在参数空间边界处有界远离最大值,保证 MLE 的一致性。 - Assumption 6(众数收敛速率):条件众数 \( \hat{u}_i^\theta \) 以速率 \( n_i^{-1/2} \) 收敛到真值 \( u_i^* \),且对 \( \theta \) 的依赖是 Lipschitz 的。 - Assumption 7(矩条件):得分函数和 Hessian 的积分(关于随机效应分布)的矩有界,且随 \( n_i \) 的增长速率受控。

相比已有工作的关键改进: - 相比 Bianconcini (2014):作者显式验证了均匀收敛所需的全部条件(Proposition 1),而 Bianconcini 直接假设了均匀收敛。作者还澄清了均匀收敛只能在收缩邻域上成立,而非固定邻域。 - 相比 Ogden (2017):Ogden 要求近似似然的两个导数在固定邻域上一致收敛,这在混合模型中难以验证;作者将邻域缩小到 \( \zeta_N \)(随 \( N \) 收缩),从而放宽了条件,并给出了可验证的充分条件。

主要结果: - Theorem 1(非自适应求积不一致):对任意固定求积规则,只要似然函数满足弱浓度条件(Assumptions 2–7 的特例),则存在 \( \kappa > 0 \) 和 \( \gamma \in (0,1) \) 使得近似似然比 \( \tilde{\pi}(y;\theta^*)/\pi(y;\theta^*) \) 以正概率偏离 1。这意味着近似 MLE 不一致。 - Lemma 1(均匀收敛):在 Assumptions 2–7 下,对任意 \( \epsilon > 0 \),近似对数似然在收缩邻域 \( B_{\theta^*}(\zeta_N) \) 上以速率 \( \sum_{i=1}^m n_i^{-\lfloor(k+2)/3\rfloor + \epsilon} \) 均匀收敛到精确对数似然。 - Lemma 2(一致性):在 Assumptions 1–3, 6–7 下,近似 MLE \( \tilde{\theta} \) 以概率趋于 1 落入收缩邻域 \( B_{\theta^*}(\zeta_N) \)。 - Theorem 2(渐近等价性):在 Assumptions 1–7 下,若 \( r_N^* \cdot \zeta_N^{-1} \to 0 \)(其中 \( r_N^* = \sum_{i=1}^m n_i^{-\lfloor(k+2)/3\rfloor + \epsilon} \)),则 \( \|\tilde{\theta} - \hat{\theta}\| = o_p(\|\hat{\theta} - \theta^*\|) \),即近似 MLE 与精确 MLE 的差异相对于统计误差可忽略。因此,近似 MLE 继承了精确 MLE 的渐近正态性。 - Corollary 2(GLMM 具体化):对 GLMM,若 \( m = n_{\min}^q \)(\( q > 0 \)),则当 \( k > 2 \)(对 \( \beta \))或 \( k > 3 \)(对 \( \sigma \))时,Theorem 2 的条件成立。这意味着至少需要 3 个求积点(对应 \( k=2 \))才能保证 \( \beta \) 的推断有效,而 \( \sigma \) 需要更高阶。

证明路线(Appendix B–D): 1. Lemma 1 的证明:将 Bilodeau, Stringer and Tang (2024) 的逐点误差界(对固定 \( \theta \))升级为均匀误差界。关键步骤:(a) 利用 Assumption 6 控制众数 \( \hat{u}_i^\theta \) 随 \( \theta \) 的 Lipschitz 连续性;(b) 利用 Assumption 3 的强凹性控制 Hessian 的连续性;(c) 将逐点误差界中的常数"均匀化",得到依赖于 \( \zeta_N \) 的界。核心技巧是在收缩邻域上重新参数化,使得误差界中的指数项可以统一控制。 2. Lemma 2 的证明:利用 Lemma 1 的均匀收敛 + Assumption 5 的可识别性,证明近似似然在收缩邻域外以概率趋于 0,从而保证 \( \tilde{\theta} \) 落入邻域内。 3. Theorem 2 的证明:在收缩邻域内,利用强凹性(Assumption 3)和均匀收敛(Lemma 1),通过一阶条件(得分方程)建立 \( \tilde{\theta} \) 与 \( \hat{\theta} \) 的线性关系,然后利用精确 MLE 的渐近正态性(来自 Jiang, Wand and Bhaskaran 2021)得出结论。 4. Proposition 1 的证明(Appendix D):对 GLMM 逐条验证 Assumptions 2–7。关键步骤:(a) 利用指数族性质控制导数增长;(b) 利用 Gaussian 随机效应的强对数凹性验证 Assumption 3;(c) 利用众数的渐近正态性验证 Assumption 6。

真实例子与应用: - 模拟研究(Section 4.3):使用 Bernoulli 响应 + 随机截距模型(式 4.3–4.5),参数 \( (\beta_0, \beta_1, \sigma) = (-4, 2, 2) \),组数 \( m = 1000 \times (20, \ldots, 2^4) \),组内样本量 \( n = 2, 4, 6, 8, 10 \),求积点数 \( k = 1, 3, 5, 7, 9, 11 \)。结果(Figure 1–6)显示: - 当 \( k=1 \)(Laplace 近似)时,\( \beta_0 \) 的覆盖率随 \( m \) 增大而显著下降(低至 50% 以下),证实了 Theorem 1 的预测。 - 当 \( k \geq 3 \) 时,覆盖率保持在名义水平附近,且随 \( m \) 增大而改善。 - 偏差和 RMSE 随 \( k \) 增大而减小,但 \( k=3 \) 与 \( k=11 \) 的差异在 \( m \) 很大时变小。 - 该模拟验证了 Corollary 2 的预测:\( k=1 \) 不够,\( k \geq 3 \) 足够。

🔎 结论是否比证明窄: - Theorem 1 的表述:定理只证明了"存在 \( \kappa > 0 \) 和 \( \gamma \in (0,1) \)"使得近似似然比偏离 1,但没有给出 \( \kappa \) 和 \( \gamma \) 的具体值,也没有说明偏离的方向(高估还是低估)。作者在引言中声称"非自适应数值积分不能得到一致的 MLE",但定理本身只证明了近似似然比不收敛到 1,而非发散。严格来说,这只能说明近似 MLE 与精确 MLE 的差异不趋于 0,但差异可能是有界的(例如,近似 MLE 可能收敛到某个不同的极限)。作者在 Section 3.1 中承认"它并不排除近似似然比收敛到某个非 1 的常数",但没有进一步分析这种可能性。 - Theorem 2 的适用条件:定理要求 \( r_N^* \cdot \zeta_N^{-1} \to 0 \),其中 \( r_N^* = \sum_{i=1}^m n_i^{-\lfloor(k+2)/3\rfloor + \epsilon} \)。对于 \( m = n_{\min}^q \),这要求 \( q < \lfloor(k+2)/3\rfloor - 1 \)(对 \( \beta \))或 \( q < \lfloor(k+2)/3\rfloor - 1 \)(对 \( \sigma \))。这意味着组数不能增长太快。作者在 Corollary 2 中给出了这一条件,但没有讨论当 \( q \) 超过这一界限时会发生什么(近似 MLE 是否仍然一致?收敛速率是否变慢?)。 - Assumption 1 的隐含性:Assumption 1 假设优化算法返回的 \( \tilde{\theta} \) 以概率趋于 1 落入固定邻域 \( B_{\theta^*}(\delta) \)。这实际上假设了全局优化的成功,但在实践中,似然面可能多峰,优化算法可能陷入局部最优。作者在 Section 3.3 中称这是"温和的",但没有提供任何验证。


四、开放问题

  1. 非自适应求积的"发散"速率:Theorem 1 只证明了非自适应求积的近似似然比不收敛到 1,但没有给出偏离的速率。能否刻画 \( |\tilde{\pi}(y;\theta^*)/\pi(y;\theta^*) - 1| \) 的发散速率?这需要更精细的尾部概率分析。(扎根于 Theorem 1 的证明,Appendix B 只给出了存在性。)

  2. 组数增长界限的紧性:Corollary 2 给出了 \( q < \lfloor(k+2)/3\rfloor - 1 \) 的条件。这个界限是否紧?当 \( q \) 超过这一界限时,近似 MLE 的收敛速率会如何退化?是否存在一个"临界指数"?(扎根于 Theorem 2 的证明,Lemma 1 的误差界 \( \sum_i n_i^{-\lfloor(k+2)/3\rfloor+\epsilon} \) 与 \( \zeta_N \) 的平衡。)

  3. 高阶求积的误差常数:Lemma 1 中的常数 \( C \) 依赖于模型的高阶导数(通过 Assumption 2 中的 \( t \) 阶导数界),但作者没有给出 \( C \) 的显式表达式。对于实际应用,需要知道 \( C \) 如何随模型参数(如 \( \beta, \sigma \))变化,以指导求积点数的选择。(扎根于 Lemma 1 的证明,Appendix B 中 \( C \) 的定义依赖于 \( D, \eta, \bar{\eta} \) 等常数。)

  4. 随机效应维度 \( d > 1 \) 的推广:本文的定理假设随机效应维度 \( d \) 固定且较小(求积复杂度 \( O(k^d) \))。当 \( d \) 随 \( n \) 增长时(如高维随机效应),求积的复杂度指数增长,本文的框架是否还能适用?这需要稀疏求积或蒙特卡洛方法的误差分析。(扎根于 Section 2.1 的模型设定,式 2.1 中 \( u_i \in \mathbb{R}^d \) 且 \( d \) 固定。)

  5. 模型误设定下的鲁棒性:本文假设模型是正确设定的(Assumption 9)。当模型误设定时(如随机效应分布不是 Gaussian),求积误差的传播是否会改变?这需要将本文的框架推广到"伪似然"或"复合似然"的设定。(扎根于 Assumption 9 的"well-specified"条件,Appendix D。)

  6. 与变分推断的比较:本文只分析了求积方法。实践中,变分推断(如 mean-field VB)也被广泛使用。求积与变分推断的误差传播有何异同?是否存在统一的框架?(扎根于 Section 1.1 对"近似推断"的讨论,但作者未提及变分方法。)

提示:要确认第 2 条(组数增长界限)是否是真 gap,建议去读 Jiang, Wand and Bhaskaran (2021) 和 Maestrini, Bhaskaran and Wand (2024) 的引言——如果他们也讨论了类似的界限,说明这是共识;如果他们的条件更宽松,说明本文的界限可能不是本质的。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论