跳转至

Near-boundary asymptotics for profile score statistics

作者: Matias Shedden, Karl Oskar Ekvall
主题: 数理统计 / 假设检验
相关性: 7/10
链接: https://arxiv.org/abs/2610.33912


一、领域脉络与小综述

这个方向是什么

本文研究的根本问题是:当参数估计问题中 nuisance 参数(干扰参数)可能落在参数空间的边界上时,如何构造渐近有效的检验和置信区间。这是一个经典的非正则推断问题——当真实参数在边界上或靠近边界时,极大似然估计的渐近正态性失效,标准卡方近似不再成立。该子方向处于"半参数效率理论"与"约束推断"的交叉地带,其成熟度属于理论已相当丰富但仍有明确缺口的状态:对 likelihood ratio 和 Wald 统计量的边界渐近已有大量研究(Chernoff 1954; Self & Liang 1987; Geyer 1994; Andrews 1999, 2001),但 score 统计量在边界情形下的系统理论处理相对滞后,这正是本文的切入点。

发展脉络

  • 奠基工作:Chernoff (1954) 首次指出当参数在边界上时似然比统计量的极限分布是卡方混合分布;Self & Liang (1987) 将这一结果推广到更一般的约束推断框架;Geyer (1994) 从 M-估计的角度统一处理了边界问题。这些工作确立了"边界导致非标准极限分布"这一核心认识。
  • 主要进展:Andrews (1999, 2001) 系统建立了边界情形下检验统计量的渐近理论,并指出极限分布依赖于一个"标准化距离"参数,该参数无法被一致估计——这是本文反复引用的关键障碍。Ketz (2018) 提出用无约束一步更新估计量构造检验,在边界附近恢复渐近正态性,但要求目标函数在参数空间外有定义。Ekvall & Bottai (2022) 发现当信息矩阵在兴趣点奇异时,score 统计量经连续延拓仍可保持卡方极限,但该结果不直接覆盖 nuisance 参数在边界的情形。
  • 当前 frontier:近期的活跃方向包括:(i) 处理信息矩阵奇异与边界同时出现的复杂情形(Ekvall et al. 2026);(ii) 构造计算可行且均匀有效的置信区间(Ketz & McCloskey 2025; Cox 2026);(iii) 将边界推断推广到混合模型、方差成分等具体应用。本文的位置是填补 score 统计量在 nuisance 参数边界情形下的理论空白,并给出可操作的三种处理方案。

子线索聚类

  1. 边界渐近的极限分布刻画:Chernoff (1954), Self & Liang (1987), Geyer (1994), Andrews (1999, 2001), Kopylev & Sinha (2011), Bertinelli Salucci (2026), Ekvall et al. (2026)。这条线索的核心问题是:边界如何改变检验统计量的极限分布?答案通常是卡方混合或依赖于不可估计参数的分布族。
  2. 均匀覆盖率的构造方法:Andrews & Guggenberger (2009, 2010), McCloskey (2017), Ketz (2018), Ketz & McCloskey (2025), Cox (2026)。这条线索关注如何构造在参数空间上均匀有效的推断——通常通过最不利临界值或自适应临界值实现。
  3. score 统计量的特殊性质:Bottai (2003), Ekvall & Bottai (2022)。这条线索发现 score 统计量(特别是用期望信息标准化后)在信息矩阵奇异时仍可能保持卡方极限,这为本文提供了关键的技术基础。

核心问题

  1. 当 nuisance 参数在边界上时,profile score 统计量的极限分布是什么? 本文的回答是:它可能依赖于标准化距离,且该距离不可一致估计,因此标准卡方近似失效。
  2. 如何构造均匀有效的置信区间? 本文给出三种方案:扩展集上的根、efficient score 统计量、最不利临界值。
  3. 不同速率增长或渐近共线的 score 如何处理? 本文允许 interest 和 nuisance 参数的 score 以不同速率增长,这是对已有文献的重要放宽。

⚠️ 作者的 framing

作者将缺口 frame 成:"当 nuisance 参数在边界上时,profile score 统计量的极限分布依赖于不可估计的标准化距离,因此需要新的方法"。这一 framing 使得本文的三种方案(扩展集根、efficient score、最不利临界值)成为"显然的下一步"。作者淡化的竞争路线包括:贝叶斯方法(未提及)、bootstrap 方法(仅作为对比)、以及基于似然比统计量的最不利临界值方法(Andrews & Guggenberger 2009),后者在计算上可能更复杂但已有成熟理论。值得注意的缺失:作者未讨论当 interest 参数本身也在边界上时的情形(虽然 Proposition 4 部分涉及),也未讨论高维 nuisance 参数的边界问题。

张力

未见明显对立引用。但存在一个微妙的张力:Ekvall & Bottai (2022) 表明 score 统计量在信息矩阵奇异时仍可保持卡方极限,而本文则指出当 nuisance 参数在边界上时该结论不成立——这并非矛盾,而是说明"奇异信息"与"边界参数"是两种不同的非正则来源,需要分别处理。另一个张力是:Ketz (2018) 的一步更新方法要求目标函数在参数空间外有定义,而本文的扩展集方法不要求这一点,但代价是需要构造合适的扩展集。


二、最核心、最简单的例子 / 数学内核

第一步:符号、模型、可观测数据

  • 参数:\(\theta = (\psi, \lambda) \in \Theta \subseteq \mathbb{R}^d\),其中 \(\psi \in \mathbb{R}^{d_1}\) 是 interest 参数(要检验/估计的对象),\(\lambda \in \mathbb{R}^{d_2}\) 是 nuisance 参数(需要 profile 掉的对象)。\(d = d_1 + d_2\)。
  • 对数似然:\(\ell_n(\theta) = \ell_n(\psi, \lambda)\),基于 \(n\) 个观测。
  • score:\(S_n(\theta) = \partial \ell_n(\theta)/\partial \theta\),分块为 \(S_n(\theta) = (S_{n\psi}(\theta), S_{n\lambda}(\theta))\)。
  • 期望信息:\(I_n(\theta) = \text{cov}_\theta\{S_n(\theta)\}\),分块为
    \[I_n(\theta) = \begin{pmatrix} I_{n\psi\psi} & I_{n\psi\lambda} \\ I_{n\lambda\psi} & I_{n\lambda\lambda} \end{pmatrix}.\]
  • efficient 信息:\(\bar{I}_n(\theta) = I_{n\psi\psi} - I_{n\psi\lambda} I_{n\lambda\lambda}^{-1} I_{n\lambda\psi}\),即 interest score 在投影掉 nuisance score 后的剩余信息。
  • nuisance 估计量:\(\hat{\lambda}_n(\psi)\),在给定 \(\psi\) 时对 \(\lambda\) 的估计。记 \(\hat{\theta}_n = (\psi, \hat{\lambda}_n(\psi))\)。
  • profile score 统计量:\(\hat{R}_n(\psi) = \bar{I}_n(\hat{\theta}_n)^{-1/2} S_{n\psi}(\hat{\theta}_n)\),即用 efficient 信息标准化的 interest score。
  • 置信区间:\(C_n(\alpha) = \{\psi : \|\hat{R}_n(\psi)\|^2 \le q_{d_1, 1-\alpha}\}\),其中 \(q_{d_1, 1-\alpha}\) 是 \(\chi^2_{d_1}\) 的 \(1-\alpha\) 分位数。
  • 可观测数据:\(Y_1, \ldots, Y_n\),独立同分布(或更一般的三角阵列),来自分布族 \(\{P_\theta : \theta \in \Theta\}\)。研究者能观测到的是样本,能计算的是 score \(S_n\)、信息 \(I_n\) 以及各种 nuisance 估计量 \(\hat{\lambda}_n(\psi)\)。
  • 关键不可观测量:真实参数 \(\theta_n = (\psi_n, \lambda_n)\) 到边界的标准化距离 \(h_n\)(见下文),它决定了极限分布但无法被一致估计。

第二步:最小内核

最简例子:考虑一个单参数 interest、单参数 nuisance 的问题,\(d_1 = d_2 = 1\)。设 \(\psi\) 是均值参数,\(\lambda \geq 0\) 是方差参数,\(\lambda = 0\) 是边界点(对应退化分布)。我们想检验 \(H_0: \psi = \psi_0\)。

核心困难:当真实 \(\lambda_n \to 0\) 时,\(\hat{\lambda}_n(\psi_0)\) 以正概率取到边界值 \(0\)。此时 profile score 统计量 \(\hat{R}_n(\psi_0)\) 的极限分布不再是标准正态,而是依赖于标准化距离

\[h_n = I_{n\lambda\lambda}(\theta_n)^{1/2} \cdot \text{dist}(\lambda_n, \partial\Lambda(\psi_n)),\]
其中 \(\text{dist}\) 是在信息度量下的距离。\(h_n\) 无法被一致估计,因此标准卡方临界值失效。

本文的核心思想(三种处理方式):

  1. 扩展集上的根:构造一个比原参数空间更大的集合 \(\tilde{\Lambda}_n(\psi) \supseteq \Lambda(\psi)\),使得 nuisance score 在 \(\tilde{\Lambda}_n(\psi)\) 上一定有根 \(\hat{\lambda}_n(\psi)\),且该根到 \(\lambda_n\) 的标准化距离发散。这样 profile score 统计量就"假装"参数在内部,恢复卡方极限。关键条件:扩展集必须足够大,使得真实参数到扩展集边界的距离发散(Theorem 3 中的 \(\tilde{r}_n \to \infty\))。

  2. Efficient score 统计量:直接用 \(\hat{R}^e_n(\psi) = \bar{I}_n(\hat{\theta}_n)^{-1/2} \{S_{n\psi}(\hat{\theta}_n) - I_{n\psi\lambda}(\hat{\theta}_n) I_{n\lambda\lambda}(\hat{\theta}_n)^{-1} S_{n\lambda}(\hat{\theta}_n)\}\)。这个统计量对 nuisance 参数的估计误差不敏感,即使 \(\hat{\lambda}_n\) 在边界上,只要 \(\hat{\lambda}_n - \lambda_n = o_p(1)\) 且信息估计一致,就能保持卡方极限(Theorem 2)。

  3. 最不利临界值:当上述两种方法都不可用时,用 \(\sup_{h \ge 0}\) 下的临界值(即取 \(h=0\) 时的最大分位数),保证渐近 size 不超过名义水平(Proposition 7)。

为什么成立:核心观察是,当 \(\hat{\lambda}_n\) 在边界上时,profile score 的极限分布是

\[R^*_n = Z_\psi + \tilde{\beta}_n(\theta_n) \min(Z_\lambda + h_n, 0),\]
其中 \(Z_\psi, Z_\lambda\) 是独立标准正态,\(\tilde{\beta}_n\) 是标准化后的 score 相关系数。这个分布介于标准正态(\(h_n \to \infty\))和"截断正态"(\(h_n = 0\))之间。方法 1 通过扩展集让 \(h_n\) 发散;方法 2 通过正交化消除 \(\tilde{\beta}_n\) 的影响;方法 3 取最不利的 \(h_n = 0\)。

数学上最难的点:证明扩展集上的根存在且满足速率条件(Theorem 3 的证明),以及证明 \(R^*_n\) 对凸集的概率逼近误差一致趋于零(Theorem 5 的证明,用到了 Berry–Esseen 型不等式,即引用的 Raič 2018)。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:当 nuisance 参数可能趋于参数空间边界时,profile score 统计量的渐近分布不再服从卡方,本文给出了这一现象的精确刻画,并提供了三种构造渐近正确置信区间的方法。
  2. 核心工具/方法:扩展参数集上的 score 根、efficient score 统计量、以及最不利临界值;证明基于对 score 统计量的高阶展开和 Berry–Esseen 型正态逼近。
  3. 主要结论:在扩展集上取根或使用 efficient score 统计量,可以在可能含边界的参数集上均匀地得到渐近正确的置信区间;而使用普通 profile score 统计量时,覆盖误差以标准化距离的正态尾部速率衰减,且最不利临界值可以控制渐近 size。

关键设定与假设

  • 设定:\(\theta = (\psi, \lambda) \in \Theta \subseteq \mathbb{R}^d\),\(\psi\) 为 interest,\(\lambda\) 为 nuisance。\(\ell_n(\theta)\) 为对数似然,\(S_n\) 为 score,\(I_n\) 为期望信息。\(\hat{\lambda}_n(\psi)\) 为 nuisance 估计量(可以是部分极大化、score 根、或其他)。
  • 核心假设:
  • Assumption 1:\(I_n(\theta_n)\) 可逆(信息矩阵非奇异)。这排除了 interest 参数本身在边界的情形,但允许 nuisance 参数在边界。
  • Assumption 2:标准化 score \(\tilde{S}_n(\theta_n) = I_n(\theta_n)^{-1/2} S_n(\theta_n)\) 渐近标准正态。这是标准的局部渐近正态性假设。
  • Assumption 3:efficient 信息在 \(\hat{\theta}_n\) 处稳定(\(\bar{I}_n(\hat{\theta}_n)^{-1/2} \bar{I}_n(\theta_n)^{1/2} \to I\))。
  • Assumption 4:efficient score 在 \(\hat{\theta}_n\) 处稳定(\(\tilde{U}_n(\hat{\theta}_n) - \tilde{U}_n(\theta_n) = o_p(1)\))。
  • Assumption 5:nuisance score 在 \(\hat{\theta}_n\) 处为 \(o_p(1)\)(即 \(\hat{\lambda}_n\) 是渐近 score 根)。
  • Assumption 5′:\(\bar{I}_n(\theta_n)^{-1/2} \{\beta_n(\hat{\theta}_n) - \beta_n(\theta_n)\} S_{n\lambda}(\hat{\theta}_n) = o_p(1)\)(用于 efficient score 统计量)。
  • Assumption 5′′:\(\tilde{\beta}_n(\hat{\theta}_n) \tilde{S}_{n\lambda}(\hat{\theta}_n) = \tilde{\beta}_n(\theta_n) \{\tilde{S}_{n\lambda}(\theta_n) - \Pi_n(\tilde{S}_{n\lambda}(\theta_n))\} + o_p(1)\)(用于 profile score 统计量的分布逼近)。
  • Assumption 6:\(\limsup_n \|\tilde{\beta}_n(\theta_n)\| < 1\)(score 相关系数不趋于 1,即 interest 和 nuisance score 不完全共线)。
  • 相比已有文献的放宽:允许 interest 和 nuisance score 以不同速率增长(不要求 \(I_n\) 的分块按相同速率缩放);允许 score 渐近共线(只要不趋于完全共线);不要求观测独立同分布(允许三角阵列)。

主要结果

  • Theorem 1:若 Assumptions 1–5 成立,则用扩展集上的根构造的 profile score 统计量 \(\hat{R}_n(\psi_n)\) 渐近标准正态,从而置信区间 \(C_n(\alpha)\) 在参数集 \(K\) 上均匀地有渐近覆盖概率 \(1-\alpha\)。关键:扩展集必须满足 \(\tilde{r}_n \to \infty\),即真实参数到扩展集边界的标准化距离发散。
  • Theorem 2:若 Assumptions 1–4 和 5′ 成立,则 efficient score 统计量 \(\hat{R}^e_n(\psi_n)\) 渐近标准正态,即使 \(\hat{\lambda}_n\) 可能被约束在边界上。关键:efficient score 对 nuisance 估计误差不敏感,因此不需要扩展集。
  • Theorem 3:给出 Theorem 1 的充分条件——在扩展集上,nuisance score 有根、observed information 稳定、且根满足速率条件。技术难点:证明根的存在性和唯一性(用 Brouwer 不动点定理或单调性),以及证明 observed information 在根处的稳定性。
  • Theorem 5:当 \(\hat{\lambda}_n\) 是 \(\Lambda(\psi)\) 上的部分极大化时,profile score 统计量 \(\hat{R}_n(\psi_n)\) 与 \(R^*_n\)(见第二节)在凸集上渐近等概率,误差一致趋于零。技术难点:处理 \(\hat{\lambda}_n\) 在边界上的非光滑性,用到了凸分析中的投影性质和 Berry–Esseen 型不等式。
  • Proposition 6:覆盖误差的显式界:\(\sup_{C \in \mathcal{C}} |P\{\hat{R}_n(\psi_n) \in C\} - P\{R^*_n \in C\}| \le c_{d_1} \|\tilde{\beta}_n(\theta_n)\| E\{\max(\|Z_\lambda\| - h_n, 0)\} + o(1)\)。含义:误差随 \(h_n\) 增大按正态尾部衰减。
  • Proposition 7:最不利临界值 \(c_\alpha(\kappa)\) 给出的单侧检验渐近 size 不超过 \(\alpha\),且当 \(h_n \to 0\) 时 size 趋于 \(\alpha\)。含义:这是保守但有效的方法。

证明路线与技术技巧

整体路线(以 Theorem 1 为例): 1. 标准化:将 score 和 information 用 \(I_n(\theta_n)^{-1/2}\) 标准化,使问题转化为标准正态框架。 2. 局部展开:将 profile score 在 \(\hat{\theta}_n\) 处展开,分离出 interest score、nuisance score 和交叉项。 3. 利用根条件:因为 \(\hat{\lambda}_n\) 是扩展集上的根,nuisance score 项消失,只剩下 interest score 和交叉项。 4. 控制交叉项:用 Assumption 3 和 4 证明交叉项是 \(o_p(1)\)。 5. 正态逼近:用 Assumption 2 和 Berry–Esseen 型不等式(Raič 2018)得到均匀正态逼近。

关键技巧: - 扩展集的设计:扩展集 \(\tilde{\Lambda}_n(\psi)\) 的选择是关键——它必须足够大使得根存在且远离边界,但又不能太大以至于改变统计量的渐近性质。在零膨胀 Poisson 例子中,扩展集是 \((-c_n, 1)\),其中 \(c_n \to \infty\) 但 \(c_n = o(n^{1/2})\)。 - efficient score 的正交性:通过投影消除 nuisance score 的影响,使得即使 \(\hat{\lambda}_n\) 在边界上,统计量仍然渐近正态。 - 凸集上的概率逼近:用 Stein 方法和 Berry–Esseen 不等式处理非光滑函数(如凸集指示函数)的逼近误差。 - 最不利临界值的计算:在 \(d_1 = d_2 = 1\) 时,\(R^*_n\) 的分布可以写成单变量积分,临界值可以通过数值积分计算。

真实例子

  • 零膨胀 Poisson 模型(Section 4.1):\(\psi\) 是 Poisson 均值,\(\lambda\) 是零膨胀概率,\(\lambda = 0\) 是边界。扩展集是 \(\tilde{\Lambda}(\psi) = (-c_n, 1)\),其中 \(c_n \to \infty\) 但 \(c_n = o(n^{1/2})\)。模拟显示,普通 profile score 的覆盖概率在 \(\lambda\) 接近 0 时降至 0.79,而扩展集方法保持在 0.95 附近。
  • 单向随机效应模型(Section 4.2):\(\psi\) 是误差方差,\(\lambda\) 是组间方差,\(\lambda = 0\) 是边界。这里 \(\beta_n(\theta)\) 不依赖于 \(\theta\),因此 efficient score 统计量特别简单。模拟显示,efficient score 方法在 \(\lambda = 0\) 时覆盖概率为 0.95,而普通 profile score 仅为 0.88。

🔎 结论是否比证明窄

是的,存在几处: 1. Theorem 1 的均匀性:论文声称"在 \(K\) 上均匀",但证明中要求 \(K\) 是紧集且 \(\tilde{r}_n \to \infty\) 在 \(K\) 上一致。对于非紧的 \(K\)(如 \(\lambda\) 可以任意接近边界),均匀性并未证明。 2. Theorem 5 的凸集限制:论文只对凸集证明了逼近,但置信区间通常是凸的(球或椭球),所以这在实际中够用。然而,对非凸检验区域(如多模态似然)的推广并未给出。 3. Proposition 7 的单侧性:最不利临界值只对单侧检验证明,双侧检验的 size 控制未明确讨论。 4. Assumption 5′ 的验证:论文在例子中验证了 Assumption 5′,但未给出一般性的充分条件。在随机效应模型中,\(\beta_n\) 不依赖于 \(\theta\) 是特殊情况,一般模型中 \(\beta_n(\hat{\theta}_n) - \beta_n(\theta_n)\) 的阶数需要额外验证。


四、开放问题

  1. interest 参数也在边界上:本文假设 \(\psi\) 在内部(Assumption 1 要求 \(I_n(\theta_n)\) 可逆),但当 \(\psi\) 本身也在边界上时(如检验方差为零),极限分布会是什么?Ekvall et al. (2026) 部分涉及,但未给出类似本文的三种处理方法。

  2. 高维 nuisance 参数:当 \(d_2\) 随 \(n\) 增长时,扩展集上的根是否存在且满足速率条件?这需要高维统计的工具(如 restricted eigenvalue),与本文的固定维数设定不同。

  3. 自适应临界值的改进:最不利临界值保守,能否构造依赖数据但渐近精确的临界值?Ketz & McCloskey (2025) 的自适应方法可能可以推广到 score 统计量。

  4. 覆盖误差的精确常数:Proposition 6 的界包含常数 \(c_{d_1}\),但未给出显式值。能否用 Stein 方法得到更紧的常数?

  5. 与 bootstrap 方法的比较:本文未讨论 bootstrap 在边界情形下的表现。文献中已知 bootstrap 在边界处可能失效(Andrews 2000),但具体到 profile score 统计量,bootstrap 的收敛速率如何?

  6. 非光滑似然:本文假设 score 连续可微。对于非光滑似然(如分位数回归),边界渐近会如何变化?

提醒:要确认上述哪条是真正的 gap,建议去读近 5 年关于"boundary inference"、"constrained likelihood"、"score test nonregular"的论文引言——如果多篇都指向同一问题,那大概率是共识性 gap;如果各说各话,则可能是机会所在。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论