跳转至

Global consistency of empirical likelihood

作者: Haodi Liang, Jiahua Chen
来源: Electronic Journal of Statistics
主题: 数理统计 / 假设检验
相关性: 6/10
机构绿灯: University of British Columbia(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv


一、领域脉络与小综述

这个方向是什么

经验似然(Empirical Likelihood, EL)是 Owen (1988, 1990, 2001) 开创的非参数统计推断框架。其核心思想是:在仅假设某些矩条件(估计方程)成立的前提下,通过最大化一个受约束的多项式似然函数来对参数做估计和检验。EL 的优势在于它自动实现了 Bartlett 校正(Bartlett correction),即对数似然比统计量在零假设下的分布与卡方分布的逼近误差为 O(n^{-2}),这使得基于 EL 的置信区间在二阶精度上优于基于正态逼近的方法。Qin 和 Lawless (1994) 将 EL 推广到一般估计方程框架,建立了 profile 经验似然函数的局部渐近理论。然而,该理论有一个关键缺陷:它只保证了在参数真值 θ* 的 O(n^{-1/3}) 邻域内存在一个一致的局部极大值,但并未说明如何从多个局部极大值中识别出这个一致的解。本文(Liang & Chen, 2023)正是针对这一"多根问题"(multiple roots problem)给出系统性的回答。

发展脉络(history)

奠基工作:Owen (1988, 1990) 提出 EL 并证明其似然比统计量的卡方极限分布;Owen (2001) 的专著系统总结了 EL 的理论框架,包括本文引用的 Lemma 11.1(关于 max_i |Y_i| = o(n^{1/2}) 的界)和 Lemma 11.2。

核心扩展:Qin and Lawless (1994) 将 EL 从单一均值参数推广到一般估计方程框架,建立了 profile EL 的渐近正态性和 Wilks 定理。这是本文的直接理论起点。他们的证明路线是:在 θ* 的紧邻域内,通过经验过程理论证明 profile EL 函数存在一个局部极小值,且该极小值在 O(n^{-1/3}) 速率下收敛到 θ*。但这一结果不涉及全局行为。

多根问题的早期认识:Small, Wang and Yang (2000) 系统研究了估计方程多根问题的普遍性,指出在 Cauchy 位置模型等经典例子中,得分方程存在多个根,且这些根不随样本量增大而消失。这是本文反复引用的关键动机来源。

参数模型中的对应工作:Gan and Jiang (1999) 针对参数似然函数提出了一种基于 Bartlett 恒等式的全局极大值检验方法。本文的全局极大值检验(Global Maximum Test)在思想上与 Gan and Jiang (1999) 一脉相承,但适用于非参数的 EL 框架,且不需要估计复杂的方差项。

EL 的修正版本:Chen, Variyath and Abraham (2008) 提出调整经验似然(Adjusted EL, AEL),通过在估计方程中加入一个人为的伪观测来保证凸包条件恒成立。本文在数值实验中使用 AEL 处理凸包条件不满足的情形,并指出 AEL 不改变一阶渐近性质。

当前 frontier:本文的位置在于——在 Qin-Lawless 局部理论的基础上,给出保证全局极大值一致性的充分条件(C1-C5),并提出一个实用的检验程序来判断给定局部极大值是否为全局极大值。这填补了 EL 推断中"局部理论"与"实际计算"之间的鸿沟。

子线索聚类

这些被引文献大致落在三条子线索上:

  1. EL 的基础理论与扩展(Owen 1988/1990/2001; Qin & Lawless 1994; Chen, Variyath & Abraham 2008; Liu & Chen 2010):这条线索建立 EL 的渐近理论、证明其效率性质、并处理凸包条件不满足等实际问题。Liu and Chen (2010) 的调整 EL 在本文的数值实验中扮演重要角色。

  2. 多根问题与全局最优性(Small, Wang & Yang 2000; Gan & Jiang 1999; DeHaan 1981):这条线索关注估计方程和似然函数的多根现象。DeHaan (1981) 提出基于极值理论的全局最优性检验;Gan and Jiang (1999) 将其改进为基于 Bartlett 恒等式的方法;Small, Wang and Yang (2000) 则系统刻画了多根问题的普遍性。本文的全局极大值检验直接对标这条线索。

  3. EL 在具体模型中的应用(Fu, Liu, Wang & Wang 2020; McLachlan, Lee & Rathnayake 2019):这条线索将 EL 应用于混合模型等复杂数据场景。Fu et al. (2020) 将 EL 与降维方法结合用于多元混合模型,本文在数值实验中用混合模型检验所提方法的有效性。

这个方向在追问的核心问题

  1. 全局一致性的充分条件是什么? 即:在什么条件下,profile EL 函数的全局极小值(而非某个局部极小值)是 θ* 的相合估计?本文给出的答案是条件 C1-C5,其中 C5 是关键——它要求估计函数在参数趋于无穷时不会"退化"(即期望不为零且方差有界)。

  2. 如何判断一个局部极大值是否为全局极大值? 这是实践中的核心问题。本文提出的全局极大值检验基于一个关键观察:如果 θ̃ 是全局极小值,则 W_n(θ̃) 的分布可由 Qin-Lawless 理论控制;如果不是,则 W_n(θ̃) 会随机膨胀。因此,通过比较 W_n(θ̃) 与卡方分布的临界值即可做出判断。

  3. 当全局一致性不成立时,如何修正? 本文提出的"全局一致性修正"(Global Consistency Remedy)通过扩展估计函数的集合来满足 C5,从而恢复全局一致性。这类似于在参数模型中加入额外的矩条件来消除伪根。

⚠️ 作者的 framing(这是作者的说法)

作者将缺口 frame 成:"Qin and Lawless (1994) 的经典结果只保证真值附近存在一致的局部极大值,但实践中无法判断某个局部极大值是否接近真值。" 因此,本文的贡献是"填补了这一理论空白"。作者将 C1-C5 描述为"非限制性的、直观上必要的"条件,并强调其方法"不需要估计任何额外的尺度参数"(相比 Gan and Jiang 1999 的方法)。作者淡化了以下竞争路线:(1)全局优化算法(如多起点搜索)的可行性;(2)贝叶斯方法对多根问题的处理;(3)其他非似然框架(如 GMM 的连续更新估计)是否天然规避了多根问题。这些被淡化的路线值得研究者自行查证。

张力

未见明显对立引用。但有一个值得注意的张力:Small, Wang and Yang (2000) 表明多根问题在 Cauchy 模型中普遍存在且不随 n 消失,而本文的条件 C5 恰好排除了这类情形。这意味着本文的全局一致性结论不适用于 Cauchy 得分函数——这不是矛盾,而是条件与反例的精确对应。另一个张力是:本文的全局极大值检验在零假设下(θ̃ 是全局极小值)的拒绝率在表 4 中约为 0.067-0.096(n=30-100),高于名义水平 0.05,作者未对此给出解释。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

可观测数据:X_1, ..., X_n i.i.d. ~ F,其中 F 是未知分布。每个 X_i 可以是向量。

参数与估计目标: - θ ∈ Θ ⊆ R^q:感兴趣的参数(q 维)。 - g(x; θ) ∈ R^m:已知的估计函数(m 维),满足矩条件 E_F[g(X; θ)] = 0,其中 θ 是唯一的真值。 - m ≥ q:估计方程个数不少于参数个数。m = q 为"恰好识别",m > q 为"过度识别"。

经验似然的核心对象: - 经验分布:F_n(x) = (1/n) Σ_{i=1}^n 1{X_i ≤ x}。 - 经验似然函数:L(F) = Π_{i=1}^n p_i,其中 p_i = F({X_i}) 是分配给第 i 个观测的概率质量。 - Profile 经验似然比函数(PELR): W_n(θ) = sup { Σ_{i=1}^n log(n p_i) : p_i ≥ 0, Σ p_i = 1, Σ p_i g(X_i; θ) = 0 } 若凸包条件(0 ∈ conv{g(X_1; θ), ..., g(X_n; θ)})不成立,则 W_n(θ) = ∞。 - 经验似然估计量(MELE):θ̂n = arg min{θ ∈ Θ} W_n(θ)。

关键区分——可观测 vs 潜在:本文不涉及反事实或潜在结果。所有量都是可观测的。但有一个"想要但观测不到"的量:θ* 本身。此外,W_n(θ) 在 θ ≠ θ* 处的行为(尤其是当 θ 远离 θ* 时)是理论分析的核心,但实践中只能通过有限样本近似。

第二步:最小内核

最小内核:考虑最简单的"均值估计"情形——q = m = 1,g(x; θ) = x - θ。此时 E[g(X; θ)] = 0 的解是 θ* = E[X]。profile EL 函数有显式形式:

W_n(θ) = Σ_{i=1}^n log[1 + λ(θ)(X_i - θ)]

其中 λ(θ) 是 Lagrange 乘子,满足 Σ (X_i - θ) / [1 + λ(θ)(X_i - θ)] = 0。

要证明的核心命题:在条件 C1-C5 下,W_n(θ) 的全局极小值 θ̂_n 满足 θ̂_n → θ* a.s.。

为什么这个命题不平凡? 考虑 Cauchy 位置模型:X ~ Cauchy(θ, 1),得分函数 g(x; θ) = 2(x - θ)/[1 + (x - θ)^2]。此时 E[g(X; θ)] = 0 有唯一解 θ,但得分方程 Σ g(X_i; θ) = 0 有多个根,且这些根不随 n 增大而消失(Small, Wang & Yang, 2000)。在 EL 框架下,这意味着 W_n(θ) 有多个全局极小值,其中一些远离 θ*。条件 C5 正是为了排除这类情形。

证明的核心困难:需要同时处理两个层面的"坏事件": 1. 局部层面:在 θ* 的任意小邻域外,W_n(θ) 必须一致地大于 W_n(θ)(或至少大于某个随 n 增长的界)。这需要估计函数在远离 θ 处有"足够的分离度"。 2. 全局层面:当 ||θ|| → ∞ 时,W_n(θ) 必须趋于无穷(或至少不趋于 0)。这需要条件 C5——估计函数在无穷远处不会退化。

关键引理(Lemma 2.4)的证明思路: - (a) 和 (b) 利用 Lipschitz 连续性(C3)和矩条件(C2),通过经验过程理论(强律大数定律的一致版本)控制 g(X_i; θ) 在 θ 的局部邻域内的波动。 - (c) 利用 C2 的有限三阶矩条件,通过截断和 Markov 不等式控制 Σ ||g(X_i; θ)||² 的一致有界性。 - (d) 是核心:对任意固定的 θ ≠ θ,利用 C1(唯一可识别性)和 C3(Lipschitz),证明 W_n(θ) → ∞ a.s.。关键步骤是构造一个下界:W_n(θ) ≥ n^{1/4} × δ(θ) + o(n^{1/4}),其中 δ(θ) > 0 只依赖于 θ 与 θ 的距离。 - (e) 利用 C5 处理 ||θ|| → ∞ 的情形。C5(i) 保证估计函数在无穷远处的二阶矩有界,C5(ii) 保证期望不趋于 0,C5(iii) 保证估计函数在无穷远处的"振荡"可控。

一般情形的"加壳":上述最小内核(均值估计)的证明思路可以直接推广到一般估计函数 g(x; θ)。主要的技术工作在于: 1. 将 (d) 中的下界从固定 θ 推广到 θ 的紧邻域(通过有限覆盖论证)。 2. 将 (e) 中的下界从 ||θ|| → ∞ 推广到所有 ||θ|| ≥ r(通过 C5 的一致控制)。 3. 处理 m > q 的过度识别情形——此时 W_n(θ) 的渐近分布是 χ²_{m-q},但全局一致性的证明逻辑不变。


三、这篇论文做了什么

三句话

① 研究了什么问题:在经验似然框架下,给出保证 profile 经验似然函数全局极小值(MELE)强相合性的充分条件,并设计检验来判断给定局部极小值是否为全局极小值。② 核心工具/方法:基于估计函数的 Lipschitz 连续性、矩条件和无穷远处的非退化条件(C1-C5),利用经验过程理论和强律大数定律的一致版本,证明全局极小值的一致性;在此基础上提出全局极大值检验和全局一致性修正。③ 主要结论:在 C1-C5 下,MELE 强相合;当 C1-C5 不满足时,全局极大值检验能以高概率识别非全局的局部极小值,且全局一致性修正能恢复一致性。

关键设定与假设

设定:X_1, ..., X_n i.i.d. ~ F;θ ∈ Θ ⊆ R^q;g: R^d × Θ → R^m 是已知估计函数;E_F[g(X; θ)] = 0 有唯一解 θ* ∈ Θ;m ≥ q。

假设 C1-C5(逐条说明统计含义):

  • C1(可识别性):E[g(X; θ)] = 0 在 Θ 上有唯一解 θ*。这是参数可识别的基本要求。相比 Qin-Lawless 只要求局部可识别,这里要求全局唯一。
  • C2(矩条件):E[g(X; θ)g^τ(X; θ)] 有限且正定,且 E||g(X; θ)||³ < ∞ 对所有 θ ∈ Θ。这保证了估计函数的二阶矩和三阶矩存在,是经验过程理论(如 Donsker 类条件)和 Berry-Esseen 型界的基础。
  • C3(光滑性):g(x; θ) 在 θ 上 Lipschitz 连续,Lipschitz 常数被一个平方可积函数 G(x) 控制(E[G²(X)] < ∞)。这保证了经验过程 {g(·; θ) : θ ∈ Θ} 是 Glivenko-Cantelli 类,从而一致强律成立。
  • C4(参数空间):Θ 是 R^q 的闭子集。这是紧性论证的基础(虽然 Θ 本身不必有界,但 C5 会处理无界部分)。
  • C5(无穷远处行为):存在连续函数 b(θ) > 0 使得 h(X; θ) = g(X; θ)/b(θ) 满足:(i) E[lim sup_{||θ||→∞} ||h(X; θ)||²] < ∞;(ii) lim inf_{||θ||→∞} ||E[h(X; θ)]|| > 0;(iii) E[lim_{r→∞} Δ_h(X; r)] = 0,其中 Δ_h(X; r) = sup_{||θ||,||θ'||≥r} ||h(X; θ) - h(X; θ')||。这是本文的核心新条件——它要求估计函数在参数趋于无穷时"不退化":期望不消失(ii),波动可控(iii),二阶矩有界(i)。Cauchy 得分函数不满足 C5,因为当 θ → ∞ 时,g(x; θ) → 0 且 E[g(X; θ)] → 0。

相比已有文献的放宽/强化: - 相比 Qin-Lawless (1994):本文不要求 profile EL 函数在 θ* 附近是凸的,也不要求初始估计在 O(n^{-1/3}) 邻域内。 - 相比 Wald (1949):Wald 的证明要求似然函数在参数空间上有良好的紧性条件,本文的 C5 是对这类条件在 EL 框架下的具体化。 - 相比 Gan and Jiang (1999):本文的检验不需要估计 Bartlett 恒等式中的方差项,因此更易于实现。

主要结果

定理 2.5(全局一致性):在 C1-C5 下,MELE θ̂_n = arg min W_n(θ) 满足 θ̂_n → θ* a.s.。

证明的逻辑主干(3-5 步): 1. 局部下界:对任意固定的 θ ≠ θ,利用 C1(E[g(X; θ)] ≠ 0)和 C3(Lipschitz),证明存在 δ(θ) > 0 使得 ||E[g(X; θ)]|| ≥ δ(θ)。然后通过经验过程理论(一致强律),证明 W_n(θ) ≥ n^{1/4} × δ(θ) + o(n^{1/4}) a.s.。 2. 紧致化:利用 C4(Θ 闭)和 C5(无穷远处行为),将参数空间分解为紧致部分 {||θ|| ≤ r} 和尾部 {||θ|| ≥ r}。在紧致部分,用有限覆盖论证将 (1) 中的下界一致化;在尾部,用 C5 证明 W_n(θ) ≥ n^{1/4} × ε + o(n^{1/4}) 对某个 ε > 0 一致成立。 3. 与 W_n(θ 比较:由 Lemma 2.2,W_n(θ = o(n^{1/4}) a.s.。因此,对任意 ε > 0,存在 N 使得对所有 n ≥ N,W_n(θ) < n^{1/4} × min{δ, ε}。结合 (1) 和 (2),θ̂_n 必须落在 θ* 的 ε-邻域内。 4. 收敛速率:由于 ε 任意小,θ̂_n → θ* a.s.。

关键引理 2.4 的技术细节: - (a) 和 (b) 的证明:利用 C3 的 Lipschitz 条件和 C2 的矩条件,通过 Markov 不等式和 Borel-Cantelli 引理,控制 g(X_i; θ) 在 θ 的邻域内的最大偏差。具体地,对任意 ρ > 0,sup_{θ' ∈ B(θ,ρ)} ||g(X_i; θ') - g(X_i; θ)|| ≤ ρ G(X_i),然后利用 E[G²(X)] < ∞ 和 Kolmogorov 强大数定律。 - (c) 的证明:利用 C2 的有限三阶矩条件,通过截断(truncation)将 g(X_i; θ) 分解为有界部分和尾部部分,然后分别控制。 - (d) 的证明:这是最核心的引理。对固定的 θ ≠ θ*,构造 Lagrange 乘子 λ(θ) 的显式下界,然后利用 Taylor 展开将 W_n(θ) 分解为线性项和二次项。线性项由 E[g(X; θ)] ≠ 0 控制,二次项由 C2 的矩条件控制。最终得到 W_n(θ) ≥ n^{1/4} × δ(θ) + o(n^{1/4})。 - (e) 的证明:利用 C5(i) 和 C5(iii) 证明 sup_{||θ||≥r} ||g(X_i; θ)|| = o(n^{1/3}),然后利用 C5(ii) 证明 inf_{||θ||≥r} ||E[g(X; θ)]|| ≥ ε > 0。结合 (d) 的论证,得到 W_n(r) ≥ n^{1/4} × ε + o(n^{1/4})。

全局极大值检验(Global Maximum Test): - 给定一个局部极小值 θ̃_n,计算 W_n(θ̃_n)。 - 如果 W_n(θ̃n) < χ²{m-q}(1-α)(或某个随 n 增长的阈值),则接受 θ̃_n 是全局极小值;否则拒绝。 - 检验的有效性依赖于:当 θ̃_n 是全局极小值时,W_n(θ̃n) 的极限分布是 χ²{m-q}(Qin-Lawless 理论);当 θ̃_n 不是全局极小值时,W_n(θ̃_n) 以概率趋于无穷(由定理 2.5 的证明可知)。

全局一致性修正(Global Consistency Remedy): - 当 C1-C5 不满足时,通过添加额外的估计函数 g_2(x; θ) 来扩展估计函数集合,使得扩展后的集合满足 C5。 - 例如,在 Cauchy 模型中,添加 g_2(x; θ) = (x - θ)^{1/3} 可以恢复 C5。 - 作者指出,这等价于将原模型视为一个更大模型(如混合模型)的子模型。

真实例子与应用

Cauchy 模型(表 1、2、图 1):验证了得分函数(6)不满足 C5,导致 MELE 不一致;使用修正后的估计函数(11)后,MELE 与 MLE 表现几乎一致。表 1 显示,即使 n=200,仍有约 25.7% 的样本存在绝对值大于 1 的伪根,证实了多根问题的严重性。

非线性回归(表 3、4):模型 (12) 中,使用估计函数(13)后,MELE 的均值和方差与 MLE 几乎一致(n=30 时方差差异约 8%)。表 4 显示,全局极大值检验在全局极小值处的拒绝率约为 0.067-0.096(n=30-100),略高于名义水平 0.05;在局部极小值处的拒绝率接近 1。

曲线指数族(表 5、6):N(θ, θ²) 模型中,使用估计函数(14)后,MELE 与 MLE 表现一致。表 6 显示,全局极大值检验在全局极小值处的拒绝率约为 0.048-0.076,在局部极小值处的拒绝率接近 1。

混合模型(表 7、8):0.4N(0,1) + 0.6N(10,16) 模型中,使用三个得分函数后,MELE 与 MLE 表现一致。表 7 显示,全局极大值检验在全局极小值处的拒绝率约为 0.046-0.064,在局部极小值处的拒绝率接近 1。

资产定价(第 4.4 节):使用估计函数(15)后,MELE 一致。作者指出,该例中 E[g_1(X; θ)] = 0 有两个根(θ = 0 和 θ = 3),但加入 g_2 后唯一识别。

🔎 结论是否比证明窄

是。具体表现: 1. 定理 2.5 的证明依赖 C5 的全局条件,但作者在结论部分声称"在大多数实际场景中,C1-C5 是自然满足的"——这一声称没有给出验证 C5 的实用准则。C5(ii) 要求 lim inf_{||θ||→∞} ||E[g(X; θ)]|| > 0,这在实践中很难预先验证。 2. 全局极大值检验的阈值选择:作者建议使用 χ²_{m-q}(1-α) 作为阈值,但未给出 α 的选择准则。表 4-7 显示,在全局极小值处的拒绝率在 0.046-0.096 之间波动,与名义水平 0.05 的偏差未得到解释。 3. 全局一致性修正的通用性:作者通过三个例子展示了修正的有效性,但没有给出一般性的构造方法。对于任意给定的 g_1,如何系统地构造 g_2 使得扩展后的集合满足 C5,这一问题未得到回答。 4. 强相合 vs 弱相合:定理 2.5 证明的是强相合(a.s.),但 Qin-Lawless 的局部理论是弱相合(in probability)。作者没有讨论强相合结论是否可以推广到弱相合,也没有讨论在什么条件下强相合会失效。


四、开放问题

以下问题均扎根于本文的具体语句,供研究者自行判断价值与可行性:

  1. C5 的可验证充分条件(扎根于第 2 节 C5 的定义和第 5 节"conditions are non-restrictive"的声称):能否给出 C5 的易于验证的充分条件?例如,对于多项式型估计函数,C5 是否等价于某个代数条件?这与研究者熟悉的"估计方程在无穷远处的行为"问题直接相关。

  2. 全局极大值检验的阈值校准(扎根于第 3 节 Global Maximum Test 的定义和表 4-7 的数值结果):当 θ̃_n 是全局极小值时,W_n(θ̃n) 的有限样本分布与 χ²{m-q} 的偏差如何?能否用 bootstrap 或自正则化方法改进阈值选择?这与研究者的假设检验兴趣直接相关。

  3. 修正的通用构造方法(扎根于第 4 节三个例子的"ad hoc"性质):对于一般的估计函数 g_1,是否存在系统性的方法构造 g_2 使得扩展后的集合满足 C5?这与研究者熟悉的"矩条件选择"问题相关。

  4. 高维推广(扎根于第 5 节"promising future project"的表述):当参数维度 q 随样本量 n 增长时,C1-C5 如何调整?全局一致性是否仍然成立?这与研究者的高维统计兴趣直接相关,且本文的证明技术(经验过程、强律)在高维下需要非平凡修改。

  5. 半参数效率的保持(扎根于第 4.3 节"adding estimating functions does not change asymptotic variance"的声称):在全局一致性修正中,添加额外的估计函数是否会损失半参数效率?作者声称"不改变一阶渐近性质",但这一声称仅针对估计量的方差,未讨论置信区间的二阶精度(Bartlett 校正)是否保持。

提醒:要确认上述问题是否为真 gap,建议去读以下近期文献的引言部分(各约 5 篇):(a) 关于经验似然多根问题的文献(搜索 "empirical likelihood multiple roots");(b) 关于高维经验似然的文献(搜索 "high-dimensional empirical likelihood");(c) 关于矩条件模型全局识别的文献(搜索 "global identification moment condition")。若这些文献的引言都指向同一问题,则大概率是共识性 gap;若互相矛盾,则是机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论