Empirical likelihood for manifolds¶
作者: Daisuke Kurisu, Taisuke Otsu
来源: Journal of the Royal Statistical Society Series B
主题: 非参数 / 半参数
相关性: 8/10
链接: https://doi.org/10.1093/jrsssb/qkaf043
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是非欧几里得度量空间(流形)上随机对象的统计推断,其根本科学问题是:当数据点不是欧氏空间中的向量,而是生活在流形(如球面、形状空间、相关矩阵空间)上的对象时,如何对总体的"中心"(Fréchet 均值)及相关特征进行假设检验与置信区间构造。该方向的成熟度处于"均值估计理论已较完善、但推断方法仍以 Wald 型为主"的阶段——即点估计的相合性与渐近正态性已有较系统的结果(Bhattacharya and Patrangenaru, 2003, 2005),但针对检验与置信区间的构造,主流方法仍依赖渐近方差矩阵的估计,这在流形上既复杂又不稳健。
发展脉络¶
- 奠基工作:Fréchet (1948) 提出在一般度量空间上通过最小化期望距离定义"均值"的框架,这是整个流形统计的起点。Bhattacharya and Patrangenaru (2003, 2005) 建立了流形上样本 Fréchet 均值的中心极限定理(CLT),为 Wald 型推断提供了理论基础。
- 主要进展:Eltzner and Huckemann (2019) 发现了"smeariness"现象——当 Fréchet 函数的海森矩阵在均值处奇异时,样本 Fréchet 均值的收敛速度慢于 n^{-1/2},且极限分布非正态。这一发现揭示了 Wald 检验在流形上的根本局限:其有效性依赖于海森矩阵的非奇异性,而这一条件在实际数据中难以验证。Eltzner (2022) 进一步讨论了 smeariness 的实际相关性,指出在古地磁数据等应用中,smeariness 是真实存在的现象而非理论上的边角情形。
- 当前 frontier:在估计方面,Schötz (2019, 2022) 建立了广义 Fréchet 均值的收敛速率理论;Blanchard and Jaffe (2025) 研究了 Fréchet 均值集的估计。但在推断方面,缺乏不依赖海森矩阵非奇异性的通用方法——这正是本文的切入点。
- 本文的位置:作者将 Owen (1988, 2001) 的经验似然(EL)方法推广到流形设定,利用 EL 的一个关键性质——其 Wilks 定理(渐近 χ² 分布)不依赖于估计方程雅可比矩阵的非奇异性——从而构造出对 smeariness 稳健的检验与置信区间。这是 EL 方法在流形统计中的首次系统推广。
子线索聚类¶
- 流形上 Fréchet 均值的极限理论:Bhattacharya and Patrangenaru (2003, 2005)、Eltzner and Huckemann (2019)、Schötz (2019, 2022)。这条线索关注"估计"——均值的存在性、唯一性、收敛速率与极限分布。
- smeariness 现象及其影响:Eltzner and Huckemann (2019)、Eltzner (2022)。这条线索揭示了 Wald 推断在流形上的失效机制,是本文的动机来源。
- 经验似然及其推广:Owen (1988, 2001)、Qin and Lawless (1994)、DiCiccio, Hall and Romano (1991)。这条线索提供了本文的方法论工具——EL 的 Wilks 定理、Bartlett 可校正性、以及 plug-in 处理复合假设的技术。
- Fréchet 均值集估计:Schötz (2022)、Evans and Jaffe (2024)、Blanchard and Jaffe (2025)。这条线索处理均值不唯一的情形,本文第 4.5 节在此框架下提出 EL 的集合估计。
这个方向在追问的核心问题¶
- 如何在不验证海森矩阵非奇异性的前提下进行有效推断? 这是 smeariness 现象带来的直接挑战。Wald 检验需要估计渐近方差矩阵,而 smeariness 意味着该矩阵可能奇异或收敛速度异常。本文的回答是:EL 的 Wilks 定理不依赖雅可比矩阵的非奇异性,因此天然规避了这一问题。
- 如何在流形上构造不依赖坐标选择的检验统计量? 流形没有全局坐标系,Wald 统计量依赖于具体的 chart 选择。本文通过指数映射将问题局部化为欧氏空间中的估计方程,从而获得坐标不变的推断。
- 当 Fréchet 均值不唯一时如何进行推断? 这是 Fréchet 均值集估计问题,本文第 4.5 节用 EL 的 level set 给出了一种解决方案。
⚠️ 作者的 framing(这是作者的说法)¶
作者在引言中将缺口 frame 为:"Wald 检验在流形上因 smeariness 而失效,而 EL 因其对雅可比矩阵奇异性的鲁棒性成为自然的替代方案"。具体而言,作者强调(第 2.2 节末尾):"The robustness of the empirical likelihood inference against singularity of the expected Jacobian of g is particularly desirable in our context." 这一 framing 将本文定位为"显然的下一步"——既然 smeariness 是 Wald 推断的已知障碍,而 EL 的 Wilks 定理恰好不依赖雅可比矩阵的非奇异性,那么推广 EL 到流形就是顺理成章的。
被淡化/回避的竞争路线: - Bootstrap 方法:作者仅在 Remark 2 中提及 bootstrap 校准 plug-in 统计量,但未系统比较 bootstrap 与 EL 在 smeariness 下的表现。Bootstrap 可能同样规避了方差估计问题,但作者未讨论这一替代方案。 - 基于子采样的推断:对于收敛速度非 n^{-1/2} 的情形,子采样(subsampling)是另一种通用方法,作者完全未提及。 - 贝叶斯方法:作者在第 4.3 节提出拟贝叶斯推断,但未与参数贝叶斯方法(如 Bhattacharya and Dunson, 2010)进行对比。
值得去查的问题:作者声称 EL 对 smeariness 稳健,但其 Theorem 1 的证明(附录 A.4)仅要求 E[||g(X, μ)||²] < ∞,并未显式处理海森矩阵奇异的情形。EL 统计量在 smeariness 下的收敛速度是多少? 如果 g(X, μ) 的协方差矩阵也奇异,EL 的 χ² 极限是否仍然成立?作者在 Remark 1 中声称"Theorem 1 holds true regardless of the value of r",但证明中并未显式验证 r > 2 的情形。这是一个值得研究者去查证的技术细节。
张力¶
未见明显对立引用。但存在一个微妙的张力:Eltzner and Huckemann (2019) 的 smeariness 理论表明,当海森矩阵奇异时,样本 Fréchet 均值的收敛速度为 n^{-1/(2r-2)}(r > 2),而本文的 Theorem 1 声称 EL 统计量在同样条件下仍收敛到 χ²_m。如果 EL 统计量的收敛速度不受 smeariness 影响,那么其功效(power)如何? 作者在模拟中展示了 EL 在 smeariness 下的 size 控制优于 Wald,但未报告功效对比。这是一个值得研究者追问的开放问题。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
设定: - \(P\):参数空间(也是 Fréchet 均值的取值空间),一个可分拓扑空间。 - \(Q\):数据空间,\(X \in Q\) 是随机对象。 - \(\tilde{\rho}: P \times Q \to [0, \infty)\):连续距离函数,度量"参数 \(p\) 与数据点 \(X\) 之间的距离"。 - \(\tilde{F}(p) = E[\tilde{\rho}(p, X)]\):总体 Fréchet 函数(population Fréchet function)。 - \(\tilde{F}_n(p) = n^{-1} \sum_{i=1}^n \tilde{\rho}(p, X_i)\):样本 Fréchet 函数。 - \(\tilde{E} = \{p \in P : \tilde{F}(p) = \inf_{q \in P} \tilde{F}(q)\}\):总体 Fréchet 均值集(可能不唯一)。 - \(\tilde{E}_n = \{p \in P : \tilde{F}_n(p) = \inf_{q \in P} \tilde{F}_n(q)\}\):样本 Fréchet 均值集。 - \(\mu\):唯一的总体 Fréchet 均值(在 Assumption 1(i) 下)。 - \(\mu_n\):样本 Fréchet 均值的任意可测选择。 - \(\exp_\mu: U \to \tilde{U}\):在 \(\mu\) 处的指数映射,将 \(\mu\) 的切空间中的邻域 \(U \subset \mathbb{R}^m\) 微分同胚地映到流形上的邻域 \(\tilde{U} \subset P\)。 - \(g(X, \mu) := \left. \frac{\partial \tilde{\rho}(\exp_\mu(x), X)}{\partial x} \right|_{x=0}\):估计函数(estimating function),是 \(\tilde{\rho}\) 在 \(\mu\) 处沿切方向的导数。这是本文的核心对象——它扮演了欧氏情形中"矩条件"的角色。 - \(m\):流形 \(P\) 的维数。 - \(\ell(\mu)\):经验似然比统计量(对数形式),定义见式 (5)。
可观测数据:\(\{X_i\}_{i=1}^n\),i.i.d. 来自 \(Q\) 上的未知分布。研究者能观测到的是数据点本身,以及任意 \(p \in P\) 处的距离 \(\tilde{\rho}(p, X_i)\)(从而能计算 \(g(X_i, p)\))。
想要但观测不到:总体 Fréchet 均值 \(\mu\) 本身,以及 \(\tilde{F}\) 的曲率信息(海森矩阵)。关键点:\(g(X, \mu)\) 在 \(\mu\) 处满足矩条件 \(E[g(X, \mu)] = 0\)(因为 \(\mu\) 是 \(\tilde{F}\) 的最小值点),但 \(g\) 的雅可比矩阵 \(E[\partial g(X, \mu)/\partial x']\) 可能奇异——这正是 smeariness 的来源。
第二步:最小内核¶
最小例子:\(P = Q = S^1\)(单位圆),\(\tilde{\rho}(p, X) = d_g^2(p, X)\)(测地距离的平方)。设 \(X\) 以概率 \(1-\alpha\) 均匀分布在圆上,以概率 \(\alpha\) 集中在某点。此时总体 Fréchet 均值 \(\mu\) 存在但不唯一(圆上的均匀分布使 Fréchet 函数在多个点达到最小值)。取 \(\mu\) 为其中一个均值点,则 \(g(X, \mu) = \partial d_g^2(\exp_\mu(x), X)/\partial x|_{x=0}\) 是一个标量(\(m=1\))。
核心命题:在 \(E[g(X, \mu)^2] < \infty\) 下,经验似然比统计量
为什么这个命题非平凡:在欧氏情形中,\(\ell(\mu)\) 的 Wilks 定理依赖于 \(g\) 的雅可比矩阵非奇异(即 \(E[\partial g(X, \mu)/\partial x'] \neq 0\))。但在流形上,当 Fréchet 函数在 \(\mu\) 处"平坦"(海森矩阵奇异)时,\(g\) 的雅可比矩阵可能为零,此时 Wald 统计量失效(收敛速度变慢、极限分布非正态)。EL 的关键性质是:其 Wilks 定理的证明(附录 A.4)仅需控制 \(\max_i \|g(X_i, \mu)\| = o_p(n^{1/2})\),而这由 \(E[\|g(X, \mu)\|^2] < \infty\) 即可保证,无需雅可比矩阵非奇异。 这就是"EL 对 smeariness 稳健"的数学本质。
证明的最小骨架(附录 A.4): 1. 由 \(E[\|g(X, \mu)\|^2] < \infty\) 和 Borel-Cantelli 引理,得 \(\max_{1 \le i \le n} \|g(X_i, \mu)\| = o_p(n^{1/2})\)。 2. 对 \(\ell(\mu)\) 做二次展开,得到 \(\ell(\mu) = (n^{-1/2}\sum_i g(X_i, \mu))' \hat{V}^{-1} (n^{-1/2}\sum_i g(X_i, \mu)) + o_p(1)\),其中 \(\hat{V} = n^{-1}\sum_i g(X_i, \mu) g(X_i, \mu)'\)。 3. 由中心极限定理,\(n^{-1/2}\sum_i g(X_i, \mu) \xrightarrow{d} N(0, V)\),其中 \(V = E[g(X, \mu)g(X, \mu)']\)。 4. 结合 \(\hat{V} \xrightarrow{p} V\),得 \(\ell(\mu) \xrightarrow{d} \chi^2_m\)。
关键洞察:整个证明从未使用 \(g\) 的雅可比矩阵或 Fréchet 函数的二阶导数。这正是 EL 相比 Wald 的核心优势——它只依赖矩条件 \(E[g(X, \mu)] = 0\) 和二阶矩有限,而不依赖矩条件的"非退化性"。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在流形(非欧几里得度量空间)上,如何对 Fréchet 均值及相关总体特征进行不依赖海森矩阵非奇异性的假设检验与置信区间构造。
- 核心工具/方法:将 Owen (1988) 的经验似然方法推广到流形设定,通过指数映射构造估计函数 \(g(X, \mu)\),并证明其 Wilks 定理在 smeariness 下仍然成立。
- 主要结论:经验似然比统计量 \(\ell(\mu)\) 渐近服从 \(\chi^2_m\)(定理 1);plug-in 统计量 \(\ell^*(\mu_n)\) 在复合原假设下收敛到加权 \(\chi^2\) 分布(定理 2);方法可推广至双样本检验(定理 3)、Fréchet 方差推断(定理 4)、拟贝叶斯推断(定理 5)、局部 Fréchet 回归(定理 6)和 Fréchet 均值集估计(定理 7)。
关键设定与假设¶
- Assumption 1(基准设定):
- (i) i.i.d. 样本,总体 Fréchet 均值唯一且样本均值相合。
- (ii) \(\mu\) 附近存在 \(m\) 维黎曼流形结构,指数映射是 \(C^r\) 微分同胚(\(r \ge 2\))。
- (iii) \(g(X, \mu)\) 存在且 \(E[\|g(X, \mu)\|^2] < \infty\)。
-
相比 Eltzner and Huckemann (2019) 的放宽:作者不要求 Fréchet 函数的海森矩阵非奇异(即允许 smeariness),也不要求 \(g\) 的雅可比矩阵非退化。这是本文的核心放宽。
-
Assumption 2(复合假设检验):
- (i) 约束集 \(P^*\) 上的 Fréchet 均值唯一且相合。
- (ii) \(g^*\) 光滑性 + 联合 CLT(式 (6)):\(\frac{1}{\sqrt{n}}\sum_i g^*(X_i, \mu^*) + \sqrt{n}x_n \xrightarrow{d} N(0, \Sigma)\)。
-
关键:式 (6) 中的联合 CLT 允许 \(x_n\)(样本 Fréchet 均值的切坐标)与 \(g^*\) 的样本均值联合收敛到正态,但不要求 \(x_n\) 的收敛速度为 \(n^{-1/2}\)(即允许 smeariness)。
-
Assumption 3(双样本检验):两组样本独立且各自满足 Assumption 1,\(g\) 和 \(g_1\) 的雅可比矩阵非奇异(注意:这里作者重新要求非奇异性,因为双样本检验的推导需要)。
-
Assumption 4(局部 Fréchet 回归):局部常数/局部线性框架,核函数、带宽条件、条件矩条件。
主要结果¶
定理 1(Wilks 定理):在 Assumption 1 下,\(\ell(\mu) \xrightarrow{d} \chi^2_m\)。这是全文的基石——它表明 EL 对 smeariness 稳健。证明要点:仅需 \(E[\|g(X,\mu)\|^2] < \infty\) 和 \(\max_i \|g(X_i,\mu)\| = o_p(n^{1/2})\),无需雅可比矩阵非奇异。
定理 2(plug-in 统计量):在 Assumption 1+2 下,\(\ell^*(\mu_n) \xrightarrow{d} Z'V^{*-1}Z\),其中 \(Z \sim N(0, [I_{m^*} : G^{*\prime}]\Sigma[I_{m^*} : G^{*\prime}]')\)。注意:极限分布不是 \(\chi^2\),而是加权 \(\chi^2\)(因为 \(\mu_n\) 的估计误差通过 \(G^*\) 进入极限分布)。实际使用:通过 bootstrap 校准临界值(Remark 2)。
定理 3(双样本检验):在 Assumption 3 下,\(L \xrightarrow{d}\) 一个非 pivotal 的分布(涉及 \(\rho\) 和 \(V, V_1\) 的交叉项),用 bootstrap 校准。
定理 4(Fréchet 方差推断):将 \(g\) 扩展为 \(g_J = (g', \tilde{\rho}(\mu, X) - \phi)'\),得到 \(\ell_J(\mu_n, \phi) \xrightarrow{d}\) 加权 \(\chi^2\) 分布。
定理 5(拟贝叶斯推断):后验 \(\Pi_n(B|X) = \frac{\int_B \exp(-\ell(\mu)/2 - \varsigma_n \tilde{F}_n(\mu)) d\pi(\mu)}{\int_P \exp(-\ell(\mu)/2 - \varsigma_n \tilde{F}_n(\mu)) d\pi(\mu)}\) 在 \(\varsigma_n \to \infty\) 时后验集中于 Fréchet 均值集。证明要点:利用 EL 的指数倾斜性质,将后验质量与 \(\tilde{F}_n\) 的水平集联系起来。
定理 6(局部 Fréchet 回归):局部常数版本的 EL 统计量 \(\ell(\mu_z; z) \xrightarrow{d} \chi^2_m\),在 undersmoothing 条件下。
定理 7(Fréchet 均值集估计):\(\hat{P} = \{p \in P : \ell(p) \le C \log n\}\) 在 Hausdorff 距离下相合于 \(\tilde{E}\)。证明要点:利用 Donsker 条件和 EL 的一致二次展开。
证明路线与技术技巧¶
整体路线(以定理 1 为例): 1. 局部化:通过指数映射 \(\exp_\mu\) 将流形上的问题转化为 \(\mathbb{R}^m\) 中切坐标的问题。 2. 矩条件:利用 \(E[g(X, \mu)] = 0\) 构造经验似然。 3. 对偶问题:将 EL 的约束优化转化为无约束的对偶问题(拉格朗日乘子法)。 4. 二次展开:对 \(\ell(\mu)\) 做二阶泰勒展开,得到 \(\ell(\mu) = \|n^{-1/2}\sum_i g(X_i,\mu)\|^2_{\hat{V}^{-1}} + o_p(1)\)。 5. CLT + LLN:由 \(E[\|g\|^2] < \infty\) 得 CLT,由 \(\hat{V} \xrightarrow{p} V\) 得 Slutsky。
关键技巧: - 指数映射局部化:这是全文的技术核心。通过 \(\exp_\mu\),将流形上的距离函数 \(\tilde{\rho}\) 转化为切空间中的函数,使得 \(g(X, \mu)\) 的矩条件在切坐标下成立。这一技巧使得 EL 的经典证明框架可以直接套用。 - Borel-Cantelli 控制最大值:证明 \(\max_i \|g(X_i, \mu)\| = o_p(n^{1/2})\) 时,使用截断 + Borel-Cantelli 引理,这是 Owen (2001) 的标准技巧。 - bootstrap 校准:对于 plug-in 统计量(定理 2、3),由于极限分布非 pivotal,作者采用 bootstrap 校准临界值。Remark 2 给出了具体的 bootstrap 程序。 - Donsker 条件:定理 7 中,为控制 \(\sup_{p \in P} |n^{-1}\ell(p) - Q(p)|\),需要 \(\{g(\cdot, p) : p \in \tilde{P}\}\) 是 Donsker 类。这是经验过程理论的标准工具。
真实例子与应用¶
-
海龟数据(圆上方向数据):Mardia and Jupp (1999) 的 76 只雌海龟产卵后方向数据。作者构造 Fréchet 均值和置信区域,并与 Wald 方法对比。结果:EL 置信区域在 smeariness 下仍保持正确覆盖,而 Wald 区域出现明显扭曲。
-
古地磁数据(球面数据):Gallo et al. (2023) 的 689 个虚地磁极(VGP)位置。作者估计 Fréchet 均值并构造置信区域。结果:EL 置信区域比 Wald 更稳健,且能捕捉到数据中的多峰结构。
-
小鼠椎骨数据(形状空间):Dryden and Mardia (2016) 的 Kendall 平面形状空间数据。作者进行双样本检验(Large vs Small 组)。结果:EL 检验在 1% 显著性水平下拒绝原假设,而 Wald 检验因海森矩阵奇异而无法可靠计算。
这些例子想说明什么:每个例子都对应一个 smeariness 或海森矩阵病态的场景,旨在展示 EL 相比 Wald 的稳健性优势。特别是古地磁数据,作者引用 Eltzner (2022) 指出该数据集确实表现出 smeariness,因此是检验 EL 稳健性的理想案例。
🔎 结论是否比证明窄¶
是,存在若干处:
-
定理 1 的证明假设了 \(g\) 的连续性,但 Assumption 1(iii) 只要求 \(E[\|g(X,\mu)\|^2] < \infty\)。作者在附录 A.4 中未显式验证 \(g\) 的连续性,而是直接使用了 Owen (2001) 的框架。严格来说,定理 1 的证明需要比 Assumption 1 更强的条件(如 \(g\) 在 \(\mu\) 附近连续),但作者未在定理陈述中说明。
-
定理 2 的证明依赖式 (6) 的联合 CLT,但该 CLT 的成立条件(如 \(x_n\) 的收敛速度)并未在 Assumption 2 中显式给出。作者在脚注 3 中提及 Bhattacharya and Patrangenaru (2005, Theorem 2.1) 的条件,但未说明这些条件是否与 smeariness 相容。如果 \(x_n\) 的收敛速度慢于 \(n^{-1/2}\),式 (6) 中的 \(\sqrt{n}x_n\) 项可能发散,联合 CLT 不成立。
-
定理 5 的后验一致性只证明了"后验集中于 Fréchet 均值集",但未给出收敛速度。对于 smeariness 情形,后验的收敛速度可能慢于 \(n^{-1/2}\),作者未讨论这一可能性。
-
定理 7 的 Donsker 条件(Assumption (iii))在实际中难以验证。作者在 Remark 中未给出任何可操作的充分条件。
-
作者在摘要和引言中声称 EL "对 smeariness 稳健",但定理 2-4 的证明实际上重新要求了非退化条件(如 \(G^*\) 非奇异、\(V^*\) 正定)。严格来说,只有定理 1(简单原假设)和定理 5(拟贝叶斯)真正对 smeariness 稳健。定理 2-4 的稳健性是有限的。
四、开放问题¶
-
EL 在 smeariness 下的功效(power)如何? 作者在模拟中展示了 size 控制优于 Wald,但未报告功效对比。扎根于:第 5 节模拟部分仅报告了 size 和置信区域覆盖,未报告检验功效。
-
定理 2 的联合 CLT(式 6)在 smeariness 下是否成立? 如果 \(x_n\) 的收敛速度慢于 \(n^{-1/2}\),\(\sqrt{n}x_n\) 项可能发散。作者未讨论这一情形。扎根于:脚注 3 仅引用 Bhattacharya and Patrangenaru (2005) 的条件,未处理 smeariness。
-
定理 5 的后验收敛速度是多少? 作者只证明了后验一致性,未给出速度。对于 smeariness 情形,后验可能以 \(n^{-1/(2r-2)}\) 的速度收敛(与样本 Fréchet 均值相同),但作者未讨论。扎根于:定理 5 的陈述仅涉及"后验集中于均值集",未涉及速度。
-
定理 7 的 Donsker 条件能否简化? 作者要求 \(\{g(\cdot, p) : p \in \tilde{P}\}\) 是 Donsker 类,但未给出可操作的充分条件。扎根于:定理 7 的 Assumption (iii)。
-
EL 的 Bartlett 校正(Remark 5)在流形上是否成立? 作者声称"an analogous argument to DiCiccio, Hall and Romano (1991) implies the Bartlett correction",但未给出证明。欧氏情形中 Bartlett 校正依赖于 Edgeworth 展开的特定结构,流形上的曲率效应可能破坏这一结构。
-
如何选择指数映射? 作者使用黎曼指数映射,但在非完备流形或带边界的流形上,指数映射可能不存在或不是全局微分同胚。作者未讨论这些情形。
提示:要确认上述问题是否是真 gap,建议去读以下近期文献的引言部分(各约 5 篇): - 流形上 Fréchet 均值的 bootstrap 推断(如最近在 Annals of Statistics 和 JRSS-B 上的工作) - 非欧空间中的经验似然(如 Bayes 经验似然在度量空间上的推广) - Smeariness 的检测与稳健推断(Eltzner 及其合作者的后续工作)
如果这些文献都未解决上述问题,那么它们就是值得做的研究问题;如果已有部分解决,则需要重新定位。
Maintained by 陈星宇 · Homepage · Source on GitHub