Optimal Combination of Composite Likelihoods Using Approximate Bayesian Computation with Application to State-Space Models¶
作者: Wentao Li, Rosabeth White, Dennis Prangle
来源: Journal of Computational and Graphical Statistics
主题: 统计计算 / 算法
相关性: 5/10
机构绿灯: University of Bristol(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv
一、领域脉络与小综述¶
-
这个方向是什么:本子方向解决的根本问题是:当完整似然函数不可解(intractable)时,如何利用"复合似然"(composite likelihood)进行统计推断,并同时解决两个长期存在的痛点——(1) 复合似然中各分量权重的选择具有任意性,缺乏理论指导;(2) 将复合似然直接当作似然用于贝叶斯推断(即 quasi-posterior)时,后验不确定性校准不足(通常过于集中)。该方向处于"方法成熟但理论缺口明确"的阶段:复合似然本身(Lindsay 1988; Varin, Reid, and Firth 2011)和 ABC 方法(Beaumont et al. 2002)都是成熟工具,但二者的结合——特别是用多个复合得分作为 ABC 汇总统计量并研究其最优性——是本文试图填补的空白。
-
发展脉络(history):
- 奠基工作:Lindsay (1988) 提出复合似然的一般框架,将复杂模型的似然分解为若干低维边际似然的加权乘积。Varin, Reid, and Firth (2011) 系统综述了复合似然方法,指出其点估计一致性但后验不确定性校准困难。Godambe and Heyde (1987) 建立了估计函数(estimating function)框架下的最优性理论,即 Godambe 信息准则。
- 主要进展:在频率学派框架下,Kuk and Nott (2000) 与 Joe and Lee (2009) 针对聚类数据提出依赖簇大小和簇内相关性的权重方案;Davis and Yau (2011) 针对时间序列提出滞后截断的二元加权复合似然,并发现"包含更多分量不一定更好"的反直觉现象。在贝叶斯框架下,Pauli, Racugno, and Ventura (2011) 提出校准复合似然后验的方法(调整曲率),但需要估计得分协方差矩阵,对相依数据困难且易导致后验方差过度估计。Ribatet, Cooley, and Davison (2012) 进一步讨论了空间极值模型中的校准问题。
- 当前 frontier:Ruli, Sartori, and Ventura (2016) 首次将 ABC 与复合得分结合,用单一复合得分作为汇总统计量,避免了显式构造校准后验,但未解决多分量最优组合问题。Li and Fearnhead (2018) 建立了 ABC 后验在汇总统计量满足 CLT 时的 Bernstein-von Mises 定理,为本文提供了理论工具。本文的位置:在 Li and Fearnhead (2018) 的理论框架下,将单一复合得分推广到多个复合得分的堆叠(stack),证明其达到估计函数类中的最优 Godambe 信息,并解决计算可行性问题。
-
子线索聚类:
- 线索一:复合似然的权重选择与最优组合(Lindsay 1988; Kuk and Nott 2000; Joe and Lee 2009; Davis and Yau 2011; Kenne Pagui, Salvan, and Sartori 2014)。这一簇在问:如何选择复合似然中各分量的权重以最大化估计效率?已知瓶颈:最优权重依赖未知参数和模型结构,且"更多分量"不一定更好。
- 线索二:复合似然的贝叶斯化与校准(Pauli, Racugno, and Ventura 2011; Ribatet, Cooley, and Davison 2012; Chan and So 2017)。这一簇在问:如何在不牺牲计算可行性的前提下获得校准的后验不确定性?已知瓶颈:曲率校准需要估计得分协方差,对相依数据困难且易过度分散。
- 线索三:ABC 的理论性质与汇总统计量选择(Beaumont et al. 2002; Beaumont et al. 2009; Li and Fearnhead 2018; Frazier et al. 2018)。这一簇在问:ABC 后验何时收敛、收敛到何物、如何选择汇总统计量?已知瓶颈:汇总统计量的维度灾难和充分性难以保证。
- 线索四:状态空间模型的参数推断(Varin and Vidoni 2008; Ng et al. 2011; Kantas et al. 2015; Pitt et al. 2012)。这一簇在问:当似然含高维隐变量积分时如何做推断?已知瓶颈:完整似然的粒子滤波估计方差随 n 增长,计算复杂度 O(n²)。
-
这个方向在追问的核心问题:
- 如何系统性地选择复合似然分量的权重,使得估计效率最优或接近最优?
- 如何在贝叶斯框架下获得校准的不确定性,而不依赖难以估计的曲率校正项?
- ABC 后验在汇总统计量具有不同收敛速率时,其渐近分布如何变化?如何利用这一理论指导汇总统计量的选择?
- 在状态空间模型等复杂场景中,能否以 O(n) 计算代价获得接近全似然(如粒子 MCMC)的统计效率?
-
⚠️ 作者的 framing(这是作者的说法):作者将缺口 frame 为"复合似然权重选择任意 + 贝叶斯校准困难"这两个问题可以通过 ABC 框架一次性解决:用多个复合得分作为汇总统计量,后验自动实现最优组合,无需显式估计权重。作者淡化了两个竞争路线:(1) 频率学派的 Godambe 最优权重估计(如 Kenne Pagui et al. 2014),称其"计算和数值上困难";(2) 显式曲率校准的贝叶斯复合似然(Pauli et al. 2011),称其"对相依数据困难且易过度分散"。值得研究者去查的问题:作者在引言中未提及的、可能存在的竞争路线包括——(a) 用变分推断或 INLA 近似完整似然的方法;(b) 近年来发展的"分块似然"(blockwise likelihood)方法(如 block bootstrap 校准);(c) 深度生成模型(如 normalizing flows)直接近似似然的方法。这些路线在引言中均未出现,是作者有意或无意的遗漏。
-
张力:被引工作之间存在一个明显的张力:Davis and Yau (2011) 发现"包含更多滞后分量不一定改善估计"(即信息增加但效率下降),而本文的定理 2.1 声称"只要分量得分收敛速率相同,堆叠更多分量总是(弱)增加 Godambe 信息"。作者用"异质收敛速率"(定理 3.1)来调和这一矛盾:当新增分量收敛更慢时,堆叠可能不改善甚至损害效率。但作者在数值实验中并未系统展示"何时堆叠有害"的边界条件,这一张力未被完全解决。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据
设观测数据为 \(Y_{\text{obs}} = \{y_1, \ldots, y_n\}\),参数为 \(\theta \in \mathbb{R}^p\)(p 为参数维度)。完整似然 \(L(\theta; Y_{\text{obs}})\) 不可解(例如因隐变量积分)。
- 复合似然:\(cL(Y_{\text{obs}}; \theta) = \prod_{j=1}^{n_{cl}} f(A_j; \theta)^{w_j}\),其中 \(A_j\) 是数据的子集(如单点、相邻点对),\(f(A_j; \theta)\) 是子集上的边际似然,\(w_j\) 是权重。
- 复合得分:\(cs(Y; \theta) = \nabla_\theta \log cL(Y; \theta)\),是复合对数似然的梯度。它是无偏估计函数:\(E_\theta\{cs(Y; \theta)\} = 0\)。
- 多个复合得分:\(cs_{1:K}(Y; \theta) = (cs_1(Y; \theta)^\top, \ldots, cs_K(Y; \theta)^\top)^\top\),维度 \(d = \sum_{k=1}^K p_k\)(通常 \(d > p\))。
- Godambe 信息:对估计函数 \(h(Y; \theta)\),\(I_G(h) = E\{\nabla_\theta h(Y)\}^\top \text{Var}\{h(Y)\}^{-1} E\{\nabla_\theta h(Y)\}\)。其逆为估计量渐近协方差。
- ABC 后验:\(\pi_\varepsilon(\theta \mid S_{\text{obs}}) \propto \pi(\theta) \int K_\varepsilon(S - S_{\text{obs}}) f(S \mid \theta) dS\),其中 \(S\) 是汇总统计量,\(K_\varepsilon\) 是核函数,\(\varepsilon\) 是容差带宽。
- 可观测数据:研究者实际能观测到的是 \(Y_{\text{obs}}\)(如 n 个时间点的时间序列,或 n 个空间位置上的观测值)。不可观测的是:完整似然中的隐变量(如状态空间模型中的潜在状态 \(X_{1:n}\))、以及复合得分中涉及的未知参数真值 \(\theta_0\)。ABC 方法的核心是:不计算似然,而是模拟数据 \(Y \sim f(\cdot; \theta)\),计算模拟数据的汇总统计量 \(S(Y)\),与观测数据的 \(S_{\text{obs}}\) 比较。
第二步:最小内核
最小内核:假设参数为一维(\(p=1\)),我们有两个复合得分 \(cs_1(Y; \theta)\) 和 \(cs_2(Y; \theta)\),各自都是无偏估计函数(均值 0),且联合满足 CLT:
为什么这个内核是"最小"的:它剥离了所有技术细节(状态空间模型、隐变量、重要性采样、异质收敛速率),只保留"无偏估计函数 + CLT + Godambe 信息"这一骨架。本文的所有推广——多个复合得分、异质速率、估计得分——都是在这个骨架上"加壳"。
这个内核的证明思路(本文定理 2.1 的证明路线):由 Li and Fearnhead (2018, Proposition 1),ABC 后验的渐近方差为 \(I(S)^{-1}\),其中 \(I(S) = \nabla_\theta \mu_S(\theta_0)^\top \Sigma_S^{-1} \nabla_\theta \mu_S(\theta_0)\),\(\mu_S(\theta) = E_\theta\{S(Y)\}\),\(\Sigma_S = \text{Var}\{S(Y)\}\)。当 \(S = cs_{1:K}\) 时,\(\mu_S(\theta) = E_\theta\{cs_{1:K}(Y)\}\),且由无偏性 \(\mu_S(\theta_0) = 0\)。关键步骤是证明 \(\nabla_\theta \mu_S(\theta_0) = E_{\theta_0}\{\nabla_\beta cs_{1:K}(Y; \theta_0)\}\)(即微分与期望可交换),从而 \(I(S) = I_G(cs_{1:K})\)。而 \(I_G(cs_{1:K}) = \max_{W} I_G(W cs_{1:K})\)(Godambe 最优性),故 ABC 后验自动达到最优组合。
三、这篇论文做了什么¶
三句话: 1. 研究了什么问题:在完整似然不可解时,如何用多个复合得分作为 ABC 汇总统计量,实现贝叶斯推断,并保证后验渐近达到估计函数类中的最优 Godambe 信息。 2. 核心工具/方法:将多个复合得分堆叠作为 ABC 汇总统计量;当得分无闭式时,提出用大小为 N 的 Monte Carlo 样本估计所有伪数据的边际得分(重要性采样估计器);提出自适应选择复合得分分量的算法(Algorithm 1)。 3. 主要结论:(a) 定理 2.1:堆叠得分的 ABC 后验渐近方差等于最优估计函数的 Godambe 信息之逆,即自动实现最优组合;(b) 定理 2.2:当得分需 Monte Carlo 估计时,若 N 固定,额外噪声可忽略(相对于数据量 n 的收敛速率);(c) 定理 3.1:当汇总统计量具有异质收敛速率时,ABC 后验的收敛速率由最慢的分量决定,且后验均值仍以最快分量的速率收敛;(d) 数值实验:在空间高斯过程、ARFIMA 和随机波动率模型中,MCS-ABC 显著优于现有贝叶斯复合似然方法,接近粒子 MCMC 的效率。
关键设定与假设:
- 设定:观测数据 \(Y_{\text{obs}}\) 来自参数为 \(\theta_0\) 的模型。定义 K 个复合得分分量 \(cs_k(Y; \theta)\),每个都是无偏估计函数。ABC 后验为 \(\pi_\varepsilon(\theta \mid cs_{1:K}(Y_{\text{obs}}))\),其中 \(\varepsilon\) 为容差带宽。
- 假设(定理 2.1):
- (C1) 先验 \(\pi(\theta)\) 在 \(\theta_0\) 处连续且为正。
- (C2) 复合得分满足 CLT:\(a_n\{cs_{1:K}(Y) - \mu(\theta)\} \xrightarrow{d} N(0, A(\theta))\),且 \(\mu(\theta)\) 可微、\(\nabla \mu(\theta_0)\) 满秩。
- (C3) 矩收敛:\(a_n^2 \text{Var}_\theta\{cs_{1:K}(Y)\} \to A(\theta)\) 一致成立。
- 统计含义:这些条件本质上是要求复合得分是"好的"估计函数——无偏、满足 CLT、且信息矩阵非退化。相比 Li and Fearnhead (2018) 的原始条件,本文没有额外强化,而是直接套用。
- 假设(定理 2.2,Monte Carlo 估计得分):
- (C4)–(C11):包括得分函数的光滑性、重要性采样权重的矩条件、Donsker 类条件等。
- 统计含义:这些条件保证 Monte Carlo 估计器 \(bcs_k(Y)\) 的误差在 \(n \to \infty\) 时以 \(N^{-1/2}\) 速率收敛,且该误差相对于数据量 n 的随机波动可忽略。相比已有工作的强化:本文允许 N 固定(不随 n 增长),这是关键放松——粒子 MCMC 需要 N 随 n 增长以控制方差,本文证明 ABC 不需要。
- 假设(定理 3.1,异质速率):允许不同分量以不同速率 \(a_{kn}\) 收敛,且 \(\varepsilon_n\) 的选取需匹配最慢分量的速率。
主要结果:
- 定理 2.1(最优组合):在 (C1)–(C3) 下,ABC 后验 \(\pi_\varepsilon(\theta \mid cs_{1:K}(Y_{\text{obs}}))\) 的渐近方差为 \(I_G(cs_{1:K})^{-1}\),其中 \(I_G(cs_{1:K})\) 是堆叠得分的 Godambe 信息。推论:该后验渐近等价于以最优权重组合的复合得分作为汇总统计量的 ABC 后验,且优于任何单一分量或固定权重组合。
- 定理 2.2(Monte Carlo 得分):当得分用重要性采样估计时,若 N 固定,ABC 后验的渐近分布与使用真实得分时相同(一阶等价)。推论:计算复杂度为 O(n),而非粒子 MCMC 的 O(n²)。
- 定理 3.1(异质速率):当分量以不同速率收敛时,ABC 后验的收敛速率由最慢分量决定;后验均值以最快分量速率收敛。推论:自适应选择算法应优先包含收敛快的分量,避免收敛慢的分量拖慢整体。
证明路线与技术技巧:
- 整体路线(定理 2.1):
- 将 ABC 后验密度写为 \(\pi_\varepsilon(\theta \mid S_{\text{obs}}) \propto \pi(\theta) \int K_\varepsilon(S - S_{\text{obs}}) f(S \mid \theta) dS\)。
- 利用复合得分的 CLT,将 \(f(S \mid \theta)\) 替换为其正态近似(局部渐近正态性)。
- 对 \(\theta\) 做局部展开(\(\theta = \theta_0 + a_n^{-1} t\)),将积分化为关于 t 的高斯积分。
- 利用无偏性 \(\mu(\theta_0) = 0\) 和微分与期望可交换性,证明后验密度趋近于 \(N(\theta_0, I_G(cs_{1:K})^{-1})\)。
- 关键跳跃点:证明 \(I(S) = I_G(cs_{1:K})\) 需要 \(\nabla_\theta \mu_S(\theta_0) = E_{\theta_0}\{\nabla_\beta cs_{1:K}(Y; \theta_0)\}\)。这依赖于 Leibniz 积分法则(微分与积分交换),是证明中最微妙的一步。作者在补充材料 D 中通过验证得分函数的可积性和光滑性条件来保证。
- 整体路线(定理 2.2):
- 将 Monte Carlo 估计的得分分解为真实得分加误差项:\(bcs_k(Y) = cs_k(Y) + \epsilon_k(Y, X^{(1:N)})\)。
- 证明误差项在 ABC 后验中可忽略:利用重要性采样估计器的渐近正态性(CLT)和 Donsker 类条件,证明误差项对后验的影响是 \(O_p(N^{-1/2})\),而真实得分的波动是 \(O_p(a_n^{-1})\)。由于 \(a_n \to \infty\) 且 N 固定,误差项相对可忽略。
- 关键跳跃点:证明误差项与数据 Y 的依赖不破坏 CLT。作者通过验证 (C9)–(C10) 的矩条件,将误差项视为"条件独立"的噪声,从而在渐近分析中将其吸收进余项。
- 整体路线(定理 3.1):
- 将汇总统计量按收敛速率分组:快组、中组、慢组。
- 对每组分别做局部展开,利用不同速率构造不同的缩放变量。
- 关键跳跃点:处理不同速率分量之间的相关性。作者通过将慢速分量视为"噪声"(因其波动远大于快速分量),证明其对后验的贡献可忽略。这是对 Li and Fearnhead (2018, Proposition 1) 的关键推广。
- 技术技巧点名:
- Bernstein-von Mises 定理的 ABC 版本(Li and Fearnhead 2018):用于建立 ABC 后验的渐近正态性。
- 估计函数理论 / Godambe 信息(Godambe and Heyde 1987):用于定义最优组合准则。
- Donsker 类与经验过程理论(Van der Vaart 2000):用于证明 Monte Carlo 估计器的一致收敛。
- 重要性采样:用于估计无闭式的边际得分。
- Leibniz 积分法则:用于证明微分与期望可交换。
- QR 分解:在补充材料 G 中用于处理不同速率分量的线性变换。
真实例子与应用:
-
空间高斯过程(Section 4.1):观测 64 个空间点,指数协方差函数,未知参数为范围参数 \(\phi\)。复合得分分量为按距离分组的成对得分。结果:MCS-ABC 的后验与全似然后验几乎重合,而 ICS-ABC 和 composite posterior 均明显偏离。MCS-ABC 的 RMSE 为 0.490,远低于 composite posterior 的 1.302 和 ICS-ABC 的 1.347。
-
ARFIMA(0, r, 0) 模型(Section 4.2):长记忆时间序列,未知参数为分数差分参数 r。复合得分分量为滞后 k 的成对得分。结果:当 r 较大(长记忆强)时,MCS-ABC 的效率显著优于 ICS-ABC,相对效率提升最高达 1.94 倍(r=0.45, n=4000)。这验证了定理 2.1 的预测:堆叠更多分量(利用更多信息)在最优组合下总是有益的。
-
随机波动率模型(Section 4.3):含隐变量的状态空间模型,未知参数为 \((\tau^2, \gamma, \sigma^2)\)。复合得分分量为滞后 k 的成对得分,用 Monte Carlo 估计。结果:MCS-ABC 的后验与粒子 MCMC 的后验接近,但计算时间显著降低(O(n) vs O(n²))。自适应算法(Algorithm 1)在约 7 个滞后处停止,与手动选择的最佳滞后一致。
🔎 结论是否比证明窄:
- 定理 2.1 的证明假设所有分量以相同速率收敛,但数值实验中的 ARFIMA 模型(Section 4.2)中,不同滞后的得分可能具有不同收敛速率(长记忆导致慢速收敛)。作者在定理 3.1 中处理了异质速率,但定理 3.1 的结论是"后验收敛速率由最慢分量决定",并未直接证明"最优组合"性质在异质速率下仍然成立。作者在 Section 3.3 中推测(未证明)自适应算法能识别出最优子集,但这一推测缺乏严格证明。
- 定理 2.2 的证明假设 Monte Carlo 估计器的误差可忽略,但数值实验(Section 4.3)中 N=100 是"足够大"的经验选择,没有给出 N 的自适应选择准则。作者在 Remark 2 中承认"N 的选择是一个实际问题",但未提供理论指导。
- 作者在 Section 5 中声称"该方法避免了估计 Godambe 信息矩阵",但定理 2.1 的证明实际上依赖于 Godambe 信息矩阵的存在性和正定性(C2 条件)。在数值实验中,作者确实没有显式估计该矩阵,但理论保证需要其存在。
四、开放问题¶
-
异质速率下的最优组合性质(扎根于定理 3.1 与 Section 3.3 的 gap):定理 3.1 只证明了后验收敛速率由最慢分量决定,但未证明"堆叠所有分量"在异质速率下仍达到最优 Godambe 信息。要确认这是否为真 gap,可去读近期关于"多速率汇总统计量 ABC"的文献(如 Frazier et al. 2018 的后续工作),看是否已有严格证明。
-
Monte Carlo 样本量 N 的自适应选择(扎根于 Remark 2):定理 2.2 只证明 N 固定时误差可忽略,但未给出 N 的最优选择准则。数值实验中 N=100 是经验选择。这是一个具体的、可操作的问题:能否给出 N 与 n、参数维度 p、得分维度 d 之间的显式关系?
-
自适应算法的理论保证(扎根于 Algorithm 1 与 Section 3.3):作者提出用统计检验判断"均值是否变化"和"方差是否下降"来决定是否增加分量,但未证明该算法的收敛性(即最终选出的子集是否确实达到最优)。这是一个算法理论问题,需要证明检验的势和错误控制随 n 的变化。
-
与全似然效率的差距(扎根于 Section 4.3 的结论):数值实验显示 MCS-ABC 接近但未达到粒子 MCMC 的效率。这个差距是有限的(因为复合得分只利用了低维边际信息)还是可以消除的?这需要更精细的效率界分析。
-
提醒:要确认上述问题是否是真 gap,建议去读同一子领域近期约 5 篇论文的引言(如 Li and Fearnhead 2018 的后续引用、Frazier et al. 2018 的后续工作、以及 ABC 汇总统计量选择方向的近期论文)。如果多篇论文都指向同一个问题,说明是共识性 gap;如果互相矛盾,则可能是机会。
Maintained by 陈星宇 · Homepage · Source on GitHub