跳转至

Rare event ABC-SMC
\[^{2}\]

作者: Ivis Kerama, Thomas Thorne, Richard G. Everitt
来源: Statistics and Computing
主题: 统计计算 / 算法
相关性: 4/10
机构绿灯: University of Warwick(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是高维数据下的近似贝叶斯计算(ABC)。ABC 是一类用于隐式模型(likelihood 无法逐点求值、但可以模拟数据)的推断方法。其核心瓶颈在于:标准 ABC 的接受概率随数据维度 d 指数衰减,导致所需 Monte Carlo 点数随 d 指数增长。本文的目标是构建一种在高维数据下计算代价随 d 多项式增长的 ABC 算法,同时保留 ABC-SMC 框架的自动调参特性。

发展脉络(history)

  • 奠基工作:Marjoram et al. (2004) 提出 ABC-MCMC,将 Metropolis-Hastings 框架引入 ABC,用模拟数据的核密度值替代 likelihood 比值。这是 ABC 从拒绝采样走向 MCMC 的关键一步。
  • ABC-SMC 的提出:Sisson et al. (2007) 将 SMC 采样器引入 ABC,通过一组递减的容差序列 ϵ₁ > … > ϵ_T 逐步逼近目标后验,避免了 MCMC 的链相关性和收敛诊断问题。Del Moral et al. (2012) 随后给出了自适应版本,用条件有效样本量(CESS)自动选择 ϵ_t。
  • 高维瓶颈的识别:标准 ABC 的 likelihood 估计量(公式 1)本质上是重要性采样估计量,其方差随 d 指数增长(Agapiou et al., 2017 给出了重要性采样在高维下的方差刻画)。这一事实使得标准 ABC 在高维数据下不可行。
  • 关键突破——rare event SMC:Prangle et al. (2018) 提出用 rare event SMC 估计 ABC likelihood,将估计方差从指数降为多项式(具体为 O(d² log(1/ϵ)))。其核心思想是:将 ABC likelihood 视为一个稀有事件的概率,用 SMC 逐层逼近该事件,而非一次性 Monte Carlo 估计。该文同时给出了理论保证,证明该估计量在 d → ∞ 时比 IS 估计量有更低的计算代价。
  • 本文的位置:Prangle et al. (2018) 的方法基于 MCMC 框架(pseudo-marginal MH),需要手动调节 proposal 的尺度,且难以处理多峰后验。本文将其 rare event SMC 估计器嵌入 SMC 框架(类似 SMC² 的结构),从而获得 ABC-SMC 的自动调参能力,同时保留 rare event SMC 的高维优势。

子线索聚类

  1. ABC 采样器设计(Sisson et al., 2007; Del Moral et al., 2012; Fan & Sisson, 2019):关注如何在 θ 空间高效探索,核心工具是 SMC 和自适应容差序列。
  2. ABC likelihood 估计的方差控制(Prangle et al., 2018; Agapiou et al., 2017):关注如何用更高效的估计器替代朴素 Monte Carlo,核心工具是 rare event SMC 和重要性采样的方差理论。
  3. Pseudo-marginal 方法(Andrieu & Roberts, 2009; Doucet et al., 2012):提供理论框架,说明用无偏估计量替代真实 likelihood 后 MCMC 的平稳分布不变。本文的算法 4 正是这一框架在 ABC 中的应用。
  4. 隐式模型的应用(Pastor-Satorras et al., 2003; Vázquez et al., 2003; Thorne & Stumpf, 2012):duplication-divergence 随机图模型用于蛋白质相互作用网络,是 ABC 的典型应用场景,也是本文的实证对象。

这个方向在追问的核心问题

  1. 如何在高维数据下控制 ABC likelihood 估计的方差? 已知朴素 IS 估计量方差随 d 指数增长,rare event SMC 将其降为多项式,但代价是引入了额外的调参(如 SMC 的层数和 proposal 设计)。
  2. 如何在 θ 空间高效探索的同时保持估计的稳定性? ABC-SMC 的自动调参能力来自 CESS 引导的容差选择,但这一机制在高维下是否仍然有效?
  3. 如何估计模型证据(marginal likelihood)? ABC-SMC 的输出可以直接估计证据(Didelot et al., 2011),但 rare event SMC 的估计器是否也能用于证据估计?

⚠️ 作者的 framing(这是作者的说法)

作者将缺口 frame 为:Prangle et al. (2018) 的 rare event ABC-MCMC 虽然解决了高维问题,但"highly dependent on tuning"——具体指 MCMC proposal 的尺度需要手动调节,且 MCMC 本身难以处理多峰后验。作者声称本文的贡献在于"combining the strengths of both approaches":rare event SMC 的维度优势 + ABC-SMC 的自动调参。作者在结论中进一步声称,本文方法"inherits these advantageous properties, whilst also inheriting the useful properties of the widely-used ABC-SMC algorithms"——即同时获得高维可扩展性和多峰探索能力。

值得注意的淡化:作者在引言中承认 rare event SMC 的估计器需要设计 MCMC move on u(算法 2 的第 18 行),但并未讨论这一 move 的设计难度是否与 ABC-MCMC 的 proposal 调节相当。此外,作者对 rare event SMC 的理论保证(Prangle et al., 2018 的 O(d² log(1/ϵ)) 代价)只做了简要引用,没有给出本文方法在相同理论框架下的分析。

张力

未见明显对立引用。但存在一个值得注意的隐含张力:Prangle et al. (2018) 的理论结果(O(d² log(1/ϵ)))是在特定假设下(如 u 的维度与数据维度相同、MCMC move 理想化)得到的,而本文在实证中使用了"将 u 分为 u_s 和 u_r 两部分,只对 u_s 做 MCMC move"的策略(第 3.2 节),这一策略的理论性质并未被分析。这意味着本文的维度优势可能依赖于 u 的分解方式,而这一分解在一般隐式模型中未必可行。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

核心记号(按类别分组):

记号 含义 类别
θ 待估参数 参数(estimand)
y 观测数据(固定) 可观测数据
x 模拟数据(由模型生成) 潜在/模拟量
f_θ(x) 隐式模型的概率密度(不可逐点求值) 模型
u 随机数向量,满足 x = H(u, θ) 潜在量(reparameterization)
φ(u | θ) u 的分布(通常与 θ 无关,如标准正态) 模型假设
H(u, θ) 确定性变换,将 (u, θ) 映射到数据空间 模型结构
P_ϵ(y | x) ABC 核:关于 x 对称、带宽 ϵ 的核函数 近似工具
ϵ_t 第 t 层容差 算法参数
N_θ θ 空间粒子数 算法参数
N_u u 空间粒子数(内部 SMC) 算法参数
l(y | θ) 真实 ABC likelihood:∫ P_ϵ(y|x) f_θ(x) dx 目标量(不可计算)
l̂(y | θ) 估计的 ABC likelihood 估计量

模型(数据生成机制):

  1. 参数 θ 服从先验 p(θ)。
  2. 给定 θ,模型生成数据 x 的机制为:先抽取 u ~ φ(u|θ)(通常 u 的各分量独立且与 θ 无关),再通过确定性变换 x = H(u, θ) 得到模拟数据。
  3. 观测数据 y 是固定的。ABC 的目标是近似后验 π(θ|y) ∝ p(θ) l(y|θ),其中 l(y|θ) = ∫ P_ϵ(y|x) f_θ(x) dx。

可观测数据:只有 y 是实际观测到的。x 和 u 都是模拟产生的,f_θ(x) 不可求值,但 H 和 φ 已知。

关键点:标准 ABC 用公式 (1) 估计 l(y|θ),即从 f_θ(x) 抽取 N_x 个样本,取 P_ϵ(y|x) 的平均。这个估计量是无偏的,但方差随数据维度 d 指数增长。Prangle et al. (2018) 和本文的核心思想是:不直接估计 l(y|θ),而是用 rare event SMC 估计一个等价但方差更小的量。

第二步:最小内核

问题设定(最简情形):假设 θ 是一维的,y 是 d 维观测数据,模型为 x = H(u, θ) = θ + u,其中 u ~ N(0, I_d)(即 x 是 d 维高斯,均值 θ·1,方差 1)。ABC 核取均匀核 P_ϵ(y|x) = 1{‖y - x‖² ≤ ϵ}。此时真实 ABC likelihood 为:

l(y|θ) = P_u(‖y - θ·1 - u‖² ≤ ϵ) = P(χ²_d ≤ ϵ),

即一个非中心 χ² 分布的 CDF,与 θ 无关(因为 y - θ·1 的分布不随 θ 变化)。这个例子虽然平凡,但能清晰展示两种估计量的方差差异。

标准 IS 估计量:从 u ~ N(0, I_d) 抽取 N_x 个样本,计算

l̂IS(y|θ) = (1/N_x) Σ{n=1}^{N_x} 1{‖y - θ·1 - u_n‖² ≤ ϵ}。

当 d 大时,事件 {‖y - θ·1 - u‖² ≤ ϵ} 的概率约为 ϵ^{d/2} / Γ(d/2+1)(χ²_d 在 0 附近的密度),即指数小。因此需要 N_x ~ ϵ^{-d/2} 个样本才能得到一个非零估计,方差极大。

Rare event SMC 估计量(本文核心):不直接估计 l(y|θ),而是构造一个中间序列:

l(y|θ) = ∫ 1{‖y - H(u,θ)‖² ≤ ϵ} φ(u) du。

将其视为一个稀有事件的概率。Rare event SMC 的做法是:引入一个递减的容差序列 ϵ_1 > ϵ_2 > ... > ϵ_T = ϵ,从 φ(u) 出发,逐层用 SMC 逼近事件 {‖y - H(u,θ)‖² ≤ ϵ_t}。每一步的权重更新为:

w_t(u) = 1{‖y - H(u,θ)‖² ≤ ϵ_t} / 1{‖y - H(u,θ)‖² ≤ ϵ_{t-1}}。

最终,l(y|θ) 的估计为 Π_{t=1}^T (Σ_n w̃_t^n / N_u),其中 w̃_t^n 是第 t 层未归一化权重的和。这个估计量的方差由每层的条件方差决定,而每层的条件方差只依赖于相邻两层的事件概率之比,而非总概率。Prangle et al. (2018) 证明,当 ϵ_t 按几何级数递减时,总计算代价为 O(d² log(1/ϵ)),远优于 IS 的指数代价。

为什么这个例子是"最小内核":它剥离了所有额外的复杂性(多峰后验、复杂的 u 空间、MCMC move 设计),只保留了核心机制——用 SMC 逐层逼近稀有事件,将指数方差降为多项式方差。理解了这一点,就能理解本文算法 4 的全部设计动机:外部 SMC 负责探索 θ 空间,内部 rare event SMC 负责估计 l(y|θ),两者通过公式 (2) 的乘积形式耦合。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:如何在高维数据下进行 ABC 推断,使得计算代价随数据维度多项式增长而非指数增长,同时保留 ABC-SMC 的自动调参能力。
  2. 核心工具/方法:将 Prangle et al. (2018) 的 rare event SMC likelihood 估计器嵌入 SMC² 框架(Chopin et al., 2013),构造一个双层 SMC 算法(外部 SMC 探索 θ,内部 rare event SMC 估计 l(y|θ)),并引入自适应容差序列和自适应 MCMC move 数。
  3. 主要结论:在 Gaussian 模型(d = 25, 50, 100)和 duplication-divergence 随机图模型上,RE-ABC-SMC² 达到比 ABC-SMC 更低的容差(即更精确的后验近似),且估计的后验均值更接近真值、方差更低;同时继承了 ABC-SMC 的自动调参特性。

关键设定与假设

设定: - 隐式模型可重参数化为 x = H(u, θ),其中 u ~ φ(u|θ) 可采样。 - ABC 核 P_ϵ(y|x) 为均匀核(即 1{‖y-x‖² ≤ ϵ} 或类似形式)。 - 目标:从 ABC 后验 π_ϵ(θ|y) ∝ p(θ) l(y|θ) 中采样。

假设(相比 Prangle et al. 2018 的强化或放宽): - 放宽:Prangle et al. (2018) 的算法是 MCMC 框架,需要手动调节 proposal 尺度;本文的 SMC 框架通过粒子群自适应调节 proposal 方差(第 2.3.2 节),减少了调参负担。 - 强化:本文假设 u 可以分解为 u_s(由 MCMC 更新)和 u_r(不更新),且 u_s 的维度远小于数据维度 d。这一假设在 duplication-divergence 模型中通过"只更新种子网络的边"实现,但在一般隐式模型中未必成立。 - 未明确说明:本文没有给出 RE-ABC-SMC² 的理论收敛性分析(如有限粒子数的偏差界),而是依赖 Prangle et al. (2018) 的渐近结果。

主要结果

Gaussian 模型(第 3.1 节): - 设定:d = 25, 50, 100,观测数据 y 来自截断高斯(µ = 0, σ = 3, 下界 a = 0),推断参数 θ = σ,先验 σ ~ U(0, 10)。 - 结果:RE-ABC-SMC² 能达到的最终容差远低于 ABC-SMC(例如 d = 100 时,RE-ABC-SMC² 达到 ϵ ≈ 10,而 ABC-SMC 在相同计算时间内只能达到 ϵ ≈ 40)。后验均值估计的偏差和方差均更低(图 5)。 - 关键对比:在相同计算时间下,ABC-SMC 需要 N_θ = 2.5 × 10⁷ 粒子(d = 100),而 RE-ABC-SMC² 仅需 N_θ = 1000, N_u = 2000。这直接体现了 rare event SMC 的维度优势。

Duplication-divergence 模型(第 3.2 节): - 设定:d = 100 节点的网络,参数 θ = (p, r),p 为边保留概率,r 为连接概率。观测数据为网络的邻接矩阵。使用谱距离作为 ABC 核的度量。 - 结果:RE-ABC-SMC² 在相同计算时间内达到更低的容差(图 6),后验均值估计更接近真值(p = 0.5, r = 0.2),且方差更低(图 7)。 - 实现细节:u 被分为 u_s(种子网络的边,维度 ~ 190)和 u_r(duplication-divergence 过程的随机数,维度随网络增长变化)。只有 u_s 被 MCMC 更新,u_r 在每次内部 SMC 迭代中重新采样。这一设计避免了在复杂、变维空间上设计 MCMC move 的困难。

🔎 结论是否比证明窄

是,存在明显的不匹配:

  1. 理论 vs 实证:Prangle et al. (2018) 给出了 rare event SMC 估计量的渐近方差分析(O(d² log(1/ϵ))),但本文没有对 RE-ABC-SMC² 的整体算法(外部 SMC + 内部 rare event SMC)给出任何理论分析。作者在结论中声称"inherits these advantageous properties",但这一继承关系并未被证明——外部 SMC 的粒子近似误差与内部 rare event SMC 的估计误差如何交互,完全未被分析。

  2. u 分解的假设:第 3.2 节中"只更新 u_s、不更新 u_r"的策略是本文方法可行的关键,但作者没有讨论这一策略何时有效、何时失效。如果 u_r 与 θ 的后验相关性很强(例如 duplication 过程的随机数对网络结构影响很大),那么不更新 u_r 会导致内部 SMC 的估计方差增大,从而削弱维度优势。

  3. 证据估计:作者在引言中提到 ABC-SMC 的一个优势是可以估计模型证据(Didelot et al., 2011),但在本文的方法中,由于内部 rare event SMC 的估计量(公式 2)是 likelihood 的估计,其方差会传播到证据估计中。作者没有讨论这一传播效应。

  4. "less tuning"的声称:作者声称 RE-ABC-SMC² 比 Prangle et al. (2018) 的 MCMC 方法"requires less tuning",但算法 4 仍然需要选择内部 SMC 的层数 T、每层的粒子数 N_u、MCMC move 的 proposal 尺度(第 2.3.2 节的自适应方案只是部分自动化了这一选择)。作者没有给出这些参数对结果敏感性的系统分析。


四、开放问题

以下问题均扎根于本文的具体语句:

  1. 理论分析缺失:本文没有给出 RE-ABC-SMC² 的有限粒子数偏差界或方差分析。要确认这是否为真 gap,可对比 Prangle et al. (2018) 的 Theorem 1(关于 rare event SMC 估计量的方差)和 Del Moral et al. (2012) 的 Theorem 1(关于 ABC-SMC 的 L^p 收敛性),看是否存在将两者结合的分析框架。扎根点:第 1.4 节"we introduce the new approach"之后,作者直接进入实证,未给出任何理论结果。

  2. u 分解的适用条件:第 3.2 节中"u_s 由 MCMC 更新、u_r 不更新"的策略,其有效性依赖于 u_r 与 θ 的后验独立性。什么条件下这一独立性近似成立?能否给出一个可检验的准则?扎根点:第 2.3.4 节"Splitting different sources of randomness"仅描述了做法,未给出理论依据。

  3. 证据估计的方差传播:作者声称方法继承了 ABC-SMC 的证据估计能力(第 1.4 节),但内部 rare event SMC 的估计误差如何影响证据估计的精度?扎根点:第 1.4 节"neither method can be used to estimate the model evidence"之后,作者未再讨论证据估计。

  4. 自适应容差序列的收敛性:第 2.3.1 节用 CESS 引导容差选择,但这一机制在内部 SMC 和外部 SMC 双层结构中是否仍然保证收敛?扎根点:第 2.3.1 节仅引用了 Del Moral et al. (2012) 的 CESS 定义,未分析双层结构下的行为。

  5. 与其它高维 ABC 方法的比较:本文只与 ABC-SMC 比较,未与其它高维 ABC 方法(如 BSL, synthetic likelihood; 或基于优化的方法如优化 Monte Carlo)比较。扎根点:第 3 节仅报告了与 ABC-SMC 的对比结果。


提醒:若要确认上述问题是否为真 gap,建议去读近 5 年(2019-2024)关于高维 ABC 的文献(如 Frazier et al. 2020 关于 ABC 在高维下的理论;或 Prangle 2017 的综述)。如果多篇近期论文都指向"双层 SMC 的理论分析缺失",则这是共识性 gap;如果各论文给出不同框架,则可能是机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论