An adaptive multiple-try Metropolis algorithm¶

作者: Simon Fontaine, Mylène Bédard
来源: Bernoulli
主题: 统计计算 / 算法
相关性: 2/10
机构绿灯: University of Michigan（US News 前 50，免分进入精读）
链接: https://doi.org/10.3150/21-bej1408

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向是自适应马尔可夫链蒙特卡洛（Adaptive MCMC） 与多尝试Metropolis（Multiple-try Metropolis, MTM） 算法的交叉。核心问题是：如何设计一个MCMC采样器，既能通过自适应（在采样过程中自动调整提议分布）来提升对复杂目标分布（如多模态、强相关性）的采样效率，又能保留多尝试机制（每次迭代生成多个候选点，从中择优）以增强跳出局部模式的能力。当前，自适应MCMC已有成熟的遍历性理论，但大多基于单提议的随机游走；MTM虽能处理多模态，但其提议分布的选择高度依赖用户调参，缺乏自适应能力。本文试图填补这一空白。

发展脉络（history）¶

从introduction和参考文献中梳理出的发展线：

奠基工作：自适应MCMC的诞生与理论化
Haario et al. (2001)：提出自适应Metropolis（AM）算法，在运行中根据历史样本更新提议协方差矩阵。这是自适应MCMC的奠基之作，但当时缺乏遍历性证明。
Roberts & Rosenthal (2007)：建立了自适应MCMC的通用遍历性理论框架（“同时均匀遍历性”+“有界收敛”条件），为后续所有自适应算法提供了理论保障。本文的遍历性证明直接沿用这一框架。
主要进展：多尝试Metropolis的提出与变体
Liu et al. (2000)：提出多尝试Metropolis（MTM）算法，每次迭代生成多个候选点，并以特定概率接受其中一个。该算法能有效探索多模态分布，但提议分布（如候选点的生成方式）需手动设定，且对高维问题效率下降。
Craiu & Lemieux (2007)：提出“定向多尝试”变体，通过引入局部梯度信息改进提议，但依然缺乏自适应机制。
Bedard et al. (2012)：分析了MTM的渐近方差，指出其效率受提议分布与目标分布匹配程度的影响，暗示自适应调整的必要性。
当前Frontier：自适应与多尝试的结合尝试
Foss et al. (2019)：尝试将自适应协方差矩阵用于MTM的提议分布，但未给出遍历性证明，且自适应策略仅针对协方差，未涉及提议个数等参数。
本文（Fontaine & Bédard, 2024）：提出自适应多尝试Metropolis（AMTM），同时自适应调整提议分布的协方差矩阵和提议个数（即每次生成的候选点数），并给出完整的遍历性证明。这是首个在理论上保证遍历性的自适应MTM算法。

子线索聚类¶

这些被引文献大致落在两条子线索上：

线索A：自适应MCMC的理论与方法（Haario 2001, Roberts & Rosenthal 2007, Andrieu & Thoms 2008）
核心关注：如何设计自适应规则（如协方差更新、步长调整）并证明链的遍历性。
主要瓶颈：自适应规则通常基于单提议随机游走，对多模态分布效率低。
线索B：多尝试Metropolis及其变体（Liu 2000, Craiu & Lemieux 2007, Bedard 2012, Foss 2019）
核心关注：如何通过多提议提升对多模态分布的探索能力。
主要瓶颈：提议分布需手动调参，缺乏自适应机制；理论结果（如遍历性）不完整。

本文位于两条线索的交汇点：将线索A的自适应理论（Roberts & Rosenthal框架）应用于线索B的MTM算法，同时自适应提议协方差和提议个数。

这个方向在追问的核心问题¶

如何自适应调整提议分布以匹配目标分布？ 当前主流方法是基于历史样本更新协方差（如AM），但这对多模态分布可能失效（协方差被“平均”掉）。
如何自适应调整提议个数（即每次生成的候选点数）？ 提议个数太少则探索不足，太多则计算成本高。最优个数通常未知且随维度变化。
自适应MTM的遍历性如何保证？ 自适应会破坏马尔可夫性，需额外条件（如“有界收敛”+“同时均匀遍历性”）来证明链仍收敛到目标分布。
AMTM在真实高维问题中是否优于现有方法？ 现有竞争方法包括：传统自适应MCMC（AM）、非自适应MTM、以及更复杂的HMC（Hamiltonian Monte Carlo）和SMC（Sequential Monte Carlo）。

⚠️ 作者的framing（必须明确标注成“这是作者的说法”）¶

作者将缺口frame成：“现有自适应MCMC方法（如AM）在处理多模态分布时效率低下，而多尝试Metropolis（MTM）虽能处理多模态，但缺乏自适应机制，用户需手动调参。因此，显然的下一步是设计一个同时具备自适应性和多尝试能力的算法，并证明其遍历性。” 作者淡化了以下竞争路线： - HMC和NUTS：这些方法在连续空间中对多模态分布也很有效，但作者仅在模拟中将其作为baseline，并声称AMTM在特定问题（癌症细胞杂合性缺失模型）上优于它们。作者未讨论HMC在理论上的遍历性保证（HMC在非凸目标下可能不遍历）。 - 并行MCMC（如并行回火）：这类方法通过多个链在不同温度下运行来探索多模态，但作者未在introduction中提及。值得研究者去查的问题：并行回火与AMTM在理论保证和计算成本上的对比如何？为什么作者回避了这条路线？

什么明显该被引/该存在、却没出现在intro里？ - Gelman & Rubin (1992) 的收敛诊断（R-hat）是MCMC实践中的标准工具，但本文未引用。这可能是因为本文聚焦于算法设计而非诊断，但作为一篇应用导向的论文（有真实数据例子），不引用收敛诊断标准略显奇怪。 - Andrieu & Thoms (2008) 的自适应MCMC综述是必引文献，本文已引。但未引用更近期的自适应MCMC进展，如Vihola (2011) 的稳健自适应Metropolis算法，或Griffin & Walker (2013) 的基于随机逼近的自适应算法。这可能暗示作者的自适应策略（基于AM的协方差更新）相对传统。

张力¶

未见明显对立引用。所有被引工作基本一致认为：自适应MCMC需要遍历性证明，MTM能处理多模态但需调参。本文的贡献是填补两者之间的空白，而非挑战已有结论。

二、最核心、最简单的例子/数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
\( \pi(x) \)：目标分布（target distribution），定义在状态空间 \( \mathcal{X} \subseteq \mathbb{R}^d \) 上。我们想从中采样，但只能计算其未归一化的密度（即 \( \pi(x) \propto \exp(-U(x)) \)，其中 \( U(x) \) 是势能函数）。
\( X_t \)：第 \( t \) 步的马尔可夫链状态。
\( K_t(x, \cdot) \)：第 \( t \) 步的提议分布（proposal distribution），由自适应参数 \( \theta_t \) 控制。在本文中，\( \theta_t \) 包含提议协方差矩阵 \( \Sigma_t \) 和提议个数 \( m_t \)。
\( m_t \)：第 \( t \) 步生成的候选点个数（正整数）。
\( Y_{t,1}, \dots, Y_{t,m_t} \)：第 \( t \) 步从提议分布 \( K_t(X_t, \cdot) \) 中生成的 \( m_t \) 个候选点。
\( w(x, y) \)：权重函数（weight function），用于计算接受概率。标准选择是 \( w(x, y) = \pi(y) K_t(y, x) \)（即目标密度乘以反向提议密度）。
\( \alpha_t \)：第 \( t \) 步的接受概率，由候选点的权重决定。
\( \theta_t = (\Sigma_t, m_t) \)：自适应参数，在每一步后根据历史样本更新。
\( \mathcal{F}_t \)：到第 \( t \) 步为止的 \( \sigma \)-代数（即历史信息）。
模型：
数据生成机制：我们有一个未归一化的目标密度 \( \pi(x) \)，可以计算其值（但无法直接采样）。我们想通过MCMC构造一个马尔可夫链，其平稳分布为 \( \pi(x) \)。
已知：\( \pi(x) \) 的表达式（可计算），但归一化常数未知。
要估的对象：链的样本 \( \{X_t\} \) 用于近似 \( \pi(x) \) 下的期望（如后验均值）。
可观测数据：
可观测：每一步的当前状态 \( X_t \)、生成的候选点 \( Y_{t,i} \)、接受/拒绝决策、以及自适应参数 \( \theta_t \) 的更新历史。这些都是算法运行中直接可得的。
不可观测/潜在：目标分布 \( \pi(x) \) 的真实形状（如多模态的位置和宽度）是未知的，只能通过样本推断。此外，最优提议分布（如最优协方差）也是未知的，这正是自适应要解决的问题。

第二步：讲最小内核¶

最简特例：考虑一维目标分布 \( \pi(x) \) 是两个高斯分布的混合（双模态），且我们使用固定提议个数 \( m=2 \)（每次生成2个候选点），只自适应调整提议协方差 \( \sigma_t^2 \)（一维方差）。这是本文一般设定的一个特例，但已能体现核心思路。

设定：
状态空间 \( \mathcal{X} = \mathbb{R} \)。
目标分布：\( \pi(x) = 0.5 \cdot \mathcal{N}(-3, 1) + 0.5 \cdot \mathcal{N}(3, 1) \)。两个模式相距6个单位，标准随机游走Metropolis（RW-M）容易卡在一个模式里。
提议分布：\( K_t(x, \cdot) = \mathcal{N}(x, \sigma_t^2) \)，即以当前状态 \( x \) 为中心、方差 \( \sigma_t^2 \) 的正态分布。
自适应规则：每 \( T \) 步（如 \( T=50 \)）更新一次 \( \sigma_t^2 \)，使其等于历史样本的经验方差（即 \( \sigma_t^2 = \text{Var}(\{X_1, \dots, X_t\}) \)）。这是Haario et al. (2001) AM算法的标准做法。
提议个数固定为 \( m=2 \)。
算法步骤（第 \( t \) 步）：
从 \( K_t(X_t, \cdot) \) 生成2个候选点：\( Y_{t,1}, Y_{t,2} \sim \mathcal{N}(X_t, \sigma_t^2) \)。
计算每个候选点的权重：\( w_{t,i} = \pi(Y_{t,i}) \cdot K_t(Y_{t,i}, X_t) = \pi(Y_{t,i}) \cdot \mathcal{N}(X_t; Y_{t,i}, \sigma_t^2) \)（注意反向提议密度）。
从候选点中按权重比例采样一个：\( Y_t = Y_{t,i} \) 的概率为 \( w_{t,i} / (w_{t,1} + w_{t,2}) \)。
计算接受概率：\( \alpha_t = \min\left(1, \frac{w_{t,1} + w_{t,2}}{m \cdot \pi(X_t)}\right) = \min\left(1, \frac{w_{t,1} + w_{t,2}}{2 \cdot \pi(X_t)}\right) \)。
以概率 \( \alpha_t \) 接受 \( Y_t \)（即 \( X_{t+1} = Y_t \)），否则拒绝（\( X_{t+1} = X_t \)）。
每 \( T \) 步更新 \( \sigma_t^2 \) 为历史样本的经验方差。
为什么这个特例能体现核心思路？
多尝试的作用：当链卡在一个模式（如左模式）时，单提议RW-M很难跳到右模式（因为需要跨越低密度区域）。但多尝试（\( m=2 \)）增加了生成一个靠近右模式的候选点的概率，且权重函数会倾向于选择权重高的候选点（即右模式附近的点），从而提升跨模式跳跃的概率。
自适应的作用：初始 \( \sigma_t^2 \) 可能太小（链探索慢）或太大（接受率低）。通过自适应调整 \( \sigma_t^2 \) 为历史样本方差，链能自动找到与目标分布尺度匹配的提议方差。例如，如果链在两个模式间跳跃，历史方差会变大，从而增大提议方差，进一步促进探索。
遍历性证明的难点：自适应破坏了马尔可夫性（因为 \( \sigma_t^2 \) 依赖历史），但Roberts & Rosenthal (2007) 的条件要求：①链的“同时均匀遍历性”（即对任何自适应参数，链的混合速度有统一下界）；②自适应参数的变化“有界收敛”（即 \( \sigma_t^2 \) 几乎必然收敛到某个极限）。在本文中，作者通过限制自适应规则（如使用“有界”更新，防止 \( \sigma_t^2 \) 发散）来满足这些条件。
这个特例下要证的命题：链 \( \{X_t\} \) 的分布收敛到 \( \pi(x) \)，且对任何有界可测函数 \( f \)，有 \( \frac{1}{T} \sum_{t=1}^T f(X_t) \to \int f(x) \pi(x) dx \) 几乎必然成立。证明的关键是验证Roberts & Rosenthal (2007) 的条件，而本文的一般证明正是这个特例的推广（从 \( m=2 \) 到任意 \( m_t \)，从一维到 \( d \) 维，从固定 \( m \) 到自适应 \( m_t \)）。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：提出一种自适应多尝试Metropolis（AMTM） 算法，同时自适应调整提议分布的协方差矩阵和提议个数，以处理多模态等复杂目标分布。
核心工具/方法：将Roberts & Rosenthal (2007) 的自适应MCMC遍历性理论扩展到多尝试设定，设计了一种基于历史样本协方差和接受率的自适应规则，并证明了链的遍历性。
主要结论：在癌症细胞杂合性缺失（LOH）的贝叶斯模型中，AMTM在有效样本量（ESS）和计算效率上优于传统自适应MCMC（AM）、非自适应MTM、以及HMC和SMC等更复杂的方法。

关键设定与假设¶

在第二节最小记号的基础上，补全完整设定：

状态空间：\( \mathcal{X} \subseteq \mathbb{R}^d \)，假设为紧集（compact）或至少是“有界”的（通过截断或变换实现）。这是遍历性证明的技术需要（确保链的“同时均匀遍历性”）。
目标分布：\( \pi(x) \) 是绝对连续的，密度函数 \( \pi(x) \) 可计算，且满足正则条件（如 \( \pi(x) > 0 \) 对所有 \( x \in \mathcal{X} \)，且 \( \pi(x) \) 有界远离0和无穷）。这保证链不会陷入零测集。
提议分布：\( K_\theta(x, \cdot) \) 是一族以 \( x \) 为中心、由参数 \( \theta = (\Sigma, m) \) 控制的分布。具体地：
协方差矩阵 \( \Sigma \)：正定矩阵，控制提议的尺度与方向。
提议个数 \( m \)：正整数，每次生成的候选点数。
提议分布的形式：\( K_\theta(x, \cdot) = \mathcal{N}(x, \Sigma) \)（多元正态），但也可推广到其他分布（如t分布）。
自适应规则：
协方差更新：每 \( T \) 步（如 \( T=50 \)），将 \( \Sigma_t \) 更新为历史样本的经验协方差加上一个小的正则化项（\( \epsilon I \)），以防止退化。这是Haario et al. (2001) 的标准做法。
提议个数更新：每 \( T \) 步，根据历史接受率 \( \hat{\alpha}_t \) 调整 \( m_t \)：如果接受率过高（>0.5），增加 \( m_t \)（以增加探索）；如果接受率过低（<0.2），减少 \( m_t \)（以减少计算成本）。具体规则为 \( m_{t+1} = \max(1, \min(m_{\max}, m_t + \text{sign}(0.35 - \hat{\alpha}_t))) \)，其中 \( m_{\max} \) 是预设的上限。
假设（相比已有文献的放宽或强化）：
放宽：相比非自适应MTM（Liu 2000），本文允许提议分布随时间变化，因此无需手动调参。
强化：相比Foss et al. (2019) 的自适应MTM，本文给出了完整的遍历性证明，且自适应规则同时覆盖协方差和提议个数。
限制：状态空间需为紧集（或通过变换实现），这比标准自适应MCMC（Roberts & Rosenthal 2007）的“有界性”假设更强。作者在附录中讨论了如何通过截断或变换满足这一条件。

主要结果¶

本文为理论型论文（有定理证明），同时包含模拟和真实数据应用。

定理1（遍历性）：在假设1-4下（紧状态空间、目标分布正则、提议分布光滑、自适应规则有界），AMTM链 \( \{X_t\} \) 的分布收敛到目标分布 \( \pi(x) \)，且对任何有界可测函数 \( f \)，有 \( \frac{1}{T} \sum_{t=1}^T f(X_t) \to \int f(x) \pi(x) dx \) 几乎必然成立。
直觉：证明沿用Roberts & Rosenthal (2007) 的框架：①证明对任何固定参数 \( \theta \)，非自适应MTM链是“同时均匀遍历的”（即混合速度有与 \( \theta \) 无关的下界）；②证明自适应参数 \( \theta_t \) 几乎必然收敛到某个极限（通过鞅收敛定理）；③结合两者得到自适应链的遍历性。
必要条件：状态空间紧致（或通过变换实现）、自适应规则有界（如 \( \Sigma_t \) 的特征值有上下界，\( m_t \) 有上限）。
解决的技术难点：多尝试设定下，链的“同时均匀遍历性”更难证明，因为接受概率依赖于多个候选点，且提议分布的变化会影响候选点的分布。作者通过引入“辅助变量”技巧（将多尝试视为一个扩展状态空间上的单提议Metropolis-Hastings）来简化分析。
定理2（最优提议个数）：在目标分布为多元正态的假设下，AMTM的渐近方差（以有效样本量衡量）在提议个数 \( m \) 满足 \( m \propto d \)（维度）时达到最小。
直觉：这是对Liu et al. (2000) 中“最优提议个数”结果的推广。Liu et al. 指出，在独立提议下，最优 \( m \) 约为 \( \exp(1) \approx 2.7 \)；但本文在随机游走提议下发现，最优 \( m \) 随维度线性增长。
必要条件：目标分布为多元正态（或近似正态）。对非正态分布，该结果仅作为启发式指导。
解决的技术难点：推导渐近方差表达式时，需要计算多尝试接受概率的期望，这涉及高维积分。作者通过Laplace近似和正态假设来简化。
定理3（自适应规则的一致性）：在正则条件下，自适应更新的协方差矩阵 \( \Sigma_t \) 几乎必然收敛到目标分布 \( \pi(x) \) 的协方差矩阵（如果存在）。
直觉：这是Haario et al. (2001) 结果的直接推广，因为协方差更新规则相同。
必要条件：目标分布的二阶矩存在。

证明路线与技术技巧¶

整体路线（以定理1的遍历性证明为例）：

步骤1：扩展状态空间。将多尝试MTM视为一个在扩展状态空间 \( \mathcal{X} \times \mathcal{X}^m \) 上的单提议Metropolis-Hastings：状态为 \( (X_t, Y_{t,1}, \dots, Y_{t,m}) \)，其中 \( Y_{t,i} \) 是候选点。这样，多尝试的接受概率可以写为标准MH接受概率，从而利用标准理论。
步骤2：证明非自适应MTM的“同时均匀遍历性”。对任何固定参数 \( \theta = (\Sigma, m) \)，证明链的混合速度（以总变差距离衡量）有与 \( \theta \) 无关的下界。这需要：
证明链是“不可约且非周期”的（由提议分布的光滑性和目标分布的正则性保证）。
证明链满足“小集条件”（small set condition），即存在一个集 \( C \) 和一个概率测度 \( \nu \)，使得从 \( C \) 出发的链一步内以概率 \( \epsilon > 0 \) 进入 \( \nu \)。作者利用状态空间的紧致性来构造 \( C \)（如整个空间 \( \mathcal{X} \) 本身就是一个小集）。
步骤3：证明自适应参数 \( \theta_t \) 的收敛性。通过鞅收敛定理，证明 \( \Sigma_t \) 和 \( m_t \) 几乎必然收敛到某个极限。这需要自适应规则是“有界且单调”的（如 \( m_t \) 的更新规则是“有界随机游走”，最终会收敛到某个值）。
步骤4：应用Roberts & Rosenthal (2007) 的定理。结合步骤2和3，得到自适应链的遍历性。

关键跳跃点： - 最吃功夫的引理：引理3（非自适应MTM的“同时均匀遍历性”）。难点在于：当 \( m \) 很大时，候选点数量增加，但链的混合速度可能变慢（因为接受概率降低）。作者通过证明接受概率的下界（与 \( m \) 无关）来绕过这一困难。 - 作者用什么办法绕过去：利用“辅助变量”技巧，将多尝试的接受概率写为 \( \alpha = \min(1, \frac{\sum_{i=1}^m w_i}{m \cdot \pi(x)}) \)，并证明 \( \sum_{i=1}^m w_i \geq m \cdot \pi(x) \cdot c \) 对某个常数 \( c > 0 \) 成立（由提议分布的光滑性和目标分布的正则性保证）。这样，接受概率的下界为 \( c \)，与 \( m \) 无关。

技术技巧点名： - 辅助变量/扩展状态空间：将多尝试MTM转化为标准MH，用于简化接受概率分析。 - 小集条件（small set condition）：用于证明链的几何遍历性，依赖于状态空间的紧致性。 - 鞅收敛定理：用于证明自适应参数 \( \theta_t \) 的收敛性。 - Laplace近似：用于推导定理2中渐近方差的表达式（在正态假设下）。

真实例子与应用¶

数据/场景：癌症细胞杂合性缺失（Loss of Heterozygosity, LOH）的贝叶斯模型。数据来自一项真实的癌症基因组研究，包含多个基因位点的等位基因频率。模型是一个混合模型，用于推断每个位点是否发生LOH，后验分布具有多模态性（因为LOH状态是离散的，且不同位点之间相关）。

如何应用： - 目标分布 \( \pi(x) \) 是LOH模型的后验分布，参数空间维度 \( d = 20 \)（20个基因位点）。 - AMTM算法运行50000步，初始提议协方差为单位矩阵，初始提议个数 \( m=2 \)。自适应规则每50步更新一次。 - 对比方法：①传统自适应MCMC（AM，仅自适应协方差）；②非自适应MTM（固定 \( m=2 \)，固定协方差为单位矩阵）；③HMC（使用Stan的默认设置）；④SMC（使用5000个粒子）。

结果： - 有效样本量（ESS）：AMTM的ESS比AM高约3倍（对后验均值估计），比非自适应MTM高约2倍，比HMC高约1.5倍，比SMC高约4倍。 - 计算效率（ESS/秒）：AMTM的计算效率（考虑每次迭代生成多个候选点的成本）仍优于所有对比方法，因为其更高的ESS抵消了额外的计算成本。 - 自适应行为：在运行过程中，提议个数 \( m_t \) 从初始的2逐渐增加到约8（因为接受率稳定在0.3-0.4之间），协方差矩阵也收敛到后验协方差的近似。

这个例子想说明什么： - 验证理论：证明AMTM在真实多模态问题中确实优于传统方法。 - 展示相对baseline的优势：AMTM在ESS和计算效率上均优于AM（说明多尝试机制有效）、非自适应MTM（说明自适应有效）、以及更复杂的HMC和SMC（说明AMTM在中等维度问题中具有竞争力）。 - 局限性：作者指出，当维度 \( d \) 很高（如 \( d > 100 \)）时，AMTM可能不如HMC，因为多尝试的计算成本随 \( m \) 线性增长，而HMC的梯度信息在高维中更高效。

🔎 结论是否比证明窄¶

定理2（最优提议个数） 的结论是“在多元正态假设下，最优 \( m \propto d \)”。但作者在正文中将其泛化为“AMTM在一般目标分布下也倾向于选择较大的 \( m \)”。这是泛化claim：证明仅对正态分布成立，但作者未提供非正态下的理论支持。读者应谨慎对待这一推广。
定理1（遍历性） 的证明依赖于状态空间紧致的假设。作者在附录中讨论了如何通过截断或变换实现，但未证明截断后的链仍收敛到原始目标分布。这是一个窄结论：如果目标分布是无界的（如厚尾分布），截断可能引入偏差。

四、开放问题（点到为止，扎根具体语句）¶

非紧状态空间下的遍历性证明：定理1的证明依赖于状态空间紧致（或通过变换实现）。作者在附录中写道：“如果状态空间非紧，可以通过截断或变换使其紧致，但截断可能引入偏差。” 这是一个开放问题：能否在非紧空间下直接证明AMTM的遍历性，而不依赖截断？这需要更精细的“漂移条件”（drift condition）分析。
最优提议个数的非正态推广：定理2的结论（最优 \( m \propto d \)）仅在多元正态目标下成立。作者在讨论中写道：“对非正态目标，最优 \( m \) 可能不同，但我们的模拟表明线性增长趋势仍然成立。” 这是一个未证明的猜想：能否在更一般的分布族（如指数族、混合分布）下推导最优 \( m \) 的表达式？
高维下的计算-效率权衡：作者在结论中写道：“当维度 \( d > 100 \) 时，AMTM可能不如HMC，因为多尝试的计算成本随 \( m \) 线性增长。” 这是一个未量化的观察：能否给出AMTM与HMC在计算复杂度上的精确比较（如达到给定ESS所需的时间）？这需要分析AMTM的“计算-统计权衡”。
自适应规则的理论最优性：本文的自适应规则（基于经验协方差和接受率）是启发式的。作者在讨论中写道：“更复杂的自适应规则（如基于梯度或曲率信息）可能进一步提升效率，但会破坏遍历性证明。” 这是一个开放的设计问题：能否设计一种自适应规则，在保证遍历性的同时，渐近地达到最优提议分布（如使链的渐近方差最小）？这需要结合半参数效率理论（如“最优提议分布”的刻画）。

Maintained by 陈星宇 · Homepage · Source on GitHub