Constraint residuals, graph posteriors, and determinant-corrected full-space targets in Bayesian inverse problems¶
作者: Jonathon Cottom, Emilia Olsson
主题: 非参数 / 半参数
相关性: 8/10
链接: https://arxiv.org/abs/2606.09594
一、领域脉络与小综述¶
这个方向是什么： 这个子方向处理的是带状态方程约束（如 PDE 约束）的贝叶斯逆问题。根本的统计与计算问题在于：当参数 \(\theta\) 的似然函数隐式地依赖于状态变量 \(u\)（需解 \(c(\theta, u)=0\) 才能得到 \(u\)）时，如何在避免每次迭代都精确求解 PDE 的前提下，正确地定义并采样参数的后验分布。当前该方向的成熟度表现为：确定性全空间优化算法已高度成熟，但贝叶斯全空间采样中的测度定义与校准问题仍存在被广泛忽视的混淆。
发展脉络： - 奠基工作：Stuart (2010) [5] 与 Kaipio & Somersalo (2005) [4] 建立了降维贝叶斯逆问题的框架，即先解状态方程 \(u=G(\theta)\)，再在参数空间采样 \(\pi_{red}(\theta|y)\)。此路线概念清晰，但留下计算瓶颈：每次似然评估需完整 PDE 求解，且高度病态时采样困难（Bui-Thanh et al. 2013 [8], Cui et al. 2014 [12]）。 - 主要进展（全空间/分裂方法）：为克服降维采样瓶颈，Haber & Ascher (2001) [14] 等引入全空间优化（all-at-once），将 \(u\) 作为变量并放松约束。近年此思路被移植到贝叶斯计算：Vono et al. (2022) [35] 发展了 ADMM 分裂 MCMC；Siahkoohi et al. (2026) [38, 39] 提出了双增广拉格朗日 SVGD。这些工作将残差惩罚作为采样目标的一部分，但未严格审查惩罚极限对应的测度究竟是什么。 - 主要进展（流形/几何 MCMC）：另一条路线直接在约束流形 \(\Gamma=\{c=0\}\) 上采样。Byrne & Girolami (2013) [28], Zappa et al. (2018) [29], Graham et al. (2022) [31] 发展了流形 MCMC。这些方法天然触及了流形上的面测度与坐标体积问题，但通常将残差驱零与后验校准混为一谈。 - 当前 frontier 与本文位置：本文定位在“目标测度的澄清”。作者指出，前述全空间惩罚方法与流形方法在定义目标测度时，混淆了“降维后验的图提升”与“零噪声残差后验”。本文通过严格的有限维惩罚极限定理，将两者的差异精确量化为状态 Jacobian 行列式因子 \(|\det D_u c|^{-1}\)，并给出了校正形式。
子线索聚类： 1. 降维贝叶斯反演：[4, 5, 6, 7, 8, 9, 10, 11, 12, 13]。在参数空间操作，似然中隐含 PDE 解。瓶颈在于计算代价与病态条件数。 2. 全空间/分裂贝叶斯采样：[14, 15, 16, 17, 18, 32, 33, 34, 35, 36, 37, 38, 39]。将 \((\theta, u)\) 联合采样，用增广拉格朗日/ADMM/粒子变分放松约束。重点在算法设计，默认残差惩罚极限即降维后验。 3. 流形与几何 MCMC：[19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31]。在约束流形上用 Hamiltonian dynamics 采样。触及了面测度，但未显式分离“可行性”与“后验校准”。
这个方向在追问的核心问题： 1. 如何避免降维空间中每次迭代求解 PDE 的计算代价？（当前主流：全空间惩罚/分裂，瓶颈：惩罚极限的测度身份不明）。 2. 在流形 \(\Gamma\) 上定义后验时，参考测度（面测度 vs 坐标体积）应如何选取？（当前主流：coarea formula 给出的残差噪声测度，瓶颈：这与降维后验的图提升测度不同）。 3. 代数等价的约束（如 \(c=0\) 与 \(A(\theta)c=0\)）在优化中等价，在贝叶斯后验中是否等价？（本文回答：不等价，残差缩放改变了残差管体积）。
⚠️ 作者的 framing： - 作者将缺口 frame 为：现有全空间方法只关心“将残差驱零”（可行性），却忽视了“驱零后极限测度是什么”（后验校准）。这使得本文的行列式校正成为“任何全空间贝叶斯采样前的必做步骤”。 - 被淡化或回避的竞争路线：作者将流形 MCMC [28, 29, 31] 和 ADMM MCMC [35] 降格为“提议机制”，声称它们不决定后验测度。但流形 MCMC 实际上直接在 \(\Gamma\) 上操作，其 Metropolis 校正步本身就针对特定的面测度密度（如 Zappa et al. [29] 明确使用了 coarea factor），作者在 Sec 4.2 承认了这一点，但在 Intro 中将其与残差惩罚混为一谈，略显不公。 - 明显该被引却缺失的：无限维测度论中关于 Radon-Nikodym 导数与约束条件化的严格处理（如 Beskos et al. [21, 22] 讨论的函数空间参考测度），以及统计物理中关于硬约束与软约束极限等价性的经典讨论（如 Fixman [44] 被引了，但更近代的统计力学文献未出现）。这值得研究者去查：无限维情形下，\(|\det D_u c|\) 的发散/消失问题是否已有函数空间测度论的标准处理？
张力： 未见明显对立引用。但存在一个隐含的概念张力：确定性优化文献 [14, 16, 17] 声称残差缩放 \(A(\theta)c\) 不改变可行集故可随意使用；而本文定理 1 证明在贝叶斯采样中，这种缩放改变了极限后验的密度权重。这是优化等价性与测度等价性之间的张力。
二、最核心、最简单的例子 / 数学问题¶
第一步：符号、模型、可观测数据交代 - \(\theta \in \Theta \subset \mathbb{R}^p\)：未知参数（如 PDE 中的扩散系数）。 - \(u \in U \subset \mathbb{R}^q\)：状态变量（如 PDE 的解场离散化向量）。 - \(y\)：观测数据。 - \(c(\theta, u) = 0\)：状态方程（离散化后的 PDE 约束），\(c: \Theta \times U \to \mathbb{R}^q\)。 - \(G(\theta)\)：状态方程的唯一解（隐函数定理保证），即 \(c(\theta, G(\theta)) = 0\)。 - \(D_u c(\theta, u)\)：状态方程对状态变量的 Jacobian 矩阵（\(q \times q\)），假设非奇异。 - \(r(\theta, u) = \pi_0(\theta) L(y|\theta, u)\)：基础密度（先验 \(\pi_0\) 与似然 \(L\) 的乘积，关于 Lebesgue 测度 \(d\theta du\)）。 - \(\rho > 0\)：残差惩罚系数（精度参数），控制残差趋零的速度。 - 可观测数据：\(y\)。不可观测/潜在量：\(u\)（由 \(\theta\) 决定，但在全空间方法中被当作独立变量采样，最后需满足 \(c=0\)）。
第二步：最小内核 论文的核心数学发现可以通过一个标量非线性状态方程（Sec 5 的解析例子）一看就懂。
最简特例：设 \(p=1, q=1\)。参数 \(\theta \sim N(0,1)\)，观测 \(y|u \sim N(u, \sigma_y^2)\)，状态方程为 \(u = \theta^2\)。 - 降维后验：将 \(u=G(\theta)=\theta^2\) 代入似然，得 \(\pi_{red}(\theta|y) \propto \exp(-\theta^2/2) \exp(-(y-\theta^2)^2 / (2\sigma_y^2))\)。 - 全空间惩罚：引入残差 \(c(\theta, u) = u - \theta^2\)，定义 naive 惩罚后验 \(\pi_\rho(\theta, u) \propto r(\theta, u) \exp(-\frac{\rho}{2}(u-\theta^2)^2)\)。 当 \(\rho \to \infty\)，残差管变窄，\((\theta, u)\) 被压到可行图 \(u=\theta^2\) 上。 - 核心发现：对 \(u\) 积分时，做变量替换 \(v = u - \theta^2\)，则 \(du = dv\)（因为 \(D_u c = 1\)）。极限积分留下 \(\pi_{red}(\theta|y)\)。此时 naive 极限恰好等于降维后验，因为 \(|D_u c| = 1\)。
- 残差缩放揭示问题：定义代数等价残差 \(c_a(\theta, u) = a(\theta)(u-\theta^2)\)，其中 \(a(\theta) = \exp(\theta)\)。 可行集 \(\{c_a=0\} = \{u=\theta^2\}\) 未变。 但此时 \(D_u c_a = a(\theta) = \exp(\theta)\)。 Naive 惩罚后验 \(\pi_\rho^a(\theta, u) \propto r(\theta, u) \exp(-\frac{\rho}{2} \exp(2\theta)(u-\theta^2)^2)\)。 做变量替换 \(v = c_a(\theta, u)\)，则 \(du = |D_u c_a|^{-1} dv = \exp(-\theta) dv\)。 当 \(\rho \to \infty\)，对 \(v\) 的 Gaussian 积分完成后，极限 \(\theta\)-边际密度正比于： \(r(\theta, G(\theta)) \times |D_u c_a(\theta, G(\theta))|^{-1} = \pi_{red}(\theta|y) \times \exp(-\theta)\)。
最小内核总结：在残差坐标下做 Laplace 极限，状态空间到残差空间的测度变换引入了 Jacobian 逆 \(|D_u c|^{-1}\)。代数等价的残差定义了相同的可行图，但定义了不同体积的残差管，因此极限后验不同。要恢复降维后验，必须在惩罚密度中乘以 \(|D_u c|\) 以抵消测度变换。
三、这篇论文做了什么¶
三句话： ① 研究了带等式约束的贝叶斯逆问题中，全空间残差惩罚后验在硬约束极限下的测度身份问题。 ② 核心工具是局部变量替换与控制收敛定理，将残差管上的积分转化为残差坐标下的 Gaussian 积分。 ③ 主要结论是：naive 惩罚极限收敛到零噪声残差后验（带 \(|\det D_u c|^{-1}\) 权重），而非图提升降维后验；必须引入行列式校正 \(|\det D_u c|\) 才能恢复降维后验。
关键设定与假设： 在最小记号基础上补全： - Assumption 1 (Well-posed state equation)：\(c(\theta, u)=0\) 有唯一解 \(G(\theta)\)，且 \(D_u c\) 非奇异。统计含义：状态方程是正则的，隐函数定理成立，可行集 \(\Gamma\) 是光滑子流形。相比已有文献，这排除了多解分支（如相变模型）与奇异 Jacobian（如退化 PDE）。 - Assumption 2 (Uniform residual coordinates and dominated tails)： 1. 局部残差坐标：\(u \mapsto c(\theta, u)\) 在 \(G(\theta)\) 附近是 \(C^1\)-diffeomorphism（保证局部可逆）。 2. 逆坐标正则性：\(r\) 与 \(J_u\) 在 \(v \to 0\) 时连续。 3. 管外质量可略：\(\rho^{q/2} \int_{U \setminus N_\theta} r \exp(-\rho \|c\|^2/2) du \to 0\)（保证极限只在管上发生）。 4. 控制收敛：存在 \(L^1\) 控制函数 \(H_{res}, H_{graph}\)。 5. 极限归一化常数非零有限。 统计含义：这组假设将非正式的“Laplace 近似”或“coarea formula”严格化为有限维极限定理。相比优化文献中随意缩放残差的做法，这里明确要求残差坐标的局部体积效应必须被控制。
主要结果： - Theorem 1 (Penalty limit)： - 陈述：Naive 惩罚后验 \(\pi_\rho(\theta, u) \propto r(\theta, u) \exp(-\frac{\rho}{2}\|c\|^2)\) 的 \(\theta\)-边际 \(\mu_\theta^\rho\) 弱收敛到 \(\pi_\theta^{res}(\theta) \propto r(\theta, G(\theta)) |D_u c|^{-1}\)。行列式校正后验 \(\hat{\pi}_\rho(\theta, u) \propto r(\theta, u) |D_u c| \exp(-\frac{\rho}{2}\|c\|^2)\) 的 \(\theta\)-边际 \(\hat{\mu}_\theta^\rho\) 弱收敛到降维后验 \(\pi_{red}(\theta|y) \propto r(\theta, G(\theta))\)。 - 直觉：残差惩罚在残差空间 \(v=c(\theta, u)\) 中定义了一个 Gaussian 管。将管积分投影回参数空间时，必须经过测度变换 \(du = |D_u c|^{-1} dv\)。Naive 惩罚未抵消此变换，故极限带 \(|D_u c|^{-1}\)；校正惩罚乘以 \(|D_u c|\)，恰好抵消变换，恢复降维后验。 - 必要条件：Assumption 1 与 2 全部需要。特别是 \(D_u c\) 非奇异，否则行列式无定义。 - 解决的技术难点：将非参数/无限维中常被随意使用的“coarea formula”或“条件化”操作，在有限维框架下用严格的控制收敛定理给出极限，避免了“指数级小质量可忽略”的模糊说法。 - Corollary 1 (Equivalent residuals)：残差缩放 \(c_a = a(\theta)c\) 改变 naive 极限（引入 \(a(\theta)^{-q}\)），但不改变校正极限。证明：\(|D_u c_a| = a(\theta)^q |D_u c|\)，校正时两者相消。 - Corollary 2 (Weighted residual)：加权残差 \(c^T R(\theta) c\) 的 naive 极限引入 \(\det(R)^{-1/2} |D_u c|^{-1}\)，校正需加 \(\frac{1}{2} \log \det R + \log |D_u c|\)。
证明路线与技术技巧： - 整体路线（以 Theorem 1 校正部分为例）： 1. 拆分积分：将全空间积分拆为“残差管内” \(N_\theta\) 与“管外” \(U \setminus N_\theta\)。 2. 管外消失：用 Assumption 2.3 证明 \(\rho^{q/2} \times\) 管外积分 \(\to 0\)。 3. 管内换元：在管内做变量替换 \(v = c(\theta, u)\)，则 \(u = \psi_\theta(v)\)，\(du = J_u(\theta, \psi_\theta(v))^{-1} dv\)。 4. 缩放与 Gaussian 化：令 \(z = \sqrt{\rho} v\)，将积分化为 \(\int h(\theta) r(\theta, \psi_\theta(z/\sqrt{\rho})) J_u(\dots)^{-1} \exp(-\|z\|^2/2) dz d\theta\)。 5. 控制收敛取极限：用 Assumption 2.4 的 \(H_{res}\) 或 \(H_{graph}\) 控制积分，令 \(\rho \to \infty\)，\(\psi_\theta(z/\sqrt{\rho}) \to G(\theta)\)，积分核收敛到 \(h(\theta) r(\theta, G(\theta)) J_u(\theta, G(\theta))^{-1} \exp(-\|z\|^2/2)\)（naive）或 \(h(\theta) r(\theta, G(\theta)) \exp(-\|z\|^2/2)\)（校正，因 \(J_u \times J_u^{-1} = 1\)）。 6. 归一化：对 \(z\) 积分得 \((2\pi)^{q/2}\)，对 \(\theta\) 积分得 \(Z_{res}\) 或 \(Z_{red}\)，完成弱收敛证明。 - 关键跳跃点：从“管内换元”到“缩放与 Gaussian 化”（步骤 3 到 4）。难点在于：\(\rho \to \infty\) 时，管 \(\delta\) 变窄，但换元后的积分域 \(\|z\| < \delta \sqrt{\rho}\) 却扩张到全空间 \(\mathbb{R}^q\)。必须构造不依赖于 \(\rho\) 的 \(L^1\) 控制函数 \(H_{res}, H_{graph}\) 才能合法取极限。作者通过 Assumption 2.4 显式构造了这些控制函数。 - 技术技巧点名： - Local diffeomorphism / Implicit function theorem：用于建立残差坐标 \(v\) 与状态坐标 \(u\) 的局部同胚（Assumption 2.1），这是换元 \(du = J_u^{-1} dv\) 的合法性基础。 - Dominated convergence theorem：用于处理 \(\rho \to \infty\) 时积分域扩张与核函数收敛的交换极限问题（Assumption 2.4）。 - Coarea formula / Surface measure disintegration：用于在 Sec 2 中定义图提升后验 \(\pi_\Gamma\) 与残差后验 \(\pi_{res}\) 的面测度密度差异（Eq 15 vs Eq 17），差异因子为 \(|D_u c|\)。
真实例子与应用：
- 用的什么数据/场景：1D 椭圆系数逆问题（Sec 6）。未知标量参数 \(\theta\) 控制对数传导率场 \(m_\theta(x)\)，状态 \(u(x)\) 满足 \(-\frac{d}{dx}(\exp(m_\theta) \frac{du}{dx}) = f\)，观测 \(y = Hu + \eta\)。
- 怎么把本文方法用上去：离散化后状态方程为线性 \(c(\theta, u) = A(\theta)u - f = 0\)。此时 \(D_u c = A(\theta)\)，行列式校正项为 \(|\det A(\theta)|\)。在验证尺度上，用 1001 点网格计算降维后验、naive 全空间惩罚边际、校正全空间惩罚边际。
- 得到什么结果：Table 1 显示，校正全空间边际的均值/分位数与降维参考精确匹配（误差在网格精度内），而 naive 全空间边际因缺失 \(|\det A(\theta)|^{-1}\) 因子，均值从 -0.227 偏移到 -0.329，95% 分位数从 0.010 偏移到 -0.106。
- 这个例子想说明什么：验证 Theorem 1 的理论预测。证明即使对于最简单的线性 PDE 约束，naive 惩罚极限也会产生可测量的后验偏移，而行列式校正能精确恢复降维后验。同时展示了 detcorr 软件包的残差缩放审计功能（Table 2：校正后对数密度差在机器精度 \(10^{-16}\)，未校正差在 \(10^{-1}\)）。
🔎 结论是否比证明窄： - Theorem 1 的陈述严格限于有限维离散化。作者在 Sec 7 明确声明："Theorem 1 should not be read as a complete infinite-dimensional result." 但在 Sec 4 的算法模板中，作者将此校正应用于 PDE 约束的 MCMC/SMCV 提议，这些提议往往在函数空间视角下设计。这是一个条件 X（有限维）下证明，却在更宽泛语境（函数空间反演）中 claim 适用性的地方，研究者需注意：网格细化时 \(|\det A(m)|\) 可能发散或依赖网格，此时校正项的极限行为未在本文定理中证明。
四、开放问题（点到为止）¶
- 无限维测度论下的行列式校正：网格细化时 \(|\det D_u c|\) 的行为（发散、消失、需重整化）。扎根点：Sec 7 "In a mesh-refined PDE inverse problem, determinants such as det A(m) may diverge, vanish, or require renormalisation... Theorem 1 should not be read as a complete infinite-dimensional result."
- 多解分支（相变/非唯一状态）下的后验定义：当 \(c(\theta, u)=0\) 有多个解 \(G_j(\theta)\) 时，naive 极限对分支求和带 \(|D_u c|^{-1}\) 权重，校正极限对分支求和不带权重。究竟哪个模型合理？扎根点：Appendix C "Which of these is appropriate depends on the intended model over branches."
- 行列式计算的计算-统计权衡：对大规模 PDE，精确计算 \(|\det D_u c|\) 代价极高。用随机迹估计或随机 Lanczos（Appendix B 提及 [67, 68, 69]）近似行列式，会引入何种后验误差？扎根点：Remark 5 "In large discretised PDEs this term may be expensive and mesh-dependent, but its possible computational cost does not make it mathematically absent." 此处存在计算代价与后验精确性的 tradeoff，尚未理论量化。
Maintained by 陈星宇 · Homepage · Source on GitHub