跳转至

JUQ — Vol 13 Issue 3 · 2026-10-17

  • 共 24 篇 · SIAM/ASA Journal on Uncertainty Quantification
  • 目录核对 ✅ 24 篇全部抓到(对照 OpenAlex 24 篇)

本期导览

自动生成:归纳本期主要主题与脉络,不打分、不排名。

本期共 24 篇论文,主题分布较为分散,但可归纳为三条主线:不确定性量化与贝叶斯计算(约 10 篇)、高维协方差/精度矩阵估计(2 篇)、非参数/半参数逼近与正则化(3 篇),其余为 PDE 反问题、优化算法与采样方法等交叉方向。整体上,计算统计与仿真推断占据主导,理论分析多围绕收敛性、误差界与计算效率展开。

不确定性量化与贝叶斯计算是本期最突出的主线,涵盖从先验构造、推断算法到仿真元建模的完整链条。先验方面,《Building Population-Informed Priors》利用群体数据构造“群体知情先验”,在线性高斯设定下证明信息增益与 KL 散度改进;《Low-dimensional Subspace Regularization》则通过结构化张量先验刻画低维子空间信念,统一了 Hankel、circulant 等结构。推断算法上,《Statistical Finite Elements via Interacting Particle Langevin Dynamics》将交互粒子 Langevin 算法用于 PDE 反问题,实现参数与潜变量联合估计;《Sampling Parameters of ODEs with Constrained Langevin Dynamics》通过约束 Langevin 动力学避免反复前向积分,显著降低 MCMC 计算成本;《Accelerate Langevin Sampling with Birth-Death Process》引入“先看后跳”策略加速多模态采样,并给出平均场极限与指数收敛证明。仿真元建模方面,《Multilevel Monte Carlo Metamodeling》将 MLMC 与元建模结合,动态分配预算并建立渐近正态性;《Covariate-Informed Bifidelity Bias Correction》利用对数分位数密度对分布型输出进行偏差校正;《Covariance-Free Bifidelity Control Variates Importance Sampling》针对稀有事件提出免协方差的双保真度控制变量-重要性抽样估计器。此外,《Unbiased Markov Chain Quasi-Monte Carlo》将无偏 MCMC 与 MCQMC 结合,在 Gibbs 采样器上实现接近 N^{-1} 的 RMSE 速率。

高维协方差/精度矩阵估计虽仅两篇,但均具理论深度。《Precision and Cholesky Factor Estimation for Gaussian Processes》证明样本复杂度随维数多对数增长,克服条件数多项式增长的困难,分别基于格图局部回归与块 Cholesky 分解建立稀疏性界;《Sparse Inverse Cholesky Factorization of Dense Kernel Matrices》则从贪心条件选择角度构造稀疏模式,通过最大化互信息替代传统几何邻近选择,并给出 KL 散度最小化下的复杂度分析。两篇均针对大规模高斯过程计算,前者侧重理论保证,后者侧重算法设计,可对照阅读。

非参数/半参数逼近与正则化方面,《Regularization for the Approximation of Functions by Mollified Discretization Methods》刻画了离散化阶数与正则化平滑阶数的相互作用,明确给出统计平滑非最优的精确条件;《Error Bounds for a Kernel-Based Constrained Optimal Smoothing Approximation》在 RKHS 框架下建立带约束最优平滑问题的分段线性逼近误差界,允许非等距节点。两篇均涉及 bias-variance tradeoff 与计算-统计权衡,但前者更偏理论刻画,后者更偏误差量化。

与因果推断、半参数效率、高维统计最贴近的优先阅读建议:若关注高维协方差结构,读《Precision and Cholesky Factor Estimation》与《Sparse Inverse Cholesky Factorization》;若关注非参数估计的 bias-variance 权衡,读《Regularization for the Approximation of Functions》与《Error Bounds for a Kernel-Based Constrained Optimal Smoothing》;若关注贝叶斯推断中的先验选择与计算效率,读《Building Population-Informed Priors》与《Low-dimensional Subspace Regularization》。其余 PDE 反问题与优化算法论文(如《Stochastic Convergence Analysis of the Inverse Potential Problem》《Non-convergence to Global Minimizers for Adam》)与核心方向关联较弱,可按需选读。

高维统计 / 随机矩阵 (high_dim_rmt, 1 篇)

1. 10.1137/24m1717282 · arXiv — Precision and Cholesky Factor Estimation for Gaussian Processes

  • 作者: Jiaheng Chen, Daniel Sanz-Alonso
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: University of Chicago
  • 分类: vol 13 · issue 3 · pp 1085-1115
  • 相关性 7/10 · novelty: new_theory
  • 摘要: 本文研究在高斯过程观测下,大规模精度矩阵及其 Cholesky 因子的估计问题。在关于精度矩阵和观测的一般假设下,作者证明样本复杂度随矩阵维数呈多对数增长,克服了目标矩阵条件数随维数多项式增长这一关键困难。对于精度矩阵估计,理论基于格图上的局部回归技术,利用 screening effect 带来的近似稀疏性;对于 Cholesky 因子估计,则借助块 Cholesky 分解来建立稀疏分解的复杂度界。该工作为高维高斯过程的协方差结构估计提供了理论保证,并可能对大规模空间统计和不确定性量化中的计算问题有直接帮助。
  • 关键技术: screening effect, local regression on lattice graph, block-Cholesky decomposition, sample complexity analysis, sparse Cholesky factorization
  • 为什么对您有用: 本文属于高维统计与统计计算交叉方向,直接关联您的高维统计兴趣,且其利用图结构和稀疏分解的思路与您熟悉的树宽/张量收缩计算框架有潜在联系。您可以用 very_familiar 的树宽/张量收缩视角分析其块 Cholesky 分解的复杂度,或检验其样本复杂度界是否在更一般的图上成立。中期可做:需先熟悉 screening effect 的精细理论。

非参数 / 半参数 (nonparam_semipara, 2 篇)

1. 10.1137/24m1678210 — Regularization for the Approximation of Functions by Mollified Discretization Methods

  • 作者: Marc Hoffmann, Camille Pouchol
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: Institut Universitaire de France · Université Paris Dauphine-PSL · Université Paris Cité · Mathématiques Appliquées à Paris 5
  • 分类: vol 13 · issue 3 · pp 957-979
  • 相关性 6/10 · novelty: new_theory
  • 摘要: 本文研究在规则有界域上,从带噪声的节点测量值重建光滑函数时,对有限元等离散化方法进行统计正则化(如核平滑)的逼近性质。设定中,函数由网格节点上的 n 个测量值近似,测量噪声阶为 δ,离散化方法阶为 r,正则化平滑阶为 s。作者刻画了 r 与 s 的相互作用,建立了在噪声较小(δ 随 n 变化)的某些机制下,统计平滑并非最优,不进行正则化反而比统计正则化更有利的精确条件。他们定量刻画了这一现象,并证明增益可达到乘法阶 n^{r/(2s)}。数值实验在二维空间用 P1 和 P2 有限元验证了理论结果。对您而言,该文提供了非参数估计中 bias-variance tradeoff 在离散化与正则化交互下的精细刻画,与您熟悉的非参数统计和 minimax 理论直接相关。
  • 关键技术: finite element discretization, kernel smoothing, bias-variance tradeoff, regularization, approximation theory
  • 为什么对您有用: 本文属于非参数统计与逼近理论的交叉,直接关联您的 primary interest 中的 nonparametric theory 和 minimax bounds。您可以用 very_familiar 的 minimax 框架来检验其声称的增益率是否紧,或将其结果推广到更一般的函数类。中期可做:若想深入,需在 moderately_familiar 的 semiparametric theory 上加强,以处理更复杂的噪声模型。

2. 10.1137/24m1676491 — Error Bounds for a Kernel-Based Constrained Optimal Smoothing Approximation

  • 作者: Laurence Grammont, François Bachoc, Andrés F. López-Lopera
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: Lyon 1 Université · École Centrale de Lyon · Centre National de la Recherche Scientifique · Institut Camille Jordan · Université Jean Monnet · Institut National des Sciences Appliquées de Lyon · Université Toulouse III - Paul Sabatier · Institut Universitaire de France 等
  • 分类: vol 13 · issue 3 · pp 1145-1173
  • 相关性 5/10 · novelty: new_theory
  • 摘要: 本文研究带约束的最优平滑问题在 RKHS 框架下的分段线性逼近误差界。该问题可等价为与核相关的 Gaussian process 的 Bayesian 估计,因此误差界可解释为 MAP 估计精度的量化。作者首次为这类问题建立了收敛性误差界,结果依赖于网格大小、核的正则性以及逼近的核插值到约束集的距离。分析允许非等距甚至非稠密的节点,这影响了最优平滑解的定义和误差界的形式。数值实验验证了有界性和单调性等约束下的理论结果。对您而言,该工作将非参数估计的逼近误差分析与计算约束(节点选择)结合,可能对您在高维或半参数估计中的计算-统计权衡研究有参考价值。
  • 关键技术: reproducing kernel Hilbert space, constrained optimal smoothing, piecewise linear approximation, Gaussian process MAP, error bounds, MaxMod algorithm
  • 为什么对您有用: 该论文属于非参数/半参数估计理论,与您的 primary interest 中的 semiparametric and nonparametric theory 直接相关。您可以用 very_familiar 的 minimax bounds 和 inverse problems 工具来审视其误差界是否最优,或将其节点选择策略与您熟悉的计算复杂度分析(如 tensor contraction)类比。中期可做:若想深入 Bayesian 视角,需在 moderately_familiar 的 semiparametric theory 上加强。

统计计算 / 算法 (stat_computing, 15 篇)

1. 10.1137/24m1693593 — Statistical Finite Elements via Interacting Particle Langevin Dynamics

  • 作者: Alex Glyn-Davies, Connor Duffin, Ieva Kazlauskaite, Mark Girolami, Ö. Deniz Akyildiz
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: University of Cambridge · London School of Economics and Political Science · The Alan Turing Institute · Imperial College London
  • 分类: vol 13 · issue 3 · pp 1200-1227
  • 相关性 6/10 · novelty: new_method
  • 摘要: 本文提出一类交互粒子Langevin算法,用于求解偏微分方程(PDE)的反问题。作者利用统计有限元方法(statFEM)将PDE离散化,得到一个有限维潜变量统计模型,其中参数为离散化前向映射的参数,潜变量为部分观测的PDE解。他们改编了近期提出的期望最大化类算法——交互粒子Langevin算法(IPLA),实现了参数和潜变量的联合估计。文中考虑了三个主要例子:线性Poisson方程的强迫项估计、扩散系数估计以及非线性Poisson方程的强迫项估计。作者提供了线性情形下强迫项估计的计算复杂度估计,并通过全面的数值实验和预处理策略显著提升了性能,表明该方法可作为PDE模型参数推断的有效选择。
  • 关键技术: interacting particle Langevin algorithm, statistical finite element method, expectation-maximization, latent variable model, preconditioning strategies
  • 为什么对您有用: 本文属于统计计算方向,涉及数值方法和算法设计,与您的统计计算兴趣直接相关。您可以用非常熟悉的软件开发和数值方法技能来复现或扩展其算法,特别是预处理策略和计算复杂度分析。中期可做:若想深入理论分析,需在M估计理论或高维渐近方面加强。

2. 10.1137/23m1606253 — Sparse Inverse Cholesky Factorization of Dense Kernel Matrices by Greedy Conditional Selection

  • 作者: Stephen Huan, Joseph Guinness, Matthias Katzfuss, Houman Owhadi, Florian Schäfer
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: Carnegie Mellon University · Washington University in St. Louis · University of Wisconsin–Madison · California Institute of Technology · Georgia Institute of Technology
  • 分类: vol 13 · issue 3 · pp 1649-1679
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文针对稠密核矩阵的稀疏逆Cholesky分解问题,提出基于贪心条件选择的稀疏模式构造方法。传统方法(如Vecchia近似)仅依赖评估点的几何结构来设定稀疏模式,而本文通过最大化目标点与已选点之间的互信息来贪心选择条件变量,从而构造稀疏模式。对于从n个点中选择m个点,朴素时间复杂度为O(n m^2),但通过维护部分Cholesky因子可降至O(n m^2)(原文公式未显示,但文中给出具体复杂度),对于多个目标点可实现O(n m^2)的复杂度,并在聚合Cholesky分解中保持。算法通过最小化KL散度应用于Cholesky分解、高斯过程回归和共轭梯度法预条件,相比k近邻选择有改进。数值实验包括图像分类和稀疏Cholesky因子恢复。对您而言,该文与统计计算中的算法设计直接相关,且其贪心选择与复杂度分析思路可迁移到您熟悉的高阶U统计量计算中的张量收缩优化问题。
  • 关键技术: greedy conditional selection, mutual information maximization, sparse inverse Cholesky factorization, Vecchia approximation, partial Cholesky factorization, KL divergence minimization
  • 为什么对您有用: 该文属于统计计算方向,直接对应您的主要兴趣之一。其核心算法(贪心选择+部分Cholesky)与您非常熟悉的高阶U统计量计算中的树宽/张量收缩复杂度优化有潜在联系——您可以用einsum复杂度视角分析其选择策略的计算代价。此外,该文在核矩阵近似上的应用与您的高维统计背景相关。作为follow-up,立即可做:用您熟悉的软件开发和数值方法知识复现其算法并测试;中期可做:将贪心选择思想与您的U统计量计算框架结合,探索新的稀疏化策略;暂不可做:若涉及深层理论分析(如最优性保证)可能需要更专门的优化理论工具。

3. 10.1137/24m1707079 — Scalable Simulation-Based Inference for Implicitly Defined Models Using a Metamodel for Monte Carlo Log-Likelihood Estimator

  • 作者: Joonha Park
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: University of Kansas
  • 分类: vol 13 · issue 3 · pp 1578-1615
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文针对隐式定义模型(仅能通过随机模拟器生成数据)的仿真推断(SBI)在大数据规模下扩展性差的问题,提出了一种基于元模型的可扩展推断方法。该方法为蒙特卡洛对数似然估计量(如由 bootstrap 粒子滤波得到的估计量)建立统计与仿真双重随机性的分布模型,利用其均值函数的局部渐近正态性(LAN)来构造参数估计的不确定性量化。核心机制是:通过少量模拟拟合元模型,刻画对数似然估计量在不同参数值下的分布,从而避免 ABC 等方法的逐点模拟开销,实现随数据规模的高效扩展。数值实验在部分观测马尔可夫过程模型(包括传染病机制模型)上展示了该方法能构造准确的置信区间,且计算成本远低于传统 SBI。对您而言,该方法将仿真推断与经典似然渐近理论结合,是统计计算与不确定性量化交叉的一个有趣案例,但方法学新颖性中等,属于对现有 SBI 框架的实用改进。
  • 关键技术: simulation-based inference, metamodel for Monte Carlo log-likelihood, local asymptotic normality, bootstrap particle filter, confidence interval construction
  • 为什么对您有用: 本文属于统计计算方向,与您的 primary interest 中 statistical computing 直接相关,可作为计算方法的入门读物;但您对 SBI 领域不熟,武器库中缺乏粒子滤波和仿真推断的专门知识,因此暂不可直接跟进,但值得花时间读全文以了解该领域的问题设定与计算瓶颈。

4. 10.1137/24m1688497 — Low-dimensional Subspace Regularization through Structured Tensor Priors

  • 作者: Kim Batselier
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: Delft University of Technology
  • 分类: vol 13 · issue 3 · pp 1452-1474
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文研究贝叶斯逆问题中的先验指定,目标是构造编码“解为结构化张量且位于低维子空间”这一信念的高斯先验。作者定义了“A-constrained tensor”的概念,统一描述了 Hankel、circulant、triangular、symmetric 等多种结构,并证明该低维子空间正是定义结构矩阵 A 的右零空间。文章完全刻画了此类张量的高斯分布,给出均值向量和协方差矩阵关于 A 和 B 的显式表达式,并进一步对置换不变张量证明了协方差矩阵的闭式公式。这些结果解锁了一类新的贝叶斯逆问题先验,并展示了如何设计高效计算的新核函数。作者在两个贝叶斯逆问题(从少量噪声测量补全 Hankel 矩阵、学习手写数字图像分类器)上验证了所提先验的有效性,所有应用均以 Julia 的 reactive Pluto notebooks 实现。对您而言,本文的张量结构先验与您熟悉的张量网络/高阶 U-统计量计算有潜在联系,其协方差矩阵的显式推导也可能为您的统计计算工作提供新工具。
  • 关键技术: structured tensor priors, Gaussian prior characterization, null space characterization, permutation-invariant covariance, kernel design, Bayesian inverse problems
  • 为什么对您有用: 本文属于统计计算方向,与您的 primary interest 中的 statistical computing 直接相关,且其张量结构先验与您 very_familiar 的 tensor contraction / einsum 计算有潜在交集。您可以用 tensor-network 的图论视角分析其协方差矩阵的计算复杂度,或探索将此类先验用于高阶 U-统计量的贝叶斯推断。

5. 10.1137/24m1689740 — Multilevel Monte Carlo Metamodeling for Variance Function Estimation

  • 作者: Jingtao Zhang, Xi Chen
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: Virginia Tech
  • 分类: vol 13 · issue 3 · pp 980-1027
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文提出一种基于多层蒙特卡洛(MLMC)的元建模方法,用于估计方差函数。在仿真元建模中,设计点的选择和预算分配通常难以事先优化,该方法通过在每个层级动态调整设计点数量和预算分配,自动生成高效的设计方案。理论分析表明,在温和条件下,所提方法相比标准蒙特卡洛元建模在计算效率上更优,同时能达到目标精度。此外,文章在充分条件下建立了MLMC元建模估计量的渐近正态性,为不确定性量化提供了理论依据。文中还给出了两种具体程序:一种用于达到目标精度,另一种用于在固定计算预算下高效利用资源。数值实验验证了理论结果,并展示了该方法在全局敏感性分析中的潜力。对您而言,该文将MLMC与元建模结合,其动态预算分配和渐近正态性结果可迁移至您熟悉的计算统计与高维推断场景。
  • 关键技术: multilevel Monte Carlo, metamodeling, variance function estimation, asymptotic normality, budget allocation
  • 为什么对您有用: 本文属于统计计算方向,与您的primary interest中的统计计算(numerical methods, algorithm)直接相关。您可以用very_familiar中的软件开发和计算统计技能,快速实现其MLMC元建模算法,并验证其渐近性质。中期可做:将MLMC思想与您moderately_familiar的HOIF结合,探索方差函数估计的高阶影响函数版本。

6. 10.1137/24m1677009 — Enhancing Gaussian Process Surrogates for Optimization and Posterior Approximation via Random Exploration

  • 作者: Hwanwoo Kim, Daniel Sanz-Alonso
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: Duke University · University of Chicago
  • 分类: vol 13 · issue 3 · pp 1054-1084
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文提出两类基于随机探索步骤的改进高斯过程代理模型算法,分别用于无噪声贝叶斯优化和难以处理似然下的后验近似。对于优化,新算法在保持经典 GP-UCB 实现简便性的同时,通过额外随机探索加速收敛,并几乎达到最优收敛速率。对于后验近似,利用优化迭代得到的 MAP 估计点构建未归一化 log-posterior 的 GP 代理,并给出真实与近似后验之间 Hellinger 距离关于设计点数量的界。数值实验涵盖非凸基准函数、机器学习超参数调优、黑箱工程设计以及两个动力系统参数推断问题,验证了方法的有效性。
  • 关键技术: Gaussian process surrogate, GP-UCB, random exploration, Bayesian optimization, posterior approximation, Hellinger distance bound
  • 为什么对您有用: 本文属于统计计算方向,与您的 statistical computing 兴趣直接相关。您可用 very_familiar 的软件开发和数值方法经验快速复现其算法,并评估其收敛界是否可改进。中期可做:结合您 moderately_familiar 的 M-estimation 理论,分析随机探索步骤对估计效率的影响。暂不可做:若需深入其收敛速率的理论证明,可能需补充随机优化相关工具。

7. 10.1137/24m1690667 — Covariate-Informed Bifidelity Bias Correction of Distributional Output

  • 作者: Justin D. Strait, Kelly R. Moran, Alexander C. Murph, Jeffrey D. Hyman, Hari S. Viswanathan, Philip H. Stauffer
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: Los Alamos National Laboratory
  • 分类: vol 13 · issue 3 · pp 1616-1648
  • 相关性 4/10 · novelty: application
  • 摘要: 本文针对随机计算物理模拟器中的多保真度问题,提出了一种基于协变量信息的双保真度偏差校正模型,用于从低保真度分布输出预测高保真度分布输出。模型利用对数分位数密度(LQD)函数对概率密度函数等分布型函数数据施加约束,并通过高斯过程(GP)模拟器对LQD差异的基分解进行建模,使得低保真度模拟中的已知协变量能够为偏差校正提供信息。GP方法具有快速的不确定性量化和对中小规模训练数据训练时间合理的优点,适合计算机模型输出的仿真。作者通过综合生成的密度对(涵盖位置、尺度、形状和模态等不同差异类别)检验了模型性质,并在地下裂缝网络的双保真度粒子输运模拟中进行了演示。该工作属于不确定性量化与统计计算交叉领域,其方法框架对您在高维统计和统计计算方面的兴趣有一定参考价值,但并非直接的方法学突破。
  • 关键技术: log quantile density (LQD) transformation, Gaussian process emulator, basis decomposition, bifidelity bias correction, distribution-on-distribution regression
  • 为什么对您有用: 本文属于统计计算与不确定性量化方向,与您的统计计算兴趣相关。作为gateway reading,它展示了如何将GP和函数数据分析用于模拟器校准,但方法学深度有限。您可以用very_familiar的软件开发和统计计算技能快速复现其LQD变换和GP拟合流程,评估其在实际数据上的表现;但核心模型不涉及您的高阶U统计或因果推断工具,因此属于中期可做(需在GP和函数数据分析上稍作熟悉)的范畴。

8. 10.1137/25m1729253 — Scalable Bayesian Physics-Informed Kolmogorov-Arnold Networks

  • 作者: Zhiwei Gao, George Em Karniadakis
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: Brown University
  • 分类: vol 13 · issue 3 · pp 1543-1577
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文针对贝叶斯物理信息神经网络(B-PINN)在大规模数据集上计算效率低的问题,提出一种可扩展的梯度-free 推断方法。该方法将 Chebyshev KAN 作为替代多层感知机的代理模型,以减少参数数量并缓解过拟合。核心创新在于结合 dropout Tikhonov 集成卡尔曼反演(ETKI)进行推断,避免了 HMC 等梯度方法的高计算成本。同时引入 active subspace 方法对参数空间进行降维,以提高预测精度和不确定性估计的可靠性。实验表明,在多种测试案例(包括大数据集和高噪声场景)中,该方法在精度上与 HMC 相当或更优,且效率和稳定性显著提升。对您而言,本文展示了统计计算中梯度-free 推断与降维技术的结合,与您对统计计算和算法效率的兴趣直接相关。
  • 关键技术: Kolmogorov-Arnold Networks, Ensemble Kalman inversion, Tikhonov regularization, dropout, active subspace method, gradient-free inference
  • 为什么对您有用: 本文属于统计计算方向,直接关联您对统计计算(数值方法、算法)的兴趣。您可用 very_familiar 的软件开发和数值方法经验,快速复现其 ETKI 与 active subspace 组合,并评估其在大规模问题上的可扩展性。中期可做:若想深入理论分析其收敛性,需在 moderately_familiar 的 M-estimation 理论上加强。

9. 10.1137/24m1669037 — Bayesian Emulation of Grey-Box Multimodel Ensembles Exploiting Known Interior Structure

  • 作者: Jonathan Owen, Ian Vernon
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: University of Sheffield · Durham University
  • 分类: vol 13 · issue 3 · pp 1501-1542
  • 相关性 4/10 · novelty: application
  • 摘要: 本文针对计算机模型仿真(computer model emulation)中常见的“黑箱”假设,提出一套“灰箱”(grey-box)贝叶斯仿真器(Bayesian emulator)方法体系,利用已知的模型内部结构(如输出可分解为若干组成部分、参数空间存在约束或截断)来提升预测精度和物理可解释性。方法包括:多模型集成子采样(multimodel ensemble subsampling)以降低计算成本;面向优化或决策支持的目标化贝叶斯设计;对输出求和情形的“分而治之”仿真策略;利用已知约束和结构行为的分裂参数空间与截断的结构化仿真器;时间序列输出之和的仿真;以及多模型集成输出的仿真。这些方法被整合为一个分层仿真框架,并在石油工业的TNO OLYMPUS井控优化挑战赛数据上进行了应用,将问题重新表述为不确定性下的决策支持问题。核心贡献在于展示了如何利用模型内部结构(而非仅依赖黑箱近似)来显著提高仿真器准确性,并提供了完整的实现工具包。对您而言,本文的“分而治之”和结构化仿真思想可能对您在高阶U统计量计算中利用张量网络结构(如treewidth)有类比启发,尽管领域不同,但结构利用的数学思想有相通之处。
  • 关键技术: Bayesian emulation, grey-box modeling, multimodel ensemble subsampling, targeted Bayesian design, divide-and-conquer emulation, structured emulators
  • 为什么对您有用: 本文属于统计计算(stat_computing)方向,与您的主要兴趣之一“statistical computing (numerical methods, algorithm)”直接相关。虽然不涉及因果推断或高维理论,但其“利用已知结构提升计算效率”的核心思想与您在高阶U统计量计算中利用张量网络/树宽(treewidth)结构降低复杂度的思路有类比性,可作为跨领域的方法启发。作为gateway reading,本文对统计计算领域的外行读者较为友好,方法阐述清晰,但需要一定的贝叶斯建模基础。武器库中“软件开发和数值方法”足以支撑理解,但若要深入扩展,可能需要补充贝叶斯计算(如MCMC)的细节。总体而言,值得一读,但方法学新颖性一般,属于应用导向的方法整合。

10. 10.1137/24m1691569 — Sampling Parameters of Ordinary Differential Equations with Constrained Langevin Dynamics

  • 作者: Chris Chi, Jonathan Weare, Aaron R. Dinner
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: University of Chicago · Courant Institute of Mathematical Sciences · New York University
  • 分类: vol 13 · issue 3 · pp 1374-1405
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文针对非线性 ODE 参数估计中 MCMC 因 trial 参数被拒而计算代价高昂的问题,提出一种基于约束 Langevin 动力学的新采样方法。该方法在变量和参数的联合空间上运行 Langevin 动力学,并利用数值延拓和轨迹优化技术,使采样过程满足模型动力学约束,从而避免反复前向积分 ODE。在贝叶斯框架下,作者对生化振荡器模型的 Hopf 分岔和极限环进行采样,性能达到或超过领先的基于前向积分的 MCMC 方法。数值实验揭示了加速的来源。该方法具有通用性,适用于任何参数估计和模型选择框架。对您而言,本文属于统计计算方向,其约束采样思想可能对您在高维或因果推断中的计算问题有启发,但方法本身与您的主要兴趣交集有限。
  • 关键技术: constrained Langevin dynamics, numerical continuation, trajectory optimization, Markov chain Monte Carlo, Bayesian parameter estimation
  • 为什么对您有用: 本文属于统计计算方向,与您 primary interest 中的 statistical computing 相关,但并非您核心的因果推断或高维理论。作为 gateway reading,本文对 ODE 参数估计的 MCMC 计算瓶颈提供了新的视角,但方法迁移到您的领域需要额外思考。从武器库看,您对 MCMC 和数值方法有一定基础(very_familiar 中的软件开发和逆问题),但约束 Langevin 动力学和轨迹优化并非您熟悉的工具,属于 moderately_familiar 之外。因此,本文可作为了解统计计算前沿的入门读物,但直接开展后续工作的可能性较低,暂不建议深入精读。

11. 10.1137/24m1658498 — Covariance-Free Bifidelity Control Variates Importance Sampling for Rare Event Reliability Analysis

  • 作者: Promit Chakroborty, Somayajulu L. N. Dhulipala, Michael D. Shields
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: Johns Hopkins University · Idaho National Laboratory
  • 分类: vol 13 · issue 3 · pp 1406-1451
  • 相关性 4/10 · novelty: application
  • 摘要: 本文针对稀有事件可靠性分析中失效概率估计的计算瓶颈,提出一种双保真度(bifidelity)框架下的控制变量-重要性抽样(CVIS)联合估计器。目标 estimand 是失效概率,设定为高保真模型评估代价高昂、低保真模型可大量采样的场景。方法核心是:用低保真模型样本估计控制变量均值,并通过巧妙选择调谐常数避免估计原始估计量与控制变量之间的协方差,从而降低计算负担。同时,为充分利用双保真结构并保持表达性,提出一种高效的重要性抽样分布选择策略。此外,给出一个诊断指标,用于同时反映算法效率和所用模型的相对预测质量。通过解析和数值算例验证了所提框架的性能。对您而言,该文属于统计计算方向,其避免协方差估计的思路与您熟悉的计算技巧有潜在联系,但整体方法学新颖性一般。
  • 关键技术: control variates, importance sampling, multifidelity modeling, rare event simulation, variance reduction
  • 为什么对您有用: 该文属于统计计算方向,与您的 primary interest 中的 statistical computing 相关,但并非核心子方向。作为 gateway reading,它展示了多保真度模拟中方差缩减的实用技巧,但方法学深度有限。您的武器库(如软件开发和数值方法)足以理解并复现其算法,但该文未涉及您更核心的因果推断或高维理论。因此,建议作为了解性阅读,不值得深入展开。

12. 10.1137/23m1577584 — Accelerate Langevin Sampling with Birth-Death Process and Exploration Component

  • 作者: Lezhi Tan, Jianfeng Lu
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: Stanford University · Duke University
  • 分类: vol 13 · issue 3 · pp 1265-1293
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文针对多模态分布采样问题,提出一种结合出生-死亡过程与探索分量的新采样方法,核心思想是“先看后跳”(look before you leap)。方法维护两组采样器:一组在较高温度下探索新模态,另一组在原始温度下采样目标分布,前者将有用信息传递给后者。作者推导了平均场极限,并证明探索分量能加速采样过程;在温和假设下证明了指数渐近收敛。实验基于已有文献中的多模态采样任务,并与先前方法对比,展示了加速效果。对您而言,该方法属于统计计算方向,其平均场极限与收敛性分析可联系您熟悉的非参数与高维渐近工具,但核心机制(出生-死亡过程)不在您当前武器库中。
  • 关键技术: birth-death process, exploration component, mean-field limit, exponential convergence, multimodal sampling
  • 为什么对您有用: 本文属于统计计算(statistical computing)方向,是您的 primary interest 之一。作为计算统计的新方法,其平均场极限和收敛性分析可联系您熟悉的非参数渐近理论,但出生-死亡过程与探索分量的机制并非您当前武器库中的核心工具,因此属于中期可做:需先熟悉出生-死亡过程与平均场极限的数学框架。

13. 10.1137/24m1660747 — Unbiased Markov Chain Quasi-Monte Carlo for Gibbs Samplers

  • 作者: Jiarui Du, Zhijian He
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: South China University of Technology
  • 分类: vol 13 · issue 3 · pp 1174-1199
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文提出一种将无偏马尔可夫链蒙特卡洛(unbiased MCMC)与马尔可夫链拟蒙特卡洛(MCQMC)相结合的新方法,用于Gibbs采样器,目标是构造无偏估计量并显著提升收敛速率。在固定迭代次数下,MCMC估计量存在偏差,而通过耦合技术实现的无偏MCMC可并行运行多条短链;QMC则具有高阶收敛性,将QMC思想引入MCMC(即MCQMC)能有效降低方差,尤其适用于Gibbs采样。作者将无偏MCMC与MCQMC整合,得到无偏MCQMC方法,数值实验表明,在低维问题中,样本量为N时其RMSE速率可接近N^{-1},优于无偏MCMC的N^{-1/2}速率;在1049维的Pólya Gamma Gibbs采样器中,中等样本量下RMSE仍可降低数倍。该方法在保持无偏性的同时,利用QMC的低差异序列提升收敛阶,为并行化MCMC提供了新工具。对您而言,该工作属于统计计算方向,与您对数值方法和算法的兴趣相关,但并非您的主要研究领域,可作为计算方法的参考。
  • 关键技术: unbiased MCMC, coupling, Markov chain quasi-Monte Carlo, Gibbs sampler, low-discrepancy sequences
  • 为什么对您有用: 本文属于统计计算(stat_computing)方向,与您对数值方法和算法的兴趣相关,但并非核心研究领域。作为gateway reading,本文对统计计算的外行读者较为友好,介绍了无偏MCMC和MCQMC的基本思想,但需要一定的MCMC背景。您的武器库(如软件开发和数值方法)足以支撑理解,但若要深入改进方法,可能需要补充QMC理论。值得花时间读全文以了解计算技巧,但优先级不高。

14. 10.1137/24m1639464 — Non-convergence to Global Minimizers for Adam and Stochastic Gradient Descent Optimization and Constructions of Local Minimizers in the Training of Artificial Neural Networks

  • 作者: Arnulf Jentzen, Adrian Riekert
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: University of Münster · Shenzhen Research Institute of Big Data · Chinese University of Hong Kong, Shenzhen
  • 分类: vol 13 · issue 3 · pp 1294-1333
  • 相关性 3/10 · novelty: new_theory
  • 摘要: 本文研究浅层 ReLU 及类似激活函数的人工神经网络在均方误差损失下的训练优化问题,目标是严格证明 SGD 类方法(包括 vanilla SGD、momentum SGD、AdaGrad、RMSprop 和 Adam)不会以高概率收敛到全局极小值。作者通过构造特定的数据分布和网络结构,证明了这些优化器在训练过程中几乎必然错过全局极小值,从而解决了该领域一个长期开放的理论问题。此外,文章还揭示了 ANN 损失景观中存在具有不同风险值的局部极小值的层级结构,这些局部极小值的风险值可以接近全局最优,从而解释了 SGD 方法在实践中仍能有效训练网络的现象。技术工具包括对损失函数景观的精细分析、概率不等式以及优化轨迹的构造性论证。对您而言,本文属于统计计算与优化理论的交叉,虽然不直接涉及因果推断或高维统计,但其对非凸优化景观的严格刻画方法,可能对您在高维统计中处理非凸估计问题的理论分析有所启发。
  • 关键技术: loss landscape analysis, construction of local minimizers, probability inequalities, trajectory analysis of SGD, ReLU activation
  • 为什么对您有用: 本文属于统计计算与优化理论的交叉,虽然不直接涉及因果推断或高维统计,但其对非凸优化景观的严格刻画方法,可能对您在高维统计中处理非凸估计问题的理论分析有所启发。具体而言,您可以用 very_familiar 的 minimax bounds 和 high-dimensional asymptotics 工具,去审视其构造的局部极小值是否在统计意义下可接受,或者将其景观分析思路迁移到高维 M-估计的局部最优解研究。中期可做:需先在 moderately_familiar 的 M-estimation theory 上长肌肉,以连接优化景观与统计风险。

15. 10.1137/24m1695531 — Quasi–Monte Carlo Integration for Feedback Control Under Uncertainty

  • 作者: Philipp A. Guth, Peter Kritzer, Karl Kunisch
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: Johann Radon Institute for Computational and Applied Mathematics · University of Graz
  • 分类: vol 13 · issue 3 · pp 1228-1264
  • 相关性 3/10 · novelty: new_method
  • 摘要: 本文研究带无穷维随机参数的抛物型PDE线性二次最优控制问题,目标是基于期望值计算反馈控制律。作者证明了Riccati反馈算子关于参数解析依赖,从而可用拟蒙特卡洛(QMC)方法高效计算期望。在温和的输入随机场假设下,QMC方法获得与随机维度无关的优越误差率,优于普通蒙特卡洛。这是首次研究Banach空间值函数的高阶QMC积分。数值实验验证了理论结果。对您而言,其高阶QMC的收敛分析思路可迁移到高维统计计算中的积分问题。
  • 关键技术: quasi-Monte Carlo, higher-order QMC, Banach space-valued integration, parametric regularity, Riccati feedback control
  • 为什么对您有用: 本文属于统计计算方向,涉及高维数值积分,与您的统计计算兴趣相关。您可用非常熟悉的高维渐近和软件工具(如einsum)来复现或扩展其QMC误差分析,但核心的PDE约束优化背景可能需额外学习。中期可做:先熟悉QMC理论(moderately_familiar),再探索将其应用于高维统计中的期望计算。

其他 (other, 6 篇)

1. 10.1137/24m1703422 — Stochastic Convergence Analysis of the Inverse Potential Problem

  • 作者: Bangti Jin, Qimeng Quan, Wenlong Zhang
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: Chinese University of Hong Kong · Southern University of Science and Technology
  • 分类: vol 13 · issue 3 · pp 1334-1373
  • 相关性 7/10 · novelty: minor
  • 摘要: 本文研究椭圆型偏微分方程中势系数反演问题,观测为确定性采样点上的带随机噪声数据。采用带 H1 罚的加权最小二乘泛函进行重建,并用 Galerkin 有限元离散。在温和正则性假设下,给出了正则化解和有限元逼近的随机 H1 收敛分析,误差界以高概率成立,且显式依赖于正则化参数、观测点数和网格尺寸。这些估计为算法参数选择提供了理论指导。此外,作者提出了一个单调收敛的自适应算法,用于在无先验信息时确定合适的正则化参数,并辅以数值实验验证。
  • 关键技术: Tikhonov regularization, Galerkin finite element method, stochastic convergence analysis, high-probability error bounds, adaptive parameter selection
  • 为什么对您有用: 本文属于反问题与不确定性量化领域,与您的主要兴趣(因果推断、高维统计等)无直接交集,但其中随机噪声下的收敛分析和自适应正则化参数选择方法,对您熟悉的统计计算和逆问题方向有一定参考价值。作为统计学家,您可能对高概率误差界的推导和自适应算法的收敛性感兴趣,但本文并非入门读物,且方法学新颖性有限,建议仅作泛读。

2. 10.1137/24m1707419 — Consistency of Bayesian Inference for a Subdiffusion Equation

  • 作者: Pu-Zhao Kow, Jenn-Nan Wang
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: National Chengchi University · National Taiwan University
  • 分类: vol 13 · issue 3 · pp 1116-1144
  • 相关性 6/10 · novelty: new_theory
  • 摘要: 本文研究从次扩散方程的解反演未知势函数的非参数贝叶斯逆问题,目标是建立后验分布的一致性。作者使用高斯先验,并利用次扩散方程的最大值原理克服其解的正则性弱于经典热方程的问题,从而获得正问题所需的关键估计。主要结果是后验分布以多项式速率收缩到真实势函数。该工作属于偏微分方程反问题的贝叶斯非参数理论,与您的核心兴趣(因果推断、高维统计、U-统计量等)无直接交集,但非参数贝叶斯收缩率分析的技术可能对您理解半参数效率理论中的先验选择问题有间接启发。
  • 关键技术: nonparametric Bayesian inverse problems, Gaussian priors, posterior contraction rates, maximum principle for subdiffusion equation
  • 为什么对您有用: 本文属于偏微分方程反问题的贝叶斯非参数理论,与您的核心兴趣(因果推断、高维统计、U-统计量等)无直接交集。作为gateway reading,它展示了非参数贝叶斯收缩率分析的一个具体案例,但涉及的分析工具(最大值原理、PDE正则性)不在您的武器库中,且主题偏离您的统计方向。因此,除非您对贝叶斯非参数方法有额外兴趣,否则不值得花时间读全文。

3. 10.1137/24m1678234 — Building Population-Informed Priors for Bayesian Inference Using Data-Consistent Stochastic Inversion

  • 作者: Rebekah D. White, John D. Jakeman, Tim Wildey, Troy Butler
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: Sandia National Laboratories · University of Colorado Denver
  • 分类: vol 13 · issue 3 · pp 1475-1500
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文研究在观测数据有限时,如何利用群体层面的数据来系统性地构建贝叶斯先验,以改进个体推断。方法基于数据一致随机反演(DCI)构造拉回概率测度,将群体数据转化为个体推断的‘群体知情先验’。对于线性高斯反问题,作者证明该先验能增加信息增益(以逆后验协方差的行列式和迹衡量),并常以高概率改善KL散度。数值实验涵盖线性高斯例子和增材制造数字孪生场景,显示群体知情先验有显著价值。该方法适用于非线性映射和任意先验,但理论保证主要在线性高斯设定下。对您而言,本文属于贝叶斯计算与不确定性量化方向,与您的主要兴趣(因果推断、高维统计等)关联较弱,但其中利用群体数据改进个体推断的思路可能对纵向或异质性因果推断有启发。
  • 关键技术: data-consistent inversion, pullback measure, Bayesian prior construction, linear-Gaussian inverse problems, information gain analysis
  • 为什么对您有用: 本文属于统计计算与不确定性量化,与您的主要兴趣(因果推断、高维统计等)关联较弱,但群体数据到个体先验的映射思路可能对纵向因果推断中的异质性建模有启发。作为 gateway reading,本文对统计计算方向有一定入门价值,但并非核心。武器库中‘软件开发和数值方法’足以支撑理解,但无需深入。暂不可做:核心机制(DCI)不在您的武器库中,且与您的研究主线距离较远。

4. 10.1137/24m1658954 — On the Mean Field Theory of Ensemble Kalman Filters for SPDEs

  • 作者: Sebastian W. Ertel
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: Technische Universität Berlin
  • 分类: vol 13 · issue 3 · pp 891-930
  • 相关性 5/10 · novelty: new_theory
  • 摘要: 本文研究连续时间集合卡尔曼滤波器(EnKBF)在无穷维设定下的数学分析,信号由非线性随机偏微分方程(SPDE)在标准变分框架下刻画。在全局单边 Lipschitz 条件和有限维观测假设下,作者证明了 EnKBF 及其平均场极限的适定性。随后定量研究了 EnKBF 向平均场极限的收敛速度,对有限观测函数恢复了大数定律给出的速率,主要工具是 EnKBF 经验协方差的指数矩估计,该估计可能具有独立意义。附录中探讨了平均场 EnKBF 与随机滤波问题的联系,推导了无穷维信号的反馈粒子滤波器,并表明平均场 EnKBF 可视为其常增益近似。
  • 关键技术: ensemble Kalman filter, mean field limit, stochastic partial differential equations, exponential moment estimates, feedback particle filter
  • 为什么对您有用: 本文属于统计计算与随机滤波的交叉领域,与您的主要兴趣(统计计算、算法)有间接关联,但并非因果推断或高维统计的核心方向。作为 gateway reading,本文对无穷维滤波的数学分析较为深入,但需要较强的 SPDE 背景,入门门槛较高。您的武器库(非参数统计、U-统计量)难以直接迁移到其核心分析,因此暂不可做。

5. 10.1137/24m171557x — Optimal Control under Uncertainty with Joint Chance State Constraints: Almost-Everywhere Bounds, Variance Reduction, and Application to (Bi)linear Elliptic PDEs

  • 作者: René Henrion, Georg Stadler, Florian Wechsung
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: Weierstrass Institute for Applied Analysis and Stochastics · Courant Institute of Mathematical Sciences · New York University
  • 分类: vol 13 · issue 3 · pp 1028-1053
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文研究含联合机会状态约束的不确定PDE最优控制问题,其中控制为确定性,状态因方程中的随机参数而具有概率性。联合机会约束要求随机状态以高概率满足逐点界。对于线性控制方程和椭圆分布随机参数,作者证明了几乎处处状态界的存在唯一性。利用不确定变量的球-径向分解(SRD),他们证明当概率很大或很小时,机会约束概率的蒙特卡洛估计器相比标准蒙特卡洛具有显著降低的方差。文章还展示了如何利用SRD高效计算概率函数的导数,并讨论了控制方程中随机变量的不同展开方式。数值实验针对线性和双线性PDE,比较了蒙特卡洛和拟蒙特卡洛方法的性能,并研究了概率精度对随机变量展开截断的依赖。
  • 关键技术: spherical-radial decomposition, Monte Carlo variance reduction, quasi-Monte Carlo, chance constraints, PDE-constrained optimization
  • 为什么对您有用: 本文属于不确定性量化与PDE约束优化领域,与您的主要兴趣(因果推断、高维统计、U统计量等)无直接交集,但其中方差缩减技术(SRD)和概率估计的收敛性分析对您在高维或计算统计中的方差控制问题有一定启发。作为gateway reading,本文对统计学家而言入门门槛较高,涉及较多PDE和优化背景,武器库中的工具(如蒙特卡洛、方差缩减)虽可支撑理解核心思想,但深入跟进需补充PDE约束优化知识。

6. 10.1137/23m1605107 — Shape Optimization under Constraints on the Probability of a Quadratic Functional to Exceed a Given Threshold

  • 作者: Marc Dambrine, Giulio Gargantini, Helmut Harbrecht, Jérôme Maynadier
  • 期刊/来源: SIAM/ASA Journal on Uncertainty Quantification
  • 机构: Centre National de la Recherche Scientifique · Université de Pau et des Pays de l'Adour · Laboratoire de Mathématiques et de leurs Applications · Safran Helicopter Engines (France) · University of Basel
  • 分类: vol 13 · issue 3 · pp 931-956
  • 相关性 4/10 · novelty: application
  • 摘要: 本文研究弹性材料在随机载荷下的形状优化问题,目标是最小化失效概率,即二次型泛函超过给定阈值的概率。核心设定是形状泛函为二次型,其积分区域在高维参数空间中为椭球,从而将概率约束转化为椭球上的积分。作者推导了形状泛函及其形状梯度的显式表达式,并假设随机载荷为高斯随机场以利用其特殊结构。基于此,提出了一种高效的形状优化算法,并在三维空间中通过数值实验验证了方法的可行性。该方法将概率约束与形状优化结合,属于不确定性量化与优化交叉领域,对您而言,其椭球积分与高斯场假设下的概率计算技术可能对高维统计中的相关计算问题有启发,但整体与您的主要研究方向关联较弱。
  • 关键技术: shape optimization, failure probability, quadratic functional, Gaussian random field, ellipsoid integration, shape gradient
  • 为什么对您有用: 本文属于不确定性量化与形状优化的交叉领域,与您的主要兴趣(因果推断、高维统计、U-统计量等)无直接关联。但其中高维参数空间中的椭球积分与高斯场假设下的概率计算,可能对您在高维统计或统计计算中的某些问题有间接启发。作为gateway reading,本文对统计学家而言入门门槛较高,需要一定的工程背景,且武器库中的工具(如U-统计量、RMT)难以直接迁移,因此暂不可做。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论