跳转至

Scalable Bayesian Physics-Informed Kolmogorov-Arnold Networks

作者: Zhiwei Gao, George Em Karniadakis
来源: SIAM/ASA Journal on Uncertainty Quantification
主题: 统计计算 / 算法
相关性: 4/10
机构绿灯: Brown University(US News 前 50,免分进入精读)
链接: https://doi.org/10.1137/25m1729253


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是科学机器学习中的贝叶斯不确定性量化(UQ),具体而言是"物理信息神经网络(PINNs)的贝叶斯推断"。其根本问题在于:当我们用神经网络作为偏微分方程(PDE)解的替代模型时,如何在有限、带噪的观测下,不仅给出点估计,还能给出可靠的后验不确定性——这对工程决策(如流体力学、材料设计)至关重要。该方向的成熟度处于"方法快速迭代但理论基础薄弱"的阶段:B-PINNs(Yang et al., 2021)确立了用HMC采样神经网络参数后验的基本框架,但其计算成本随数据量和网络规模急剧上升,使得大规模应用受限。本文试图通过"换网络结构 + 换推断算法"的组合拳来突破这一瓶颈。

发展脉络(history)

  • 奠基工作:Yang et al. (2021) [43] 提出B-PINNs,将PINNs的参数视为随机变量,用HMC采样后验。这是本文的直接对标物——作者在引言中明确指出B-PINNs"在存在噪声数据时容易过拟合"且"HMC的计算成本高"。Raissi et al. (2019) [34] 提出原始PINNs框架,确立了"PDE残差+数据损失"的优化范式,是B-PINNs的前置基础。
  • 主要进展(推断算法侧):Iglesias et al. (2014) [18] 和Schillings & Stuart (2018) [36] 建立了集合卡尔曼反演(EKI)的理论基础,证明其在线性高斯情形下的收敛性。Ding & Li (2021) [13] 进一步证明了EKI的均场极限收敛到变分问题的最优解——这是本文采用EKI而非HMC的理论依据。Liu et al. (2023) [26] 提出dropout EKI,通过随机掩码缓解高维协方差矩阵的秩亏问题,这是本文"DTEKI"的直接前身。
  • 主要进展(网络结构侧):Liu et al. (2024) [27] 提出Kolmogorov-Arnold Networks(KANs),用可学习的单变量函数叠加替代线性权重矩阵,以更少参数逼近高维函数。SS et al. (2024) [38] 提出Chebyshev KANs(cKANs),用Chebyshev多项式作为基函数,数值稳定性更好——这是本文采用的网络结构。Schmidt-Hieber (2021) [37] 重新审视了Kolmogorov-Arnold表示定理的逼近理论,为KANs提供了理论支撑。
  • 当前frontier:将降维(active subspace, Constantine et al. 2014 [9])与梯度-free推断(EKI)结合,试图在高维参数空间中识别低维敏感子空间,从而同时解决计算效率和过拟合问题。本文的位置正是这一frontier的直接尝试。
  • 本文的位置:作者将上述三条线索(cKANs替代MLPs、DTEKI替代HMC、active subspace降维)组合成一个完整流程,并在四个PDE基准上验证。其核心主张是:在保持与HMC相当精度的前提下,将计算时间降低1-2个数量级(表1-6中的walltime对比)。

子线索聚类

  1. 贝叶斯神经网络推断([43], [7], [30]):用MCMC或变分方法采样网络参数后验。瓶颈是计算成本,尤其是HMC需要梯度计算和精细调参。
  2. 集合卡尔曼滤波/反演([6], [18], [36], [13], [26]):用集合近似协方差,避免梯度计算。优点是梯度-free、并行友好;缺点是集合坍缩、协方差秩亏、对非高斯后验的近似误差。
  3. KANs及变体([27], [38], [41], [2], [37]):用可学习基函数替代固定激活函数,参数效率更高。cKANs的Chebyshev基在[−1,1]上正交,数值稳定性好。
  4. 降维方法([9]):active subspace通过梯度协方差矩阵的特征分解,找到参数空间中函数变化最剧烈的方向,从而将高维推断投影到低维子空间。

这个方向在追问的核心问题

  1. 如何在高维参数空间中高效且准确地采样后验? 当前主流方法(HMC)精度高但计算昂贵;EKI类方法快但缺乏理论保证(尤其非线性、非高斯情形)。
  2. 如何设计网络结构以减少参数数量而不损失表达能力? MLPs参数冗余导致过拟合和UQ失真;KANs参数效率高但训练(反向传播)更慢。
  3. 如何在高噪声、大数据场景下保持UQ的可靠性? 似然主导后验时,先验几乎不起作用,过拟合导致不确定性被严重低估(作者在引言中明确指出这一点)。
  4. 降维与推断如何有机结合? active subspace的离线计算能否与在线推断无缝衔接,且不引入额外偏差?

⚠️ 作者的 framing(这是作者的说法)

作者将缺口frame成:"B-PINNs用MLPs + HMC,既过拟合又慢;我们用cKANs + DTEKI + active subspace,又快又准又稳。" 具体而言: - MLPs → cKANs:参数更少(表6中网络规模从2080降到692),缓解过拟合; - HMC → DTEKI:梯度-free,避免反向传播的昂贵计算(KANs的反向传播比MLPs更慢,所以梯度-free尤为重要); - 全参数空间 → active subspace:只在高敏感方向上推断,进一步降维提速。

被淡化/回避的竞争路线: - 变分推断(VI)类方法(如[5]的Laplace近似)——作者仅在引言中一笔带过,未做系统比较; - 其他贝叶斯神经网络UQ方法(如deep ensembles, MC-dropout)——完全未提及; - EKI的理论局限(非高斯后验的近似误差)——作者在实验部分回避了后验校准的定量检验(如覆盖率),仅报告了均值和标准差。

明显该被引/该存在、却没出现在intro里的: - 关于EKI在高维非线性问题中集合坍缩的系统分析(如Iglesias 2016的后续工作); - 关于KANs训练不稳定的已知问题(如梯度消失、初始化敏感)的讨论; - 关于active subspace在贝叶斯推断中的已有应用(如Constantine的后续工作),以定位本文的增量贡献。

张力

未见明显对立引用。但存在一个隐含张力:EKI的均场极限收敛性([13])是在线性高斯设定下证明的,而本文将其用于非线性PDE反问题——作者未讨论这一理论鸿沟。另一个张力是:cKANs参数少但反向传播慢(作者在引言中承认),而EKI虽然避免了反向传播,但每次迭代仍需前向传播计算PDE残差——在数据量大时,前向传播本身可能成为瓶颈。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号清单(按类别):

符号 含义 类别
\(u(x)\) PDE的真实解 潜在量(目标)
\(\lambda \in \mathbb{R}^{N_\lambda}\) PDE中的未知物理参数(如扩散系数) 参数(estimand)
\(\theta \in \mathbb{R}^{N_\theta}\) 神经网络权重 参数(estimand)
\(\xi = \{\theta, \lambda\}\) 全部未知参数 参数(estimand)
\(x \in \Omega \subseteq \mathbb{R}^d\) 空间坐标 可观测(输入)
\(f(x)\) PDE右端项(forcing term) 可观测(输入)
\(b(x)\) 边界条件 可观测(输入)
\(D_u = \{x_u^i, u^i\}_{i=1}^{N_u}\) 解的观测(带噪) 可观测数据
\(D_f = \{x_f^i, f^i\}_{i=1}^{N_f}\) 残差点(PDE collocation points) 可观测数据
\(D_b = \{x_b^i, b^i\}_{i=1}^{N_b}\) 边界点 可观测数据
\(\sigma_{\eta_u}, \sigma_{\eta_f}, \sigma_{\eta_b}\) 各类观测噪声标准差 已知(假设)
\(G(\xi)\) 前向算子:参数→预测观测 模型
\(y\) 所有观测的堆叠 可观测数据
\(\Gamma\) 噪声协方差 已知(假设)
\(C_0\) 先验协方差 已知(假设)
\(\alpha\) Tikhonov正则化参数 超参数
\(\rho\) dropout保留概率 超参数
\(J\) 集合大小 算法参数
\(W_1 \in \mathbb{R}^{N_\theta \times m}\) active subspace投影矩阵 降维工具
\(\omega \in \mathbb{R}^m\) 低维参数 参数(降维后)

模型(数据生成机制):

  1. PDE约束:\(N_x(u(x); \lambda) = f(x)\),\(B_x(u(x); \lambda) = b(x)\)
  2. 神经网络替代:\(\tilde{u}(x, \theta) \approx u(x)\)
  3. 观测模型:\(y = G(\xi) + \eta_1\),其中 \(G(\xi) = [N_x(\tilde{u}; \lambda); B_x(\tilde{u}; \lambda); \tilde{u}]^T\),\(\eta_1 \sim N(0, \Gamma)\)
  4. 先验:\(\theta \sim N(0, C_0)\)(各分量独立高斯),\(\lambda \sim N(0, C_0)\)
  5. 后验目标:\(p(\xi | D_u, D_b, D_f) \propto p(\xi) p(D_u|\xi) p(D_f|\xi) p(D_b|\xi)\)

可观测 vs 潜在: - 可观测:\(x\)(坐标)、\(f(x)\)(右端项)、\(b(x)\)(边界值)、\(u^i\)(带噪解观测)、\(D_f\)(残差点) - 潜在/不可观测:真实解 \(u(x)\)、真实参数 \(\lambda^*\)、网络最优权重 \(\theta^*\)、后验 \(p(\xi|D)\)

第二步:最小内核

最小设定:考虑一维输运方程(transport equation,文中第一个实验):

\[\frac{\partial u}{\partial t} + a \frac{\partial u}{\partial x} = 0, \quad x \in [0,1], t \in [0,1], \quad u(x,0) = x\]

其中 \(a\) 是未知参数(真实值 \(a_{true} = 1\))。我们观测到 \(N_u = 60\) 个内部点、\(N_b = 30\) 个边界点的带噪解值(噪声 \(\sigma = 0.1\)),以及 \(N_f = 500\) 个残差点。

要解决的问题:推断 \(a\) 的后验分布 \(p(a | D_u, D_b, D_f)\),同时给出解场 \(u(x,t)\) 的不确定性。

最小内核的数学本质:

剥去所有技术细节后,本文的核心问题是:

如何在不计算梯度的情况下,用集合方法近似高维参数的后验分布,并通过降维减少有效参数维度?

具体地,考虑如下三步分解:

  1. EKI更新公式(核心迭代):
    \[\xi^{(j)}_{n+1} = \xi^{(j)}_{n} + \hat{C}^{\xi z}_n (\hat{C}^{zz}_n + \Gamma_H)^{-1}(z - H(\hat{\xi}^{(j)}_n) - \eta^{(j)}_n)\]

其中 \(\hat{C}^{\xi z}_n, \hat{C}^{zz}_n\) 是集合协方差。关键点:这个更新只涉及前向传播 \(G(\xi)\),不需要反向传播计算梯度。

  1. Dropout的作用:对集合偏差 \(\tau^{(j)}_n = \xi^{(j)}_n - \bar{\xi}_n\) 施加随机掩码 \(\beta_n \sim \text{Bernoulli}(\rho)\),即 \(\tilde{\tau}^{(j)}_n = \beta_n \circ \tau^{(j)}_n\)。数学效果:在协方差估计中引入随机稀疏性,缓解高维协方差的秩亏问题(当 \(J < N_\xi\) 时)。

  2. Active subspace的作用:计算梯度协方差矩阵 \(C = E_\theta[\nabla_\theta F_\lambda(\theta) \nabla_\theta F_\lambda(\theta)^\top]\) 的特征分解,取前 \(m\) 个特征向量构成投影矩阵 \(W_1\),将参数从 \(\mathbb{R}^{N_\theta}\) 投影到 \(\mathbb{R}^m\)(\(m \ll N_\theta\))。数学效果:将推断限制在函数变化最剧烈的方向上,降低有效维度。

为什么这个内核是"最小"的:如果去掉active subspace,剩下的就是DTEKI——一个梯度-free的集合推断方法;如果再去掉dropout,就是vanilla EKI——一个已有方法。本文的增量在于三者组合:cKANs提供参数效率高的网络结构,DTEKI提供梯度-free的推断算法,active subspace提供额外的降维。

这个内核的数学难点: - EKI的集合更新在非线性 \(G\) 下缺乏收敛保证([13]的均场极限证明仅对线性 \(G\) 成立); - Dropout的随机掩码引入了额外的随机性,其与EKI的交互效应没有理论分析; - Active subspace的估计本身需要梯度信息(\(\nabla_\theta F_\lambda\)),这与"梯度-free"的初衷存在张力——作者通过有限差分或自动微分在离线阶段计算梯度,在线推断阶段不再需要。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:如何在大规模、高噪声的PDE反问题中,高效地进行贝叶斯推断并获得可靠的不确定性估计——具体而言,如何克服B-PINNs(MLPs + HMC)的计算瓶颈和过拟合问题。
  2. 核心工具/方法:将Chebyshev KANs(cKANs)作为替代网络结构,用dropout Tikhonov EKI(DTEKI)替代HMC进行梯度-free推断,并用active subspace方法对参数空间降维,三者组合为SDTEKI。
  3. 主要结论:在四个PDE基准(输运方程、扩散方程、非线性方程、2D Darcy流)上,SDTEKI在精度上与HMC相当或更优(\(e_u\) 从2.24%降至1.28-1.33%),计算时间降低1-2个数量级(从576.83s降至18.76s),且对噪声的鲁棒性更好。

关键设定与假设

在第二节最小记号的基础上,补全如下:

  • 网络结构:cKANs,输入先经tanh投影到[−1,1],每层用Chebyshev多项式 \(T_k(x)\)(\(k=0,\dots,d\),\(d \leq 7\))作为基函数。参数 \(\theta\) 为Chebyshev系数。相比MLPs:参数数量大幅减少(表6:2080→692),且Chebyshev基的正交性改善了数值条件。
  • 先验:\(\theta \sim N(0, C_0)\),\(C_0\) 为对角矩阵(各参数独立)。假设:参数先验独立——这是一个简化假设,未讨论参数间相关性的影响。
  • 似然:高斯噪声模型,噪声方差 \(\sigma_{\eta_u}, \sigma_{\eta_f}, \sigma_{\eta_b}\) 假设已知。关键假设:噪声尺度已知——在实际问题中这通常需要估计,作者未讨论噪声方差未知时的扩展。
  • EKI设置:集合大小 \(J=500\),dropout率 \(\rho=0.8\),Tikhonov正则化 \(\alpha=0.1\)(小噪声)或 \(0.01\)(大噪声)。假设:dropout率固定为0.8,未做敏感性分析。
  • Active subspace:\(m = \frac{1}{3}N_\theta\),梯度通过有限差分计算(离线)。假设:梯度协方差矩阵 \(C\) 在推断过程中保持不变——这是一个强假设,因为后验更新会改变参数分布。
  • Mini-batch:残差点分批(batch size 20-100),每次迭代只用一批计算协方差。作用:引入随机性,缓解过拟合,加速训练。

相比已有文献的放宽/强化: - 放宽:不要求似然是线性的(相比[13]的线性高斯设定);不要求梯度计算(相比HMC)。 - 强化:要求网络结构为cKANs(特定基函数);要求梯度信息用于active subspace的离线计算(相比纯黑箱EKI)。

主要结果

理论型结果:本文没有正式的理论定理。唯一的理论元素是: - 引用了[13]的均场极限收敛结果作为EKI的理论支撑(但该结果仅对线性 \(G\) 成立); - 引用了[37]的Kolmogorov-Arnold逼近定理作为cKANs的表达能力依据。

实证型结果(四个基准):

基准 指标 HMC DTEKI SDTEKI 关键观察
输运方程 \(e_a\)(参数a的误差) 0.68% 0.42% 0.45% 三者精度相当,SDTEKI略优
输运方程 Walltime 89.25s 9.38s 7.53s SDTEKI比HMC快约12倍
扩散方程 \(e_u\)(解场误差) 12.74% 11.55% 11.39% SDTEKI最优
扩散方程 \(e_D\)(参数D的误差) 6.88% 0.85% 1.70% DTEKI最优,SDTEKI次优
非线性方程 \(e_u\) 5.95% 9.54% 7.63% HMC在\(e_u\)上最优
非线性方程 \(e_k\) 6.11% 4.83% 2.84% SDTEKI在\(e_k\)上最优
2D Darcy \(e_u\) 2.24% 1.28% 1.33% DTEKI/SDTEKI显著优于HMC
2D Darcy \(e_\kappa\) 22.84% 13.05% 15.04% DTEKI/SDTEKI显著优于HMC
2D Darcy Walltime 576.83s 28.80s 18.76s SDTEKI比HMC快约30倍

核心结论: 1. 精度:在大多数基准上,DTEKI/SDTEKI的精度与HMC相当或更优。唯一例外是非线性方程的 \(e_u\),HMC略优(5.95% vs 7.63%)。 2. 效率:SDTEKI在所有基准上都是最快的,比HMC快12-30倍。 3. 不确定性估计:作者声称SDTEKI的标准差能覆盖真实值(图3、6、9),而HMC在某些情形下低估不确定性(图3中HMC的方差明显偏大)。 4. Ablation(附录):MLP-DTEKI在扩散方程上 \(e_u\) 达99.98%(几乎完全失败),而cKAN-DTEKI仅11.55%,说明cKANs的参数效率对高维问题至关重要。

证明路线与技术技巧

整体路线(算法层面,非数学证明):

  1. 离线阶段:用有限差分计算梯度 \(\nabla_\theta F_\lambda(\theta)\),估计梯度协方差矩阵 \(C\),做特征分解,取前 \(m\) 个特征向量构成 \(W_1\)。
  2. 在线推断阶段:
  3. 从先验 \(p(\zeta)\) 采样初始集合 \(\{\zeta^{(j)}_0\}_{j=1}^J\);
  4. 迭代执行:扰动(式3.10)→ 前向传播计算 \(H(\hat{\zeta}^{(j)}_n)\) → 计算集合协方差(含dropout掩码)→ EKI更新(式3.5)→ 投影回原参数空间。
  5. 后处理:用最终集合的均值和标准差作为后验估计。

关键技术技巧:

  1. Dropout掩码的构造(式3.8-3.9):对偏差 \(\tau^{(j)}_n\) 施加Bernoulli掩码 \(\beta_n\),效果:在协方差估计中引入稀疏性,等价于对协方差矩阵施加随机正则化。这比vanilla EKI的确定性正则化(如Tikhonov)更灵活,且计算开销极小。

  2. Active subspace的离线-在线分离:梯度计算只在离线阶段做一次,在线推断完全梯度-free。效果:避免了KANs反向传播的昂贵计算(作者在引言中承认KANs的反向传播比MLPs慢)。

  3. Mini-batch训练:每次迭代只用一批残差点计算协方差。效果:引入随机梯度噪声,有助于逃离局部最优,同时降低单次迭代的计算量。

  4. Tikhonov正则化的自适应:\(\alpha\) 根据噪声水平调整(小噪声用0.1,大噪声用0.01)。效果:在噪声大时减少正则化强度,避免过度平滑后验。

关键跳跃点: - 从vanilla EKI到DTEKI:dropout的引入不是简单的技巧叠加,而是针对高维协方差秩亏问题的针对性设计。作者在式3.8-3.9中展示了dropout如何改变协方差估计的结构,但未提供理论分析(如dropout对估计偏差的影响)。 - 从DTEKI到SDTEKI:active subspace的引入需要假设梯度协方差矩阵的低秩结构。作者通过实验(图4的奇异值衰减)验证了这一假设,但未讨论当奇异值不快速衰减时的行为。

真实例子与应用

本文有四个真实数值实验,全部为合成数据(无真实观测数据):

  1. 输运方程(一维,线性):验证基本正确性。\(a_{true}=1\),观测噪声 \(\sigma=0.1\)。结果:三种方法均能恢复 \(a\) 的后验,SDTEKI的方差最小。
  2. 扩散方程(一维,含边界层):验证多尺度问题的处理能力。\(\kappa=0.001, D=0.1\) 导致解在边界附近剧烈变化。结果:HMC在 \(x=0.4\) 附近低估不确定性(置信区间未覆盖真值),而DTEKI/SDTEKI覆盖良好。
  3. 非线性方程(一维,含tanh非线性):验证非线性PDE的处理能力。结果:HMC在 \(e_u\) 上最优(5.95%),但SDTEKI在参数 \(k\) 的估计上最优(2.84%)。
  4. 2D Darcy流(二维,高维参数场):验证可扩展性。参数场用KL展开截断至256维,网络参数2080个。结果:SDTEKI将网络参数降至692个,计算时间从576.83s降至18.76s(约30倍加速),同时 \(e_u\) 从2.24%降至1.33%。

每个实验想说明什么: - 实验1:方法的基本正确性(与解析后验对比)。 - 实验2:对多尺度问题的鲁棒性(HMC失败的情形)。 - 实验3:对非线性的处理能力(HMC在 \(e_u\) 上仍占优,但SDTEKI在参数估计上更优)。 - 实验4:可扩展性(高维参数场 + 大数据 + 高噪声)。

🔎 结论是否比证明窄

是,且有多处:

  1. "可扩展性"的宣称超出证据:作者在摘要和结论中声称方法"可扩展到大尺度问题",但实验4的Darcy问题仅256维KL截断,网络仅2080个参数。对于真正的"大尺度"(如三维、百万级参数),EKI的集合大小 \(J=500\) 可能不足以估计高维协方差,且active subspace的离线梯度计算成本可能成为新瓶颈。作者未讨论 \(J\) 与 \(N_\xi\) 的比例关系。

  2. "与HMC精度相当"的宣称在非线性情形不成立:实验3中,HMC的 \(e_u\)(5.95%)优于DTEKI(9.54%)和SDTEKI(7.63%)。作者在正文中承认这一点,但在摘要中仅说"comparable or better accuracy",未指明非线性情形的例外。

  3. "更可靠的不确定性估计"缺乏定量验证:作者通过图示(置信区间覆盖真值)来论证UQ的可靠性,但未提供定量指标(如覆盖率、区间宽度、CRPS等)。图3中HMC的方差偏大,但这是否意味着HMC的UQ"不可靠"?方差偏大是保守而非错误,取决于应用场景。

  4. 理论空白:全文无任何定理或命题。EKI的收敛性([13])仅对线性 \(G\) 成立,本文的非线性PDE实验缺乏理论保证。Dropout的随机掩码对EKI收敛性的影响完全未分析。

  5. "梯度-free"的宣称有保留:虽然在线推断是梯度-free的,但active subspace的离线计算需要梯度信息(式3.15)。作者通过有限差分计算梯度,这在参数维度高时本身可能很昂贵。作者未讨论离线阶段的计算成本。

四、开放问题

以下问题均扎根于本文的具体语句或空白:

  1. EKI在非线性PDE反问题中的收敛性:本文引用了[13]的均场极限收敛(仅线性 \(G\)),但将其用于非线性PDE(式4.2, 4.4, 4.6)。能否在温和的非线性条件下(如Lipschitz、单调性)证明DTEKI的收敛性?这是理论统计学家可以直接切入的问题。

  2. Dropout掩码的统计效应:式3.8-3.9中,dropout对协方差估计引入了随机稀疏性。这等价于什么样的正则化?对后验估计的偏差和方差有何影响?能否给出dropout率 \(\rho\) 与协方差估计误差之间的定量关系?

  3. Active subspace的估计误差传播:式3.15-3.19中,\(W_1\) 通过有限差分估计,存在数值误差。这个误差如何传播到最终的后验估计?当梯度协方差矩阵的谱不是快速衰减时(图4的理想情形之外),active subspace方法是否仍然有效?

  4. Mini-batch EKI的收敛速率:作者使用mini-batch训练(batch size 20-100),但未分析batch size对收敛速率的影响。这与随机优化中的mini-batch SGD理论有何联系?能否给出batch size与收敛速率之间的权衡?

  5. 噪声方差未知时的扩展:本文假设噪声方差 \(\sigma_{\eta_u}, \sigma_{\eta_f}, \sigma_{\eta_b}\) 已知。在实际问题中,噪声方差通常需要与参数同时估计。如何将DTEKI扩展到噪声方差未知的情形?这涉及层次贝叶斯模型的设计。

  6. 集合大小 \(J\) 与参数维度 \(N_\xi\) 的关系:本文固定 \(J=500\),但未讨论 \(J\) 应如何随 \(N_\xi\) 增长。在高维参数空间(如Darcy问题的256维KL截断),\(J=500\) 是否足够?能否给出 \(J\) 的下界以保证协方差估计的精度?

提示:若要确认上述某条是否为真gap,建议去读以下方向的近期文献(各约5篇): - EKI的收敛性分析(Iglesias, Stuart, Schillings等人的后续工作); - 随机化协方差估计(randomized numerical linear algebra); - 贝叶斯神经网络的变分推断(Blundell et al., Graves等人的工作); - 高维贝叶斯反问题中的降维方法(Constantine, Cui, Marzouk等人的后续工作)。

若这些文献中已有解决上述问题的结果,则该条不是真gap;若均未涉及,则值得深入。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论