跳转至

Solving Bayesian Inverse Problems Using Gaussian Process Regression with Goal-Oriented Active Learning

作者: Paul Lartaud, Philippe Humbert, Josselin Garnier
来源: Technometrics
主题: 统计计算 / 算法
相关性: 4/10
机构绿灯: École Polytechnique（US News 前 50，免分进入精读）
链接: https://doi.org/10.1080/00401706.2025.2561745

一、领域脉络与小综述

这个方向是什么

本文研究的根本问题是：在计算预算有限的情况下，如何通过序贯地选择新的设计点（即“主动学习”或“序贯设计”），来构建一个用于替代昂贵计算机模拟（如有限元、流体力学求解器）的代理模型（surrogate model），并且这个代理模型最终要服务于一个特定的下游任务——贝叶斯逆问题（Bayesian inverse problem）。具体来说，逆问题的目标是基于观测数据（如地震波到达时间）反推未知参数（如地下岩层结构）的后验分布。因此，代理模型不仅要“拟合好”整个输入空间，更要“在逆问题关心的区域”精确。这个子方向（目标导向的序贯设计）当前处于方法学成熟但应用场景不断扩展的阶段，核心挑战在于如何将“不确定性”的度量与下游任务（逆问题）的目标对齐。

发展脉络（history）

作者在引言中梳理了从通用序贯设计到目标导向设计的演进，本文定位为将SUR框架从纯预测问题推广到贝叶斯逆问题。

  1. 奠基工作：通用序贯设计（空间填充与MMSE）

    • Sacks et al. (1989)：奠定了基于高斯过程（GP）的计算机实验设计与分析（Design and Analysis of Computer Experiments, DACE）的经典框架。其核心思想是，用GP作为代理模型，并基于积分均方预测误差（IMSPE） 或最大均方预测误差（MMSE） 等全局不确定性度量来指导新点的选择。这是所有后续工作的基础。
    • Santner et al. (2003)：出版了该领域的标准教科书，系统总结了空间填充设计（如LHS）和基于模型的设计（如IMSPE、MMSE）方法。这些方法的目标是全局地降低预测不确定性，不关心下游任务。

  2. 主要进展：目标导向设计与SUR框架

    • Gramacy & Apley (2015)：提出了“局部风险”的概念，将设计目标从全局预测精度转向对特定区域（如响应面极值区域）的精确建模。这标志着从“全局”到“目标导向”的转变，但该工作主要关注极值估计，而非逆问题。
    • Bect et al. (2012, 2019)：系统性地阐述了逐步不确定性缩减（Stepwise Uncertainty Reduction, SUR） 框架。SUR提供了一个统一的视角：每一步选择新设计点，以最小化期望的未来不确定性度量。该框架的关键优势在于，它为许多序贯设计策略提供了理论保证（如不确定性泛函的几乎必然收敛性）。Bect et al. (2019) 进一步将SUR应用于概率分类问题（如估计一个水平集），展示了SUR框架的灵活性。

  3. 当前Frontier与本文位置

    • 当前Frontier：将SUR框架应用于更复杂的下游任务，如贝叶斯逆问题。逆问题的目标不是预测响应面，而是推断后验分布。因此，不确定性度量需要从“预测误差”转向“后验不确定性”。
    • 本文位置：作者明确指出，现有SUR方法主要针对预测或分类问题，而“据我们所知，尚未有工作将SUR框架直接应用于贝叶斯逆问题中的代理模型构建”。本文填补了这个缺口，提出了两种目标导向策略：约束集查询（CSQ） 和逆问题SUR（IP-SUR）。CSQ是对经典MMSE设计的改进，将搜索空间限制在MAP估计的Mahalanobis距离球内；IP-SUR则直接以后验加权的IMSPE作为不确定性度量，并证明了其几乎必然收敛性。

子线索聚类

这些被引文献大致落在两条子线索上：

  • 线索一：通用序贯设计（空间填充与基于模型的设计）

    • 代表工作：Sacks et al. (1989), Santner et al. (2003), Morris et al. (1993), Jin et al. (2002)。
    • 核心目标：在输入空间内均匀地或基于模型不确定性（如IMSPE、MMSE）地选择设计点，以构建一个全局精确的代理模型。不考虑下游任务。
    • 当前瓶颈：计算成本高，且对于下游任务（如逆问题）来说，在“不重要”的区域浪费了计算资源。

  • 线索二：目标导向的序贯设计（SUR框架及其变体）

    • 代表工作：Bect et al. (2012, 2019), Gramacy & Apley (2015), Chevalier et al. (2014)。
    • 核心目标：将序贯设计的目标与一个特定的下游任务（如估计极值、分类、逆问题）对齐。SUR框架提供了理论支撑。
    • 当前瓶颈：如何为新的下游任务（如贝叶斯逆问题）设计一个可解析计算且有理论保证的不确定性度量，是主要挑战。本文正是针对此瓶颈。

这个方向在追问的核心问题

  1. 如何定义“不确定性”：对于贝叶斯逆问题，代理模型的不确定性最终应如何映射到后验分布的不确定性上？是后验方差、后验熵，还是其他度量？
  2. 如何实现“目标导向”：如何将逆问题的目标（如精确的后验均值、后验分位数、MAP估计）转化为一个可优化的序贯设计准则？
  3. 计算可行性：新的设计准则能否在GP代理模型下得到解析表达式，避免昂贵的蒙特卡洛采样？
  4. 理论保证：新策略能否保证不确定性泛函的收敛性，从而确保随着计算预算增加，代理模型会越来越好？

⚠️ 作者的Framing

  • 作者的缺口：作者将缺口frame为“SUR框架尚未被应用于贝叶斯逆问题中的代理模型构建”。这使得本文成为“显然的下一步”。
  • 被淡化的竞争路线：作者淡化了直接对后验分布进行序贯设计的路线（例如，通过序贯蒙特卡洛SMC或变分推断来直接逼近后验，而非构建代理模型）。这些方法计算量巨大，但理论上更直接。作者通过强调“代理模型+序贯设计”的计算效率和理论可追踪性（GP的解析性）来回避这一竞争。
  • 值得查的问题：作者在引言中没有引用任何关于贝叶斯优化（Bayesian Optimization, BO） 的文献。BO是另一个非常活跃的、目标导向的序贯设计领域，其目标通常是最大化一个黑箱函数。虽然BO的目标（极值）与逆问题（后验推断）不同，但两者在“目标导向”和“主动学习”上高度相关。为什么作者没有将本文与BO联系起来？ 这是一个值得研究者去查的张力点。

张力

未见明显对立引用。所有被引工作都在一个渐进发展的框架内，彼此补充而非矛盾。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：

    • \( \mathbf{x} \in \mathcal{X} \subset \mathbb{R}^d \)：输入变量，代表计算机模拟的输入参数（如材料属性、几何尺寸）。\( d \) 是输入空间的维度。
    • \( y = f(\mathbf{x}) \)：真实但昂贵的计算机模拟，是一个确定性的黑箱函数。\( y \) 是输出（如应力、温度）。
    • \( \mathbf{y}_{obs} \)：可观测数据，来自真实世界（如实验测量）。它与模拟输出 \( f(\mathbf{x}) \) 通过一个统计模型联系起来。
    • \( \mathbf{X}_n = \{\mathbf{x}_1, ..., \mathbf{x}_n\} \)：设计点集，即已经运行过昂贵模拟的 \( n \) 个输入点。
    • \( \mathbf{Y}_n = \{y_1, ..., y_n\} \)：模拟输出集，对应设计点 \( \mathbf{X}_n \) 的模拟结果，即 \( y_i = f(\mathbf{x}_i) \)。
    • \( \hat{f}(\mathbf{x}) \)：代理模型，基于 \( (\mathbf{X}_n, \mathbf{Y}_n) \) 构建，用于近似昂贵的 \( f(\mathbf{x}) \)。本文使用高斯过程回归（GPR）。
    • \( \pi(\mathbf{x}) \)：先验分布，在观测数据 \( \mathbf{y}_{obs} \) 之前，对输入参数 \( \mathbf{x} \) 的信念。
    • \( \pi(\mathbf{x} | \mathbf{y}_{obs}) \)：后验分布，在观测到 \( \mathbf{y}_{obs} \) 后，对 \( \mathbf{x} \) 的信念。这是贝叶斯逆问题的最终目标。
    • \( \mathbf{x}_{MAP} \)：最大后验估计，即后验分布的众数，\( \mathbf{x}_{MAP} = \arg\max_{\mathbf{x}} \pi(\mathbf{x} | \mathbf{y}_{obs}) \)。
    • \( \mathbf{x}_{n+1} \)：下一个要查询的设计点，由序贯设计策略决定。

  • 模型：

    • 数据生成机制：
      1. 先验：\( \mathbf{x} \sim \pi(\mathbf{x}) \)。
      2. 模拟：\( y = f(\mathbf{x}) \)，这是一个确定性的映射。
      3. 观测：\( \mathbf{y}_{obs} = f(\mathbf{x}_{true}) + \epsilon \)，其中 \( \mathbf{x}_{true} \) 是真实但未知的参数，\( \epsilon \) 是观测噪声（通常假设为高斯噪声 \( \mathcal{N}(0, \sigma^2_{obs} I) \)）。
    • 统计模型：
      1. 代理模型：\( f(\mathbf{x}) \) 被建模为一个高斯过程：\( f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}), k(\mathbf{x}, \mathbf{x}')) \)。\( m(\cdot) \) 是均值函数（通常设为0），\( k(\cdot, \cdot) \) 是协方差函数（如平方指数核）。
      2. 似然：基于代理模型，观测数据 \( \mathbf{y}_{obs} \) 的似然为 \( p(\mathbf{y}_{obs} | \mathbf{x}) = \mathcal{N}(\mathbf{y}_{obs}; \hat{f}(\mathbf{x}), \sigma^2_{obs} I + \sigma^2_{pred}(\mathbf{x})) \)，其中 \( \hat{f}(\mathbf{x}) \) 是GP在 \( \mathbf{x} \) 处的预测均值，\( \sigma^2_{pred}(\mathbf{x}) \) 是GP的预测方差。注意：这里的关键近似是用GP的预测 \( \hat{f}(\mathbf{x}) \) 代替了真实模拟 \( f(\mathbf{x}) \)。
    • 要估的对象：后验分布 \( \pi(\mathbf{x} | \mathbf{y}_{obs}) \)。由于使用了GP代理，后验可以解析或通过简单采样得到。

  • 可观测数据：

    • 研究者能观测到：
      1. 设计点集 \( \mathbf{X}_n \) 和对应的模拟输出 \( \mathbf{Y}_n \)。这些是主动选择的。
      2. 真实世界观测数据 \( \mathbf{y}_{obs} \)。这是固定的、给定的。
    • 研究者想要但观测不到：
      1. 真实函数 \( f(\mathbf{x}) \) 在未查询点处的值。
      2. 真实参数 \( \mathbf{x}_{true} \)。
      3. 真实后验分布 \( \pi(\mathbf{x} | \mathbf{y}_{obs}) \)。我们只能通过代理模型得到其近似。

第二步：讲最小内核

本文的核心思路可以用一个一维（d=1） 的简单例子讲清楚。

最简特例： * 设定：输入空间 \( \mathcal{X} = [0, 1] \)。真实函数 \( f(x) = \sin(5x) \)。先验 \( \pi(x) = \text{Uniform}(0, 1) \)。观测数据只有一个点：\( y_{obs} = 0.5 \)，且假设观测噪声 \( \sigma^2_{obs} = 0 \)（即无噪声观测）。那么，逆问题的目标是找到所有 \( x \) 使得 \( f(x) \approx 0.5 \) 的后验分布。 * 初始状态：我们只有 \( n=3 \) 个初始设计点，比如 \( X_3 = \{0.1, 0.5, 0.9\} \)，并运行了昂贵模拟得到 \( Y_3 = \{f(0.1), f(0.5), f(0.9)\} \)。基于此，我们构建了一个初始GP代理模型。这个代理模型在整个 \( [0,1] \) 上都有预测不确定性（预测方差 \( \sigma^2_{pred}(x) \) 很大，尤其是在远离设计点的地方）。 * 核心问题：我们还有预算再运行一次模拟（即再选一个点 \( x_4 \)）。应该选哪个点，才能最大程度地改善后验分布 \( \pi(x | y_{obs}=0.5) \) 的估计？

本文的两种策略如何回答这个问题：

  1. CSQ策略（约束集查询）：

    • 直觉：后验分布 \( \pi(x | y_{obs}=0.5) \) 在 \( f(x) \approx 0.5 \) 的区域（即“约束集”）附近取值较大。因此，我们应该只在这个“重要区域”内寻找新的设计点，而不是在整个 \( [0,1] \) 上。
    • 具体操作：
      1. 首先，基于当前GP代理，找到MAP估计 \( x_{MAP} \)。在这个例子中，\( x_{MAP} \) 会是某个使 \( \hat{f}(x) \approx 0.5 \) 的点。
      2. 然后，定义一个以 \( x_{MAP} \) 为中心、以某个半径 \( R \) 为界的Mahalanobis距离球。这个球大致对应后验分布的高概率区域。
      3. 最后，在这个球内，运行标准的MMSE策略：选择 \( x_4 = \arg\max_{x \in \text{Ball}(x_{MAP}, R)} \sigma^2_{pred}(x) \)。即，在“重要区域”内，选择当前GP最不确定的点。
    • 为什么有效：它把计算资源集中在了对后验推断最关键的区域，避免了在 \( f(x) \) 远离0.5的区域（如 \( x \approx 0.2 \)）浪费预算。

  2. IP-SUR策略（逆问题SUR）：

    • 直觉：我们真正关心的是后验分布的不确定性。因此，应该直接定义一个度量后验分布不确定性的泛函 \( H(\pi(\cdot | \mathbf{y}_{obs})) \)，然后选择能最大程度降低这个泛函期望值的新点。
    • 具体操作：
      1. 定义一个不确定性泛函。本文用的是后验加权的积分均方预测误差（posterior-weighted IMSPE）：
        \[U(\mathbf{X}_n) = \int_{\mathcal{X}} \sigma^2_{pred}(\mathbf{x}) \cdot \pi(\mathbf{x} | \mathbf{y}_{obs}) \, d\mathbf{x}\]
        这个泛函的含义是：在后验分布认为重要的区域（\( \pi(\mathbf{x} | \mathbf{y}_{obs}) \) 大），给预测方差 \( \sigma^2_{pred}(\mathbf{x}) \) 赋予更高的权重。
      2. 对于候选点 \( \mathbf{x}_{n+1} \)，计算加入它之后不确定性泛函的期望降低量：
        \[\Delta U(\mathbf{x}_{n+1}) = \mathbb{E}_{Y_{n+1} | \mathbf{X}_n, \mathbf{Y}_n} [U(\mathbf{X}_n) - U(\mathbf{X}_n \cup \{\mathbf{x}_{n+1}\})]\]
        其中，期望是对 \( \mathbf{x}_{n+1} \) 处尚未观测到的模拟输出 \( Y_{n+1} \) 取的。
      3. 选择 \( \mathbf{x}_4 = \arg\max_{\mathbf{x}_{n+1}} \Delta U(\mathbf{x}_{n+1}) \)。
    • 为什么有效：它直接优化了与逆问题目标（后验分布）相关的度量。在GP模型下，\( \Delta U(\mathbf{x}_{n+1}) \) 可以解析计算，无需蒙特卡洛。本文证明了，随着 \( n \to \infty \)，\( U(\mathbf{X}_n) \) 几乎必然收敛到0，意味着后验分布的不确定性最终会被消除。

总结：这个最小内核展示了本文的核心思想——将序贯设计的目标从“全局预测精度”转向“后验推断精度”。CSQ通过限制搜索空间来实现，IP-SUR则通过重新定义不确定性度量来实现。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在计算预算有限的情况下，如何通过序贯设计（主动学习）来构建用于贝叶斯逆问题的高斯过程代理模型，以高效地逼近后验分布。
  2. 核心工具/方法：基于逐步不确定性缩减（SUR）框架，提出了两种目标导向的序贯设计策略：约束集查询（CSQ） 和逆问题SUR（IP-SUR）。两者均利用GP的解析性质实现高效计算。
  3. 主要结论：在多个数值测试案例中，CSQ和IP-SUR策略在改善后验分布估计（尤其是尾部区域）方面，均显著优于标准的全局目标导向设计（如MMSE）。IP-SUR策略还提供了不确定性泛函几乎必然收敛的理论保证。

关键设定与假设

  • 设定：与第二节的记号一致。核心设定是：真实函数 \( f \) 是确定性的，且计算昂贵；我们使用GP作为代理模型；目标是贝叶斯逆问题，即推断后验分布 \( \pi(\mathbf{x} | \mathbf{y}_{obs}) \)。
  • 假设：
    1. GP模型假设：\( f \) 是GP的一个实现。这是所有基于GP的代理模型方法的标准假设。相比一些更灵活的非参数方法（如随机森林），这是一个较强的参数化假设，但带来了计算上的便利。
    2. 观测模型假设：观测数据 \( \mathbf{y}_{obs} \) 与模拟输出 \( f(\mathbf{x}) \) 之间的关系是已知的，且通常为加性高斯噪声。这是贝叶斯逆问题的标准设定。
    3. 计算可行性假设：GP的协方差函数 \( k(\cdot, \cdot) \) 是已知的或已被估计。本文假设GP的超参数（如核的长度尺度）是固定的，或者通过经验贝叶斯（如最大化边际似然）从初始设计点估计得到。这是一个关键假设：在序贯设计过程中，GP的超参数不再更新。这简化了计算，但可能不是最优的。
  • 相比已有文献的强化/放宽：
    • 强化：相比通用的SUR框架（Bect et al., 2012），本文强化了目标，将其从“预测”或“分类”具体化为“贝叶斯逆问题”。
    • 放宽：相比直接对后验进行序贯蒙特卡洛的方法，本文放宽了计算要求，通过构建代理模型来避免每次迭代都运行昂贵模拟。

主要结果

  • 结果1：CSQ策略的提出与定义（第3节）

    • 陈述：CSQ策略将MMSE设计的搜索空间限制在一个以MAP估计 \( \mathbf{x}_{MAP} \) 为中心的Mahalanobis距离球内。球的半径 \( R \) 由后验分布的某个分位数（如95%）决定。
    • 直觉：这个球近似于后验分布的高概率区域（Highest Posterior Density, HPD）区域。通过将搜索限制在此区域内，CSQ确保了新设计点直接服务于改善该区域内的GP预测精度，从而间接改善后验估计。
    • 必要条件：需要能够计算 \( \mathbf{x}_{MAP} \) 和Mahalanobis距离。在GP代理模型下，这两者都可以解析或通过简单的优化得到。

  • 结果2：IP-SUR策略的提出、定义与理论保证（第4节）

    • 陈述：IP-SUR策略定义了一个新的不确定性泛函 \( U(\mathbf{X}_n) = \int_{\mathcal{X}} \sigma^2_{pred}(\mathbf{x}) \pi(\mathbf{x} | \mathbf{y}_{obs}) d\mathbf{x} \)，并证明了在SUR框架下，该泛函的期望降低量 \( \Delta U(\mathbf{x}_{n+1}) \) 可以解析计算。更重要的是，定理1证明了 \( U(\mathbf{X}_n) \) 几乎必然收敛到0。
    • 直觉：\( U(\mathbf{X}_n) \) 是后验加权的预测方差。它的收敛意味着，随着我们不断添加设计点，GP在后验分布认为重要的区域内的预测不确定性会消失。这直接保证了后验分布估计的一致性。
    • 解决的技术难点：如何将SUR框架中的不确定性度量与逆问题的后验分布联系起来，并证明其收敛性。作者通过巧妙地定义 \( U(\mathbf{X}_n) \) 并利用GP的解析性质（预测方差 \( \sigma^2_{pred}(\mathbf{x}) \) 的更新公式）解决了计算问题；通过鞅收敛定理证明了收敛性。

  • 结果3：数值实验（第5节）

    • 数据/场景：使用了三个测试案例：
      1. 一维简单函数：\( f(x) = \sin(5x) \)，用于直观展示。
      2. 二维Borehole函数：一个经典的计算机实验基准问题，模拟地下水流量。
      3. 二维热传导逆问题：一个更贴近实际的物理问题，目标是基于温度观测反推热源位置。
    • 方法应用：对于每个案例，先构建一个初始GP模型，然后分别使用MMSE（全局）、CSQ和IP-SUR策略序贯地添加新设计点。每次添加后，重新计算后验分布。
    • 结果：
      • 量化对比：使用后验分布的Wasserstein距离（衡量近似后验与真实后验的差异）作为评价指标。在所有案例中，CSQ和IP-SUR策略的Wasserstein距离下降速度均显著快于全局MMSE策略。
      • 具体发现：IP-SUR策略在后验分布的尾部区域表现尤为出色，能够更准确地捕捉到后验分布的多模态性和不确定性。CSQ策略则在MAP估计附近表现良好。
      • 例子想说明什么：这些例子旨在验证理论（IP-SUR的收敛性）并展示相对baseline（MMSE）的实际优势，特别是在有限预算下，目标导向策略能更有效地利用计算资源来改善逆问题的结果。

证明路线与技术技巧

  • 整体路线（针对定理1：IP-SUR的收敛性）：
    1. 定义不确定性泛函：定义 \( U_n = U(\mathbf{X}_n) \)。
    2. 证明 \( U_n \) 是上鞅：证明 \( \mathbb{E}[U_{n+1} | \mathcal{F}_n] \le U_n \)，其中 \( \mathcal{F}_n \) 是到第 \( n \) 步为止的信息。这是SUR框架的核心：每一步的期望不确定性都在降低。
    3. 应用鞅收敛定理：由于 \( U_n \) 是非负上鞅，根据Doob的鞅收敛定理，\( U_n \) 几乎必然收敛到一个极限随机变量 \( U_\infty \)。
    4. 证明极限为0：证明 \( U_\infty = 0 \) 几乎必然成立。这一步是关键，需要证明不确定性不会停滞在一个非零值上。作者通过论证，如果 \( U_\infty > 0 \)，则存在一个区域其预测方差始终为正，这与SUR策略会不断选择该区域内的点相矛盾，从而导出矛盾。
  • 关键跳跃点：证明 \( U_\infty = 0 \) 是最大的难点。作者依赖于一个关键引理：如果 \( U_n \) 不收敛到0，那么存在一个非空开集，其上的预测方差永远不会收敛到0。然后，他们论证SUR策略会无限次地选择该开集内的点，而这会导致预测方差收敛到0，矛盾。这个论证需要仔细处理GP预测方差的性质和SUR策略的“探索性”。
  • 技术技巧点名：
    • 鞅收敛定理：用于证明不确定性泛函的几乎必然收敛性。这是SUR框架的标准工具。
    • GP预测方差的解析更新：用于计算 \( \Delta U(\mathbf{x}_{n+1}) \)，使得IP-SUR策略在计算上可行。这是将SUR框架应用于GP的关键技巧。
    • 后验分布的解析近似：在计算后验加权IMSPE时，作者利用了GP代理模型下后验分布可以近似为高斯混合或通过重要性采样得到的事实，避免了昂贵的MCMC。

🔎 结论是否比证明窄

  • 窄结论：定理1证明了不确定性泛函 \( U(\mathbf{X}_n) \) 的收敛性。但这个收敛性并不直接等价于后验分布本身的收敛性（例如，在Wasserstein距离下）。作者在数值实验中用Wasserstein距离评估了性能，但并未给出理论证明。因此，论文的核心理论保证（收敛性）是针对一个特定的不确定性度量，而非后验分布本身。这是一个重要的窄化。
  • 泛泛claim：作者在引言和结论中声称CSQ和IP-SUR策略“优于”标准目标导向设计。这个结论是基于数值实验的，并且依赖于具体的测试案例和评价指标。它不是一个普适的数学定理。对于某些特定的逆问题或GP设定，全局MMSE策略可能仍然更好。

四、开放问题

  1. 后验分布本身的收敛性：本文证明了后验加权预测方差 \( U(\mathbf{X}_n) \) 的收敛性，但未证明后验分布 \( \pi(\mathbf{x} | \mathbf{y}_{obs}) \) 本身（例如在Wasserstein距离或总变差距离下）的收敛性。能否在更强的条件下（如GP的协方差函数是解析的）证明后验分布的收敛速率？（扎根于：定理1的结论是 \( U(\mathbf{X}_n) \to 0 \)，而非后验分布本身的收敛。）

  2. GP超参数的自适应更新：本文假设GP的超参数在序贯设计过程中是固定的。能否开发一种在序贯设计过程中同时更新GP超参数和选择新设计点的策略？ 这可能会带来更好的性能，但会显著增加计算复杂性，并可能破坏SUR框架的鞅性质。（扎根于：第2.2节提到“GP的超参数通常通过最大化边际似然从初始设计点估计得到”，并在整个序贯过程中保持不变。）

  3. 高维输入空间：本文的数值实验仅限于一维和二维问题。CSQ和IP-SUR策略在高维输入空间（如d > 10）中的表现如何？ GP模型本身在高维下会面临“维度诅咒”（协方差矩阵病态、预测方差难以降低），序贯设计策略的有效性也会大打折扣。需要研究如何结合降维或可加性结构来处理高维问题。（扎根于：所有数值实验的维度都很低，作者未讨论高维情况。）

  4. 计算复杂度的理论分析：本文给出了IP-SUR策略的解析公式，但未分析其计算复杂度。每次迭代选择新点需要计算 \( \Delta U(\mathbf{x}) \) 对所有候选点的值，这涉及到对 \( \mathcal{X} \) 的积分或网格搜索。能否给出一个更高效的计算方案，或者分析其计算复杂度与设计点数量 \( n \) 和输入维度 \( d \) 的关系？（扎根于：第4.2节给出了 \( \Delta U(\mathbf{x}_{n+1}) \) 的解析表达式，但未讨论其计算成本。）

Maintained by 陈星宇 · Homepage · Source on GitHub

评论