跳转至

Active Learning via Heteroskedastic Rational Kriging

作者: Shangkun Wang, V. Roshan Joseph
来源: SIAM/ASA Journal on Uncertainty Quantification
主题: 统计计算 / 算法
相关性: 5/10
机构绿灯: Georgia Institute of Technology(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是计算机实验(computer experiments)的主动学习(active learning)与序贯设计(sequential design)。其根本的统计问题是:给定一个昂贵的黑箱函数 f: ℝᵖ → ℝ(如 CFD 模拟、DFT 计算),如何在有限的评估预算内,通过序贯地选择设计点 x₁, x₂, …, xₙ,使得基于这些点构建的代理模型(surrogate model,通常是高斯过程回归)对未知响应面的逼近误差最小。该方向的核心张力在于:不确定性量化(uncertainty quantification)与空间填充(space-filling)之间的权衡——主动学习策略需要决定"下一个点应该放在哪里",而这依赖于对"哪里误差最大"的估计。该方向已相当成熟,高斯过程回归作为代理模型是工业界与学术界的事实标准(Santner et al., 2019; Gramacy, 2020),但非平稳性(non-stationarity)的处理仍是活跃的研究前沿。

发展脉络(history)

奠基工作:Sacks et al. (1989) 等人将高斯过程(Kriging)引入计算机实验的设计与分析,奠定了"用统计模型替代昂贵模拟器"的基本范式。空间填充设计(Joseph, 2016 的综述)如拉丁超立方体(LHD)、极大极小距离设计(Johnson et al., 1990)成为默认的初始设计选择。主动学习策略的经典形式由 MacKay (1992) 提出——即通过最大化后验方差(或熵)来选择下一个采样点,这就是本文所称的 Active Learning MacKay (ALM) 策略。

主要进展:ALM 策略的一个根本缺陷在于,平稳高斯过程的方差只依赖于设计点的空间分布,而与观测到的响应值无关——这意味着 ALM 会均匀地填充整个实验区域,而不会"关注"那些响应面变化剧烈的局部区域。为克服这一缺陷,研究者提出了多条路线:

  1. 非平稳高斯过程:通过输入空间变形(Sampson and Guttorp, 1992; Schmidt and O'Hagan, 2003)、或引入潜在变量进行维度扩展(Bornn et al., 2012)来建模非平稳协方差结构。Montagna and Tokdar (2016) 将其用于主动学习,但依赖 MCMC 采样,计算缓慢。
  2. 深度高斯过程(Deep GP):Damianou and Lawrence (2013) 提出堆叠多层 GP 以捕捉复杂的输入-输出关系,Dunlop et al. (2018) 分析了其理论性质。Sauer et al. (2023b) 将其用于主动学习,但同样受限于 MCMC 的计算负担。
  3. 异方差高斯过程:Huang et al. (2011) 提出用另一个 GP 建模对数方差(即 ν²(x) = exp{α(x)}),但两个 GP 的乘积使得推断和预测的计算变得困难。Tolvanen et al. (2014) 和 Heinonen et al. (2016) 做了进一步扩展,但计算复杂度依然很高。
  4. 局部化方法:Gramacy and Lee (2008) 的 Treed GP 和 Gramacy and Apley (2015) 的局部近似 GP 通过分而治之的策略捕捉局部变化,但会在预测中引入不连续性。

当前 frontier:如何在保持计算效率(接近平稳 GP 的 O(n³) 或更低)的同时,灵活捕捉响应面的异方差性,是当前的核心挑战。本文的位置:作者提出异方差有理克里金(Heteroskedastic Rational Kriging, HRK),通过修改 Joseph (2024) 最近提出的有理克里金(Rational Kriging)模型,将方差建模为设计点的有理函数,从而在不引入第二个 GP 的情况下捕捉异方差性,并保持计算效率。

子线索聚类

被引文献大致落在三条子线索上:

  • 线索 A:非平稳 GP 的建模与推断(Sampson and Guttorp 1992; Schmidt and O'Hagan 2003; Bornn et al. 2012; Damianou and Lawrence 2013; Dunlop et al. 2018; Heinonen et al. 2016; Tolvanen et al. 2014)。这一簇的核心问题是:如何参数化或非参数化地建模随输入变化的协方差结构,同时保持正定性。主流方法(空间变形、Deep GP)计算代价高,且推断依赖 MCMC。
  • 线索 B:主动学习 / 序贯设计策略(MacKay 1992; Gramacy and Lee 2009; Sauer et al. 2023b; Montagna and Tokdar 2016)。这一簇关注的是:给定一个代理模型,如何选择下一个采样点。ALM(最大化后验方差)是最经典的策略,但受限于平稳性假设。近期工作尝试将非平稳模型(Deep GP、维度扩展)与 ALM 结合。
  • 线索 C:有理函数与核方法(Joseph 2024; Kang and Joseph 2016; Jakobsson et al. 2009; Sarra and Shizgal 2018)。这是本文的直接技术基础。Joseph (2024) 提出有理克里金,将预测器表示为两个函数的比值,从而能更好地逼近具有陡峭梯度或奇点的函数。Kang and Joseph (2016) 的迭代核回归与本文的估计方法密切相关。

这个方向在追问的核心问题

  1. 如何在不牺牲计算效率的前提下捕捉非平稳性? 当前主流方法(Deep GP、双 GP 异方差模型)的计算复杂度远高于平稳 GP,限制了它们在主动学习中的应用。
  2. 主动学习策略如何利用响应面的局部复杂度信息? ALM 策略的方差只依赖于设计点位置,不依赖于响应值,导致均匀填充。如何让设计点"感知"到响应面的局部变化?
  3. 如何在不引入不连续性的情况下实现局部自适应? Treed GP 等方法通过划分输入空间实现局部建模,但预测面不连续。

⚠️ 作者的 framing(这是作者的说法)

作者将缺口 frame 为:平稳 GP 的 ALM 策略导致均匀填充,浪费采样资源;现有非平稳方法(Deep GP、双 GP)计算太慢。因此,本文的贡献是"显然的下一步":一个计算上与平稳 GP 相当、但能捕捉异方差性的模型。作者淡化的竞争路线包括:(a) Treed GP 和局部近似 GP——它们虽然也能捕捉局部变化,但作者仅以"预测不连续"一笔带过,未深入讨论其在主动学习中的表现;(b) 基于贝叶斯优化的主动学习策略(如 EI、UCB),这些策略直接优化目标函数而非单纯最小化代理误差,但作者完全未提及。值得研究者去查的问题:为什么作者没有与 Treed GP 或局部近似 GP 在主动学习框架下进行系统比较?为什么没有考虑 EI/UCB 等面向优化的主动学习策略?这些策略在异方差设定下的表现如何?

张力

未见明显对立引用。但存在一个微妙的张力:Joseph (2024) 的有理克里金最初是为了插值(interpolation)而设计的,而本文将其扩展到主动学习(序贯设计)场景。这两个目标的评价指标不同(前者看预测精度,后者看设计点的信息量),作者并未明确讨论这一转换是否会影响有理克里金的优势。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号:

  • x ∈ ℝᵖ:输入变量(可控的实验条件),p 为输入维度。
  • f(x):真实的未知响应函数(计算机模型的输出),是我们要逼近的目标。
  • Xₙ = {x₁, …, xₙ}:设计点集合(已评估的输入位置)。
  • Yₙ = [f(x₁), …, f(xₙ)]′:对应的观测响应向量(假设无噪声,即确定性计算机实验)。
  • µ:GP 的常数均值(未知参数)。
  • ν²:GP 的方差参数(未知参数)。
  • R(·):相关函数(如高斯相关函数),定义 R(xᵢ − xⱼ) = cor{f(xᵢ), f(xⱼ)}。
  • R:n × n 相关矩阵,Rᵢⱼ = R(xᵢ − xⱼ)。
  • r(x):n 维向量,rᵢ(x) = R(x − xᵢ)。
  • θ = (θ₁, …, θₚ)′:相关函数的长度尺度(lengthscale)参数,控制每个输入维度上函数的平滑程度。
  • τ(x):异方差尺度函数(本文的核心创新),定义为 τ(x) = ν / (c₀ + r(x)′c),其中 c = (c₁, …, cₙ)′ 是 n 维权系数,c₀ 是标量截距。
  • c̃ = (c₀, c′)′:增广权向量,满足归一化约束 c̃′c̃ = 1 且 cᵢ ≥ 0。
  • d = (d₁, …, dₙ)′:dᵢ = c₀ + r(xᵢ)′c,即设计点处的尺度函数值(不含 ν)。
  • s²(x):预测方差(后验方差)。
  • RMSE:均方根误差(预测精度指标)。
  • IS:区间得分(interval score,不确定性量化指标)。

模型:

数据生成机制为确定性计算机实验:y = f(x),无观测噪声。对 f 赋予高斯过程先验:

f(x) ~ GP(µ, ν²R(·))

在平稳 GP 中,方差 ν² 是常数。本文的核心修改是引入异方差尺度函数 τ(x),将模型改写为:

f(x) = µ + τ(x)Z(x),其中 Z(x) ~ GP(0, R(·))

即 f 的方差不再是常数 ν²,而是随输入 x 变化的 ν²(x) = τ²(x) = ν² / (c₀ + r(x)′c)²。关键点:τ(x) 的分母 c₀ + r(x)′c 是一个有理函数(有理克里金的核心结构),它使得方差可以在不同区域取不同值——在 c 较大的方向(即与某些设计点的相关性强)方差被压缩,在 c 较小的方向方差被放大。

可观测数据:研究者实际能观测到的是设计点 Xₙ 和对应的响应 Yₙ。不可观测的是:真实的 f(x)(在未采样点)、异方差尺度函数 τ(x)、以及所有 GP 超参数(µ, ν², θ, c̃)。这些都需要从数据中估计。

第二步:最小内核

最简特例:考虑一维输入(p = 1),输入空间 [0, 1],假设相关函数为高斯相关 R(xᵢ − xⱼ) = exp{−(xᵢ − xⱼ)²/θ²},且假设均值 µ 已知为 0。

核心命题:在平稳 GP(即 c = 0, c₀ = 1)下,ALM 策略选择的下一个设计点为

xₙ₊₁ = argmaxₓ s²(x) = argmaxₓ ν²(1 − r(x)′R⁻¹r(x))

由于 s²(x) 只依赖于设计点 Xₙ 的分布(通过 R 和 r(x)),与观测值 Yₙ 完全无关。这意味着无论响应面在 [0, 1] 的哪个区域变化剧烈,ALM 都会选择当前设计点覆盖最稀疏的区域——即均匀填充。

本文的修改:在 HRK 中,预测方差变为

s²(x) = ν² {1 − r(x)′R⁻¹r(x)} / {c₀ + r(x)′c}²

分母中的 c 向量是通过数据估计的。关键机制:如果响应面在某个区域(比如 x ∈ [0, 0.2])变化剧烈,那么该区域的设计点之间的响应值差异会很大,这会导致估计出的 c 在该区域取较大值(因为 c 的作用是拟合响应面的局部变化)。当 c 在某个区域较大时,该区域的 s²(x) 被压缩(分母变大),而其他区域的 s²(x) 相对变大。因此,ALM 策略会倾向于在 s²(x) 较大的区域(即响应面相对平坦的区域)采样——但这恰恰与直觉相反!

为什么这能工作? 关键在于:在主动学习的早期阶段,设计点稀疏,c 的估计主要反映的是全局趋势而非局部细节。随着设计点增多,c 会逐渐捕捉到响应面的局部变化。在响应面变化剧烈的区域,即使 s²(x) 被压缩,但由于该区域的真实函数值变化大,预测误差仍然很大。而平坦区域的 s²(x) 虽然相对较大,但真实函数值变化小,预测误差也小。因此,HRK 的 ALM 策略实际上是在"预测方差"和"函数变化率"之间做权衡——它牺牲了平坦区域的采样(因为那里即使方差大,误差也小),而将更多采样点分配到变化剧烈的区域。

数学上最核心的困难:估计 c 向量是一个高维(n 维)优化问题,且目标函数(边际似然)非凸。作者的处理方式是:先固定 θ 和 µ,用有理克里金估计 c,然后迭代优化。这个两步过程是否能保证收敛到全局最优,文中没有给出理论保证。

一句话总结本文的数学贡献:通过引入一个 n 维权向量 c 作为异方差尺度函数的参数,将平稳 GP 的常数方差推广为有理函数形式,使得主动学习策略能够利用响应面的局部变化信息,同时保持 O(n³) 的计算复杂度(与平稳 GP 相同)。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:平稳高斯过程在主动学习中会均匀填充实验区域,对仅在局部区域变化剧烈的函数浪费采样资源;本文提出一种新的异方差高斯过程模型来解决这一问题。
  2. 核心工具/方法:基于有理克里金(Rational Kriging, Joseph 2024),引入异方差尺度函数 τ(x) = ν/(c₀ + r(x)′c),通过估计权向量 c 来捕捉响应面的局部变化,并据此设计主动学习策略。
  3. 主要结论:在模拟和两个真实数据集上,HRK 在预测精度(RMSE)和不确定性量化(IS)上优于或持平于平稳 GP(OK)和深度高斯过程(DeepGP),且计算速度快数个数量级。

关键设定与假设

  • 确定性计算机实验:假设观测无噪声,即 y = f(x)。这是计算机实验的标准设定(Santner et al., 2019),与物理实验的噪声设定不同。
  • GP 先验:f(x) ~ GP(µ, ν²R(·)),其中 R 为高斯相关函数。这是平稳 GP 的标准假设。
  • 异方差结构:f(x) = µ + τ(x)Z(x),其中 τ(x) = ν/(c₀ + r(x)′c)。关键假设:异方差性完全由有理函数 τ(x) 捕捉,且 c 向量非负(cᵢ ≥ 0)以保证 τ(x) > 0。
  • 归一化约束:c̃′c̃ = 1,这是为了可识别性——否则 c 和 ν 之间存在尺度混淆。
  • 两阶段估计:先估计 θ 和 µ(用平稳 GP 的方法),再固定 θ 和 µ 估计 c。这个假设简化了优化问题,但可能不是最优的联合估计。

相比已有文献的放宽/强化:相比双 GP 异方差模型(Huang et al., 2011),HRK 不需要额外估计一个 GP 的方差参数,计算更简单;相比 DeepGP(Damianou and Kou, 2018),HRK 不需要 MCMC 采样,计算速度快。但 HRK 的异方差结构是参数化的(有理函数),灵活性不如 DeepGP 的非参数结构。

主要结果

模拟结果(图 5a, 7):在 1 维欠阻尼振荡器、2 维 Gramacy-Lee 函数、8 维 Dette-Pepelyshev 函数、4 维悬臂梁函数、6 维 OTL 电路函数、7 维活塞函数、8 维钻孔函数上,HRK 的 RMSE 和 IS 在大多数情况下优于 OK,且与 DeepGP 相当或更好。特别地,在欠阻尼振荡器(1 维)和 Gramacy-Lee 函数(2 维)上,HRK 的优势最明显——这两个函数都具有"局部剧烈变化、其余平坦"的特征。

计算时间(图 5b):HRK 的计算时间仅略高于 OK(约 1.5-2 倍),但比 DeepGP 快 3 个数量级以上(DeepGP 在 n=200 时需要约 1500 秒,HRK 不到 1 秒)。

真实数据: - 升华焓预测(图 8):815 个有机分子,5 维主成分输入。HRK 在 RMSE 和 IS 上均优于 OK 和 DeepGP,且优势随样本量增加而扩大。 - LGBD 动力学(图 9):3 维输入(马赫数、攻角、侧滑角),HRK 在 RMSE 和 IS 上优于 OK,而 DeepGP 未表现出优势。

稳健性:作者未报告标准误差或置信区间,也未进行统计显著性检验。结果基于 10 次重复的中位数(图 5a, 7)或单次运行(图 8, 9)。

证明路线与技术技巧

本文是方法型论文,没有正式定理。技术路线如下:

  1. 模型设定:将有理克里金(Joseph 2024)的预测器形式推广为异方差 GP。有理克里金的基本思想是:预测器 ˆy(x) = µ + [Σᵢ bᵢR(x − xᵢ)] / [c₀ + Σᵢ cᵢR(x − xᵢ)],即两个函数的比值。本文将其重新解释为异方差 GP 的均值函数,其中分母 c₀ + r(x)′c 控制局部方差。

  2. 参数估计(Algorithm 1):

  3. 步骤 1:用平稳 GP(即 c = 0, c₀ = 1)拟合数据,得到 θ 和 µ 的估计(用最大似然或交叉验证)。
  4. 步骤 2:固定 θ 和 µ,最大化边际对数似然(公式 15)关于 c。这是一个 n+1 维约束优化问题(c̃′c̃ = 1, cᵢ ≥ 0),用 MMA 算法(Svanberg, 2002)求解。
  5. 步骤 3:用估计的 c 计算 µ̂ 和 ν̂²(公式 13-14)。

  6. 主动学习策略(Algorithm 2):

  7. 在每个迭代步,用当前数据拟合 HRK,计算预测方差 s²(x)(公式 9),选择 s²(x) 最大的点作为下一个设计点。
  8. 候选点集:先生成 1000(p+1)² 个随机 LHD 点,再用 twinning 算法(Vakayil and Joseph, 2022)降采样到 100(p+1)² 个点,避免在连续空间做昂贵的优化。

  9. 关键技巧:

  10. 计算效率:R 和 R⁻¹ 只需计算一次(在步骤 1 中),步骤 2 的优化只涉及 c,不需要重新分解 R。这是 HRK 比双 GP 模型快的关键。
  11. 数值稳定性:cᵢ ≥ 0 的约束保证了 τ(x) > 0,避免了方差为负的问题。
  12. 初始值:用有理克里金(c = 0)作为初始值,保证算法从平稳 GP 出发,逐步引入异方差性。

🔎 结论是否比证明窄

  • "计算速度快数个数量级":这一结论仅在 n ≤ 200 的范围内验证(图 5b)。对于更大的 n,R⁻¹ 的计算成本(O(n³))可能成为瓶颈,但作者未讨论。
  • "HRK 优于 OK":在模拟中,HRK 的优势在函数具有明显异方差性时显著;但对于近似平稳的函数(如钻孔函数),HRK 与 OK 的差距很小(图 7f)。作者未明确说明 HRK 在何种条件下会劣于 OK。
  • "HRK 与 DeepGP 相当或更好":在 Gramacy-Lee 函数上,DeepGP 在 n 较小时优于 HRK(图 7a),但作者未讨论这一现象的原因。
  • 无理论保证:作者未证明 MMA 算法收敛到全局最优,也未给出 c 估计的统计性质(相合性、渐近正态性)。对于 n 维参数 c,过拟合风险是存在的,但作者未讨论正则化或模型选择。

四、开放问题

  1. 理论性质:c 向量的估计是否相合?当 n → ∞ 时,HRK 的预测是否渐近等价于真实函数?在什么条件下,HRK 的主动学习策略优于 OK 的 ALM 策略?(扎根于:全文无定理,仅数值实验)
  2. 高维行为:当 p 较大(如 p > 10)时,c 的估计是否稳定?MMA 算法的收敛性如何?候选点集的大小 100(p+1)² 是否随 p 增长过快?(扎根于:模拟最高维度为 8 维钻孔函数)
  3. 与贝叶斯优化的衔接:本文仅考虑纯探索(最小化代理误差),未考虑开发(exploitation)——即主动学习用于优化而非逼近时,HRK 的方差估计是否能改进 EI/UCB 策略?(扎根于:结论部分仅讨论逼近精度,未提及优化目标)
  4. 异方差结构的可识别性:c 向量有 n 个参数,但数据只有 n 个观测。虽然约束 c̃′c̃ = 1 和 cᵢ ≥ 0 提供了正则化,但 c 的估计是否唯一?不同的 c 是否会导致相同的边际似然?(扎根于:公式 15 的优化问题,作者未讨论可识别性)
  5. 与局部 GP 方法的比较:Treed GP(Gramacy and Lee, 2008)和局部近似 GP(Gramacy and Aghaie, 2015)同样能捕捉局部变化,且已有成熟的 R 实现。HRK 与它们在主动学习中的系统比较是缺失的。(扎根于:引言仅提及 DeepGP 作为比较对象)

提示:要确认这些是否是真 gap,建议去读近 5 年关于非平稳 GP 主动学习的综述(如 Sauer et al., 2023a 的综述)以及 Treed GP 相关的近期工作——如果多个独立工作都指向同一问题,那大概率是共识性 gap;如果各说各话,则可能是机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论