跳转至

Robust Gaussian process regression: posterior contraction

作者: Isma\"el Castillo, Paul Egels, Riccardo Lazzarini, Botond Szab\'o
主题: 非参数 / 半参数
相关性: 7/10
链接: https://arxiv.org/abs/2611.11582


一、领域脉络与小综述

  • 这个方向是什么:本文研究的是非参数贝叶斯推断在数据污染下的稳健性。具体而言,在非参数高斯回归模型中,当观测数据中存在至多 \(m\) 个被对抗性污染的样本时,研究者关心的是:基于高斯过程(GP)先验的广义贝叶斯后验分布,是否仍然能够以最优(或接近最优)的频率学派速率收缩到真实回归函数 \(f_0\)。这个子方向的核心张力在于:贝叶斯方法天然依赖似然函数,而污染数据会破坏似然的正确性,因此需要设计"稳健化的似然"或"稳健化的后验构造",同时保持计算上的可行性(如 GP 的共轭性)。该方向当前处于快速发展但理论尚不完整的阶段:已有若干启发式稳健 GP 方法(如 [1, 2, 3]),但缺乏系统的收缩率分析。

  • 发展脉络(history):

  • 奠基工作:经典稳健统计始于 Huber 的污染模型 [29, 30],其核心思想是用截断或加权似然来限制极端观测的影响。在频率学派框架下,[15] 首次利用模量连续性(modulus of continuity)技术给出了 Huber 污染模型下的 minimax 下界,这为后续对抗性污染的研究提供了技术基础。
  • 主要进展:在贝叶斯非参数方面,[9, 26, 40] 建立了标准(未污染)GP 回归后验收缩率的一般理论框架,其核心工具是"先验质量条件 + 测试函数"的证明策略。针对污染问题,[1] 提出了保持共轭性的稳健加权似然(IMQ 权重),但只给出了启发式论证;[43] 在有限维均值估计中证明了截断均值(trimmed mean)的最优性,本文将其推广到非参数回归。此外,[17] 在 RKHS 范数惩罚下研究了对抗性标签污染的频率学派估计,但其速率与本文的 minimax 下界不同。
  • 当前 frontier:本文的贡献在于:(i) 建立了一个通用框架,将稳健化似然(权重仅依赖观测值 \(y\))的收缩率问题归结为对权重函数光滑性和污染贡献的控制;(ii) 证明了在对抗性污染下,自适应于 \((\beta, m)\) 的估计必然付出多项式代价(Theorem 9),这解释了为何简单的加权方法无法同时达到最优速率;(iii) 提出了基于截断的 GP 方法,在已知 \((\beta, m)\) 时达到 minimax 速率(Theorem 8)。
  • 本文的位置:本文处于"从频率学派稳健估计到贝叶斯稳健后验"的桥梁位置。它首次将 [43] 的截断思想系统性地引入 GP 回归,并给出了严格的收缩率分析,填补了 [1] 缺乏理论保证的空白。

  • 子线索聚类:

  • 稳健似然构造:包括重尾似然(Student-t,[31])、加权似然([1] 的 IMQ 权重)、截断似然(本文的 trimmed projection)。这条线索关注"如何修改似然"。
  • 污染模型与 minimax 理论:包括 Huber 污染模型 [29, 30]、对抗性污染 [15, 66]、以及本文的 \(T_m\) 映射模型。这条线索关注"污染的最坏情况是什么"。
  • 贝叶斯收缩率理论:包括标准 GP 收缩率 [59, 60]、分数后验 [9, 40]、广义贝叶斯(Gibbs 后验)[28, 54]。这条线索关注"后验何时收敛、以何速率收敛"。
  • 计算与共轭性:本文特别强调保持 GP 共轭性(见第 2 节和 [1]),这是从算法角度对稳健贝叶斯方法的约束。

  • 这个方向在追问的核心问题:

  • 稳健后验的收缩率如何刻画? 即:在污染存在时,后验分布是否仍以 \(O(\varepsilon_n(\beta) + \sqrt{m/n})\) 的速率收缩?本文给出了肯定回答(Theorem 1-3),但需要权重函数满足特定条件。
  • 自适应是否可能? 即:能否在不预先知道 \((\beta, m)\) 的情况下,达到与已知它们时相同的速率?本文的 Theorem 9 给出了否定回答——自适应必然损失多项式因子。
  • 计算与统计的权衡:稳健化似然往往破坏共轭性(如 Student-t),而本文强调的 IMQ 权重和截断方法在保持共轭性的同时,是否牺牲了统计效率?本文的数值实验表明,在有限样本下,截断方法(Method V)和去偏 IMQ(Method IV)表现最好。

  • ⚠️ 作者的 framing(必须明确标注成"这是作者的说法"):作者在引言中把缺口 frame 成"现有稳健 GP 方法缺乏理论保证"(第 1.2 节),并声称"我们的框架覆盖了 [1] 的 IMQ 权重,并首次给出了对抗性污染下的 minimax 速率"。作者淡化了以下竞争路线:(i) 重尾似然方法([31])虽然理论上可处理厚尾噪声,但在对抗性污染下缺乏类似保证;(ii) [66] 的 Lipschitz 约束被作者视为"限制性太强"(第 1.2 节),但作者没有讨论 [66] 是否在更弱的假设下也能达到类似速率。什么明显该被引 / 该存在、却没出现在 intro 里?——作者没有引用 [41](密度估计下的污染 minimax 理论),尽管该文与 [15] 一脉相承,且其"自适应不可能"的结论与本文 Theorem 9 高度相关。值得去查证 [41] 是否已隐含了本文的自适应不可能性结果。

  • 张力:未见明显对立引用。但存在一个潜在张力:作者在 Theorem 1 中要求权重函数 \(w\) 满足 \(w(y) \le \lambda\)(有界),而 [1] 的 IMQ 权重 \(w(y) = \lambda/(1 + (y/\tau)^2)\) 确实有界;但 [31] 的 Student-t 似然对应的权重 \(w(y) = (\nu+1)/(\nu + (y/\tau)^2)\) 也有界。然而,截断方法(Method V)并不属于权重框架,而是直接修改估计量。作者在 Theorem 8 中单独处理了截断方法,但未讨论其与权重框架的统一性——这是一个值得深挖的 gap。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

  • 参数 / 估计目标:
  • \(f_0 \in \mathcal{F} \subseteq L^2(P_X)\):未知的真实回归函数,是要估计的对象(estimand)。
  • \(\beta > 0\):\(f_0\) 的 Sobolev 光滑度,控制函数空间的"大小"。
  • \(m\):被污染的观测数,\(0 \le m \le n\),\(m = o(n)\)。
  • \(\sigma > 0\):噪声标准差,假设已知(本文固定 \(\sigma = 1\))。
  • \(\varepsilon_n(\beta) := n^{-\beta/(2\beta+d)}\):无污染时的 minimax 收缩率(Sobolev 光滑度 \(\beta\) 下的最优速率)。

  • 随机变量 / 样本:

  • \(x_i \overset{\text{i.i.d.}}{\sim} P_X\):协变量,\(x_i \in [0,1]^d\),\(P_X\) 有密度且上下界有界。
  • \(\xi_i \overset{\text{i.i.d.}}{\sim} N(0,1)\):噪声。
  • \(y_i = f_0(x_i) + \sigma \xi_i\):干净响应。
  • \(\tilde{D}_n = ((\tilde{x}_i, \tilde{y}_i))_{i=1}^n\):观测到的(可能被污染的)数据,由 \(\tilde{D}_n = T(D_n, U)\) 生成,其中 \(T \in \mathcal{T}_m\) 是至多修改 \(m\) 个坐标的对抗性映射,\(U\) 是辅助随机性。
  • \(O = \{i : (\tilde{x}_i, \tilde{y}_i) \neq (x_i, y_i)\}\):被污染的指标集,\(|O| \le m\)。

  • 模型:

  • 干净模型:\(y_i = f_0(x_i) + \sigma \xi_i\),\(\xi_i \sim N(0,1)\)。
  • 污染模型:观测到 \(\tilde{D}_n = T(D_n, U)\),\(T\) 可以任意修改至多 \(m\) 个数据点(包括协变量和响应),且 \(T\) 可以依赖整个干净数据集 \(D_n\)。
  • 广义后验:给定先验 \(\Pi\) 和权重函数 \(w\),定义

    \[dG(f \mid \tilde{D}_n) \propto \exp\left\{-\frac{1}{2\sigma^2} \sum_{i=1}^n w(\tilde{y}_i)(f(\tilde{x}_i) - \tilde{y}_i)^2\right\} d\Pi(f).\]
    当 \(w \equiv 1\) 时,这就是标准 GP 后验;当 \(w(y) = \lambda/(1 + (y/\tau)^2)\) 时,即为 [1] 的 IMQ 权重。

  • 潜在 / 不可观测量:

  • \(f_0\) 本身(只能通过数据推断)。
  • 污染指标集 \(O\) 和污染值 \((\tilde{x}_i, \tilde{y}_i)\) 的具体取值(观测不到哪些是干净的)。
  • 辅助随机性 \(U\)(对抗者的内部随机性)。

第二步:最小内核

剥掉所有技术假设后,本文的核心数学问题是:

问题:设 \(f_0 \in H^\beta\)(Sobolev 空间),观测到 \(\tilde{D}_n\)(至多 \(m\) 个点被对抗性修改)。定义广义后验 \(G(\cdot \mid \tilde{D}_n)\) 如 (3)。问:在什么条件下,对任意 \(T \in \mathcal{T}_m\),有

\[> \mathbb{E}_{\tilde{D}_n} G\left( f : \|f - f_0\|_{2,P_X}^2 \ge M \zeta_{n,m}^2 \mid \tilde{D}_n \right) \to 0, >\]
其中 \(\zeta_{n,m}^2 = \varepsilon_n^2(\beta) + m/n\)?

最小例子:考虑 \(d=1\),\(f_0\) 是 \(\beta=1\) 的 Lipschitz 函数,\(n=100\),\(m=5\)。无污染时,GP 后验以 \(n^{-1/3}\) 的速率收缩(\(\varepsilon_n^2 = n^{-2/3}\))。现在有 5 个点被污染,污染值可以任意大。关键困难:如果权重 \(w(y)\) 不衰减(如 \(w \equiv 1\)),一个污染点 \(y_i = 10^6\) 就会在似然中产生 \(10^{12}\) 量级的项,完全摧毁后验。本文的解法:选择 \(w(y) = \lambda/(1 + (y/\tau)^2)\),使得 \(w(y) \to 0\) 当 \(|y| \to \infty\)。这样污染点的贡献被压制到 \(O(\lambda \tau^2)\),而干净点的贡献保持为 \(O(1)\)。于是后验收缩率变为 \(\varepsilon_n^2 + m/n\),其中 \(m/n\) 项来自污染点的"残余影响"。

为什么这个例子是核心:它同时展示了 (i) 为什么标准 GP 不稳健(\(w \equiv 1\) 时污染点贡献无界);(ii) 权重函数需要满足什么条件(有界 + 衰减);(iii) 污染代价 \(m/n\) 如何自然出现。本文的所有定理(Theorem 1-3)都是这个例子的推广:Theorem 1 处理硬阈值权重,Theorem 2 处理一般权重,Theorem 3 处理 GP 先验下的 \(L^2(P_X)\) 收缩。而 Theorem 7-9 则回答"这个速率是否最优"以及"自适应是否可能"。


三、这篇论文做了什么

三句话: 1. 研究了什么问题:在非参数高斯回归中,当观测数据存在至多 \(m\) 个对抗性污染点时,广义贝叶斯后验(基于稳健化似然)的收缩率是多少?最优速率是什么?自适应是否可能? 2. 核心工具 / 方法:建立了一个通用框架,将稳健化似然(权重仅依赖 \(y\))的收缩率分析归结为三个条件——权重有界、权重在真实函数值附近近似为常数、污染贡献可控。基于此框架,分析了硬阈值权重、IMQ 权重和截断投影方法。 3. 主要结论:(i) 在权重满足条件时,后验以 \(\varepsilon_n^2(\beta) + m/n\) 的速率收缩(Theorem 1-3);(ii) 该速率在对抗性污染下是 minimax 最优的(Theorem 7 下界 + Theorem 8 上界);(iii) 若要求同时自适应于 \((\beta, m)\),则必然损失多项式因子(Theorem 9)。

关键设定与假设: - 数据生成:\(x_i \sim P_X\)(密度上下界有界),\(y_i = f_0(x_i) + \sigma \xi_i\),\(\xi_i \sim N(0,1)\)。 - 污染模型:\(T \in \mathcal{T}_m\),至多修改 \(m\) 个坐标,可依赖全部干净数据。 - 权重条件(Theorem 2 的 (23)-(25)): - \(0 \le w(y) \le \lambda\)(有界); - 在 \(|u| \le F_0\) 时,\(w(u)(1-w(u)) \ge w_0(1-w_0)\)(在真实函数值附近不退化); - \(w\) 在 \(|u| \le F_0\) 附近 Lipschitz 连续,且 \(w(y) \le \lambda \tau_n^2 / y^2\)(对大的 \(|y|\) 衰减)。 - 先验条件:先验质量条件 (10),即 \(\Pi(\|f - f_0\|_\infty \le \varepsilon_n) \ge e^{-n\varepsilon_n^2}\)。 - 相比已有文献的放宽/强化:相比 [66] 的 Lipschitz 约束,本文允许更一般的 Sobolev 光滑度 \(\beta > d/2\);相比 [1] 的启发式方法,本文给出了严格的收缩率保证。但本文假设噪声方差 \(\sigma\) 已知,且权重函数不依赖 \(f\)(即 \(w = w(y)\) 而非 \(w = w(f, x, y)\)),这是对 [1] 的简化。

主要结果: - Theorem 1(硬阈值权重):若 \(w(y) = \lambda \mathbf{1}\{|y| \le \tau_n\}\),且 \(\tau_n \ge 2\sigma\sqrt{\log n}\),则后验以 \(\zeta_{n,m}^2 = (m/n)\tau_n^2 + \varepsilon_n^2\) 的速率收缩。注意这里 \(\tau_n^2\) 乘在 \(m/n\) 上,因为阈值权重对"刚好超过阈值"的污染点贡献是 \(\tau_n^2\) 量级。 - Theorem 2(一般权重):若 \(w\) 满足 (23)-(25),则后验以 \(\zeta_{n,m}^2 = (m/n)\tau_n^2 + \varepsilon_n^2 + (\Delta_n \rho_n)^2\) 的速率收缩。这里 \(\Delta_n\) 是权重的 Lipschitz 常数,\(\rho_n\) 是噪声截断水平。 - Theorem 3(GP 先验下的 \(L^2(P_X)\) 收缩):在 GP 先验满足先验质量条件且权重满足条件时,后验以 \(\zeta_{n,m}^2 = (m/n)\tau_n^2 + \varepsilon_n^2\) 的速率在 \(L^2(P_X)\) 范数下收缩。这是 Theorem 2 在 GP 先验下的具体化。 - Theorem 4(去偏似然):若使用去偏变换 \(t(y) = y - \sigma^2 w'(y)/w(y)\),则后验以 \(\zeta_{n,m}^2 = m/n + \varepsilon_n^2\) 的速率收缩,消除了 \(\tau_n^2\) 因子。这是本文最重要的理论贡献之一,因为它表明去偏可以消除阈值权重的速率损失。 - Theorem 5(以估计量为中心的权重):若先用稳健估计量 \(\hat{f}_n\) 估计 \(f_0\),再以残差 \(y - \hat{f}_n(x)\) 定义权重,则后验以 \(\zeta_{n,m}^2 = (m/n)\tau_n^2 + \varepsilon_n^2\) 的速率收缩,且 \(\tau_n\) 可以取常数(不依赖 \(n\))。 - Theorem 6(筛条件):若先验集中在光滑函数构成的筛上,则后验以 \(\zeta_{n,m}^2 \log n\) 的速率收缩。这个 \(\log n\) 因子来自筛逼近的熵估计。 - Theorem 7(minimax 下界):在对抗性污染下,任何估计器的 minimax 风险至少为 \(\varepsilon_n^2(\beta) + (m/n)^{2\beta/(2\beta+d)}\)。注意这里 \((m/n)^{2\beta/(2\beta+d)}\) 与 \(\sqrt{m/n}\) 不同——前者是更紧的下界,后者是本文上界方法得到的。这个 gap 是本文的一个未解决问题。 - Theorem 8(截断 GP 达到 minimax):在已知 \((\beta, m)\) 时,截断投影 GP 后验以 \(\varepsilon_n^2(\beta) + (m/n)^{2\beta/(2\beta+d)}\) 的速率收缩,达到 Theorem 7 的下界。 - Theorem 9(自适应不可能):若要求同时自适应于 \((\beta, m)\),则任何估计器的 minimax 风险至少为 \(\varepsilon_n^2(\beta) + (m/n)^{2\beta/(2\beta+d)} \cdot n^{c}\),其中 \(c > 0\) 是常数。这意味着自适应必然损失多项式因子。

证明路线与技术技巧: - 整体路线(以 Theorem 2 为例): 1. 污染分离:将观测数据分为干净部分 \(O^c\) 和污染部分 \(O\)。利用权重 \(w\) 的有界性,将广义后验的分子分解为"干净贡献"和"污染贡献"。 2. 分母下界:利用先验质量条件 (10),在 \(F_n = \{f : \|f - f_0\|_\infty \le \varepsilon_n\}\) 上限制分母积分,得到分母 \(\ge e^{-n\varepsilon_n^2}\)。 3. 分子上界:对 \(S_n = \{f : \|f - f_0\|_{2,P_X} \ge M\zeta_{n,m}\}\),利用测试函数构造(如 [26] 的标准方法)控制分子积分。关键在于污染贡献被权重 \(w\) 压制到 \(O(m \lambda \tau_n^2)\)。 4. 合并:将分子分母的界合并,得到后验质量 \(\le e^{-n\zeta_{n,m}^2}\)。 - 关键技巧: - 权重函数的 Lipschitz 条件((25)):用于控制"污染点恰好落在阈值附近"的情形。若权重在 \(F_0\) 附近变化太快,则污染点可能产生不可控的贡献。 - 去偏变换(Lemma 1):利用 Stein 恒等式 \(E_\xi[\xi w(f_0 + \sigma\xi)] = \sigma E_\xi[w'(f_0 + \sigma\xi)]\),构造 \(t(y) = y - \sigma^2 w'(y)/w(y)\),使得 \(E_\xi[w(y)t(y)] = E_\xi[w(y)] f_0(x)\)。这消除了权重引入的偏差。 - 截断投影(Section 5.2):将数据投影到有限维 Fourier 子空间,然后对每个系数用截断均值。这避免了权重方法中 \(\tau_n^2\) 因子的损失。 - 自适应不可能的证明(Theorem 9):构造两个难以区分的假设 \((f_1, m_1)\) 和 \((f_2, m_2)\),使得任何估计器在这两个假设下的风险都很大。关键是用 Le Cam 方法结合污染模型的特殊性。

真实例子与应用: - 数据:合成数据,\(n=5000\),\(f_0\) 为光滑函数(含局部尖峰),\(\beta=1\),\(d=1\)。 - 污染场景: 1. 随机污染:随机选 \(m = \eta n\) 个点,响应加 \(y_c \in \{3, 8\}\)。 2. 局部污染:选 \(m\) 个靠近尖峰的点,响应减 \(y_c\)。 3. 偏移污染:整体加常数偏移 \(V=2\),再随机污染。 - 方法对比:标准 GP(I)、硬阈值(II)、IMQ 无去偏(III)、IMQ 去偏(IV)、截断 GP(V)。 - 结果: - 干净数据下,所有方法表现接近,标准 GP 最优(MISE ≈ 0.0051)。 - 随机污染下,截断 GP(V)和 IMQ 去偏(IV)表现最好,MISE 几乎不随污染增加(\(\eta = 1/20\) 时 MISE ≈ 0.006),而标准 GP 急剧恶化(MISE ≈ 0.17)。 - 局部污染下,IMQ 去偏(IV)最优(MISE ≈ 0.019),截断 GP(V)次之(MISE ≈ 0.10),标准 GP 严重失效(MISE ≈ 1.43)。 - 偏移污染下,IMQ 去偏(IV)和截断 GP(V)表现最好,但截断 GP 需要先估计偏移。 - 例子想说明什么:(i) 理论速率(Theorem 8)在有限样本下确实能实现;(ii) 去偏 IMQ 和截断 GP 在各类污染下都优于标准 GP;(iii) 局部污染比随机污染更难处理,因为污染点集中在信号区域,权重方法可能误判。

🔎 结论是否比证明窄: - Theorem 1-3 的 gap:Theorem 1 的速率是 \((m/n)\tau_n^2 + \varepsilon_n^2\),而 Theorem 7 的下界是 \((m/n)^{2\beta/(2\beta+d)}\)。当 \(\tau_n = 2\sigma\sqrt{\log n}\) 时,\((m/n)\tau_n^2 = (m/n)\log n\),这比下界 \((m/n)^{2\beta/(2\beta+d)}\) 大(因为 \(2\beta/(2\beta+d) < 1\))。因此 Theorem 1 的速率不是 minimax 最优的。Theorem 3 的速率同样存在这个 gap。作者在 Section 5 中承认这一点,并指出截断 GP(Theorem 8)才能达到最优速率。 - Theorem 4 的 gap:去偏 IMQ 的速率是 \(m/n + \varepsilon_n^2\),这比下界 \((m/n)^{2\beta/(2\beta+d)}\) 大(因为 \(2\beta/(2\beta+d) < 1\) 当 \(\beta > d/2\))。因此去偏 IMQ 也不是 minimax 最优的。作者在 Section 5.2 中通过截断 GP 解决了这个问题。 - Theorem 6 的 gap:筛条件下的速率是 \(\zeta_{n,m}^2 \log n\),比 Theorem 3 多了一个 \(\log n\) 因子。作者在 Remark 6 中说明这是技术性的,可以通过更精细的熵估计去掉。 - Theorem 9 的 gap:自适应不可能的证明依赖于构造特定的 \((\beta_1, m_1), (\beta_2, m_2)\) 对。作者没有讨论是否所有 \((\beta, m)\) 对都会导致多项式损失,也没有给出损失因子的精确阶。这是一个值得深挖的方向。


四、开放问题

  1. minimax 速率的 gap:Theorem 1-3 的上界 \((m/n)\tau_n^2 + \varepsilon_n^2\) 与 Theorem 7 的下界 \((m/n)^{2\beta/(2\beta+d)}\) 之间存在 gap。能否设计一种权重方法(不依赖截断)同时达到最优速率?或者证明这是不可能的?(扎根于 Theorem 1 与 Theorem 7 的对比)

  2. 自适应损失的精确刻画:Theorem 9 只证明了自适应必然损失多项式因子,但没有给出损失因子的精确阶。能否确定 \(n^c\) 中的 \(c\) 的最优值?(扎根于 Theorem 9 的陈述:"the loss for adaptation is at least polynomial")

  3. 未知噪声方差:本文假设 \(\sigma\) 已知。若 \(\sigma\) 未知,稳健化似然是否需要修改?去偏变换 \(t(y) = y - \sigma^2 w'(y)/w(y)\) 中的 \(\sigma\) 如何估计?(扎根于 Section 7 的讨论:"In the regression model we considered the noise variance \(\sigma > 0\) to be known")

  4. 权重函数的自适应选择:本文的权重函数(硬阈值、IMQ)需要选择阈值 \(\tau_n\) 或尺度参数。能否根据数据自适应地选择这些参数,同时保持收缩率?(扎根于 Remark 1 关于 \(\tau_n\) 选择的讨论)

  5. 高维与相关设计:本文只考虑了 \(d\) 固定、\(P_X\) 有界密度的情形。当 \(d\) 随 \(n\) 增长(高维)或 \(P_X\) 有奇异结构时,污染的影响如何刻画?(扎根于 Section 7 的"Another natural extension is to consider more general nonparametric models")

  6. 去偏变换的推广:Lemma 1 中的去偏变换 \(t(y) = y - \sigma^2 w'(y)/w(y)\) 是针对高斯噪声推导的。对于非高斯噪声(如重尾),是否存在类似的去偏变换?(扎根于 Section 7 的"Another interesting and practically relevant research direction is to investigate the robustness properties of heavy-tailed likelihoods")


提醒:要确认上述问题是否是真 gap,建议去读以下近期文献的 intro:(i) [1] 的后续工作(是否有自适应阈值选择);(ii) [41] 的密度估计污染理论(是否已解决自适应不可能性);(iii) [66] 的对抗性污染回归(是否已考虑未知 \(\sigma\))。如果这些文献已经解决了上述问题,那么本文的开放问题就需要重新定位。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论