跳转至

Sieve-free ReLU Bayesian priors with near-minimax posterior contraction

作者: Hien Duy Nguyen, Jacob Westerhout, Julyan Arbel
主题: 非参数 / 半参数
相关性: 8/10
链接: https://arxiv.org/abs/2610.23308


一、领域脉络与小综述

这个方向是什么

本文属于贝叶斯非参数回归的理论子领域,核心问题是:在 Gaussian 随机设计回归模型 \(Y_i = f_0(X_i) + \xi_i\) 中,能否构造一个不依赖样本量 \(n\) 和光滑度参数 \(\beta\) 的固定先验,使得后验分布在 Rényi 散度下以接近 minimax 最优的速率收缩到真实回归函数 \(f_0\)。该方向的根本张力在于:先验既要足够"宽"以覆盖所有可能的光滑度,又要足够"尖"以在特定光滑度下达到最优收缩率——传统做法是通过 sieve 先验(随 \(n\) 变化的有限维逼近)或依赖光滑度参数的尺度化先验来实现,而本文试图证明单一固定先验即可同时实现自适应性和最优速率。

发展脉络

  • 奠基工作:Bhattacharya et al. (2019) 的分数后验框架是本文的理论基石。该工作证明,分数后验的收缩只需先验在 Kullback-Leibler (KL) 邻域内有足够质量,无需构造检验函数和 sieve,这为分析复杂先验(如神经网络先验)提供了简洁路径。引用语境明确指出:"The following form of the fractional-posterior principle of Bhattacharya et al. (2019) converts uniform-approximation mass into Rényi contraction."
  • 主要进展:
  • Polson & Ročková (2018):首次在深度 ReLU 网络上建立 spike-and-slab 先验的 near-minimax 后验收缩,但先验依赖 \(n\)(稀疏度、网络宽度等架构选择随样本量变化)。
  • Agapiou & Castillo (2024):提出 heavy-tailed 级数先验,通过厚尾分布实现光滑度自适应,但针对的是级数展开而非神经网络。
  • Castillo & Egels (2025):将 heavy-tailed 思想推广到深度网络,获得 near-minimax 收缩,但网络架构(深度、宽度、系数尺度)仍随 \(n\) 变化。
  • Yang & Zhou (2024, 2025):提供浅层 ReLU 网络的确定性逼近界(Proposition 1 的直接来源),证明宽度 \(k\) 的网络能以 \(k^{-\beta/d}\) 的速率逼近 \(\beta\)-Hölder 函数,且输出系数有界。
  • 当前 frontier:所有已有结果都依赖 \(n\) 相关的先验设计。本文的贡献在于证明完全固定的先验(宽度分布、参数分布均不随 \(n\) 变化)也能达到 near-minimax 速率,将"自适应"从"先验随样本量调整"推进到"先验完全固定"。

子线索聚类

  1. 分数后验与先验质量条件(Bhattacharya et al., 2019; 本文 Lemma 1):这条线索关注如何将后验收缩问题简化为先验在函数空间中的局部质量估计,避免检验函数的构造。
  2. 神经网络逼近论(Yarotsky, 2017; Schmidt-Hieber, 2020; Yang & Zhou, 2024, 2025):这条线索提供确定性逼近界,回答"多宽的 ReLU 网络能以多高精度逼近光滑函数",是连接先验质量与函数类复杂度的桥梁。
  3. 自适应先验设计(Polson & Ročková, 2018; Agapiou & Castillo, 2024; Castillo & Egels, 2025; 本文):这条线索关注如何设计先验使其自动适应未知光滑度,包括 spike-and-slab、heavy-tailed、以及本文的固定宽度分布。

核心问题与已知瓶颈

  • 核心问题 1:先验如何在不依赖 \(n\) 的前提下,同时覆盖所有光滑度水平?——本文通过宽度分布(几何分布等)和参数分布(均匀/Gaussian/Student t)的厚尾特性解决。
  • 核心问题 2:如何从 Rényi 散度收缩过渡到更熟悉的 \(L^2\) 损失收缩?——本文通过数据依赖的截断(clipping)解决,这是技术上的关键步骤。
  • 已知瓶颈:所有现有证明都留下 \(\log n\) 因子,无法达到精确 minimax 速率 \(n^{-2\beta/(2\beta+d)}\)。本文第 7.1 节明确承认这一 gap,并指出消除它需要"收集多个精确表示的概率"或"使用似然邻域而非一致逼近邻域"。

⚠️ 作者的 framing

作者将缺口 frame 为:"先验必须随 \(n\) 变化是现有理论的普遍特征,我们证明这并非必要。" 具体而言,引言强调:"In each case, however, the joint prior changes with the sample size \(n\): some part of the architecture, its distribution, or the network-parameter scale is chosen as a function of \(n\)." 作者将"固定先验"视为核心贡献,而将 \(\log n\) gap 视为次要的技术缺陷。竞争路线(如 sieve 先验、\(n\) 依赖的 heavy-tailed 先验)被淡化为"需要针对每个 \(n\) 重新设计先验"的复杂性。

张力

未见明显对立引用。但存在一个微妙的张力:Bhattacharya et al. (2019) 的分数后验框架与传统 sieve 后验在机制上不同——前者依赖 KL 邻域质量,后者依赖检验函数。本文完全站在前者一边,而 Polson & Ročková (2018) 和 Castillo & Egels (2025) 的结果虽然也用分数后验,但先验仍依赖 \(n\)。本文的贡献在于证明这种依赖可以去掉,而非与任何结果矛盾。

二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

  • 模型:\(Y_i = f_0(X_i) + \xi_i\),\(i = 1, \dots, n\),其中 \(X_i \overset{iid}{\sim} P_X\)(\(P_X\) 是 \([0,1]^d\) 上的固定设计分布),\(\xi_i \overset{iid}{\sim} N(0,1)\) 独立于 \(X_i\)。
  • 目标函数类:\(f_0 \in H^\beta_d(M)\),即 \(\beta\)-Hölder 光滑函数,\(\beta \in (0,1]\),\(\|f_0\|_\infty \le M\),且 \(|f_0(x) - f_0(y)| \le M\|x-y\|_\infty^\beta\)。
  • 参数 / estimand:\(f_0\) 本身(无穷维参数)。我们关心后验分布 \(\Pi_n^\eta(\cdot \mid D_n)\) 在 Rényi 散度 \(D_\eta(f, f_0)\) 和 \(L^2(P_X)\) 损失下对 \(f_0\) 的收缩行为。
  • 先验:\(\Pi\) 是 \(C([0,1]^d)\) 上的固定概率测度,由层次结构生成:
  • 宽度 \(K \sim \pi_K\)(如几何分布 \(\pi_K(k) \propto 2^{-k}\));
  • 给定 \(K = k\),参数 \(\theta_k = ((A_m, U_m, B_m))_{m=1}^k\) 独立同分布,\(A_m\) 的分布依赖于 \(k\)(如 \(A_m \sim \text{Unif}[-k^\omega, k^\omega]\) 或 \(A_m \sim N(0, k^{3/d})\)),\(U_m, B_m\) 的分布固定(如 \(\text{Unif}[-2,2]\) 或 \(N(0,1)\));
  • 函数 \(f_\theta(x) = \sum_{m=1}^k A_m \rho(U_m^\top x + B_m)\),\(\rho(t) = \max\{t, 0\}\) 为 ReLU 激活。
  • 可观测数据:\(D_n = ((X_i, Y_i))_{i=1}^n\),即 \(n\) 对独立同分布的 \((X, Y)\) 观测。
  • 潜在 / 不可观测量:\(f_0\) 本身、误差 \(\xi_i\)、以及先验中的随机参数 \(\theta\) 都是不可观测的。关键点:我们只能通过 \(D_n\) 推断 \(f_0\),而先验 \(\Pi\) 是固定的、不随 \(n\) 或 \(\beta\) 变化。

第二步:最小内核

核心命题(本文 Theorem 1 的简化版):设 \(\Pi\) 满足宽度条件 (10) 和局部质量条件 (12)。则对任意 \(\beta \in (0,1]\)、\(M > 0\)、\(f_0 \in H^\beta_d(M)\),分数后验 \(\Pi_n^\eta(\cdot \mid D_n)\) 满足:对足够大的 \(n\),

\[\mathbb{E}_{f_0} \Pi_n^\eta\left( D_\eta(f, f_0) > C \left(\frac{\log n}{n}\right)^{\frac{2\beta}{2\beta+d}} \Big| D_n \right) \to 0.\]

为什么这个命题是"最小内核":它抓住了整篇论文的数学本质——先验的局部质量如何转化为后验的收缩速率。证明分三步:

  1. 逼近(Proposition 1 + Lemma 4):对任意 \(f_0 \in H^\beta_d(M)\) 和精度 \(\varepsilon\),存在宽度 \(k \asymp \varepsilon^{-d/\beta}\) 的 ReLU 网络 \(f_{\theta^*}\),使得 \(\|f_{\theta^*} - f_0\|_\infty \le \varepsilon\),且输出系数满足 \(\sum |A_m^*| \le C \varepsilon^{-\kappa}\)(\(\kappa = (d+3-2\beta)/(2\beta)\))。这一步将函数逼近问题转化为参数空间中的几何问题。

  2. 先验质量(条件 12 + Lemma 2):对上述 \(\theta^*\),先验在半径 \(\delta \asymp \varepsilon / k\) 的参数盒 \(B_k(\theta^*, \delta)\) 上的质量至少为 \(\exp\{-C k \log(k/\delta)\}\)。三种参数分布(均匀、Gaussian、Student t)都满足此条件,但机制不同:均匀分布靠宽度依赖的支撑大小,Gaussian 靠方差随宽度增长,Student t 靠厚尾。

  3. 收缩(Lemma 1):分数后验的 Rényi 散度由先验质量控制。将 \(\varepsilon \asymp (\log n / n)^{\beta/(2\beta+d)}\) 代入,得到收缩速率。关键点:\(\log n\) 因子来自先验质量估计中的 \(\log(1/\delta)\) 项,而 \(\delta\) 必须随 \(n\) 缩小以保证逼近精度。

这个例子的"一看就懂"版本:想象你要用一堆固定大小的砖块(先验)去搭一座桥(逼近 \(f_0\))。砖块不能太大(否则桥面不平),也不能太小(否则需要太多砖块,先验质量不够)。本文证明:只要砖块的大小分布足够"厚尾"(允许各种尺寸),就能同时满足"桥面平整"(逼近精度)和"砖块够用"(先验质量)两个要求,而且不需要根据桥的长度(样本量)调整砖块。

三、这篇论文做了什么

三句话

  1. 研究了什么问题:在 Gaussian 随机设计回归中,能否构造一个完全不依赖样本量 \(n\) 和光滑度 \(\beta\) 的浅层 ReLU 网络先验,使得分数后验在 Rényi 散度和 \(L^2\) 损失下以 near-minimax 速率收缩?
  2. 核心工具 / 方法:分数后验框架(Bhattacharya et al., 2019)+ 浅层 ReLU 网络的确定性逼近界(Yang & Zhou, 2025)+ 三种参数分布(均匀、Gaussian、Student t)的局部质量估计 + 数据依赖的截断(clipping)技术。
  3. 主要结论:答案是肯定的。固定先验在 Rényi 散度下以 \((\log n/n)^{2\beta/(2\beta+d)}\) 速率收缩,截断后得到 \(L^2\) 损失的 near-minimax 收缩率,与经典 Hölder 非参数 minimax 率仅差 \(\log n\) 因子。这是首个对浅层 ReLU 网络在完全固定先验下建立 near-minimax 收缩的结果。

关键设定与假设

  • 模型:\(Y_i = f_0(X_i) + \xi_i\),\(\xi_i \sim N(0,1)\) 独立于 \(X_i\),\(X_i \sim P_X\) 固定。
  • 目标类:\(H^\beta_d(M)\),\(\beta \in (0,1]\)(Hölder 光滑度不超过 1)。
  • 先验条件:
  • 宽度条件 (10):\(\log \pi_K(k) \ge -C_\pi k \log(ek)\),即宽度分布不能太薄尾(几何分布、Poisson 分布均满足)。
  • 局部质量条件 (12):对任意 admissible 中心 \(\theta^*\) 和 \(\delta \le 1/2\),\(\Pi_k^\theta\{\|\theta - \theta^*\|_\infty \le \delta\} \ge \exp\{-C_w k \log(ek/\delta)\}\)。
  • 设计分布假设:\(P_X\) 有 Lebesgue 密度 \(p_X\) 满足 \(0 < c_X \le p_X \le C_X < \infty\)(用于 \(L^2\) 损失与 \(L^2(P_X)\) 的等价性)。
  • 相比已有工作的变化:
  • 相比 Polson & Ročková (2018):去掉了 \(n\) 依赖的稀疏度选择,但限制在浅层网络。
  • 相比 Castillo & Egels (2025):去掉了 \(n\) 依赖的系数尺度,但限制在 \(\beta \le 1\)。
  • 相比 Agapiou & Castillo (2024):从级数先验推广到 ReLU 网络先验。

主要结果

Theorem 1(核心定理):设 \(\Pi\) 满足 (10) 和 (12)。则: - 上界:对任意 \(\beta \in (0,1]\)、\(M > 0\)、\(f_0 \in H^\beta_d(M)\),分数后验的 Rényi 散度满足 \(\mathbb{E}_{f_0} \Pi_n^\eta(D_\eta(f, f_0) > C\varepsilon_n^2 \mid D_n) \le C'e^{-c n \varepsilon_n^2}\),其中 \(\varepsilon_n = (\log n/n)^{\beta/(2\beta+d)}\)。 - \(L^2\) 收缩:在密度下界假设下,截断后的后验均值 \(\tilde{f}_n\) 满足 \(\mathbb{E}_{f_0}\|\tilde{f}_n - f_0\|_{L^2(P_X)}^2 \lesssim (\log n/n)^{2\beta/(2\beta+d)}\)。 - 下界:由 Stone (1982) 的经典 minimax 下界,\(n^{-2\beta/(2\beta+d)}\) 是最优速率,因此上界仅差 \(\log n\) 因子。

Theorem 2(收缩细节):将 Rényi 收缩分解为逼近误差和随机误差两部分,分别控制。关键不等式是 Lemma 1 的分数后验收缩界,它将后验收缩问题转化为先验质量估计。

技术技巧: - 分数后验:使用 \(\eta < 1\) 的分数似然,避免了对先验支撑的全局控制要求,只需局部质量。 - 截断(clipping):数据依赖的截断水平 \(\hat{B}_n\) 解决了先验支撑无界的问题,同时保持 ReLU 网络结构(因为 ReLU 是分段线性的,截断后仍是 ReLU 网络)。 - 重要性加权:在数值实验中,用 Gaussian 后验样本通过重要性加权估计均匀/Student t 先验下的后验均值,避免为每种先验单独运行 MCMC。

真实例子与应用

模拟实验(Section 6): - 数据:\(d=1\),\(P_X = \text{Unif}[0,1]\),两个目标函数: - \(f_{1/2}(x) = |\sin(2\pi x)|^{1/2}\)(Hölder 光滑度 \(1/2\),在 \(x=1/2\) 处有尖点) - \(f_1(x) = |\sin(2\pi x)|\)(Lipschitz,光滑度 \(1\)) - 先验:三种参数分布(Gaussian、均匀、Student \(t_{10}\))× 三种宽度分布(几何、移位 Poisson、幂律),共 9 种组合。 - 基线:Gaussian 参数 + 几何宽度(N/G)。 - 结果: - 所有 9 种先验组合在 \(n \geq 64\) 时均通过诊断(\(\hat{R} \leq 1.10\),有效样本量 \(\geq 50\))。 - N/G 在 \(n=4096\) 时均方误差为 \(0.00597\)(\(\beta=1/2\))和 \(0.00408\)(\(\beta=1\)),与理论速率 \((\log n/n)^{2\beta/(2\beta+1)}\) 的预测一致。 - 从 \(n=2048\) 到 \(4096\),N/G 的估计衰减指数为 \(0.749\)(\(\beta=1/2\))和 \(0.707\)(\(\beta=1\)),接近理论值 \(2\beta/(2\beta+1)\)(分别为 \(0.5\) 和 \(0.667\)),但略高——作者归因于有限样本效应。 - 不同先验之间的差异在 \(n=4096\) 时不超过 9.5%(\(\beta=1/2\))和 6.9%(\(\beta=1\)),说明结果对先验选择稳健。 - 实验想说明什么:固定先验在有限样本下确实能达到理论预测的 near-minimax 速率,且对先验的具体形式不敏感。这验证了理论结果的实用性,而非仅仅是渐近意义上的存在性。

🔎 结论是否比证明窄

是。具体表现: 1. 光滑度限制:Theorem 1 只覆盖 \(\beta \in (0,1]\)(Hölder 光滑度不超过 1)。作者在 Section 7.2 提到,对 \(\beta > 1\) 需要深度网络或更复杂的逼近论,但未给出证明。结论声称"near-minimax for Hölder smooth functions",但证明只覆盖 \(\beta \le 1\)。 2. 设计分布假设:\(L^2\) 收缩结果需要 \(P_X\) 有密度且密度有正下界(条件 14)。对退化设计(如 \(P_X\) 集中在低维流形上),结论不成立。作者在 Remark 3 中给出了无密度假设的替代方案,但代价是额外的多项式项。 3. 截断的代价:Theorem 2 的 \(L^2\) 收缩需要截断,而截断水平 \(\hat{B}_n\) 的构造依赖于数据。作者证明了截断事件以高概率不发生,但没有给出截断对后验均值偏差的显式界。 4. 数值实验的局限:实验仅覆盖 \(d=1\) 和两个特定目标函数,未验证高维情形或更复杂的光滑度。作者在 Section 6 中承认"the simulation study is limited to \(d=1\)"。

结论与证明的 gap:作者在摘要和引言中声称"near-minimax posterior contraction for \(\beta\)-Hölder targets",但 Theorem 1 的证明严格限于 \(\beta \le 1\)。对 \(\beta > 1\) 的情形,作者仅给出推测性讨论(Section 7.2),未提供证明。这是一个值得注意的 gap——结论的表述比证明的实际覆盖范围更宽。

四、开放问题

  1. 消除 \(\log n\) 因子(扎根于 Section 7.1):作者明确指出当前证明留下 \(\log n\) gap,并推测"collecting the probability of many accurate representations"或"using likelihood neighbourhoods"可能消除它。具体要证明:是否存在固定先验使得后验以精确 minimax 速率 \(n^{-2\beta/(2\beta+d)}\) 收缩?这需要突破 Lemma 1 中先验质量估计的 \(\log(1/\delta)\) 项。

  2. 扩展到 \(\beta > 1\)(扎根于 Section 7.2):作者提到深度网络可能处理更光滑的函数,但未给出证明。要证明:深度 ReLU 网络的固定先验能否对 \(\beta > 1\) 的 Hölder 类达到 near-minimax 收缩?这需要深度网络的逼近论(如 Yarotsky, 2017 的深度版本)与先验质量估计的结合。

  3. 任意设计分布(扎根于 Remark 3):作者给出了无密度假设的替代方案,但代价是额外的多项式项。要证明:是否存在不依赖设计分布假设的截断方案,使得 \(L^2\) 收缩率保持纯 near-minimax?这需要更精细的局部 Rademacher 复杂度分析。

  4. 后验均值的风险界(扎根于 Theorem 1 的证明):作者证明了后验分布的收缩,但没有给出后验均值 \(\tilde{f}_n\) 的显式风险界。要证明:\(\mathbb{E}_{f_0}\|\tilde{f}_n - f_0\|_{L^2(P_X)}^2 \le C(\log n/n)^{2\beta/(2\beta+d)}\) 是否成立?这需要控制截断对后验均值的影响。

  5. 计算可行性(扎根于 Section 6 和 Section 7.3):作者提到"finite posterior sampling adds computational error",但没有给出误差界。要证明:在有限 MCMC 样本下,后验均值的计算误差如何随迭代次数衰减?这需要将 MCMC 的收敛速度与统计收缩率结合分析。


提醒:要确认上述问题是否为真 gap,建议去读近 5 年(2021-2026)关于 Bayesian deep learning 收缩理论的论文(如 Polson & Ročková 后续工作、Castillo 团队的后续工作、以及 NeurIPS/COLT 上的相关论文)。如果多篇论文都指向同一问题,说明是共识性 gap;如果互相矛盾,则可能是机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论