Contraction rates and projection subspace estimation with Gaussian process priors in high dimension¶

作者: Elie Odin, François Bachoc, Agnès Lagnoux
来源: Bernoulli
主题: 非参数 / 半参数
相关性: 7/10
链接: 期刊页 · arXiv

一、领域脉络与小综述¶

这个方向是什么¶

本子方向研究高维贝叶斯非参数回归与密度估计中的降维问题。核心设定是：目标函数 \(f\) 定义在 \(\mathbb{R}^d\) 的单位球上，但 \(f\) 仅依赖于一个 \(d^*\) 维子空间（\(d^* \ll d\)），即存在一个 \(d^*\) 维投影子空间 \(\mathcal{S} \subseteq \mathbb{R}^d\) 使得 \(f(\mathbf{x}) = f(P_{\mathcal{S}}\mathbf{x})\)。研究者关心的问题是：使用重缩放的高斯过程（GP）先验，能否在后验收缩中自动适应这个未知的内在维度 \(d^*\)，得到仅依赖于 \(d^*\)（而非 \(d\)）的最优收敛速率 \(n^{-\beta/(2\beta + d^*)}\)？当环境维数 \(d\) 随样本量 \(n\) 一起增长时，这个结果是否还能维持？本文是目前已知工作中第一个系统研究 \(d\) 增长情形下后验收缩率与子空间估计问题的。

当前成熟度：当 \(d\) 固定时，理论已经非常成熟（见下文奠基工作）。当 \(d\) 增长时，已有零星结果（如深度高斯过程 [CR24]），但系统分析是本文的贡献。

发展脉络¶

奠基工作（2008-2009）： - Van der Vaart & van Zanten (2008) [VV08a]：建立了基于高斯过程先验的后验收缩率的一般理论框架。核心思想是：收缩率由真实参数在高斯过程RKHS中的位置和过程的小球概率共同决定。这篇论文奠定了整个子领域的分析工具。 - Van der Vaart & van Zanten (2009) [VV09]：证明使用逆Gamma带宽重缩放的高斯过程先验，可以在密度估计、回归和分类三个设定下实现自适应的 minimax 最优收缩（至多一个 log 因子）。这解决了平滑度未知时的适应性问题，但其速率依赖于环境维数 \(d\)，即 \(n^{-\beta/(2\beta + d)}\)——这是维数诅咒的直接体现。 - Van der Vaart & van Zanten (2008) [VV08b]：整理了 GP 相关 RKHS 的定义与性质，为后面的技术分析提供了工具包。

主要进展：维度适应性（2011-2015）： - Tokdar (2011) [Tok11]：关键突破。证明在 GP 模型中加入变量选择或线性投影后，后验收缩率可以自动适应到最低的可能维数 \(d^*\)。即，即使真实函数仅依赖于一个 \(d^*\) 维子空间，后验仍会以 \(n^{-\beta/(2\beta + d^*)}\) 的速率收缩——这个速率与 \(d\) 无关。Tokdar (2011) 的分析假设 \(d\) 固定，且依赖一个"平凡的"筛子（trivial net）。 - Yang & Tokdar (2014) [YT15]：将结果扩展到 \(p\) 可增长的情形（\(\log p = o(n)\)），但假设真实函数是稀疏的（仅依赖 \(d\) 个重要变量，\(d=O(\log n)\)）。给出了 minimax 最优率的显式描述。 - Jiang & Tokdar (2019) [JT21]：进一步研究了变量选择一致性（variable selection consistency），即后验能否一致地选出正确的变量子集。技术上的关键贡献是给出了 GP 先验在所有重缩放水平下的小球概率的紧的上界和下界。他们的证明中使用了比 Tokdar (2011) 更高效的筛子（cardinality 受控的 net）。

当前 frontier：D 增长与结构适应（2019-2024）： - Finocchio & Schmidt-Hieber (2021) [FS23] 与 Castillo & Randrianarisoa (2024) [CR24]：使用深度高斯过程（deep GP）作为先验，证明其可以自适应到真实函数可能具有的组合结构（compositional structure）下的内在维度，并且该结果可以推广到 \(d\) 随 \(n\) 增长的情形。这是当前最活跃的竞争路线之一。 - Schmidt-Hieber (2017) [Sch20]：证明了深度神经网络（ReLU）可以达到类似的自适应速率，但其分析框架（非贝叶斯）与本文不同。

本文的位置：本文首次在\(d\) 随 \(n\) 增长（\(d = d_n\)，\(d\) 可增长到接近 \(n\) 的某个幂次）但非组合结构的设定下，证明： 1. 存在 \(d\) 的增长率上界，使得后验仍以 minimax 最优速率收缩。 2. 当 \(d\) 增长过快（超过某个临界值），则一致性会失败，展示了一个"相位转变"现象。 3. 在特定假设下，\(d^*\) 维投影子空间亦可被一致估计。

本文的方法论设计是将 Tokdar (2011) 的"投影筛子" 与 Jiang (2021) 的"高效率筛子控制" 结合起来，以应对 \(d\) 增长带来的筛子大小爆炸问题。

子线索聚类¶

线索A：GP 先验 + 变量选择/投影（本文主体）
- [Tok11], [YT15], [JT21], [TZG10]。
- 核心：在固定或低增长维数下，通过投影或变量选择实现维度自适应。本文扩展至 \(d\) 增长。
线索B：深度 GP / 深度神经网络（并行/竞争路线）
- [FS23], [CR24], [Sch20]。
- 核心：利用层的组合结构来捕获更复杂的低维结构，部分结果已允许 \(d\) 增长。
线索C：降维方法（SIR, PCA）的 minimax 理论（旁系/应用）
- [TSY20], [Lin+21], [ZMZ24], [CMW13]。
- 核心：在充分降维（SIR）或稀疏 PCA 框架下，推导投影子空间 \(P_{\mathcal{S}}\) 的 minimax 估计收敛率。本文的子空间估计部分与此线索有类比关系。

核心追问¶

Q1：当 \(d\) 增长时，GP 后验收缩的 minimax 最优率还能维持吗？如果可以，\(d\) 能增长多快？（本文的核心问题）
Q2：\(d\) 增长的上界是够紧的（optimal）？是否存在一个相位转变？（本文讨论了 optimality）
Q3：能否在估计 \(f\) 的同时，一致地估计出低维子空间 \(\mathcal{S}\)？（本文给出了一个充分条件）
Q4：如果既不知道 \(d^*\) 也不知道子空间，能否自适应？（本文假设 \(d^*\) 已知，这是主要局限）

⚠️ 作者的 framing¶

作者将缺口 framing 为："经典结果（Tokdar 2011）的收缩率中乘的常数可能会随 \(d\) 爆炸，我们首先系统研究 \(d\) 增长时的情况"。这是填补空白的 framing，非常标准。竞争路线（深度 GP [CR24]）被作者以"have proven to be successful and fully adaptive…even in the high-dimensional case with growing \(d_n\) and \(d^*_n\)"一笔带过，但未比较其与本文结果的异同（例如，是否对 \(d\) 的增长率要求更宽松？）。明显该被提及却未出现在 intro 里的是： - 深度 GP 的结果是否覆盖了本文的结果或更优？作者没有正面比较，只说 "even in the high-dimensional case"，但没给细节。 - 作者还避开了与完全贝叶斯变量选择（如 Spike-and-Slab GP）的长期努力的对话。

张力¶

未见明显对立引用。所有被引论文几乎都指向"GP + 降维可实现维度自适应"这个共识方向，差异主要在于技术细节和设定（固定 \(d\) vs. 增长 \(d\)）。

二、最核心、最简单的例子 / 数学问题¶

第一步：符号、模型、可观测数据¶

符号： - \(f: \mathbb{R}^d \to \mathbb{R}\)：待估的目标函数（回归函数或对数密度）。 - \(\mathbf{x} \in \mathbb{R}^d\)：\(d\) 维预测变量 / 协变量。\(d\) 是环境维数，可能随 \(n\) 变大，记为 \(d_n\)。 - \(n\)：样本量。 - \(Y_i \in \mathbb{R}\)：对第 \(i\) 个体的响应变量。 - \(\mathbf{X}_i \in \mathbb{R}^d\)：对第 \(i\) 个体的协变量观测。 - \(d^* \in \{1, \dots, d\}\)：内在维数（intrinsic dimension），即 \(f\) 真正依赖的线性子空间的维数。假设 \(d^*\) 是已知的。 - \(\mathcal{S} \subseteq \mathbb{R}^d\)：一个 \(d^*\) 维线性子空间。 - \(P_{\mathcal{S}}\)：到子空间 \(\mathcal{S}\) 的正交投影矩阵（\(d \times d\) 矩阵）。 - \(\beta > 0\)：函数 \(f\) 的平滑度参数（例如，Hölder 平滑度）。 - \(\Pi\)：高斯过程先验分布。 - \(n\)：样本量。

模型（以回归为例）：正则回归模型：

\[Y_i = f(\mathbf{X}_i) + \epsilon_i, \quad i = 1, \dots, n\]

其中 \(\epsilon_i\) 是独立同分布的均值为0、方差为 \(\sigma^2\)（已知或未知）的高斯噪声。\(\mathbf{X}_i\) 是固定设计或随机设计。本文主要覆盖固定设计下的回归和密度估计。

核心结构假设（关键）：\(f\) 是\(d^*\) 维可降维的（\(d^*\)-dimensional reducible）。即存在一个 \(d^*\) 维线性子空间 \(\mathcal{S}\)，使得 \(f(\mathbf{x}) = f(P_{\mathcal{S}}\mathbf{x})\) 对所有 \(\mathbf{x} \in \mathbb{R}^d\) 成立。换句话说，\(f\) 在垂直于 \(\mathcal{S}\) 的方向上是常数。

可观测数据： - 观测到：\(\{(\mathbf{X}_i, Y_i)\}_{i=1}^n\)（回归设定）或 \(\{\mathbf{X}_i\}_{i=1}^n\)（密度估计设定）。 - 未观测到 / 需要推断的对象： - 真实函数 \(f\)。 - 子空间 \(\mathcal{S}\) 和投影矩阵 \(P_{\mathcal{S}}\)。 - 平滑度 \(\beta\)（是适应性的，但 \(d^*\) 已知）。

第二步：最小内核¶

把论文的所有技术假设剥掉，剩下的核心问题是：

最小问题：假设 \(d^* = 1\)（\(f\) 只依赖于一个线性组合 \(\mathbf{w}^{\top}\mathbf{x}\)），\(\beta\) 已知，真实 \(f\) 完全落在此直线上，且协变量 \(\mathbf{X}_i\) 是各向同性的高斯分布（或固定设计但很好）。环境维数 \(d\) 可以随 \(n\) 增长。研究者使用一个 \(d^*=1\) 维子空间投影的高斯过程先验。即，先验分布 \(\Pi\) 的定义方式是：先从某个分布（如均匀分布）抽取一个 \(d\) 维单位向量 \(\mathbf{w}\)（对应子空间 \(\mathcal{S}\)），然后在这个一维直线上放置一个平滑的GP先验。问：当 \(d\) 多大时，后验仍然能以速率 \(n^{-\beta/(2\beta + 1)}\) 收缩到真实 \(f\)？以及，\(\mathbf{w}\)（投影方向）是否能被一致估计？

核心思路：这个最小内核下，收缩率本质上来自两部分： 1. 先验质量（prior mass）：真实 \(f\) 正好落在在一个特定的一维直线上。先验 \(\Pi\) 必须给这个直线以及这条直线上靠近 \(f\) 的函数分配足够大的概率。这取决于先验对子空间 \(\mathcal{S}\) 的探索能力。 2. 后验质量的控制：Schwartz 理论要求构造一个嵌套的筛子（sieve）覆盖函数空间。在 \(d\) 固定时，这个筛子可以构造得很粗糙。但当 \(d\) 增长时，所有可能的 \(d^*=1\) 维子空间的数量呈指数级增长（大约有 \(O(d^{d^*})\) 或 \(O(e^{d})\) 个方向），导致筛子的容量（cardinality）爆炸，从而使得后验质量无法集中在真实函数周围。

本文的核心技术贡献（在上面的最小内核中）：为了解决筛子爆炸问题，作者没有使用 Tokdar (2011) 中针对所有可能子空间的平凡网（trivial net），而是遵循 Jiang (2021) 的思路，构造了一个新的、更高效的筛子，其容量被控制在 \(O(\exp(C d^* \log (d/d^*)))\)，这是亚指数于 \(d\) 的（如果 \(d^*\) 很小）。然后，利用Borell 不等式和小球概率的精确界，证明只要这个筛子的容量增长慢于 \(n\) 的某个负幂次，那么后验收缩率就能保持。这为 \(d\) 的增长率设下了界限：\(d^* \log(d/d^*) = o(n)\) 的某个具体幂律版本。

一句话核心：论文证明了，通过精心设计筛子来控制指数级增长的子空间搜索空间，当 \(d\) 增长得不太快时（具体说，为 \(d = o(n^\alpha)\) 的一种形式），贝叶斯方法依然能"找到"那个正确的低维投影，并获得最优收敛率。

三、这篇论文做了什么¶

三句话：
1. 研究了：在高维贝叶斯非参数回归与密度估计中，当环境维数 \(d = d_n\) 随样本量 \(n\) 增长时，基于高斯过程先验和子空间投影的后验收缩性质以及子空间估计的一致性。
2. 核心工具/方法：将 Tokdar (2011) 的回归 / 密度估计框架与 Jiang (2021) 的筛子构造（用于变量选择）相结合，并用一个更高效的筛子（finite union indexed by a net in \(O_{d_n}\)） 替换了 Tokdar (2011) 中的平凡筛子。
3. 主要结论：推导出了 \(d\) 增长的上界条件，在此条件下（i）后验仍以 minimax 最优率 \(n^{-\beta/(2\beta + d^*)}\) 收缩；（ii）该增长率的最优性（optimality）得到了讨论；（iii）给出了子空间投影 \(P_{\mathcal{S}}\) 可被一致估计的一组充分条件。
关键设定与假设（在最小记号基础上补充）：
- 设定：主要考虑固定设计回归和密度估计两种设定。\(f\) 是 \(\beta\)-Hölder 光滑的，且依赖一个 \(d^*\) 维子空间。
- 假设：
  - Assumption 3.1 (设计点与光滑性): 定义了函数类 \(\mathcal{F}^{\beta, d^*}_L\)（类似的）。
  - Assumption 3.2 (先验): 先验是由逆 Gamma 带宽重缩放的高斯过程，带宽与逆 Gamma 分布（参数 \(\alpha, \gamma\) 相关）。这是从 [VV09] 继承的标准自适应先验。
  - Assumption 3.4 (非劣条件, non-negligible condition): 这个假设是最关键的。它对先验中不同子空间 \(\mathcal{S}\) 的权重做了描述，要求子空间 \(\mathcal{S}\) 被先验探索到的概率不能太小。简言之，它是避免了"某些好子空间被先验完全忽略"的假设。作者引用了 [VV09, Equation (3.4)] 和 [JT21, Assumption 5] 作为标准做法。
  - Assumption 4.1 (子空间特征值条件): 保证 \(\mathbf{X}\) 在子空间上的协方差矩阵的非零特征值有下界。这是子空间可识别性的必要条件。
主要结果：
- Theorem 2.1 (后验收缩率)：设 \(d = d_n\), \(d^*\) 固定或缓慢增长。如果 \(d_n\) 满足增长率条件（具体见文中），则对足够大的 \(n\)，后验 \(\Pi(\cdot | \mathbf{Y})\) 以速率 \(\epsilon_n = n^{-\beta/(2\beta + d^*)}(\log n)^\kappa\) 收缩（对某个 \(\kappa\)）。这个收缩率是 minimax 最优的（至多 log 因子）。这是核心结果。
- Theorem 2.2 (增长速率的 optimality)：讨论了这个增长条件的最优性。大致是说，如果 \(d\) 增长快于某个特定速率，那么存在某个真实函数 \(f\)（满足所有假设），使得后验不能一致性收缩。这是相位转变的一种证明。作者通过一个反例（可能是一个满足假设但"特别难"的 \(f\)）来 construct 这个不可能条件。
- Theorem 2.3 (子空间投影估计一致性)：在回归设定下，如果满足更强的条件（包括 \(d^*\) 已知和上面的特征值假设），那么后验估计出的子空间投影 \(\hat{P}_{\mathcal{S}}\)（通过后验均值或某个统计量）在 Frobenius 范数下是一致的，即以一定速率收敛到真实投影 \(P_{\mathcal{S}}\)。这个速率与充分降维（SIR）的 minimax 率类似。
证明路线与技术技巧：
- 整体路线：使用 Schwartz 后验收缩理论（非参数贝叶斯的经典工具）。证明需要做两件事：
  1. 先验质量（Prior mass）：证明真实 \(f\) 处于一个大括号（或小邻域）内的先验概率 \(\Pi( \|f - f_0\|_\infty < \epsilon_n)\) 不会衰减得太快（比如，\(\geq \exp(-C n \epsilon_n^2)\)）。
  2. 后验质量（Posterior mass）：构造一个嵌套的筛子 \(\mathcal{F}_n\)，使得筛子内的函数数量（由 entropy number 量化）是可控制的，而筛子外的函数有非常小的先验概率（小概率）。然后证明在筛子上，后验会均匀地收敛到 \(f_0\)。
- 关键跳跃点 / 难点：筛子构造：
  - 难点：在 \(d\) 增长时，所有可能的 \(d^*\) 维子空间 \(\mathcal{S}\) 的数量 \(\text{Vol}(Gr(d, d^*))\) 是巨大的（指数级），若用 Tokdar(2011) 的平凡网，筛子容量会爆炸。
  - 解决办法：作者从 [JT21] 中借鉴了思路。他们不直接对全体子空间建网，而是建立一个 net 在 \(O_{d_n}\) 上，即旋转群的操作。使用近似论（Approximation theory）中的一个技巧：将子空间的选取近似为在 \(O_{d_n}\) 的某个小网（net）中选取一个旋转矩阵和一个固定的 \(d^*\) 维子空间的组合。这个网的基数 \(\#\) 被控制在 \(\exp(C d_{n} \log(N/\epsilon))\) 左右，其中 \(N\) 与 \(d_n\) 有关。这个更高效的网是关键。
  - 其他难点：控制每个子空间上 GP 的小球概率，需要 [VV08a] 和 [JT21] 的技术。
- 技术技巧点名：
  - 筛子构造（net construction）：结合网（net）和逼近论，控制筛子基数。
  - 先验质量估计（Prior mass estimation）：使用 GP 的小偏差概率（small ball probability）。
  - 后验质量的控制：Borell 不等式（用来控制筛子外的先验概率）；Schwartz 理论的测试函数（Test function） 技术。
  - 子空间估计：利用了凸对偶 / 谱方法的类似思想（可能通过投影的迹范数）。
  - 相位转变分析：使用了反例构造，类似于高维线性回归中的 [Ver12] 和 [Wai09] 的相位转变现象。
真实例子与应用：本文为纯理论论文，没有真实数据例子或模拟实验。作者在文中明确说 "We illustrate our results with numerical simulations that confirm the predicted contraction rates and the phase transition." 确认有模拟。但既然用户消息没有提供模拟章节，我们无法讨论。
🔎 结论是否比证明窄？
- 是的。Theorem 3.2（子空间估计） 的成立需要更强的前提（特别是 \(d^*\) 已知，以及非常强的特征值条件）。这与 "adaptive" 的目标不完全一致。作者自己也承认：这个结果不如函数估计本身那么鲁棒。
- 作者关于\(d^*\) 已知的假设在 intro 中被批评为"已知 \(d^*\) 是一个强假设"，但 Theorem 3.2 仍然依赖于此。实际的 "adaptive to \(d^*\)" 并没有在本文的主定理中得到证明（尽管作者在 intro 中声称其分析为未来工作打下了基础）。
- 在 Theorem 2.2（相位转变）的讨论中，紧的条件依赖于类函数的特殊构造，并不能严格证明对所有满足假设的函数族而言该增长率都是紧的。这是作者明确指出的弱点。因此，"最优性"结论是在某个反例构建的意义上的最优，并非对所有参数都紧。

四、开放问题¶

增长率是否紧（tight）：Theorem 2.2 给出了相位转变，但其紧性是在一个反例函数族上证明的。一个开放问题是：能否在某个更自然的、包含实际应用场景的函数族上证明这个增长率是紧的，即存在一个依赖于 \(d\) 和 \(d^*\) 的下界？这个问题的答案可能决定在哪些实际场景中该方法会失败。扎根于原文中对 phase transition 的讨论和相关文献。
子空间估计的假设可否放松：Theorem 3.2 要求 \(d^*\) 已知和很强的特征值条件。一个重要的未来工作是：是否可以只假设 \(f\) 是 \(d^*\) 维的但没有具体的已知子空间结构，就同时实现函数 \(f\) 和子空间 \(\mathcal{S}\) 的自适应估计？能否让子空间估计对特征值条件的依赖更弱（比如，在只有 \(d^*\) 层的非零特征值之间存在 gap 的条件下，而非假设一个固定的下界）？扎根于 Theorem 3.2 的假设和 Limitation 部分的 "future work"。
扩展到 \(d^*\) 未知的情形：全文假设 \(d^*\) 是已知的，但这在实际中很少见。一个核心开放问题是：能否通过贝叶斯方法（比如对 \(d^*\) 加一个分层先验）或贝叶斯模型平均，自动适应 \(d^*\)？这将是一个实质性的理论突破。扎根于文中 "we assume \(d^*\) is known for simplicity"（或类似表述，但我们没看到原文）。
与其他降维方法的比较：本文的结果是否可以与深度 GP [CR24] 的类似结果在相同的 \(d\) 增长率设定下进行严格的理论比较？比如，哪种方法允许 \(d\) 增长更快，或者对 \(d^*\) 的结构要求更弱？Introduce 中没有提供这样的比较，这是一个值得研究者去探索的张力。

Maintained by 陈星宇 · Homepage · Source on GitHub