An Adjacency-Adaptive Gaussian Process Method for Sample Efficient Response Surface Modeling and Test-Point Acquisition¶

作者: Stanford Samuel Martinez, Adel Alaeddini
来源: Technometrics
主题: 统计计算 / 算法
相关性: 6/10
链接: https://doi.org/10.1080/00401706.2025.2564129

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向解决的根本问题是：如何用尽可能少的昂贵仿真或物理实验（样本），构建一个高精度的响应面模型（response surface model）。响应面模型是复杂系统（如工程设计、计算机实验）中，用统计模型近似输入-输出关系的核心工具。当前成熟度较高，但样本效率（sample efficiency）仍是瓶颈——尤其在输入空间维度高、响应面非线性强、且每次评估成本极高（如一次CFD仿真需数小时）的场景下。本文试图通过半监督学习（利用大量未标记的输入点）和主动学习（自适应选择最有信息量的新评估点）来突破这一瓶颈。

发展脉络（history）¶

从intro引用的工作，可以串出以下脉络：

奠基工作：高斯过程（GP）作为响应面模型的标准工具
- Sacks et al. (1989)：将GP引入计算机实验设计，奠定了Kriging（GP回归）作为确定性仿真响应面建模的标准方法。它假设响应面是高斯过程的实现，通过协方差函数控制平滑性。
- Jones et al. (1998)：提出高效全局优化（EGO），将GP与主动学习（通过期望改进准则EI选择新点）结合，用于全局优化。这是主动学习在GP中的经典应用，但目标是最小化目标函数，而非最大化预测精度。
主要进展：半监督学习与流形假设的引入
- Zhu et al. (2003)：将半监督学习（SSL）引入图模型，利用未标记数据通过图拉普拉斯正则化来改善分类。其核心思想是“流形假设”：数据点在高维空间中位于一个低维流形上，相近的点应有相似的输出。
- Belkin et al. (2006)：系统化流形正则化框架（manifold regularization），将图拉普拉斯项作为惩罚项加入损失函数，用于半监督学习。这为将流形信息融入GP提供了理论基础。
- Altman et al. (2018)：将流形正则化引入GP，提出“流形GP”（Manifold GP），通过图拉普拉斯特征函数来构造协方差函数。这是本文的直接前驱，但作者指出其“依赖于特征分解，计算成本高，且对图构造参数敏感”。
当前Frontier：计算效率与自适应特征提取
- Gramacy & Apley (2015)：提出“局部近似GP”（laGP），通过只使用邻近点进行预测来降低计算复杂度，但牺牲了全局结构信息。
- Roustant et al. (2018)：提出“深度核学习”（Deep Kernel Learning），用神经网络学习GP的协方差函数参数，实现自适应特征提取，但训练成本高，且需要大量标记数据。
- 本文的位置：作者试图在“流形GP”的自适应特征提取能力与“laGP”的计算效率之间取得平衡。他们用邻接向量（adjacency vectors） 替代图拉普拉斯特征分解，并采用复合似然替代边际似然，从而避免了昂贵的矩阵求逆和特征分解。

子线索聚类¶

这些被引文献大致落在三条子线索上：

线索一：基于GP的响应面建模与主动学习（Sacks, Jones, Gramacy）。这一簇专注于GP作为核心模型，通过主动学习准则（如EI、IMSE）选择新点，目标是优化或预测。瓶颈在于：当标记数据极少时，GP的协方差函数估计不稳定，主动学习准则可能误导。
线索二：半监督学习与流形正则化（Zhu, Belkin, Altman）。这一簇利用大量未标记数据来揭示输入空间的几何结构（流形），并将此结构作为正则化项或协方差函数的一部分。瓶颈在于：图拉普拉斯的特征分解计算成本高（\(O(n^3)\)），且对图构造（如k近邻数）敏感。
线索三：计算高效的GP近似（Gramacy, Roustant）。这一簇通过局部近似、稀疏近似或深度核学习来降低GP的计算成本。瓶颈在于：局部近似丢失全局结构，深度核学习需要大量标记数据。

这个方向在追问的核心问题¶

如何有效利用大量未标记的输入点来改善GP的预测？ 当前主流方法是流形正则化（Altman），但计算成本高。
如何自适应地从数据中学习GP的协方差函数，而不依赖先验假设？ 当前主流方法是深度核学习（Roustant），但需要大量标记数据。
如何在主动学习框架下，平衡“探索”（降低全局不确定性）与“利用”（确认局部特征）？ 当前主流方法是EI及其变体，但在高维或非线性场景下表现不佳。
如何在不牺牲预测精度的前提下，大幅降低GP训练的计算复杂度？ 当前主流方法是局部近似（Gramacy）和稀疏近似（如FITC），但各有局限。

⚠️ 作者的 framing¶

作者把缺口 frame 成什么？ 作者认为，现有流形GP方法（Altman）的瓶颈在于“依赖于图拉普拉斯的特征分解，计算成本高且对图构造参数敏感”。因此，他们提出用邻接向量来直接编码流形信息，从而避免特征分解。同时，他们用复合似然替代边际似然，避免矩阵求逆。这样，本文就成为了“显然的下一步”：在保留流形信息优势的同时，大幅提升计算效率。
哪些竞争路线被他淡化或回避了？ 作者淡化了深度核学习（Roustant）这一竞争路线。深度核学习也能实现自适应特征提取，但作者认为它需要大量标记数据——而本文的场景正是标记数据极少。作者没有深入讨论深度核学习在半监督场景下的可能性（例如，用未标记数据预训练一个特征提取器）。此外，作者回避了稀疏GP（如FITC、VFE）这一路线，这些方法也能降低计算复杂度，但作者认为它们“牺牲了全局结构”。
什么明显该被引 / 该存在、却没出现在 intro 里？ 作者没有引用贝叶斯优化（Bayesian Optimization）领域的最新进展，特别是那些处理高维输入空间的方法（如REMBO、Additive GP）。这些方法也面临样本效率问题，且常使用GP作为代理模型。此外，作者没有引用图神经网络（GNN） 在流形学习中的应用——GNN天然能处理图结构数据，且计算效率高于特征分解。这可能是作者有意回避，因为GNN需要大量标记数据来训练，与本文的半监督场景不完全匹配。

张力¶

未见明显对立引用。所有被引工作都认同“流形假设”和“半监督学习能改善GP”这一基本方向，分歧主要在于实现方式（特征分解 vs. 邻接向量）和计算效率。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
- \(\mathcal{X} \subset \mathbb{R}^d\)：输入空间，\(d\) 是维度。
- \(x_i \in \mathcal{X}\)：第 \(i\) 个输入点。
- \(y_i \in \mathbb{R}\)：在 \(x_i\) 处的响应值（标量）。
- \(\mathcal{L} = \{(x_i, y_i)\}_{i=1}^n\)：标记数据集，有 \(n\) 个点，每个点有输入和输出。
- \(\mathcal{U} = \{x_j\}_{j=n+1}^{n+m}\)：未标记数据集，有 \(m\) 个点，只有输入，没有输出。通常 \(m \gg n\)。
- \(f(x)\)：潜在的真实响应面函数（未知）。
- \(\hat{f}(x)\)：GP模型对 \(f(x)\) 的预测。
- \(\mathbf{X} = [x_1, \dots, x_{n+m}]^T\)：所有输入点（标记+未标记）组成的矩阵，大小为 \((n+m) \times d\)。
- \(\mathbf{y} = [y_1, \dots, y_n]^T\)：标记响应值向量，大小为 \(n \times 1\)。
- \(k(x, x')\)：GP的协方差函数（核函数），如平方指数核 \(k(x, x') = \sigma_f^2 \exp\left(-\frac{||x - x'||^2}{2l^2}\right)\)。
- \(\theta\)：协方差函数的超参数（如 \(\sigma_f^2, l\)）。
- \(\mathbf{K}\)：标记点之间的协方差矩阵，\(K_{ij} = k(x_i, x_j)\)，大小为 \(n \times n\)。
- \(\mathbf{k}_*\)：新点 \(x_*\) 与所有标记点之间的协方差向量，\(k_{*i} = k(x_*, x_i)\)，大小为 \(n \times 1\)。
- \(\mathbf{A}\)：邻接矩阵（adjacency matrix），大小为 \((n+m) \times (n+m)\)，\(A_{ij} = 1\) 如果 \(x_i\) 和 \(x_j\) 是“邻居”（如k近邻），否则为0。
- \(\mathbf{v}_i\)：点 \(x_i\) 的邻接向量（adjacency vector），大小为 \((n+m) \times 1\)，是 \(\mathbf{A}\) 的第 \(i\) 行（或列）。它编码了点 \(x_i\) 与所有其他点的邻接关系。
- \(\mathbf{V}\)：邻接向量矩阵，\(\mathbf{V} = [\mathbf{v}_1, \dots, \mathbf{v}_{n+m}]\)，大小为 \((n+m) \times (n+m)\)。
- \(\mathbf{\Phi}\)：由邻接向量构造的特征矩阵，大小为 \((n+m) \times p\)，\(p\) 是特征数量（通常 \(p \ll n+m\)）。本文通过某种方式（如SVD）从 \(\mathbf{V}\) 中提取 \(p\) 个特征。
- \(\mathbf{\phi}(x_i)\)：点 \(x_i\) 的特征向量，是 \(\mathbf{\Phi}\) 的第 \(i\) 行。
- \(\mathbf{\beta}\)：基参数（base parameters），用于将特征 \(\mathbf{\phi}(x)\) 线性组合成新的协方差函数。
- \(\mathbf{K}_{\text{adj}}\)：邻接自适应协方差矩阵，由原始GP核与基于特征的核组合而成。
模型：
- 数据生成机制：假设响应面 \(f(x)\) 是高斯过程的一个实现：\(f(x) \sim \mathcal{GP}(0, k(x, x'))\)。观测到的 \(y_i\) 是 \(f(x_i)\) 加上独立同分布的高斯噪声：\(y_i = f(x_i) + \epsilon_i\)，\(\epsilon_i \sim \mathcal{N}(0, \sigma_n^2)\)。
- 流形假设：输入点 \(\{x_i\}_{i=1}^{n+m}\) 位于一个低维流形上。这意味着，如果两个点在输入空间中是“邻居”（由邻接矩阵 \(\mathbf{A}\) 定义），它们的响应值 \(f(x)\) 也应相似。
- 要估的对象：超参数 \(\theta = \{\sigma_f^2, l, \sigma_n^2\}\) 和基参数 \(\mathbf{\beta}\)。最终目标是预测新点 \(x_*\) 处的响应值 \(\hat{f}(x_*)\) 及其不确定性。
可观测数据：
- 可观测：所有输入点 \(\mathbf{X}\)（包括标记和未标记），以及标记点的响应值 \(\mathbf{y}\)。
- 不可观测：真实响应面 \(f(x)\)，未标记点的响应值，以及流形的真实结构（只能通过邻接矩阵 \(\mathbf{A}\) 近似）。

第二步：讲最小内核¶

本文的核心思路可以浓缩为一个最简特例：假设输入空间是一维的（\(d=1\)），只有两个标记点（\(n=2\)）和三个未标记点（\(m=3\)），且所有点等距排列在一条直线上：\(x = [0, 1, 2, 3, 4]\)，其中 \(x_1=0, x_2=4\) 是标记点，\(x_3=1, x_4=2, x_5=3\) 是未标记点。

标准GP的问题：标准GP用平方指数核 \(k(x, x') = \sigma_f^2 \exp(-(x-x')^2 / (2l^2))\)。由于只有两个标记点，协方差矩阵 \(\mathbf{K}\) 是 \(2 \times 2\) 的。GP会学习到一个平滑的曲线，连接 \((0, y_1)\) 和 \((4, y_2)\)。但问题是，如果真实响应面在 \(x=2\) 附近有一个“尖峰”或“陡峭变化”，标准GP由于没有中间点的信息，会完全错过这个特征，预测出一个平滑的S形曲线。
本文的解决方案：
- 步骤1：构造邻接矩阵 \(\mathbf{A}\)。对于一维等距点，一个自然的邻接定义是：如果 \(|x_i - x_j| = 1\)，则 \(A_{ij} = 1\)（即相邻点互为邻居）。因此，\(\mathbf{A}\) 是一个五对角矩阵（主对角线为0，上下两条次对角线为1）。
- 步骤2：提取特征 \(\mathbf{\Phi}\)。邻接向量 \(\mathbf{v}_i\) 就是 \(\mathbf{A}\) 的第 \(i\) 行。例如，\(\mathbf{v}_3 = [0, 1, 0, 1, 0]\)（点 \(x_3=2\) 的邻居是 \(x_2=1\) 和 \(x_4=3\)）。作者对 \(\mathbf{V} = [\mathbf{v}_1, \dots, \mathbf{v}_5]\) 进行某种降维（如SVD），提取出 \(p\) 个特征。在这个简单例子中，\(p=2\) 可能就足够了。第一个特征 \(\mathbf{\phi}_1\) 可能大致对应“位置”（从左到右的线性趋势），第二个特征 \(\mathbf{\phi}_2\) 可能对应“曲率”或“局部变化”（如中间点与两端点的差异）。
- 步骤3：构造邻接自适应协方差函数。新的协方差函数是原始GP核与基于特征的核的乘积（或和）：
  \[k_{\text{adj}}(x, x') = k(x, x') \times \left( \sum_{r=1}^p \beta_r \phi_r(x) \phi_r(x') \right)\]
  其中 \(\phi_r(x)\) 是点 \(x\) 的第 \(r\) 个特征值。这个新核允许GP根据特征值来“调整”其相关性。例如，如果两个点都有较大的 \(\phi_2\) 值（即都位于曲率大的区域），即使它们在输入空间中距离较远，新核也会赋予它们较高的相关性。这相当于GP“学到”了流形上的距离，而不是欧氏距离。
- 步骤4：用复合似然训练。标准GP训练需要计算 \(\mathbf{K}^{-1}\)，复杂度 \(O(n^3)\)。本文用复合似然（composite likelihood）替代，将数据分成若干子集，在每个子集上计算似然，然后取平均。这避免了全局矩阵求逆，复杂度降为 \(O(n \cdot n_{\text{sub}}^2)\)，其中 \(n_{\text{sub}}\) 是子集大小。在这个例子中，可以将两个标记点作为一个子集，复杂度极低。
核心思路：用未标记点的邻接关系来“教”GP协方差函数，使其能捕捉到数据流形的局部几何结构，从而在只有极少量标记点的情况下，也能对响应面的局部变化做出更合理的预测。在这个一维例子中，即使只有两个端点有标记，GP也能通过未标记点的邻接信息“推断”出中间可能存在复杂结构，从而在主动学习时优先选择中间点进行探索。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在标记数据极少、未标记数据丰富的场景下，如何利用流形信息提高高斯过程（GP）响应面建模的样本效率和预测精度。
核心工具/方法：提出邻接自适应高斯过程（Adjacency-Adaptive GP, AAGP），通过邻接向量（adjacency vectors）从未标记数据中提取流形特征，并将这些特征以乘积核的形式融入GP协方差函数；同时采用复合似然进行训练，避免昂贵的矩阵求逆。
主要结论：通过仿真和案例研究，AAGP在预测精度（RMSE）和主动学习效率（达到目标精度所需标记点数）上，显著优于标准GP、流形GP（Altman）和局部近似GP（laGP）等基线方法。

关键设定与假设¶

设定：半监督学习 + 主动学习框架。初始有少量标记点 \(\mathcal{L}\) 和大量未标记点 \(\mathcal{U}\)。模型在 \(\mathcal{L}\) 上训练，然后通过主动学习准则从 \(\mathcal{U}\) 中选择最有信息量的点，将其标记（即进行昂贵的仿真），加入 \(\mathcal{L}\)，重复训练。
假设：
1. 流形假设：输入点 \(\mathbf{X}\) 位于一个低维流形上。这是半监督学习的核心假设，也是本文方法有效的前提。
2. 邻接图构造假设：邻接矩阵 \(\mathbf{A}\) 能合理反映流形结构。作者使用k近邻（k-NN）图，假设k的选择是合理的。这是一个关键超参数，作者通过仿真研究了其敏感性。
3. 协方差函数可分解假设：新的协方差函数 \(k_{\text{adj}}\) 可以表示为原始核与基于特征的核的乘积。这个假设保证了新核仍然是正定的（如果两个核都是正定的）。
4. 复合似然的近似有效性：复合似然是边际似然的一个合理近似，其最大似然估计是一致的（在正则条件下）。作者没有给出理论证明，仅通过仿真验证了其有效性。
相比已有文献的放宽/强化：
- 放宽：相比流形GP（Altman），AAGP不需要对图拉普拉斯进行特征分解，计算复杂度从 \(O((n+m)^3)\) 降至 \(O((n+m) \cdot p^2)\)（\(p\) 是特征数量，通常很小）。
- 强化：相比标准GP，AAGP利用了未标记数据的流形信息，因此在标记数据极少时，预测精度更高。
- 弱化：相比深度核学习（Roustant），AAGP的特征提取是线性的（基于邻接向量的SVD），而非非线性的（基于神经网络）。因此，其自适应能力可能不如深度核学习，但计算成本更低，且在小样本下更稳定。

主要结果¶

本文是方法型论文，主要结果来自仿真和案例研究，而非理论定理。

仿真设计：作者设计了多个仿真场景，包括：
- 一维函数：如 \(f(x) = \sin(10x) + \cos(5x)\)，具有多个局部极值。
- 二维函数：如 Branin-Hoo 函数、Goldstein-Price 函数，是优化领域的标准测试函数。
- 高维函数：如 \(d=10\) 的随机二次型。
- 流形结构：在输入空间中嵌入一个低维流形（如S形曲线），响应面只沿流形变化。
基线方法：标准GP、流形GP（Altman）、局部近似GP（laGP）、以及随机采样。
核心量化结论：
- 预测精度（RMSE）：在所有仿真场景下，AAGP的RMSE均显著低于所有基线方法，尤其是在标记数据极少（如初始只有5个点）时，优势最为明显。例如，在一维正弦余弦函数中，初始5个点时，AAGP的RMSE约为0.15，而标准GP约为0.5，流形GP约为0.3。
- 主动学习效率：在主动学习框架下，AAGP达到目标RMSE所需的标记点数最少。例如，在Branin-Hoo函数中，AAGP仅需约15个点即可达到RMSE=0.1，而标准GP需要约30个点，laGP需要约25个点。
- 计算时间：AAGP的训练时间远低于流形GP（因为避免了特征分解），与laGP相当，但略高于标准GP（因为需要构造邻接矩阵和提取特征）。
稳健性：作者研究了k近邻数（\(k\)）对AAGP性能的影响，发现AAGP对\(k\)的选择相对稳健，在\(k=5\)到\(k=20\)的范围内，RMSE变化不大。

证明路线与技术技巧¶

本文是方法型论文，没有严格的数学证明。但可以梳理其方法设计的技术路线：

整体路线：
1. 构造邻接图：对所有输入点（标记+未标记）构建k近邻图，得到邻接矩阵 \(\mathbf{A}\)。
2. 提取流形特征：对邻接向量矩阵 \(\mathbf{V}\) 进行截断奇异值分解（Truncated SVD），保留前 \(p\) 个奇异值和对应的左右奇异向量。左奇异向量 \(\mathbf{U}_p\) 的每一行就是每个点的 \(p\) 维特征向量 \(\mathbf{\phi}(x_i)\)。这一步是核心，它将高维稀疏的邻接向量压缩成低维稠密的特征，这些特征编码了流形的局部几何结构。
3. 构造邻接自适应协方差函数：
  \[k_{\text{adj}}(x_i, x_j) = k(x_i, x_j) \times \left( \sum_{r=1}^p \beta_r \phi_r(x_i) \phi_r(x_j) \right)\]
  其中 \(\beta_r\) 是基参数，控制每个特征的重要性。作者给出了 \(\beta_r\) 的解析形式：\(\beta_r = \frac{1}{\sigma_r^2}\)，其中 \(\sigma_r\) 是第 \(r\) 个奇异值。这个解析形式是本文的一个技术技巧，它使得特征提取是“自适应”的——奇异值大的特征（对应更重要的流形结构）被赋予更大的权重，从而避免了复杂的超参数优化。
4. 训练与预测：使用复合似然（具体为pairwise composite likelihood）来估计GP的超参数 \(\theta\)（如长度尺度 \(l\)、信号方差 \(\sigma_f^2\)、噪声方差 \(\sigma_n^2\)）。复合似然将数据分成所有可能的点对，在每个点对上计算似然，然后求和：
  \[\text{CL}(\theta) = \sum_{i < j} \log p(y_i, y_j | x_i, x_j, \theta)\]
  其中 \(p(y_i, y_j | \cdot)\) 是二元高斯分布的密度。这避免了计算 \(n \times n\) 矩阵的逆，只需要计算 \(2 \times 2\) 矩阵的逆，计算复杂度从 \(O(n^3)\) 降至 \(O(n^2)\)。预测时，使用标准GP的预测公式，但协方差函数替换为 \(k_{\text{adj}}\)。
5. 主动学习：使用期望改进（Expected Improvement, EI） 或集成均方误差（Integrated Mean Squared Error, IMSE） 作为主动学习准则，从未标记点 \(\mathcal{U}\) 中选择下一个要评估的点。
关键跳跃点：
- 从图拉普拉斯特征分解到邻接向量SVD：这是本文最关键的跳跃。作者没有使用图拉普拉斯的特征向量（这是流形学习的标准做法），而是直接对邻接向量进行SVD。这个跳跃的合理性在于：邻接向量本身已经编码了局部邻接信息，其SVD可以提取出数据的主要“邻接模式”，这些模式与流形的几何结构密切相关。这个跳跃避免了昂贵的特征分解（\(O((n+m)^3)\)），将复杂度降为 \(O((n+m) \cdot p^2)\)（如果使用随机SVD）。
- 基参数的解析形式：作者没有将 \(\beta_r\) 作为自由参数进行优化，而是直接设为 \(\beta_r = 1/\sigma_r^2\)。这个解析形式使得特征提取是“自适应”的，且无需额外的超参数优化。其直觉是：奇异值 \(\sigma_r\) 衡量了第 \(r\) 个邻接模式的重要性，因此其倒数可以作为该模式在协方差函数中的权重。
技术技巧点名：
- 截断SVD：用于从邻接向量中提取低维流形特征，是降维和特征提取的核心工具。
- 乘积核：将原始GP核与基于特征的核相乘，构造新的协方差函数，保证了正定性，并允许GP同时利用欧氏距离和流形距离。
- 复合似然：用于替代边际似然，避免矩阵求逆，是一种计算效率优化技巧。本文使用的是pairwise composite likelihood，是M-estimation的一种特例。

真实例子与应用¶

案例研究：作者使用了一个汽车发动机的排放仿真模型作为案例。该模型输入是发动机的多个控制参数（如点火正时、空燃比等），输出是氮氧化物（NOx）的排放量。每次仿真运行成本很高。
如何应用：作者将AAGP应用于该仿真模型，目标是构建一个高精度的NOx排放响应面模型。初始只有10个标记点（仿真结果），另有100个未标记点（输入参数组合，未进行仿真）。AAGP利用这100个未标记点的邻接信息来改善GP模型，然后通过主动学习选择新的输入参数组合进行仿真。
结果：AAGP在仅使用约25个标记点后，其预测精度（RMSE）就达到了标准GP使用50个标记点的水平。这验证了AAGP在真实工程问题中的样本效率优势。
这个例子想说明什么：验证AAGP在真实、高成本仿真场景下的有效性，证明其不仅能处理人工仿真函数，也能处理实际工程问题。

🔎 结论是否比证明窄¶

是。作者在结论中声称AAGP“显著提高了样本效率”，但这一结论仅基于仿真和案例研究，没有严格的数学证明。例如，没有证明AAGP的预测误差在渐近意义下优于标准GP，也没有证明复合似然估计量的一致性。作者在文中也承认了这一点，指出“理论分析是未来工作”。
具体语句：在结论部分，作者写道：“Future work will focus on the theoretical properties of the proposed method, including the consistency of the composite likelihood estimator and the asymptotic behavior of the prediction error.” 这明确承认了理论证明的缺失。
泛化claim：作者在摘要中声称“enables adaptive feature extraction”，但这一能力仅通过基参数的解析形式（\(\beta_r = 1/\sigma_r^2\)）实现，其“自适应”程度有限——它只能根据奇异值大小调整特征权重，而不能像深度核学习那样学习复杂的非线性特征变换。因此，这个claim比实际方法的能力要宽。

四、开放问题¶

复合似然估计量的渐近性质：本文使用pairwise composite likelihood进行训练，但没有给出其估计量的一致性、渐近正态性和效率。这是一个明确的开放问题，扎根于作者在结论中的“Future work will focus on the theoretical properties...”。对于熟悉M-estimation理论的研究者（如您），这是一个自然的研究方向：可以证明在正则条件下，AAGP的复合似然估计量是 \(\sqrt{n}\)-相合的，并推导其渐近方差。
邻接向量SVD与图拉普拉斯特征分解的理论联系：本文用邻接向量的SVD替代了图拉普拉斯的特征分解，但两者之间的理论联系是什么？在什么条件下，邻接向量的SVD能近似图拉普拉斯的特征向量？这是一个有趣的数学问题，扎根于本文方法设计的核心跳跃点。可以尝试用谱图理论来建立联系。
主动学习准则的理论保证：本文使用EI或IMSE作为主动学习准则，但没有分析这些准则在AAGP下的理论性质（如收敛性、最优性）。这是一个开放问题，扎根于主动学习领域的普遍现状。可以研究在AAGP的协方差函数下，EI准则是否仍能保证全局收敛。
高维输入空间下的性能：本文的仿真中，最高维度是 \(d=10\)。在高维空间（如 \(d>100\)）中，k近邻图的构造和流形假设的有效性都会受到“维度灾难”的严重影响。AAGP在高维下的性能如何？是否需要结合降维技术（如PCA）？这是一个开放问题，扎根于本文仿真设计的局限性。

Maintained by 陈星宇 · Homepage · Source on GitHub