跳转至

Semi-Supervised Kernel Ridge Fr\'echet Regression

作者: Jaehee Seo, Kwangho Kim, Jisu Kim
主题: 非参数 / 半参数
相关性: 6/10
链接: https://arxiv.org/abs/2610.05388


一、领域脉络与小综述

  • 这个方向是什么:本文研究的是半监督 Fréchet 回归问题。其根本目标是:在标记样本(带有响应变量 Y 的样本)稀缺、但未标记样本(仅有协变量 X 的样本)大量可得的情况下,预测一个取值于一般度量空间(如概率分布、对称正定矩阵、树等)的随机对象响应。该问题融合了三条研究脉络:(1) Fréchet 回归(将回归分析推广到非欧几里得响应空间);(2) 核岭回归(KRR)的谱方法;(3) 半监督学习(利用未标记数据提升监督学习性能)。其成熟度处于方法创新与理论分析并重的阶段:方法框架清晰,但理论分析(尤其是半监督增益的精确刻画)仍在发展。

  • 发展脉络(history):本文的定位可从以下工作序列中看出:

    • 奠基工作:Petersen and Müller (2019) 提出 Fréchet 回归,将回归目标从欧氏空间推广到一般度量空间,通过最小化条件期望平方距离定义回归函数。这是本领域的起点。
    • 主要进展:后续工作发展了多种 Fréchet 回归方法,如局部线性法(Chen and Müller, 2022)、全局方法(Bhattacharya and Müller, 2023)、基于树的方法(Qiu et al., 2024b)等。这些方法大多聚焦于监督学习设定。
    • 当前 frontier:如何在高维、复杂协变量下进行 Fréchet 回归,以及如何利用大量未标记数据提升预测精度,是当前活跃的研究方向。本文的半监督设定与谱方法(核特征学习)正是对这一前沿的回应。
    • 本文的位置:本文是 Kim and Kim (2026) 工作的直接延伸,将后者的半监督核岭回归框架从欧氏响应推广到 Fréchet 回归设定。其核心创新在于将未标记数据用于学习协变量的谱特征表示,而非直接用于拟合响应。
  • 子线索聚类:本文引用的工作大致可归为以下几条子线索:

    1. Fréchet 回归方法:Petersen and Müller (2019)(奠基)、Chen and Müller (2022)(局部方法)、Bhattacharya and Müller (2023)(单指标模型)、Qiu et al. (2024b)(随机森林)、Bhattacharya et al. (2025)(非线性全局方法,即文中的 WCE-NLGFR)。这一簇在探索不同回归结构在度量空间中的推广。
    2. 半监督学习理论:Ji et al. (2012)(谱特征学习的半监督方法)、Kim and Kim (2026)(半监督核岭回归的理论分析)。这一簇关注未标记数据如何帮助学习表示或提高收敛速率。
    3. 核方法与谱理论:Zwald and Blanchard (2005)(核 PCA 的稳定性)、Reiß and Wahl (2020)(主成分分析的谱界)、Jirak and Wahl (2020, 2023)(特征空间的相对扰动界)。这一簇为本文的谱特征学习提供了技术工具。
    4. 度量空间几何:Sturm (2003)(CAT(0) 空间中的概率测度与重心)、Billera et al. (2001)(树空间的几何)、Arsigny et al. (2006)(对数欧几里得度量)。这一簇为特定响应空间(如树、SPD 矩阵)提供了几何基础。
  • 这个方向在追问的核心问题:

    1. 半监督增益的理论刻画:未标记数据究竟在何种条件下、以何种速率提升预测精度?本文通过区分"标记样本数 n"和"总样本数 N"的作用,给出了部分回答。
    2. 非欧响应空间中的表示学习:如何将协变量的谱特征(如核 PCA)与度量空间的几何结构(如 Fréchet 均值)有效结合?
    3. 理论假设的现实性:本文的假设(如 R1-R2、K1-K5)在多大程度上是必要的?能否放宽?
    4. 计算效率与可扩展性:谱分解的 O(N²) 复杂度如何应对大规模未标记数据?
  • ⚠️ 作者的 framing(必须明确标注成"这是作者的说法"):作者将本文的贡献框架为"SSL for random objects"(随机对象的半监督学习),并强调其方法"learns kernel spectral features from both labeled and unlabeled covariates"(从标记和未标记协变量中学习核谱特征)。作者声称其理论贡献在于"prediction bounds that distinguish the roles of labeled and unlabeled samples"(区分标记与未标记样本作用的预测界)。作者淡化了以下竞争路线:(1) 基于流形假设的半监督方法(如 Belkin and Niyogi, 2004),认为其依赖的几何假设难以验证;(2) 直接利用未标记响应(若可得)的方法,因为本文设定中未标记样本的响应是缺失的。值得研究者去查的问题:作者在引言中未提及的、可能相关的近期工作包括:深度核方法在 Fréchet 回归中的应用、以及基于最优传输的回归方法。这些工作是否构成了对本文方法的直接竞争或补充?

  • 张力:本文引用的工作之间,未见明显对立结论。但存在一个潜在张力:Ji et al. (2012) 和 Kim and Kim (2026) 的半监督谱方法通常假设协变量分布的低维结构(如流形假设),而本文的假设(R1-R2)更侧重于响应函数的平滑性(通过 Fréchet 函数的光滑性体现),对协变量分布的结构假设较弱。这种假设重心的转移(从协变量结构到响应函数结构)是本文的一个特点,但也可能限制了其在协变量本身具有复杂结构时的适用性。


二、最核心、最简单的例子 / 数学问题

第一步:把符号、模型、可观测数据交代清楚

  • 符号:
  • 参数 / 估计目标(Estimand):
    • \(m^{\oplus}(x) := \arg\min_{y \in \mathcal{Y}} \mathbb{E}[d^2_{\mathcal{Y}}(y, Y) | X = x]\):条件 Fréchet 函数,即给定协变量 \(x\) 时,响应空间中使条件期望平方距离最小的点。这是回归的目标函数。
    • \(M^{\oplus}(y, x) := \mathbb{E}[d^2_{\mathcal{Y}}(y, Y) | X = x]\):条件 Fréchet 函数(即条件期望平方距离)。
  • 随机变量 / 样本:
    • \(X \in \mathcal{X}\):协变量,取值于 Polish 空间(如欧氏空间、度量空间)。
    • \(Y \in \mathcal{Y}\):响应变量,取值于度量空间 \((\mathcal{Y}, d_{\mathcal{Y}})\)(如 SPD 矩阵、概率分布、树)。
    • \((X_i, Y_i)_{i \in L}\):标记样本,\(|L| = n\)。
    • \((X_j)_{j \in U}\):未标记样本,\(|U| = N - n\),总样本数 \(N\)。
    • \(X^{\circ}\):独立的测试协变量。
  • 维数 / 样本量等指标:

    • \(n\):标记样本数。
    • \(N\):总样本数(标记 + 未标记)。
    • \(s\):截断的谱特征维度(核 PCA 保留的主成分个数)。
    • \(\xi\):岭回归正则化参数。
    • \(\beta_M\):Fréchet 函数的曲率指数(见假设 M3)。
    • \(r\):源条件(source condition)指数(见假设 R1)。
    • \(q\):核特征值衰减指数(见假设 K5)。
  • 模型:

  • 数据生成机制:\((X, Y) \sim P\),其中 \(P\) 是 \(\mathcal{X} \times \mathcal{Y}\) 上的联合分布。观测到 \(N\) 个协变量 \(X_1, \dots, X_N \sim P_X\)(独立同分布),其中随机选取 \(n\) 个(记为集合 \(L\))观测对应的响应 \(Y_i \sim P_{Y|X=X_i}\)(条件独立)。其余 \(N-n\) 个协变量无响应。
  • 统计模型:这是一个非参数回归模型。目标 \(m^{\oplus}(x)\) 是条件 Fréchet 均值,不假设参数形式。核心假设是 \(m^{\oplus}(x)\) 属于某个由核 \( \kappa\) 生成的函数空间(RKHS)的插值空间(见假设 R1)。
  • 已知 / 未知:
    • 已知:核函数 \(\kappa\)(如高斯核)、度量 \(d_{\mathcal{Y}}\)、正则化参数 \(\xi\)、截断维度 \(s\)。
    • 未知:联合分布 \(P\)、条件 Fréchet 函数 \(m^{\oplus}(x)\)、以及控制其光滑性的源条件参数 \(r\) 和核谱衰减参数 \(q\)。

第二步:讲最小内核

本文的核心思想可以归结为以下最小内核:

用未标记数据学习协变量的低维谱特征表示,然后用标记数据在这个表示上做岭回归,从而估计条件 Fréchet 函数。

更具体地,这个内核包含三个步骤:

  1. 谱特征学习(利用所有 N 个样本):对中心化的核矩阵 \(K_0 = H_N K H_N\) 进行特征分解,取前 \(s\) 个特征向量 \(\hat{V}_s = (\hat{v}_1, \dots, \hat{v}_s)\),得到经验特征映射 \(\hat{\Phi}_s(x) = \hat{\Lambda}_s^{-1/2} \hat{V}_s^\top \hat{k}_0(x)\)。这里 \(\hat{k}_0(x)\) 是查询点 \(x\) 与所有 \(N\) 个样本的中心化核向量。这一步完全不需要响应变量 Y,只用了协变量 X 的分布信息。

  2. 岭回归拟合(利用 n 个标记样本):对每个候选响应 \(y \in \mathcal{Y}\),将平方距离 \(d^2_{\mathcal{Y}}(y, Y_i)\) 视为标量响应,在特征 \(\hat{\Phi}_s(X_i)\) 上做岭回归,得到系数 \(\hat{\theta}_{y,L} = (\hat{C}_{L,s} + \xi I_s)^{-1} \hat{b}_{y,L}\)。其中 \(\hat{C}_{L,s}\) 是标记样本特征的协方差矩阵,\(\hat{b}_{y,L}\) 是标记样本特征与平方距离的协方差向量。

  3. 预测与最小化:对于新的协变量 \(x\),预测的 Fréchet 函数为 \(\hat{m}^{\oplus}(x) = \arg\min_{y \in \mathcal{Y}} \hat{M}^{\oplus}(y, x)\),其中 \(\hat{M}^{\oplus}(y, x) = \bar{Z}_{y,L} + \hat{\Phi}_s(x)^\top \hat{\theta}_{y,L}\)。即,在所有可能的响应 \(y\) 中,找到使估计的条件期望平方距离最小的那个点。

为什么这个内核是"最小"的? 因为它剥离了所有技术细节(如假设、证明、混合方法),直接展示了本文方法的核心逻辑:半监督学习的价值在于,它允许我们用大量的未标记数据来学习一个更好的(更低维、更光滑的)特征表示,然后在这个表示上进行监督学习。 这个逻辑与许多现代半监督深度学习方法(如自监督预训练 + 微调)在概念上是相通的。

这个内核的数学本质是什么? 它本质上是一个谱截断 + 岭回归的估计器。其理论分析的核心在于: - 如何控制谱特征估计误差(用 N 个样本估计总体特征函数)? - 如何控制岭回归估计误差(用 n 个标记样本在估计的特征上拟合)? - 如何平衡截断偏差(丢掉高维特征)与估计方差(保留太多特征导致过拟合)?


三、这篇论文做了什么

三句话: 1. 研究了什么问题:在标记样本稀缺、未标记样本丰富的场景下,如何利用未标记协变量提升对随机对象响应(如分布、矩阵、树)的 Fréchet 回归预测精度。 2. 核心工具 / 方法:提出了半监督核岭 Fréchet 回归(SS-KRFR),该方法从所有协变量中学习核谱特征,再在标记样本上用岭回归拟合平方距离,并推导了预测误差界。 3. 主要结论:在适当的源条件和核谱衰减假设下,SS-KRFR 的预测误差以多项式速率收敛;未标记数据通过改善特征表示来降低误差,但其作用受限于标记样本数 \(n\) 和截断维度 \(s\) 的平衡;混合方法(RH、PH、TH)在 Hadamard 空间中具有稳定性保证。

关键设定与假设: - 响应空间:\((\mathcal{Y}, d_{\mathcal{Y}})\) 是 Hadamard 空间(完备 CAT(0) 空间),保证 Fréchet 均值的唯一性和测地线的存在性。这涵盖了欧氏空间、Hilbert 空间、SPD 矩阵(对数欧氏度量)、以及 BHV 树空间等。 - 协变量空间:\((\mathcal{X}, d_{\mathcal{X}})\) 是 Polish 空间,核 \(\kappa\) 是连续、有界、正定的。 - 核心假设: - (M1) 存在参考点 \(y^*\),使得条件二阶矩 \(\sup_{x \in X_0} \mathbb{E}[d^2_{\mathcal{Y}}(Y, y^*) | X=x] < \infty\)。这保证了平方距离的可积性。 - (M2) 条件 Fréchet 函数 \(m^{\oplus}\) 存在 Borel 可测版本。这是技术性假设,保证估计量的可测性。 - (M3) 唯一性和局部曲率:Fréchet 函数有唯一最小值,且局部满足 \(\Delta^{\oplus}(y, x) \ge c_M d^{\beta_M}_{\mathcal{Y}}(y, m^{\oplus}(x))\)。\(\beta_M > 1\) 是曲率指数,控制目标函数的"尖锐"程度。 - (R1) 源条件:中心化的 Fréchet 函数 \(\dot{h}_t\) 属于插值空间 \([H_{\kappa_0}]^r\),即 \(\dot{h}_t = T^{r/2}_{\kappa_0} u_t\),其中 \(u_t \in L^2(P_X)\)。这控制了目标函数的"光滑性"。 - (R2) 条件噪声的 \(L^2\) 有界性:对任意权重向量,条件噪声的平方和期望有界。这控制了响应噪声的复杂度。 - (K1-K3) 核的有界性、特征值衰减(\(\lambda_j \asymp j^{-q}\))和谱间隙(\(\lambda_s - \lambda_{s+1}\) 的下界)。 - (K4-K5) 特征函数的矩条件(\(\sup_j \mathbb{E}|\phi_j(X)|^8 < \infty\))和更强的谱衰减条件。

主要结果: - 定理 2.1(基本预测误差界):在假设 (M1)-(M3)、(K1)-(K3)、(R1)-(R2) 和调参条件 (8) 下,SS-KRFR 的预测误差(条件 Fréchet 距离的平方)以 \(O_p(\rho^2_{r,s,n,N,\xi})\) 速率收敛,其中 \(\rho\) 是四项之和:谱截断误差、标记噪声、岭偏差、特征估计误差。这个界明确区分了 \(n\) 和 \(N\) 的作用。 - 定理 2.2(谱细化界):在更强的假设 (K4)-(K5) 下,特征估计误差的界被细化,从而放宽了对 \(N\) 的要求。 - 推论 2.1(多项式速率):在核特征值多项式衰减(\(\lambda_j \asymp j^{-q}\))和源条件 \(r\) 下,通过平衡截断维度 \(s\),得到显式的多项式收敛速率 \(n^{-(qr-1)/(qr)}\)(在二次曲率下)。 - 定理 3.1(混合稳定性):在 Hadamard 空间中,RH、PH、TH 三种混合方法在统一调参下具有稳定性保证,其预测误差被一个公共随机因子控制。

证明路线与技术技巧: 1. 整体路线:证明分为四步: - 谱分解:将 Fréchet 回归问题转化为对平方距离的标量回归问题。 - 误差分解:将预测误差分解为四项:截断误差(\(b_{r,s}\))、标记噪声(\(\sqrt{s/n}\))、岭偏差(\(G_{r,s} \xi/(\lambda_s + \xi)\))、特征估计误差(\(G_{r,s} / (\sqrt{N}(\lambda_s - \lambda_{s+1}))\))。 - 分别控制:对每一项分别建立概率界。 - 组合:利用三角不等式和条件期望,将四项组合成最终的预测误差界。 2. 关键技巧: - 谱截断:只保留前 \(s\) 个特征,避免了高维特征带来的方差。 - 数据分割:将标记样本和未标记样本的作用分开,利用未标记样本估计特征,利用标记样本拟合回归。 - Davis–Kahan 定理:控制经验特征空间与总体特征空间之间的差异。 - 向量值不等式:利用 Hilbert 空间中的不等式(如 Cauchy-Schwarz、三角不等式)来处理非欧几里得响应。 - Hadamard 空间几何:利用 CAT(0) 空间的性质(如测地线凸性、平方距离的凸性)来建立 Fréchet 函数的性质。

真实例子与应用: - 模拟实验:设置了六种场景,交叉了协变量类型(欧氏 vs. 分布)和响应类型(SPD 矩阵、分布、BHV 树)。结果显示,SS-KRFR 在多数场景下优于监督版 KRFR,且混合方法(特别是 TH)通常表现最好。 - 真实数据:使用了 Healthy Brain Network (HBN) EEG 数据。任务是根据静息态脑电的功率谱(作为分布协变量)预测睁眼状态下的功率谱(作为分布响应)。结果显示,SS-KRFR 和混合方法在预测误差上优于监督版 KRFR 和 WCE-NLGFR。


四、开放问题

  1. 半监督增益的精确刻画:本文的界表明,未标记数据通过改善特征表示来降低误差,但未标记数据何时能带来实质性的增益? 在什么条件下,\(N\) 的增加可以显著降低预测误差?本文的界在 \(N \gg n\) 时,特征估计误差项趋于零,但这是否意味着半监督增益是"免费"的?扎根点:定理 2.1 中的特征估计误差项 \(G_{r,s} / (\sqrt{N}(\lambda_s - \lambda_{s+1}))\) 表明,当 \(N\) 远大于 \(n\) 时,该项可以忽略,但这是否意味着我们可以无限制地增加 \(N\)?实际中,\(N\) 的增加会带来计算成本的增加,且特征估计误差的降低可能受限于核的逼近能力。

  2. 假设的验证与放宽:本文的假设(如 R1-R2、K4-K5)在多大程度上是必要的?特别是,(R2) 条件噪声的 \(L^2\) 有界性 是否对重尾响应(如极端值)过于严格?(K5) 的谱间隙条件 是否排除了某些常见的核(如拉普拉斯核)?扎根点:作者在附录 Remark C.3 中讨论了谱衰减条件,但未讨论谱间隙条件的必要性。一个值得研究的问题是:能否在更弱的谱间隙条件下(如允许特征值重叠)获得类似的预测误差界?

  3. 计算效率与可扩展性:SS-KRFR 需要对 \(N \times N\) 的核矩阵进行特征分解,计算复杂度为 \(O(N^2)\) 内存和 \(O(N^3)\) 时间。如何将 SS-KRFR 扩展到大规模未标记数据? 能否利用随机特征近似(random features)或 Nyström 方法?扎根点:作者在附录 A.1.4 中提到"dense Gram matrix uses O(N²) memory",但未讨论任何近似方法。这是一个实际应用中的重要问题。

  4. 混合方法的理论保证:定理 3.1 给出了混合方法的稳定性,但没有给出混合方法相对于纯 SS-KRFR 的改进保证。在什么条件下,混合方法(特别是 TH)能严格优于纯 SS-KRFR?扎根点:作者在实验部分观察到 TH 通常表现最好,但理论部分只证明了稳定性,没有证明改进。一个值得研究的问题是:能否给出混合方法的"oracle inequality",即其预测误差不超过最优混合权重的预测误差加上一个可忽略的项?

  5. 推断问题:本文只关注了预测误差的收敛速率,没有讨论如何对 Fréchet 回归函数进行统计推断(如构造置信区间或进行假设检验)。在非欧几里得响应空间中,如何定义和估计 Fréchet 回归函数的不确定性?扎根点:作者在引言中提到了后续的推断工作(Song et al., 2026),但本文没有涉及。这是一个重要的开放问题。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论