Personalizing black-box models for nonparametric regression with minimax optimality

讲者: Sai Li
会场: Learning, Inference, and Influence: New Frontiers in Data and AI
报告题目: Few-Shot Personalization for Nonparametric Regression with Minimax Optimality
链接: arXiv
来源: JCSDS 2026 · 返回会议总览

---

一、领域脉络与小综述

这个方向是什么

本文研究的子方向是少样本个性化（few-shot personalization），其根本的统计问题是：给定一个从外部源数据训练得到的黑箱预训练模型 \( f^{(ptr)} \)，如何利用极少量（\( n \) 很小）从目标分布 \( P^*(x, y) \) 采集的标签样本，构造一个对目标回归函数 \( f^*(x) \) 的估计器，使得该估计器在均方积分误差（MISE）意义下达到极小化最优率。该问题的核心挑战在于：预训练模型可能与目标任务存在分布偏移（甚至完全不相关），且用户无法访问其内部参数或训练数据。因此，方法必须同时具备信息借用（当 \( f^{(ptr)} \) 有用时）和鲁棒性（当 \( f^{(ptr)} \) 无用甚至有害时）的能力。当前该子方向在统计理论层面尚不成熟，多数工作集中在LLM或联邦学习的算法/实证层面，缺乏对极小化最优率的刻画。

发展脉络

本文的introduction将相关文献串成一条清晰的脉络，从经典非参数回归出发，经过迁移学习、域泛化、预测驱动推断，最终定位到LLM个性化。以下是关键节点：

1. 奠基工作：经典非参数回归与极小化理论。Tsybakov (2008) 的专著和 Fan (1993) 的局部线性回归工作奠定了非参数回归的极小化最优率框架。这些工作为本文提供了基准：当没有预训练模型时，仅用 \( n \) 个目标样本估计一个 \( \theta^*_2 \)-Hölder 光滑函数的极小化最优率为 \( n^{-2\theta^*_2/(2\theta^*_2 + d)} \)。本文的“无伤害保证”正是与此基准比较。

2. 主要进展：迁移学习与域泛化。大量近期工作研究了如何利用源数据提升目标任务的性能。

   • 非参数迁移学习：Cai & Wei (2021) 和 Reeve, Cannings & Samworth (2021) 研究了非参数分类/回归中的迁移学习，建立了极小化最优率。这些工作假设可以访问个体级别的源数据，而本文的设定是只能访问黑箱模型。
   • 高维参数模型迁移：Li, Cai & Li (2022) 和 Tian & Feng (2023) 以及 Li, Zhang, Cai & Li (2024) 研究了高维线性/广义线性模型的迁移学习，提出了 Trans-Lasso 等算法并证明了极小化最优性。这些工作同样假设可以访问源数据。
   • 域泛化与不变性：Peters, Bühlmann & Meinshausen (2016) 提出不变预测（Invariant Prediction），Bühlmann (2020) 和 Rothenhäusler et al. (2021) 发展了锚点回归（Anchor Regression），Fan, Fang, Gu & Zhang (2024) 研究了环境不变最小二乘。这些方法旨在从多个源域学习一个在目标域上鲁棒的预测规则，通常需要因果假设或多个环境。Li & Zhang (2025) 则利用低秩张量结构进行域泛化。
   • 本文的定位：作者明确指出，在迁移学习和域泛化中，“users can access individual-level source data to build a desired pre-trained model for best knowledge transfer. In contrast, personalization treats the pre-trained model as a black box with no access to source data, and explicitly incorporates a sample collection phase.” 这是本文与上述工作的核心区别。

3. 当前 Frontier：预测驱动推断（PPI）与 LLM 个性化。

   • PPI框架：Angelopoulos et al. (2023) 和 Angelopoulos, Duchi & Zrnic (2023) 提出 PPI++，利用预训练模型作为代理变量（surrogate）进行半监督推断。Ji, Lei & Zrnic (2025) 进一步建立了 PPI 与经典代理结局模型（surrogate outcome model）的联系。作者指出，PPI 与本文有两个关键区别：① PPI 目标是总体均值而非回归函数；② PPI 是半监督设定（大量无标签+少量标签），而本文是纯少样本设定，且标签的协变量分布是用户指定的，可以与目标分布不同。
   • LLM个性化：Salemi et al. (2024) 的 LaMP 基准、Kim & Yang (2024) 的 Fermi 方法、Shenfeld et al. (2025) 的奖励分解方法等，主要关注算法/实证层面。作者评价：“these contributions are primarily empirical or algorithmic, lacking formal statistical analysis of adaptation under limited data and minimax optimality guarantees.” 这直接点出了本文要填补的缺口。

子线索聚类

被引文献大致落在以下4条子线索上：

1. 迁移学习（Transfer Learning）：Cai & Wei (2021), Reeve et al. (2021), Li et al. (2022), Tian & Feng (2023), Li et al. (2024)。核心：利用源数据（个体级）提升目标任务，通常假设源与目标分布相似或存在某种结构（如稀疏差异）。
2. 域泛化与不变性（Domain Generalization & Invariance）：Peters et al. (2016), Bühlmann (2020), Rothenhäusler et al. (2021), Fan et al. (2024), Li & Zhang (2025)。核心：从多个源域学习一个对目标域鲁棒的预测规则，常依赖因果结构或环境不变性。
3. 预测驱动推断（Prediction-Powered Inference）：Angelopoulos et al. (2023), Angelopoulos et al. (2023), Ji et al. (2025), Zrnic & Candès (2024)。核心：利用预训练模型作为代理变量进行半监督统计推断（置信区间、假设检验），目标通常是总体均值。
4. LLM个性化（LLM Personalization）：Salemi et al. (2024), Kim & Yang (2024), Shenfeld et al. (2025), Zhang et al. (2024), Liu et al. (2025)。核心：通过提示工程、微调或奖励建模，将LLM适配到个体用户偏好。多为算法/实证工作。

核心问题与瓶颈

这个方向在追问的核心问题有2-4个： 1. 如何量化预训练模型的价值？ 即，在什么条件下，利用 \( f^{(ptr)} \) 可以比仅用目标数据获得更快的收敛率？这个加速的极限是什么？ 2. 如何保证鲁棒性？ 当 \( f^{(ptr)} \) 与目标任务无关甚至有害时，如何确保方法不退化到比基准更差？ 3. 如何设计最优的标签采样策略？ 在少样本设定下，标签是稀缺资源。是随机采样，还是应该根据某种准则（如噪声方差）进行主动采样？ 4. 极小化最优率是什么？ 对于个性化问题，其信息论下界是什么？是否存在一个统一的框架来刻画这个率？

当前主流方法与瓶颈：现有方法要么假设可访问源数据（迁移学习），要么依赖因果/环境结构（域泛化），要么目标不同（PPI），要么缺乏理论保证（LLM个性化）。本文试图填补的正是“在纯少样本、黑箱模型设定下，非参数回归的极小化最优个性化”这一空白。

⚠️ 作者的 framing

作者将缺口 frame 成：“在非参数回归框架下，将黑箱预训练模型与一个用户指定的主动采样策略相结合，并证明其极小化最优性”。这使得本文成为“显然的下一步”：它同时解决了迁移学习（无法访问源数据）、PPI（目标不同）、LLM个性化（缺乏理论）的局限性。

被淡化或回避的竞争路线： - 因果推断路线：作者在引言中提到了不变预测和锚点回归，但将其归入“域泛化”子线索，并指出它们需要“causal assumptions”或“multiple environments”。本文的设定完全回避了因果结构，只依赖Hölder光滑性假设。这既是优势（更通用），也是局限（无法处理由混杂导致的分布偏移）。 - 半监督路线（PPI）：作者明确区分了PPI的半监督设定与本文的纯少样本设定。但现实中，大量无标签数据往往比少量标签更容易获得。本文在第四节（扩展）中考虑了“存在无标签数据”的情况，但将其作为次要场景，核心方法仍围绕主动采样。

什么明显该被引/该存在、却没出现在intro里？ - 主动学习（Active Learning） 文献：本文的核心创新之一是主动采样策略（根据噪声方差加权采样），这与主动学习领域高度相关。但引言中仅引用了 Zrnic & Candès (2024) 的“Active Statistical Inference”，该文是在PPI框架下选择样本进行标注，目标仍是总体均值。更广泛的主动学习理论（如基于不确定性的采样、查询合成等）未被提及。这可能是作者有意为之，因为主动学习通常关注分类任务或模型参数估计，而非非参数回归的MISE。 - 贝叶斯优化（Bayesian Optimization） 文献：同样涉及在函数空间中主动选择采样点以最小化某个准则（如遗憾或后验方差）。虽然目标不同（优化 vs. 估计），但采样策略的设计有相通之处。

张力

未见明显对立引用。各条子线索的文献在各自的设定下自洽，本文通过明确区分设定（黑箱 vs. 源数据、少样本 vs. 半监督、回归函数 vs. 总体均值）来避免直接冲突。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

• 符号：

  • \( y \in \mathbb{R} \)：响应变量（目标）。
  • \( x \in \mathcal{X} \subseteq \mathbb{R}^d \)：协变量向量，\( \mathcal{X} = [0, 1]^d \) 是紧致区域。
  • \( f^*(x) \)：目标回归函数，是本文要估计的未知量。满足 \( y = f^*(x) + \varepsilon \)。
  • \( \varepsilon \)：噪声，满足 \( \mathbb{E}[\varepsilon | x] = 0 \)，方差 \( \text{Var}(\varepsilon | x) = \sigma^2(x) \)（允许异方差）。
  • \( f^{(ptr)}(x) \)：预训练模型，是一个已知的、可查询的黑箱函数。它由外部数据训练得到，与目标数据独立。
  • \( \delta(x) = f^*(x) - f^{(ptr)}(x) \)：偏差函数，是预训练模型与目标函数之差。
  • \( n \)：采样预算，即我们可以从目标分布中获取的标签样本总数。\( n \) 很小（少样本）。
  • \( d \)：协变量维度。
  • \( h \)：核估计的带宽（bandwidth）。
  • \( \theta = (\theta_1, \theta_2)^\top \)：Hölder 类参数，\( \theta_1 \) 是 Lipschitz 常数（或振幅），\( \theta_2 \) 是光滑阶数（\( 0 < \theta_2 \leq 1 \)）。
  • \( \gamma(\theta) = (\gamma_1(\theta), \gamma_2(\theta)) \)：经过 \( \theta \)-局部平滑后，偏差函数 \( \delta_{\theta, x}(\cdot) \) 的局部Hölder参数。
  • \( \bar{\sigma} = \int_{\mathcal{X}} \sigma(x) dx / |\mathcal{X}| \)：平均噪声水平。
  • \( \hat{f}^{(fsp)}_\theta(x) \)：给定平滑参数 \( \theta \) 下的个性化估计器。
  • \( \hat{\theta} \)：通过交叉验证选择的平滑参数。

• 模型：

  • 数据生成机制：\( y = f^*(x) + \varepsilon \)，其中 \( f^* \in \mathcal{H}(\theta^*) \)（Hölder类），\( \varepsilon \) 是次高斯噪声，方差函数 \( \sigma^2(x) \) 也是Hölder光滑的。
  • 已知量：\( f^{(ptr)}(\cdot) \)（可查询的黑箱），\( \mathcal{X} \)，\( n \)。
  • 待估量：\( f^*(\cdot) \) 在整个 \( \mathcal{X} \) 上的值。

• 可观测数据：

  • 研究者可以主动设计采样方案。他们首先根据某种规则（如均匀采样或基于估计方差的加权采样）选择 \( n \) 个协变量点 \( x_1, \ldots, x_n \in \mathcal{X} \)。
  • 对于每个选定的 \( x_i \)，研究者可以观测到对应的响应 \( y_i \)，该响应由目标模型 \( y_i = f^*(x_i) + \varepsilon_i \) 生成。
  • 研究者无法观测到的是：噪声 \( \varepsilon_i \) 的具体值、目标函数 \( f^* \) 本身、以及预训练模型 \( f^{(ptr)} \) 的内部参数或训练数据。\( f^{(ptr)} \) 只能作为一个“黑箱函数”被查询（即输入 \( x \)，输出 \( f^{(ptr)}(x) \)）。

第二步：讲最小内核

本文的核心思路可以浓缩为一个最简特例：一维（\( d=1 \)）、同方差（\( \sigma^2(x) = \sigma^2 \)）、且预训练模型是一个常数偏移（\( f^{(ptr)}(x) = c \)） 的情况。

• 问题退化：

  • 目标函数 \( f^*(x) \) 是定义在 \( \mathcal{X} = [0, 1] \) 上的一个未知函数，属于Hölder类 \( \mathcal{H}(\theta^*) \)，例如 \( \theta^*_2 = 1 \)（Lipschitz连续）。
  • 预训练模型 \( f^{(ptr)}(x) = c \) 是一个常数，与 \( x \) 无关。这意味着它完全不包含关于 \( f^* \) 形状的信息，只提供了一个“基准水平”。
  • 噪声是同方差的：\( \sigma^2(x) = \sigma^2 \)。

• 核心思路：

  1. 偏差函数：\( \delta(x) = f^*(x) - c \)。我们的目标是估计 \( \delta(x) \)，因为 \( f^*(x) = c + \delta(x) \)。
  2. 局部平滑：由于 \( f^{(ptr)} \) 是常数，\( \theta \)-局部平滑操作 \( \omega_{\theta, x} \circ f^{(ptr)} \) 会将其变成一个在 \( x \) 附近“被截断”的常数函数。具体来说，对于任意 \( x' \)，\( \omega_{\theta, x} \circ f^{(ptr)}(x') = c + \min(|c - c|, \theta_1 \|x' - x\|^{\theta_2}_2) \cdot \text{sgn}(c-c) = c \)。所以在这个特例下，平滑操作没有改变任何东西，\( \delta_{\theta, x}(x') = f^*(x') - c = \delta(x') \)。
  3. 估计偏差：我们使用核估计来估计 \( \delta(x) \)。给定 \( n \) 个样本 \( (x_i, y_i) \)，我们计算 \( y_i - c \)，这相当于 \( \delta(x_i) + \varepsilon_i \)。然后，对于任意 \( x \)，核估计为：
     \[\hat{\delta}(x) = \frac{\sum_{i=1}^n (y_i - c) \cdot \mathbb{I}(\|x_i - x\|_\infty \le h)}{1 \vee \sum_{i=1}^n \mathbb{I}(\|x_i - x\|_\infty \le h)}\]
     这本质上就是经典的Nadaraya-Watson核估计，但估计的目标是 \( \delta(x) \) 而非 \( f^*(x) \)。
  4. 最终估计：\( \hat{f}^{(fsp)}(x) = c + \hat{\delta}(x) \)。

• 为什么这个特例能体现核心思想？

  • 信息借用：即使 \( f^{(ptr)} \) 只是一个常数 \( c \)，它仍然提供了有用的信息。如果我们直接估计 \( f^*(x) \)，我们需要估计其整个变化范围。但通过减去 \( c \)，我们只需要估计 \( \delta(x) = f^*(x) - c \)。如果 \( c \) 接近 \( f^* \) 的平均值，那么 \( \delta(x) \) 的“振幅”（即 \( \gamma_1 \)）可能远小于 \( f^* \) 的振幅（\( \theta^*_1 \)）。根据定理1，MISE的上界依赖于 \( \gamma_1^2 \)，因此一个更小的 \( \gamma_1 \) 可以带来更快的收敛率。
  • 鲁棒性：如果 \( c \) 是一个很差的常数（例如，远大于 \( f^* \) 的最大值），那么 \( \delta(x) \) 的振幅会很大，甚至比 \( f^* \) 本身还大。此时，\( \gamma_1 \) 会很大，导致MISE上界变差。但本文的自适应步骤（定理2）允许选择 \( \theta_1 = 0 \)。当 \( \theta_1 = 0 \) 时，\( \omega_{\theta, x} \circ f^{(ptr)}(x') = f^{(ptr)}(x) = c \) 对所有 \( x' \) 成立，这实际上退化为一个常数估计。但更关键的是，当 \( \theta_1 = 0 \) 时，\( \hat{f}^{(fsp)}_\theta(x) \) 会退化为一个仅基于目标样本的核估计（因为 \( \hat{\delta}_\theta(x) \) 会直接估计 \( f^*(x) - c \)，而 \( c \) 被加回后，等价于估计 \( f^*(x) \)）。因此，通过选择 \( \theta_1 = 0 \)，方法可以完全忽略 \( f^{(ptr)} \)，从而保证“无伤害”。
  • 采样策略：在同方差情况下，最优采样策略（公式7）退化为均匀采样。这简化了问题，但核心的“偏差-方差权衡”和“自适应选择”依然存在。

• 结论：在这个最简特例下，本文的核心问题退化为“用一个常数偏移来辅助非参数回归”。其数学本质是：通过减去一个已知的（可能不准确的）基准函数，来降低待估函数的“复杂度”（Hölder常数），从而在少样本下获得更优的估计。自适应步骤则保证了当这个基准函数有害时，方法能自动退回到经典的非参数估计。

三、这篇论文做了什么

三句话

1. 研究了什么问题：本文研究了少样本个性化问题，即在非参数回归框架下，如何利用一个黑箱预训练模型 \( f^{(ptr)} \) 和极少量（\( n \) 个）从目标分布主动采集的标签样本，来估计目标回归函数 \( f^* \)，并保证估计的极小化最优性。
2. 核心工具/方法：提出了一套三步法：① 主动采样：根据估计的噪声方差进行重要性采样，以最小化方差；② 平滑偏差校正：通过一个新颖的 \( \theta \)-局部平滑算子对 \( f^{(ptr)} \) 进行正则化，然后使用核估计校正其与 \( f^* \) 的偏差；③ 自适应选择：通过交叉验证选择平滑参数 \( \theta \)，自动平衡信息借用与鲁棒性。
3. 主要结论：证明了所提估计器 \( \hat{f}^{(fsp)}_{\hat{\theta}} \) 的MISE上界，并建立了该问题的极小化下界，从而证明了该方法在Hölder光滑类下达到了极小化最优率。该率揭示了利用预训练模型可以降低有效Hölder复杂度（\( \gamma_1 \) 变小或 \( \gamma_2 \) 变大），从而获得比仅用目标数据更快的收敛速度。同时，方法具有“无伤害保证”，即当 \( f^{(ptr)} \) 无用时，其性能不会比经典非参数估计更差。

关键设定与假设

在第二节最小记号的基础上，补全完整设定：

• 定义1 (Hölder类)：\( \mathcal{H}(\theta) \) 定义在 \( \mathcal{X} = [0,1]^d \) 上，要求 \( |f(x_1) - f(x_2)| \le \theta_1 \|x_1 - x_2\|^{\theta_2}_2 \)。关键点：\( \theta_1 \) 只要求有限，允许随 \( n \) 趋于0。这为刻画个性化带来的“复杂度降低”提供了灵活性。
• 定义2 (局部光滑性)：\( f \in \mathcal{L}_x(\theta) \) 要求上述不等式仅在参考点 \( x \) 处成立。这是一个比全局Hölder更弱的概念，用于刻画经过 \( \theta \)-局部平滑后的偏差函数 \( \delta_{\theta, x} \) 的性质。
• 条件1 (全局光滑性)：\( f^* \in \mathcal{H}(\theta^*) \)。这是经典假设。
• 条件2 (次高斯噪声)：\( \varepsilon_i \) 独立次高斯，方差 \( \sigma^2(x) \) 有上界 \( \sigma^2_{\max} \)，且 \( \sigma(x) \in \mathcal{H}(\theta^{(\sigma)}) \)。这允许异方差，并假设方差函数本身也是光滑的，以便于估计。
• 条件3 (密度比，用于扩展4.2)：假设无标签数据的分布 \( q_X(x) \) 与最优采样分布 \( p^*_X(x) \) 的密度比是指数族形式 \( p^*_X(x)/q_X(x) = \exp\{x^\top \beta\} \)。这是一个较强的参数化假设，用于保证重要性采样权重的估计效率。

相比已有文献的放宽或强化： - 放宽：相比经典非参数回归，本文不假设 \( f^{(ptr)} \) 是 \( f^* \) 的一致估计，甚至不假设其相关。相比迁移学习，本文不假设可访问源数据。 - 强化：相比PPI，本文假设用户可以主动设计采样方案，而非被动接收随机样本。相比LLM个性化，本文对 \( f^* \) 和 \( f^{(ptr)} \) 施加了Hölder光滑性假设，这在LLM语境下可能不成立（LLM的输出可能非常不光滑）。

主要结果

• 定理1 (MISE上界，给定 \( \theta \))：在提出的采样方案下，对于固定的 \( \theta \)，有

  \[\text{MISE}(\hat{f}^{(fsp)}_\theta) \lesssim \gamma_1^2(\theta) h^{2\gamma_2(\theta)} + \frac{\bar{\sigma}^2}{n h^d}.\]
  直觉：第一项是偏差，由偏差函数 \( \delta_{\theta, x} \) 的局部光滑性 \( \gamma(\theta) \) 和带宽 \( h \) 决定；第二项是方差，由平均噪声水平 \( \bar{\sigma} \) 和有效样本量 \( n h^d \) 决定。通过选择最优带宽 \( h \)，得到
  \[\text{MISE}(\hat{f}^{(fsp)}_\theta) \lesssim (\gamma_1(\theta))^{\frac{2d}{2\gamma_2(\theta)+d}} \bar{\sigma}^{\frac{4\gamma_2(\theta)}{2\gamma_2(\theta)+d}} n^{-\frac{2\gamma_2(\theta)}{2\gamma_2(\theta)+d}} + \frac{\bar{\sigma}^2}{n}.\]
  必要条件：\( h \) 的阶数需适当，且 \( |\mathcal{X}_1| \)（噪声极小的区域）不能太大，以保证局部邻域内有足够样本。 解决的技术难点：将主动采样带来的方差缩减（从 \( \int \sigma^2(x) dx \) 到 \( \bar{\sigma}^2 \)）与偏差-方差权衡结合起来。

• 定理2 (自适应后的MISE)：对于通过交叉验证选择的 \( \hat{\theta} \)，有

  \[\text{MISE}(\hat{f}^{(fsp)}_{\hat{\theta}}) \le C_1 \min_{\theta \in \Theta} \text{MISE}(\hat{f}^{(fsp)}_\theta) + C_2 \frac{\sigma^2_{\max} (\log n)^2}{n}.\]
  直觉：自适应选择的 \( \hat{\theta} \) 能达到候选集 \( \Theta \) 中最好的风险，代价是一个可忽略的 \( O((\log n)^2 / n) \) 项。这保证了方法能自动适应 \( f^{(ptr)} \) 的质量。 必要条件：候选集 \( \Theta \) 是离散的，且其大小 \( |\Theta| = O((\log n)^2) \)。如果 \( |\Theta| \) 很大，则需要更复杂的模型选择方法（如Q-aggregation）。

• 定理3 (极小化下界)：对于函数空间 \( \mathcal{F}_\theta(\theta^*, \gamma, \sigma_0) \)，有

  \[\inf_{\hat{f}} \sup_{f^* \in \mathcal{F}_\theta} \text{MISE}(\hat{f}) \ge C_2 \gamma_1^{\frac{2d}{2\gamma_2+d}} \sigma_0^{\frac{4\gamma_2}{2\gamma_2+d}} n^{-\frac{2\gamma_2}{2\gamma_2+d}} + C_2 \frac{\sigma_0^2}{n}.\]
  直觉：下界与定理1的上界在率上匹配（忽略常数），证明了所提方法的极小化最优性。下界中的 \( \gamma \) 是经过 \( \theta \)-局部平滑后的偏差函数的复杂度，这证实了个性化问题的本质困难是由“校正后的偏差”决定的，而非原始函数 \( f^* \)。 必要条件：\( \theta_1 \le C_1 \theta^*_1 \) 且 \( \theta_2 \ge \theta^*_2 \)，这保证了 \( \gamma_1 = O(\theta^*_1) \) 且 \( \gamma_2 \ge \theta^*_2 \)，即个性化不会比经典估计更差。

证明路线与技术技巧

• 整体路线：

  1. 偏差-方差分解：将MISE分解为积分平方偏差和积分方差。
  2. 控制偏差：利用 \( \theta \)-局部平滑算子的性质，证明 \( \delta_{\theta, x}(\cdot) \in \mathcal{L}_x(\gamma(\theta)) \)。然后，通过核估计的经典偏差分析，得到偏差项的上界为 \( O(\gamma_1^2 h^{2\gamma_2}) \)。
  3. 控制方差：这是最核心的步骤。首先，证明在最优采样分布 \( p^*_X(x) \propto \sigma(x) \) 下，方差项为 \( O(\bar{\sigma}^2 / (n h^d)) \)。然后，证明所提出的基于估计方差 \( \hat{\sigma}^2(x) \) 的采样方案（算法1）能达到相同的方差阶。这需要证明 \( \hat{\sigma}^2(x) \) 的一致性和重要性采样权重的有效性。引理2和引理3分别处理了有/无标签数据的情况。
  4. 平衡偏差与方差：选择最优带宽 \( h \) 来平衡两项，得到定理1的最终上界。
  5. 自适应分析：证明交叉验证选择的 \( \hat{\theta} \) 能近似达到最优风险。这通常需要证明经验风险（验证集上的MSE）以高概率一致收敛于真实风险，且收敛速度足够快。
  6. 下界证明：构造两个难以区分的假设（两个不同的 \( f^* \)），并利用Fano不等式或Le Cam方法证明极小化风险的下界。下界的形式（两项之和）表明，当 \( \gamma_1 \) 很小时，问题退化为估计一个常数（参数率 \( 1/n \)）；当 \( \gamma_1 \) 较大时，问题是非参数的（率 \( n^{-2\gamma_2/(2\gamma_2+d)} \)）。

• 关键跳跃点：

  • 从“随机采样”到“主动采样”的方差缩减：引理1给出了通用采样下的MISE上界，其中方差项为 \( \int \sigma^2(x) / (n h^d p_X(x)) dx \)。通过选择 \( p_X(x) \propto \sigma(x) \)，方差项简化为 \( \bar{\sigma}^2 / (n h^d) \)。这个跳跃的关键在于，它揭示了主动采样的理论收益：将方差从依赖于 \( \sigma^2(x) \) 的积分形式，降低到仅依赖于其均值 \( \bar{\sigma}^2 \)。
  • 从“理论最优采样”到“数据驱动采样”：引理2和引理3证明，用估计的 \( \hat{\sigma}(x) \) 代替真实的 \( \sigma(x) \) 进行采样，仍然能达到相同的方差阶。这需要精细的估计误差分析，确保 \( \hat{\sigma}(x) \) 的误差不会破坏重要性采样的效果。条件 \( |\mathcal{X}_1| \) 很小正是为了控制估计误差在噪声极小的区域被放大。

• 技术技巧点名：

  • \( \theta \)-局部平滑算子：这是本文的核心技术贡献。它是一个确定性的、非数据的变换，用于“截断”预训练模型的局部变化，从而保证偏差函数 \( \delta_{\theta, x} \) 具有良好的局部光滑性。这比直接对 \( f^{(ptr)} \) 进行核平滑更鲁棒，因为它不依赖于数据。
  • 重要性采样（Importance Sampling）：用于实现主动采样。通过估计噪声方差，构造一个与 \( \sigma(x) \) 成比例的采样分布，从而最小化估计方差。
  • 核估计（Kernel Estimation）：用于估计偏差函数 \( \delta_{\theta, x} \)。这是经典的非参数工具。
  • 交叉验证（Cross-Validation）：用于自适应选择平滑参数 \( \theta \)，实现“无伤害保证”。
  • 拒绝采样（Rejection Sampling）：用于从估计的分布 \( \hat{p}_X(x) \) 中生成样本（算法1的Step 2）。
  • 逻辑回归（Logistic Regression）：在扩展4.2中，用于估计密度比 \( p^*_X(x)/q_X(x) \)，从而在只有无标签数据的情况下实现加权采样。

真实例子与应用

本文包含一个真实数据例子（第6节）。

• 数据：加州房价数据集（California Housing dataset），包含20640个街区组（census block group）的记录。目标是预测一个街区的房价中位数。
• 场景：研究者希望预测湾区（Bay area） 的房价，该区域有2290个样本。他们只能获取 \( n=500 \) 个标签样本，但可以访问一个黑箱预训练模型。
• 方法应用：
  1. 预训练模型：使用了三种不同的黑箱模型：
     • DeepSeek-V3.2：一个LLM，被要求给出一个预测房价的公式。
     • 随机森林（RF）：基于加州非湾区数据（18350个样本）训练。
     • LightGBM：同样基于非湾区数据训练。
  2. 采样：将剩余的1290个湾区样本视为“无标签”数据，运行算法4（扩展4.2）来检索 \( n=500 \) 个样本。这意味着方法需要从这1290个候选点中，根据估计的噪声方差，选择500个最有信息量的点来获取标签。
  3. 评估：与仅使用500个随机采样标签的单任务非参数回归（ST）进行对比。
• 结果：
  • 所有三个预训练模型（DeepSeek, RF, LightGBM）在未适配时，预测误差都大于单任务方法（ST）。这表明存在显著的分布偏移（湾区 vs. 其他地区），且LLM给出的公式不准确。
  • 经过本文的个性化方法（fsp.DeepSeek, fsp.RF, fsp.lightGBM）后，所有三个模型的预测性能都显著提升，并超越了单任务方法（ST）。
• 这个例子想说明什么：
  • 信息借用：即使预训练模型本身在目标域上表现不佳，它仍然包含了有用的信息（例如，非湾区数据中的房价与特征的关系模式），通过个性化校正后可以提升性能。
  • 鲁棒性：方法对质量较差的预训练模型（如DeepSeek的公式）是鲁棒的，经过校正后仍能获得比单任务更好的结果。
  • 主动采样的价值：通过算法4从1290个候选点中智能选择500个标签，比随机采样500个标签（ST方法）更有效。

🔎 结论是否比证明窄

• 定理3的泛化性：定理3的极小化下界是在函数空间 \( \mathcal{F}_\theta(\theta^*, \gamma, \sigma_0) \) 上建立的。这个空间的定义依赖于一个固定的、预先选定的平滑参数 \( \theta \)。然而，本文提出的算法（算法2）是自适应的，它通过交叉验证选择 \( \hat{\theta} \)。定理2证明了自适应后的风险不超过 \( \min_{\theta \in \Theta} \text{MISE}(\hat{f}^{(fsp)}_\theta) \) 加上一个可忽略项。因此，自适应算法的上界是“对 \( \theta \) 取最小”后的结果。而下界是针对“一个固定的 \( \theta \)”的。严格来说，下界并没有直接证明自适应算法在所有可能的 \( \theta \) 上取最小后的率是最优的。它只证明了，对于任何一个固定的 \( \theta \)，存在一个函数空间 \( \mathcal{F}_\theta \)，使得任何估计器在该空间上的风险至少是某个下界。由于自适应算法能达到 \( \min_\theta \) 的上界，而每个 \( \theta \) 对应的下界又匹配这个上界，因此可以认为自适应算法是“自适应极小化最优”的。但论文中并未明确写出“自适应极小化最优”这个更强的结论，而是分别证明了上界和下界。
• “无伤害保证”的严格性：论文声称“its performance is provably no worse than that of a nonparametric estimator based solely on target samples under mild conditions”。这个保证依赖于自适应步骤能选择 \( \theta_1 = 0 \)。当 \( \theta_1 = 0 \) 时，\( \hat{f}^{(fsp)}_\theta \) 退化为一个仅基于目标样本的核估计。定理2保证了自适应后的风险不超过这个退化解的风险（加上一个小项）。因此，这个保证在理论上是成立的。但“mild conditions”具体指什么？它依赖于交叉验证的泛化能力，这通常需要验证集样本量足够大（\( n_0 \) 不能太小）以及候选集 \( \Theta \) 的离散性。在极端少样本（如 \( n=10 \)）下，这个保证可能不成立。

四、开放问题

1. 扩展到高维参数模型：本文专注于非参数回归。作者在讨论中提出：“it is of interest to study personalization for estimation and prediction in parametric models, such as high-dimensional linear models and generalized linear models.”（扎根于Section 7）。对于高维稀疏模型，如何定义“个性化”？是假设目标与源模型的稀疏支撑集相同，还是允许有差异？极小化最优率会如何变化？这与Li et al. (2022) 的迁移学习工作有何异同？

2. 更复杂的采样策略：本文的主动采样策略基于估计的噪声方差。是否可以设计更复杂的、同时考虑偏差和方差的采样策略？例如，在估计 \( \delta_{\theta, x} \) 时，偏差项也依赖于 \( x \)。一个理想的采样策略应该在偏差大（即 \( f^{(ptr)} \) 与 \( f^* \) 差异大）的区域分配更多样本。如何将偏差信息（可能通过一个初步估计得到）纳入采样设计？（扎根于Lemma 1和Corollary 1的讨论）。

3. 与因果推断的结合：本文的设定完全回避了因果结构。但在许多应用中，预训练模型 \( f^{(ptr)} \) 可能是在一个存在混杂的数据上训练的，而目标域可能没有混杂或混杂结构不同。此时，\( f^{(ptr)} \) 的偏差 \( \delta(x) \) 可能具有复杂的因果结构。能否将本文的框架与因果推断（如工具变量、前门准则）结合，以更有效地校正由混杂引起的偏差？（扎根于Introduction中关于“causal structural models”的讨论，以及本文与Peters et al. (2016) 等工作的对比）。

4. 计算-统计权衡：本文的方法在计算上是高效的（只需查询 \( f^{(ptr)} \) 和进行核估计）。但预训练模型本身（如LLM）的查询成本可能很高。是否存在一个“查询预算”下的最优策略？即，在给定总查询次数（包括对 \( f^{(ptr)} \) 和获取标签）的约束下，如何分配资源？这与统计-计算权衡（statistical-computational tradeoff）有关，但这里的“计算”成本是查询黑箱模型的成本，而非算法运行时间。

---

Maintained by 陈星宇 · Homepage · Source on GitHub

评论