Beyond Source-Level Transfer: Sample-Level Learning for High-Dimensional Quantile Regression¶
作者: Xiangyu Xing, Yingxuan Wang, Wangli Xu
主题: 高维统计 / 随机矩阵
相关性: 8/10
链接: https://arxiv.org/abs/2610.09722
一、领域脉络与小综述¶
-
这个方向是什么:高维迁移学习(transfer learning)旨在利用源域(source domain)数据提升目标域(target domain)的估计或预测精度,尤其在目标样本量有限时。本子方向聚焦于高维分位数回归(quantile regression)的迁移学习,核心挑战在于源域与目标域之间存在异质性(heterogeneity),直接合并数据可能导致负迁移(negative transfer)。当前该方向的主流方法(如 Trans-Lasso、Trans-SQR)采用"源级"(source-level)选择策略,即整体纳入或排除某个源域,但这类方法无法处理"源域部分可迁移"的情形。
-
发展脉络(history):
- 奠基工作:Li et al. (2022) 提出 Trans-Lasso,为高维线性回归的迁移学习奠定了"两阶段"框架(先用源域估计共享结构,再用目标域数据修正偏差)。该工作确立了"源级"选择的基本范式,即通过比较源域与目标域的参数差异来决定是否迁移整个源域。
- 主要进展:Zhang and Zhu (2025) 提出 Trans-SQR,将迁移学习推广到分位数回归场景,并引入基于目标域验证集损失(validation loss)的源域选择准则。其核心假设是源域与目标域的系数差异(用 ℓ1 范数度量)小于某个阈值 h,从而保证迁移的有效性。然而,该方法的"全有或全无"(all-or-nothing)策略在源域仅部分可迁移时会损失信息。
- 当前 frontier:Zhao et al. (2026) 提出 RIW-TL,首次在高维线性回归中引入"样本级"(sample-level)迁移思想,通过基于残差的密度比权重来筛选可迁移样本。但该方法依赖残差密度比,且未针对分位数回归设计。本文(Xing et al., 2026)正是沿着这一脉络,将样本级迁移推广到分位数回归,并利用分位数损失的结构构造仅依赖一维密度的权重,从而规避高维密度比估计的困难。
- 本文的位置:本文是"样本级"迁移思想在分位数回归中的首次系统化实现,填补了 Trans-SQR(源级)与 RIW-TL(线性回归样本级)之间的空白。
-
子线索聚类:
- 线索一:源级迁移学习(Trans-Lasso, Trans-SQR):以源域为基本单元,通过整体纳入/排除来迁移。优点是理论简洁,缺点是忽略源域内部异质性。
- 线索二:样本级迁移学习(RIW-TL, 本文 SL-TL):以样本为基本单元,通过重要性加权或筛选来迁移。优点是能利用部分可迁移信息,缺点是权重估计的稳定性与偏差控制更复杂。
- 线索三:协变量偏移下的加权估计(Feng et al., 2024; Wang et al., 2026):关注 covariate shift 下的密度比加权,但通常需要估计高维密度比,本文通过分位数损失的结构避免了这一困难。
-
这个方向在追问的核心问题:
- 如何定义"可迁移性":源级方法用系数差异(ℓ1 范数),样本级方法用个体残差分布。哪种更本质?
- 如何避免高维密度比估计:RIW-TL 需要估计残差密度比,本文通过构造仅依赖一维密度的权重来规避。这是否是分位数回归特有的优势?
- 负迁移的定量刻画:现有理论(如 Trans-SQR)只给出迁移后的误差上界,但未刻画"何时迁移不如不迁移"的临界条件。本文通过有效样本量的概念部分回答了这一问题。
-
⚠️ 作者的 framing(这是作者的说法):作者将缺口 frame 成"源级迁移在源域部分可迁移时浪费信息,而现有样本级方法(RIW-TL)仅适用于线性回归且依赖高维密度比"。因此,本文的贡献是"将样本级迁移推广到分位数回归,并利用分位数损失的结构构造仅依赖一维密度的权重"。作者淡化了以下竞争路线:(1) 基于深度学习的迁移方法(如 fine-tuning),这些方法缺乏统计保证;(2) 多任务学习(multi-task learning),其目标函数与迁移学习不同(联合估计 vs. 目标优先)。值得研究者去查的问题:作者没有引用任何关于"负迁移"的定量刻画文献(如 Tian and Feng, 2023 等),也没有讨论当源域与目标域协变量分布差异很大时(而非仅系数差异),样本级权重是否仍然有效。
-
张力:未见明显对立引用。但存在一个隐含张力:Trans-SQR 假设源域系数差异的 ℓ1 范数有界(h),而本文的样本级方法假设个体残差落在特定区间。这两种假设哪个更弱、更贴近实际,作者没有直接比较。
二、最核心、最简单的例子 / 数学问题¶
第一步:把符号、模型、可观测数据交代清楚
-
符号:
- 目标域(target domain):
D^(0) = {(X_i^(0), Y_i^(0)) : i ∈ [n_0]},样本量n_0。X_i^(0) ∈ R^p为协变量,Y_i^(0) ∈ R为响应。β^(0) ∈ R^p是目标域的分位数回归系数,即我们要估计的参数 / estimand。 - 源域(source domains):
D^(k) = {(X_i^(k), Y_i^(k)) : i ∈ [n_k]},k = 1, ..., K,样本量n_k。β^(k)是第 k 个源域的分位数回归系数,不可直接观测,但可通过源域数据估计。 - 分位数水平:
τ ∈ (0,1),固定。分位数回归系数定义为β^(0) = argmin_β E[ρ_τ(Y^(0) - X^(0)ᵀβ)],其中ρ_τ(u) = u(τ - 1{u ≤ 0})是 check loss。 - 误差项:
ε_i^(k) = Y_i^(k) - X_i^(k)ᵀβ^(k),满足P(ε_i^(k) ≤ 0 | X_i^(k)) = τ(分位数回归的识别条件)。 - 源域与目标域的差异:
δ^(k) = β^(k) - β^(0),即系数差异向量。h_k = ||δ^(k)||_1是 ℓ1 差异度量。 - 重要性权重:
ω^(k)(Z) = g_τ(Y - Xᵀβ^(0)) / p_{ε^(k)}(Y - Xᵀβ^(k)),其中g_τ(·)是定义在[-τA, (1-τ)A]上的均匀密度(A > 0 为常数),p_{ε^(k)}(·)是源域误差的密度。注意:这个权重是一维的,只依赖残差,不依赖高维协变量。 - 有效样本量:
E(n_I) = Σ_{k=1}^K E|I_k|,其中I_k = {i ∈ [n_k] : -τA ≤ r_i^(k) ≤ (1-τ)A, |η_i^(k)| ≤ M_k}是第 k 个源域中被选中的样本集合,r_i^(k) = ε_i^(k) + η_i^(k),η_i^(k) = X_i^(k)ᵀδ^(k)是系数差异导致的偏移。 - 可观测数据:研究者能观测到的是所有域的
(X, Y)数据。不能直接观测到的是:目标域系数β^(0)、源域系数β^(k)、误差项ε_i^(k)、偏移项η_i^(k),以及最优的样本选择集合I_k。这些都需要从数据中估计。
- 目标域(target domain):
-
模型:
- 目标域:
Y_i^(0) = X_i^(0)ᵀβ^(0) + ε_i^(0),P(ε_i^(0) ≤ 0 | X_i^(0)) = τ。 - 源域:
Y_i^(k) = X_i^(k)ᵀβ^(k) + ε_i^(k),P(ε_i^(k) ≤ 0 | X_i^(k)) = τ。 - 关键结构:
β^(k) = β^(0) + δ^(k),其中δ^(k)是稀疏的(只有少数分量非零),且||δ^(k)||_1可能较大(源域整体不可迁移),但部分样本的|η_i^(k)| = |X_i^(k)ᵀδ^(k)|很小(这些样本与目标域兼容)。
- 目标域:
第二步:讲最小内核
假设我们只有一个源域(K=1),且所有参数(β^(0)、β^(1)、密度)都已知。那么,最小内核是这样一个问题:
给定一个源域样本
(X_i^(1), Y_i^(1)),我们如何判断它是否"可迁移"到目标域?
答案:计算偏移量 η_i^(1) = X_i^(1)ᵀ(β^(1) - β^(0))。如果 |η_i^(1)| 很小(小于某个阈值 M),那么这个样本的残差 r_i^(1) = Y_i^(1) - X_i^(1)ᵀβ^(0) = ε_i^(1) + η_i^(1) 与目标域残差 ε_i^(0) 的分布接近(因为 η_i^(1) 很小)。此时,我们可以用 g_τ(r_i^(1)) / p_{ε^(1)}(ε_i^(1)) 作为权重,将这个样本纳入目标域的加权分位数回归中。
为什么这个内核是核心? 因为它揭示了样本级迁移的本质:不是看源域整体是否与目标域相似,而是看每个样本在"目标域方向"上的投影是否相似。η_i^(1) 度量了第 i 个源域样本在目标域模型下的"偏移程度"。如果偏移小,这个样本就携带了关于 β^(0) 的有效信息;如果偏移大,这个样本反而会引入偏差。
数学上,这个内核对应什么命题?
在已知参数的情况下,加权分位数回归的估计量 β̂ 满足:
β̂ = argmin_β { Σ_{i∈I_1} ω_i^(1) ρ_τ(Y_i^(1) - X_i^(1)ᵀβ) + Σ_{i∈[n_0]} ρ_τ(Y_i^(0) - X_i^(0)ᵀβ) }。
可以证明(论文的 Theorem 1),当 g_τ 取均匀分布时,这个加权损失函数的期望在 β = β^(0) 处取得最小值。也就是说,即使源域系数与目标域不同,只要我们对每个样本赋予合适的权重,加权后的源域数据仍然可以无偏地估计目标域系数。这就是样本级迁移的理论基础。
这个内核的难点在哪? 在现实中,β^(0)、β^(1) 和密度都是未知的,需要用数据估计。估计误差会传播到权重和样本选择中,导致偏差。论文的核心技术贡献(Theorem 5)就是控制这种"估计误差传播"带来的额外损失,证明其不改变主导收敛速率。
三、这篇论文做了什么¶
三句话:
1. 研究了什么问题:在高维分位数回归中,当源域与目标域存在异质性(部分样本可迁移)时,如何通过样本级选择与加权来提升目标域系数估计的精度,并避免负迁移。
2. 核心工具 / 方法:提出 SL-TL 框架,结合 (i) 基于一维残差密度的样本级重要性权重(避免高维密度比估计),(ii) 样本筛选准则(仅保留偏移量 |η_i^(k)| 小于阈值的样本),(iii) 样本分割与交叉拟合(cross-fitting)来切断估计误差的传播。
3. 主要结论:在 oracle 设定下,SL-TL 的 ℓ2 收敛速率快于 Target-only 和 Trans-SQR;在可行设定下,通过交叉拟合和 B 样条密度估计,SL-TL 仍能达到与 oracle 相同的速率(在额外项可忽略的条件下),且模拟和真实数据均验证了其优势。
关键设定与假设:
- 假设 1(误差密度光滑且有界):p_{ε^(k)}(·) 严格正且有界一阶导数。这保证了密度估计的稳定性,也是 Theorem 2 中权重有界性的基础。
- 假设 2(次高斯误差):误差项满足次高斯分布。这是高维统计的标准假设,用于控制经验过程的波动。
- 假设 3(局部曲率):目标域的条件分位数函数在 β^(0) 附近有正的曲率(即 E[X^(0)X^(0)ᵀ f_{ε^(0)}(0|X)] 正定)。这是分位数回归估计的识别条件。
- 假设 4(限制特征值条件):设计矩阵满足限制特征值(restricted eigenvalue)条件。这是高维稀疏估计的标准假设,用于控制 ℓ1 正则化带来的偏差。
- 假设 5(初始估计的 ℓ1 误差):初始估计 β̃^(k) 满足 ||β̃^(k) - β^(k)||_1 = O_p(γ_k),其中 γ_k = s_k √(log p / n_k)。这是高维分位数回归的标准速率。
- 假设 6(折叠式限制特征值):每个折叠的设计矩阵都满足限制特征值条件。这是交叉拟合分析的技术性假设。
- 相比已有文献的放宽:相比 Trans-SQR(要求源域整体可迁移,即 h_k 很小),本文允许 h_k 较大,但要求每个源域中存在一部分样本的偏移量 |η_i^(k)| 很小(即部分可迁移)。相比 RIW-TL(要求线性回归且残差密度比可估计),本文针对分位数回归,且权重只依赖一维密度。
主要结果:
- Theorem 2(权重有界性):在假设 1 下,选中的样本权重 ω_i^(k) 一致有界(0 < c_ω ≤ ω_i^(k) ≤ C_ω < ∞)。这保证了加权损失函数的稳定性。
- Theorem 3(有效样本量):在假设 1-2 下,源域 k 的期望有效样本量 E(n_{I_k}) ≍ n_k (M_k/d_k ∧ 1),其中 d_k = ||δ^(k)||_2。当 M_k ≥ d_k 时,有效样本量与 n_k 同阶;当 M_k < d_k 时,有效样本量按 M_k/d_k 比例缩减。这定量刻画了"部分可迁移"的价值。
- Theorem 4(oracle 速率):在假设 1-4 下,oracle SL-TL 估计量满足 ||β̂^(0)_ora - β^(0)||_2² = O_p(s log p / (n_0 + E(n_I)))。相比 Target-only 的 O_p(s log p / n_0),速率提升因子为 (n_0 + E(n_I))/n_0,即有效样本量的增加。
- Theorem 5(可行速率):在假设 1-6 下,交叉拟合 SL-TL 估计量满足
||β̂^(0)_SL-TL - β^(0)||_2² = O_p{ s log p / (n_0 + E(n_I)) + s Ψ_n² (Σ_{k=1}^K π_{M_k} [(Ψ_n γ_0) ∧ (M_k + Ψ_n(γ_k + h_k)) + q_k])² },
其中 q_k = (log n_k / n_k)^{t/(2t+1)} 是密度估计的误差。在 n_k ≫ n_0 且 γ_k, q_k 足够小的条件下,第二项可忽略,SL-TL 达到 oracle 速率。
证明路线与技术技巧:
1. 整体路线:先证明 oracle 设定(已知权重和样本选择)下的速率,再证明可行设定下估计误差的可忽略性。核心是"偏差-方差"分解:偏差来自权重估计误差和样本选择误差,方差来自有效样本量的减少。
2. 关键跳跃点:
- Theorem 1 的构造:证明 g_τ 均匀分布时,加权损失在 β^(0) 处取得最小值。这是整个方法的基石,它保证了权重设计的无偏性。
- Lemma 1(样本选择一致性):证明估计的样本选择集合 Î_k 与 oracle 集合 I_k 的偏差在概率上可忽略。这需要控制初始估计误差 γ_k 和密度估计误差 q_k 的联合影响。
- Theorem 5 的交叉拟合论证:通过样本分割,使得权重估计和最终估计使用不相交的样本,从而切断相关性。这是现代半参数理论的标准技巧,但在这里需要处理分位数损失的不可导性。
3. 技术技巧点名:
- Knight's identity:用于处理 check loss 的不可导性,将损失函数分解为线性项和二次项,便于分析。
- B 样条投影密度估计:用于估计一维残差密度,利用其光滑性获得均匀收敛速率。
- Rademacher 条件化论证:用于控制经验过程的波动,得到加权损失的一致收敛性。
- 限制特征值条件:用于控制 ℓ1 正则化带来的偏差,将 ℓ1 误差转化为 ℓ2 误差。
真实例子与应用: - 模拟数据:设置 K ∈ {1, 10, 20} 个源域,每个源域样本量 n_k = 450,目标域 n_0 = 300,维度 p = 500,稀疏度 s = 16。源域系数与目标域的差异通过随机选择 12 个分量并赋予随机扰动来构造。结果显示:(i) 当源域差异较小时(∆_k 小),SL-TL 与 Trans-SQR 性能相当;(ii) 当源域差异较大时(∆_k 大),Trans-SQR 出现负迁移(误差大于 Target-only),而 SL-TL 仍优于 Target-only;(iii) 随着 K 增加,SL-TL 的误差持续下降,而 Trans-SQR 的误差在 K=20 时反而上升。 - 真实数据(GTEx v11):以 9 个脑组织作为目标域,其余 11 个组织作为源域,预测 JAM2 基因表达量。结果显示 SL-TL 在 9 个目标组织中的 7 个上取得了最低的相对预测误差(MQE 和 MSE),且在所有组织中都未出现负迁移(相对误差 < 1)。相比之下,Trans-SQR 在 3 个组织中出现了负迁移。
🔎 结论是否比证明窄:
- Theorem 4 的证明假设 Ψ_n = O(1),即协变量一致有界。但作者在 Theorem 5 的陈述中,将条件放宽为 Ψ_n s (λ_1 + λ_2) / ρ_I = o_p(1),这实际上允许 Ψ_n 发散,但证明中并未明确处理这一情况。值得注意:Theorem 5 的证明依赖于 Lemma 2 的密度估计误差界,而该界要求 Ψ_n γ_k → 0,这与 Theorem 5 的陈述条件不完全一致。作者在证明中似乎隐含了 Ψ_n = O(1) 的假设。
- Theorem 5 的速率中,第二项包含 Ψ_n²,但作者在讨论中声称"在 n_k ≫ n_0 且 γ_k, q_k 足够小的条件下,第二项可忽略"。然而,Ψ_n² 可能随 p 增长,因此"足够小"的条件需要 γ_k 和 q_k 以更快的速率收敛,这一点在论文中未明确量化。
- 模拟和真实数据中,SL-TL 的优势主要体现在"避免负迁移",而非"显著提升精度"。在源域差异较小时,SL-TL 与 Trans-SQR 的差距不大。作者在结论中声称 SL-TL "uniformly outperforms" Trans-SQR,但模拟结果中在 ∆_1 = 0.5 时两者差距很小(0.307 vs 0.363),这一表述略显夸大。
四、开放问题¶
- 权重估计的自适应选择:论文中
M_k和A是待调参数,通过网格搜索选择。是否存在数据自适应的选择准则(如基于交叉验证的 C_p 准则)?这扎根于论文第 4.1 节"grid search"的设定。 - 多个源域的权重分配:论文假设每个源域独立筛选样本,但未考虑源域之间的相关性。当多个源域高度相关时,是否应该联合加权?这扎根于论文第 2 节"multiple source domains"的设定,但理论分析仅针对单源域。
- 分位数水平的扩展:论文固定 τ,但实际应用中可能同时关注多个分位数(如 0.1, 0.5, 0.9)。如何将样本级迁移扩展到联合分位数回归?这扎根于论文第 1 节"for a given quantile level τ"的设定。
- 非线性模型的推广:论文假设线性分位数回归,但实际数据可能存在非线性。能否将 SL-TL 推广到非参数或半参数分位数回归?这扎根于论文第 2.1 节"linear quantile regression model"的设定。
- 有效样本量的最优性:Theorem 3 给出了有效样本量的阶,但未证明该选择准则在 minimax 意义下最优。是否存在更优的样本选择阈值?这扎根于 Theorem 3 的陈述。
提醒:要确认上述问题是否是真 gap,建议去读近 5 年关于"transfer learning for quantile regression"的文献(如 Zhang and Zhu 2025 的后续工作、Zhao et al. 2026 的扩展),看是否已有类似方法。如果多篇文献都指向同一问题,则可能是共识性 gap;如果互相矛盾,则可能是机会。
Maintained by 陈星宇 · Homepage · Source on GitHub