Deep Regression for Repeated Measurements under Covariate Shift¶
作者: Yingxuan Wang, Xiangyu Xing, Wangli Xu
主题: 非参数 / 半参数
相关性: 6/10
链接: https://arxiv.org/abs/2605.24854
一、领域脉络与小综述¶
-
这个方向是什么:本文研究的是协变量偏移(covariate shift)下的非参数回归问题,其核心设定是:目标域(target domain)的响应变量不可观测或获取成本极高,而源域(source domain)的响应变量完全可观测,且两域共享相同的条件分布 P(Y|X),但边缘分布 P(X) 不同。根本的统计问题是:如何利用源域数据,通过密度比(density ratio)加权校正分布偏移,从而在目标域分布下估计回归函数 f₀(x) = E[Y|X=x],并达到 minimax 最优收敛率。该子方向处于"迁移学习 + 非参数回归 + 深度网络理论"的交叉地带,当前成熟度较高——单域深度非参数回归的 minimax 理论已基本完备(Schmidt-Hieber, 2020; Jiao et al., 2023),但"重复测量 + 协变量偏移"的组合尚未被系统处理。
-
发展脉络(history):
- 奠基工作:Schmidt-Hieber (2020) 建立了 ReLU 前馈神经网络在独立同分布数据下非参数回归的 minimax 最优性,奠定了"深度网络 + 光滑函数类"的理论范式。Kohler and Langer (2021) 进一步推广了该框架。这是本文的"单域基线"。
- 主要进展(协变量偏移方向):Ma et al. (2023) 和 Feng et al. (2024) 将协变量偏移引入非参数回归,采用密度比加权(importance weighting)校正分布差异。Feng et al. (2024) 进一步用 ReLU FNN 同时估计密度比和回归函数,建立了非渐近误差界。但这两项工作均假设数据独立。
- 主要进展(重复测量方向):Yan et al. (2025) 将深度网络引入重复测量数据(即组内相关结构),建立了完整的 minimax 理论框架。这是本文的"重复测量基线"。
- 当前 frontier:将上述两条线合并——即在重复测量 + 协变量偏移的双重复杂结构下,建立深度网络的非渐近误差界并证明 minimax 最优性。这正是本文的位置。
-
本文的位置:作者声称(这是作者的说法)"据我们所知,这是第一个在协变量偏移下处理重复测量深度回归的理论框架",并强调其逼近理论中网络参数常数对维度的依赖是多项式而非指数,从而缓解了维度灾难。
-
子线索聚类:
- 线索一:深度网络的逼近理论(Yarotsky, 2017; Petersen and Voigtlaender, 2018; Schmidt-Hieber, 2020):研究 ReLU FNN 对 Hölder 光滑函数的逼近误差,核心问题是网络深度、宽度、稀疏度与逼近精度的权衡。本文的 Theorem 2 属于此线,但创新在于用单纯形剖分(Freudenthal triangulation)替代张量积剖分,使常数依赖从 2^d 降为 d+1。
- 线索二:协变量偏移下的密度比估计与校正(Sugiyama et al., 2007, 2012; Ma et al., 2023; Feng et al., 2024):核心问题是密度比 r(x) = q_X(x)/p_X(x) 的估计及其在加权回归中的传播误差。本文的 Theorem 1 和 3 属于此线。
- 线索三:重复测量/纵向数据的非参数方法(Lin and Carroll, 2000; Wang, 2003; Yan et al., 2025):处理组内相关结构,核心困难在于相关性的存在使得有效样本量小于总观测数。本文的 Theorem 4、6、7、8 属于此线。
-
线索四:半参数效率与 minimax 下界(Györfi et al., 2002):提供误差分解的通用框架(随机误差 + 逼近误差)以及 minimax 下界的标准论证。本文的证明框架依赖此线。
-
这个方向在追问的核心问题:
- 密度比估计的误差如何传播到最终回归估计? 当前主流方法(Sugiyama et al., 2012; Ma et al., 2023)通过样本分割(sample splitting)隔离密度比估计误差,但分割比例如何最优分配尚未有统一答案。本文采用 1/2 分割,但未讨论最优分割。
- 重复测量相关性如何影响 minimax 率? Yan et al. (2025) 证明在完全观测下,组内相关不改变 minimax 率(仅影响常数),但本文在协变量偏移下发现相关性会引入额外的 n^{-1} 项(Theorem 4 中的 (n₁)⁻¹ 项),这是一个新的现象。
- 深度网络的逼近常数能否摆脱指数依赖? 这是本文的核心技术贡献——通过单纯形剖分将常数从 2^d 降为 d+1,但这是否能推广到更一般的函数类(如 Besov 类)仍是开放问题。
-
无界密度比下能否达到最优率? 本文通过截断(truncation)处理无界密度比,但截断水平 ξ 的选择依赖未知常数 κ_δ,实际使用中需要自适应方法。
-
⚠️ 作者的 framing(必须明确标注成"这是作者的说法"):作者将缺口 frame 成"现有协变量偏移研究(Ma et al., 2023; Feng et al., 2024)均假设独立数据,而现有重复测量研究(Yan et al., 2025)未考虑分布偏移,因此本文是两者的自然结合"。作者淡化了以下竞争路线:(1) 核方法(kernel ridge regression)在协变量偏移下的理论(如 Cortes et al., 2010 的重要性加权核回归),本文未与之比较;(2) 半参数效率理论中的密度比估计(如 Hahn, 1998 的效率界),本文未讨论其估计量是否达到半参数效率界;(3) 迁移学习中的"目标域少量标注"设定(如 Bastani, 2021),本文假设目标域完全无标注。什么明显该被引 / 该存在、却没出现在 intro 里:作者未引用 Cortes et al. (2010) 的重要性加权框架,也未引用 Shimodaira (2000) 的经典协变量偏移校正工作,更未讨论与半参数效率理论(如 Newey, 1994)的联系——这些是值得研究者去查的潜在缺口。
-
张力:未见明显对立引用。但存在一个微妙张力:Yan et al. (2025) 在完全观测下证明重复测量不改变 minimax 率,而本文在协变量偏移下发现密度比估计误差会与相关性交互(Theorem 4 中的 (n₁)⁻¹ 项),这暗示"重复测量 + 分布偏移"可能比两者单独处理更困难。这一现象是否在核方法或局部多项式下同样成立,未见文献讨论。
二、最核心、最简单的例子 / 数学问题¶
第一步:把符号、模型、可观测数据交代清楚
- 符号:
- 目标域:Q 分布,协变量 X ~ Q_X,响应 Y 不可观测。回归函数 f₀(x) = E_Q[Y|X=x] 是要估计的 estimand。
- 源域:P 分布,协变量 X ~ P_X,响应 Y 可观测。假设 P(Y|X) = Q(Y|X)(协变量偏移的核心假设)。
- 密度比:r(x) = q_X(x)/p_X(x),是未知的 nuisance 参数,需要估计。
- 数据:源域有 n_P 个受试者,第 i 个受试者有 m_i^P 次重复测量,记为 {(X_{ij}^P, Y_{ij}^P): 1≤i≤n_P, 1≤j≤m_i^P}。目标域有 n_Q 个受试者,第 i 个受试者有 m_i^Q 次重复测量,但 Y 不可观测,记为 {X_{ij}^Q: 1≤i≤n_Q, 1≤j≤m_i^Q}。总观测数 N_P = Σ_i m_i^P,N_Q = Σ_i m_i^Q。
- 模型:Y_{ij}^P = f₀(X_{ij}^P) + f_i(X_{ij}^P) + ε_{ij},其中 f_i(·) 是受试者特异随机效应函数,满足 E[f_i(X)|X] = 0,ε_{ij} 是独立噪声,E[ε_{ij}|X] = 0。注意:这里 f_i 是函数而非常数,比传统线性混合模型的随机截距更一般。
- 函数类:f₀ ∈ H^ζ([0,1]^d, B),即 Hölder 光滑类,光滑度 ζ = t + σ(t 为整数阶导数,σ∈(0,1] 为 Hölder 指数)。密度比 r ∈ H^α([0,1]^d, Γ)。
- 网络类:F = F_{d,1}(W, D, S, B),即深度 D、宽度 W、稀疏度 S、权重界 B 的 ReLU FNN 类。
- 损失与估计量:加权最小二乘。已知 r 时,\hat{f}{0,r} = argmin{f∈F} (1/N_P) Σ_i Σ_j r(X_{ij}^P)(Y_{ij}^P - f(X_{ij}^P))²。未知 r 时,先用一半数据估计 \hat{r},再用另一半数据估计 \hat{f}_{0,\hat{r}}。
-
误差度量:L²(Q_X) 范数,即 ∥\hat{f} - f₀∥²_{L²(Q_X)} = E_{X~Q_X}[(\hat{f}(X) - f₀(X))²]。
-
模型:数据生成机制分两步。第一步,从源域分布 P_X 和 P(Y|X) 生成源域数据(含重复测量,组内相关由 f_i 引入);从目标域分布 Q_X 生成目标域协变量(无响应)。第二步,假设 P(Y|X) = Q(Y|X),即条件分布不变,只有边缘分布偏移。可观测数据:源域的 (X^P, Y^P) 对(含重复结构),目标域的 X^Q 单独观测。不可观测:目标域的 Y^Q、密度比 r(x)、随机效应函数 f_i(·)。
第二步:讲最小内核
把论文的所有技术细节剥掉,剩下的最小内核是这样一个问题:
假设 X 是一维的(d=1),每个受试者只有一次测量(m=1,即独立数据),密度比 r(x) 已知。那么,用源域数据加权最小二乘估计 f₀,误差是多少?
在这个最简设定下: - 目标函数退化为:\hat{f} = argmin_{f∈F} (1/n_P) Σ_i r(X_i^P)(Y_i^P - f(X_i^P))²。 - 由于 r 已知,这本质上是一个加权非参数回归问题。权重 r(X) 的作用是把源域分布 P_X 重新加权到目标域分布 Q_X。 - 误差分解为两项: 1. 逼近误差:inf_{f∈F} ∥f - f₀∥²_{L²(Q_X)},由网络表达能力决定,约为 D^{-2ζ/d}(深度 D 的负幂次)。 2. 随机误差:sup_{f∈F} |(1/n_P) Σ_i r(X_i)(Y_i - f(X_i))² - E_{P_X}[r(X)(Y - f(X))²]|,由经验过程理论控制,约为 √(DS log S log n_P / n_P)。 - 平衡两项得到最优深度 D ≍ n_P^{d/(2ζ+d)},最终误差率 ∥\hat{f} - f₀∥²_{L²(Q_X)} ≍ n_P^{-2ζ/(2ζ+d)}。
这个最小内核的数学本质是:加权经验风险最小化(weighted ERM)在非参数类上的收敛速率。它不涉及重复测量的相关性(m=1 时没有组内相关),也不涉及密度比估计误差(r 已知)。论文的全部工作——重复测量、密度比未知、无界密度比——都是在这个内核上"加壳": - 加壳 1(重复测量):m>1 时,同一受试者的观测不再独立,随机效应 f_i 引入组内相关。此时有效样本量从 N_P 降为 n_P(受试者数),误差率中出现 (n_P)^{-1} 项而非 (N_P)^{-1} 项。 - 加壳 2(密度比未知):需要先用一半数据估计 \hat{r},估计误差 ∥\hat{r} - r∥²_{L²(P_X)} 会传播到最终估计,产生额外的 (N_r)^{-2α/(d+2α)} 项。 - 加壳 3(无界密度比):r 可能无界,需要截断 \hat{r}_ξ = min{\hat{r}, ξ},截断水平 ξ 的选择产生偏差-方差权衡。
读者读完这一节,应该已经明白:这篇论文在数学上干的事,就是证明在上述三个"壳"逐层叠加后,最终估计量仍然达到 minimax 最优率(至多差对数因子)。
三、这篇论文做了什么¶
三句话: 1. 研究了什么问题:在协变量偏移下,利用源域重复测量数据估计目标域的非参数回归函数 f₀,目标域响应完全不可观测。 2. 核心工具 / 方法:密度比加权最小二乘 + ReLU 前馈神经网络,密度比未知时用样本分割(一半估 r,一半估 f₀),无界密度比时用截断处理。 3. 主要结论:在密度比已知和未知两种情形下,分别对均匀有界和无界密度比建立非渐近误差上界,证明估计量达到 minimax 最优收敛率(至多差对数因子),且逼近常数对维度 d 的依赖是多项式而非指数。
关键设定与假设: - 模型:Y = f₀(X) + f_i(X) + ε,其中 f_i 是受试者特异随机效应函数,E[f_i(X)|X]=0,ε 为次高斯噪声(次高斯范数有界)。 - 协变量偏移:P(Y|X) = Q(Y|X),密度比 r(x) = q_X(x)/p_X(x) 存在。支持条件 supp(Q_X) ⊆ supp(P_X)(Assumption 1),保证密度比有定义。 - 密度比条件:均匀有界情形(Assumption 2: r ≤ Γ < ∞)或无界但有限 (δ+2) 阶矩(Assumption 5: E_{P_X}[r^{δ+2}] ≤ κ_δ < ∞)。 - 光滑性:f₀ ∈ H^ζ([0,1]^d, B),密度比 r ∈ H^α([0,1]^d, Γ)(Assumption 3)。 - 重复测量结构:每个受试者的测量次数 m_i 有界(m_i ≤ m_max),随机效应函数 f_i 属于有界函数类(Assumption 7 的次高斯条件)。 - 与已有文献的对比:相比 Feng et al. (2024)(独立数据 + 协变量偏移),本文引入了重复测量结构;相比 Yan et al. (2025)(重复测量 + 无偏移),本文引入了协变量偏移。相比 Ma et al. (2023)(核方法 + 协变量偏移),本文使用深度网络并给出非渐近界。
主要结果: - Theorem 1(密度比估计的随机误差):对均匀有界密度比,用 ReLU FNN 估计 r 的随机误差为 O(DS log S log N_r / N_r),其中 N_r = min(N_P², N_Q) 是密度比估计的有效样本量。证明用 Bernstein 不等式 + 覆盖数。 - Theorem 2(逼近理论创新):对 Hölder 类 H^ζ([0,1]^d, B),存在 ReLU FNN 使逼近误差 ≤ ε,网络深度 D = O(log(1/ε)),大小 S = O(ε^{-d/ζ} log(1/ε)),且常数依赖 d 的方式是多项式(d+1 因子)而非指数(2^d)。这是通过单纯形剖分(Freudenthal triangulation)实现的,相比 Feng et al. (2024) 的张量积剖分(常数含 2^d 因子)有本质改进。 - Theorem 3(密度比未知 + 均匀有界):\hat{f}_{0,\hat{r}} 的 L²(Q_X) 误差上界为 O((n₁)^{-1} + (N₁)^{-2ζ/(2ζ+d)} (log N₁)^{10ζ/(2ζ+d)} + (N_r)^{-2α/(2α+d)} (log N_r)^5),其中 n₁ 是用于估计 f₀ 的受试者数,N₁ 是对应总观测数。第一项来自受试者数(重复测量的代价),第二项是逼近 + 随机误差(minimax 率),第三项是密度比估计误差的传播。 - Theorem 4(密度比未知 + 无界):用截断估计 \hat{r}_ξ,误差上界为 O((n₁)^{-(δ+1)/(δ+2)} + (N₁)^{-2ζ/(d+(2/(δ+1)+2)ζ)} (log N₁)^{10ζ/(2ζ+d)} + κ_δ^{2/(2+δ)} (N_r)^{-2α/(d+(2+4/δ)α)} (log N_r)^5)。相比有界情形,收敛率变慢(指数从 2ζ/(2ζ+d) 降为 2ζ/(d+(2/(δ+1)+2)ζ)),这是截断偏差的代价。 - Theorem 5-8(密度比已知):已知 r 时,直接用全部源域数据估计 f₀,误差上界为 O((n)^{-1} + (N_P)^{-2ζ/(2ζ+d)(log N)^{10ζ/(2ζ+})(有界情形)和 O((n_P)^{-(δ+1)/(δ+2)} + (N_P)^{-2ζ/(d+(2/(δ+1)+2)ζ)} (log N_P)^{10ζ/(2ζ+d)})(无界情形)。相比未知 r 的情形,少了密度比估计误差项,且不需要样本分割。 - Theorem C.1-C.2(朴素估计量的次优性):忽略协变量偏移直接最小二乘(naive estimator),有界密度比下误差为 O(Γ((n_P)^{-1} + (N_P)^{-2ζ/(2ζ+d)})),无界密度比下为 O(κ₀^{1/2} ((n_P)^{-1} + (N_P)^{-2ζ/(2ζ+d)})^{1/2})。后者比最优率慢一倍(开根号),说明忽略偏移会导致次优收敛。
证明路线与技术技巧: - 整体路线(以 Theorem 4 为例): 1. 误差分解:∥\hat{f}{0,\hat{r}} - f₀∥²{L²(Q_X)} ≤ 2∥\hat{f}{0,\hat{r}} - \hat{f}{0,r}∥² + 2∥\hat{f}{0,r} - f₀∥²,第一项是密度比估计误差的传播,第二项是已知 r 时的估计误差。 2. 控制第二项:用 Theorem 7(已知 r 的误差界),分解为逼近误差(Theorem 2)+ 随机误差(经验过程 + Bernstein)。 3. 控制第一项:利用加权最小二乘的"预测误差"恒等式,将密度比误差转化为 ∥\hat{r} - r∥²{L²(P_X)} 乘以有界项(依赖 f₀ 的有界性和截断水平 ξ)。 4. 控制密度比误差:用 Theorem 5(截断密度比估计的误差界),其中截断水平 ξ 的选择平衡偏差项(ξ^{-δ})和方差项(ξ² DS log S log N_r / N_r)。 5. 合并:代入 ξ ≍ (κ_δ N_r / DS log S log N_r)^{1/(2+δ)},得到最终率。 - 关键跳跃点: - Theorem 2 的单纯形剖分:传统张量积剖分需要 2^d 个重叠区域,本文用 Freudenthal 三角剖分使每个点只属于 d+1 个单纯形,从而常数依赖从 2^d 降为 d+1。这是全文最核心的技术创新,也是"缓解维度灾难"的关键。 - Theorem 4 中 (n₁)^{-1} 项的出现:重复测量数据中,受试者数 n₁ 而非总观测数 N₁ 控制部分误差项。这是因为随机效应 f_i 的存在使得同一受试者的观测共享一个随机偏移,无法通过增加观测次数消除。这一项在独立数据(m=1)中消失,是重复测量的独特代价。 - 无界密度比的截断处理:直接估计无界 r 会导致方差爆炸,截断 \hat{r}_ξ = min{\hat{r}, ξ} 引入偏差 O(ξ^{-δ}),但控制了方差。最优截断水平通过偏差-方差权衡确定,最终率比有界情形慢,这是"无界性"的代价。
真实例子与应用: - 模拟实验:论文设计了两个案例。Case 1(d=3)中,f₀(x) = sin(12π Σ_{l=1}^d l x_l / d(d+1)),源域 X ~ N(µ_P, σ_P² I),目标域 X ~ N(µ_Q, σ_Q² I),密度比在有界和无界两种设定下分别生成。Case 2(d=10)引入低维流形结构(仅前 5 个协变量影响响应),验证方法在高维低维结构下的表现。比较了 URE(未知密度比估计)、KRE(已知密度比)和 NE(朴素估计)三种方法。结果与理论一致:KRE 最优,URE 次之但接近,NE 在偏移严重时显著变差;无界密度比下所有方法误差增大,但 URE 仍优于 NE。 - 真实数据:使用 2017 年北京、上海、山东、河北、天津 94 个监测站的 PM2.5 数据。目标域为北京 11 个站点(响应在橙色预警期间不可靠),源域为其余 64 个站点。协变量为 SO₂、NO₂、O₃、CO、风速、湿度、露点温度、气压。结果显示 URE 在低浓度区间(<75 μg/m³)比 NE 降低约 15-20% 的预测误差,在高浓度区间两者接近,验证了偏移校正的实际价值。
🔎 结论是否比证明窄: - Theorem 4 的"minimax 最优"声明:论文证明的是上界,并未证明匹配的下界。作者在结论部分写道"we conjecture that the obtained rates are minimax optimal"(这是作者的 conjecture,不是定理)。严格来说,论文只证明了上界,minimax 最优性需要额外的下界论证。 - Theorem 2 的"多项式依赖"声明:论文证明的是逼近误差常数对 d 的多项式依赖,但随机误差项中的 log 因子和常数仍可能隐含 d 的指数依赖。作者在 Theorem 4 的证明中使用了覆盖数,其 log 项通常含 d 因子,但作者未明确讨论这一依赖是否多项式。 - 重复测量的"相关性"假设:论文假设随机效应函数 f_i 属于有界函数类(Assumption 7),但未讨论 f_i 与 X 的相关性结构。如果 f_i 与 X 相关(如受试者特征影响其效应),识别假设可能被破坏。作者在结论部分承认"the case where f_i is correlated with X remains open"(这是作者的 limitation 声明)。 - 无界密度比的"有限矩"条件:Theorem 5-6 假设 E_{P_X}[r^{δ+2}] < ∞,但未讨论 δ 的取值对常数的影响。当 δ 很小时(如 δ→0),收敛率趋近于零,实际意义有限。作者未讨论这一边界情况。
四、开放问题¶
-
minimax 下界:论文只证明了上界,未证明匹配的下界。要确认这是否是真 gap,去读近期协变量偏移非参数回归的 minimax 下界文献(如 Ma et al., 2023 的补充材料)——若下界与本文上界匹配,则问题已解决;若不匹配,则存在率改进空间。扎根于 Theorem 4 后的 conjecture 语句。
-
随机效应与协变量相关:论文假设 f_i 与 X 独立(通过 E[f_i(X)|X]=0 和 f_i 的有界性),但实际纵向数据中受试者特征往往与协变量相关。若 f_i 与 X 相关,密度比加权是否仍然一致?这需要新的识别条件。扎根于结论部分的 limitation 声明。
-
自适应截断水平:论文的截断水平 ξ 依赖未知常数 κ_δ 和 δ,实际使用中需要数据驱动选择。是否存在自适应方法(如 Lepski 型准则)达到同样的率而不依赖未知常数?扎根于 Theorem 6 的证明中对 ξ 的设定。
-
多源域扩展:论文只考虑单一源域。当存在多个源域且各自偏移程度不同时,如何最优组合?这与迁移学习中的"源域选择"问题相关。扎根于结论部分提到的"multiple source domains"作为 future work。
-
半参数效率:论文的估计量是否达到半参数效率界(即有效影响函数对应的方差下界)?论文未讨论效率问题,只给出了上界。若存在更高效的估计量(如 one-step 估计或 debiased ML),则本文的率虽最优但常数可能非最优。扎根于 Theorem 7 的常数项 Γ。
提醒:要确认上述哪条是真 gap,去读同子领域近期约 5 篇的 intro——都指向它 = 共识(真 gap),互相打架 = 机会。特别是第 1 条(下界)和第 5 条(效率),这两条在协变量偏移文献中经常被同时处理,值得优先核查。
Maintained by 陈星宇 · Homepage · Source on GitHub