Augmented transfer regression learning for completely missing covariates¶
作者: Huali Zhao, Tianying Wang
来源: Journal of the Royal Statistical Society Series B
主题: 因果推断
相关性: 7/10
链接: 期刊页 · arXiv
一、领域脉络与小综述¶
这个方向是什么¶
本文研究的根本问题是跨人群(cross-population)迁移学习中的协变量完全缺失问题:目标人群(如 UK Biobank)中某些协变量完全未被测量,而源人群(如 NHANES)测量了它们。这不同于经典缺失数据设定——后者假设缺失发生在同一人群内部、至少部分观测到;本文的设定是"目标人群零观测、源人群全观测"的两样本问题。该方向处于迁移学习与缺失数据理论的交叉地带,成熟度中等:方法层面已有若干工作,但针对"协变量完全缺失"这一特殊结构的严格半参数理论尚不完整。
发展脉络(history)¶
- 奠基工作:缺失数据的经典框架。Rubin (1975, 1976) 建立了 MAR/MCAR 的正式定义,指出"忽略缺失机制"进行推断的充分条件。这是本文"子人群漂移假设"(式 1)的直接理论源头——本文的假设本质上是一个跨人群的 MAR 条件:X⊥S|(Y,Z)。
- 主要进展:迁移学习中的分布漂移校正。Sugiyama et al. (2008) 提出协变量漂移下的重要性加权;Kpotufe & Martinet (2021) 从 minimax 视角刻画了协变量漂移下迁移学习的样本复杂度,指出目标标签的价值由漂移的"奇异性"(singularity)控制。Liu et al. (2023) 提出增强迁移回归学习(ATReL),引入密度比 + 插补的双重稳健结构,但处理的是结果缺失而非协变量缺失。Zhou et al. (2025) 将 ATReL 推广到高维特征与分类准确率迁移,同样针对缺失结果。
- 当前 frontier:协变量缺失的迁移学习。Chen et al. (2008) 在辅助数据框架下推导了矩条件模型的半参数效率界,但将条件矩视为"通用 nuisance",未利用回归结构。Yan & Chen (2024) 建立了协变量漂移下一般估计方程的半参数效率理论,但同样未针对"协变量完全缺失"这一特殊结构给出可操作的估计方程构造。本文的位置:在 ATReL 的双重稳健框架基础上,将插补对象从"缺失结果"推广为"缺失协变量的一阶、二阶矩",并证明在子人群漂移假设下达到半参数效率界。
子线索聚类¶
- 缺失数据理论线索:Rubin (1975, 1976) → Yang et al. (2019) → 本文。核心问题是:什么条件下可以忽略缺失机制?本文的贡献是将 MAR 推广为跨人群条件。
- 迁移学习/分布漂移线索:Sugiyama et al. (2008) → Kpotufe & Martinet (2021) → Liu et al. (2023) → Zhou et al. (2024, 2025) → 本文。核心问题是:如何用源人群数据校正目标人群的估计?本文的贡献是处理"协变量完全缺失"这一更困难的漂移形式。
- 半参数效率理论线索:Chen et al. (2008) → Yan & Chen (2024) → 本文。核心问题是:在辅助数据下,参数估计的效率界是什么?本文的贡献是给出完全缺失协变量问题在子人群漂移假设下的效率界。
这个方向在追问的核心问题¶
- 识别:目标人群的回归系数 β, θ 在什么条件下可由 (源, 目标) 两样本数据识别?本文的回答:子人群漂移假设(式 1)——p(x|y,z) 跨人群不变。
- 估计:如何构造对 nuisance 模型(密度比、插补模型)误设稳健的估计量?本文的回答:双重稳健估计方程(式 6-7)。
- 效率:在 nuisance 全部正确时,估计量能否达到半参数效率界?本文的回答:能(Theorem 4),且效率界有清晰的分解——目标样本贡献 (Y,Z) 部分,源样本贡献 X 残差部分。
⚠️ 作者的 framing(这是作者的说法)¶
作者将缺口 frame 成:"现有迁移学习方法处理的是结果缺失(Liu et al., 2023; Zhou et al., 2025),而协变量完全缺失需要两个插补模型(一阶矩 m₁ 和二阶矩 m₂),这使得估计方程的构造和双重稳健性的证明都更加复杂。" 作者同时强调,Chen et al. (2008) 和 Yan & Chen (2024) 虽然建立了效率界,但"将条件矩视为通用 nuisance,未利用回归结构",因此本文的估计方程构造是新的。被淡化的竞争路线:作者在引言中未讨论"目标人群部分观测 X"的中间情形(即经典缺失数据 + 迁移学习的混合),也未讨论高维 X 的设定(Zhou et al. 2025 处理了高维特征但针对结果缺失)。
张力¶
未见明显对立引用。但存在一个值得注意的张力点:Kpotufe & Martinet (2021) 的 minimax 结果表明,协变量漂移下迁移学习的收益由漂移的奇异性控制;而本文的效率界(Theorem 4)似乎暗示源样本的贡献仅通过 X 残差部分进入,与漂移的奇异性无关。这两者之间的关系作者未讨论——前者是分类/非参数设定,后者是线性回归参数设定,但读者值得追问:如果 p₀(y,z) 与 p₁(y,z) 的支撑几乎不重叠,本文的效率界是否仍然成立?(作者在 Assumption 1 中只要求 w(y,z) ≤ C < ∞,即重叠条件,但未讨论边界情形。)
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号清单(逐个点名):
| 记号 | 含义 | 类型 |
|---|---|---|
| S ∈ {0,1} | 人群指示变量:S=0 目标,S=1 源 | 随机变量 |
| Y | 结果变量(目标人群关注) | 随机变量 |
| X ∈ ℝᵖ | 目标人群中完全缺失的协变量 | 随机变量(潜在) |
| Z ∈ ℝᵍ | 两人群均观测的协变量 | 随机变量 |
| pₛ(y,z) | 人群 s 中 (Y,Z) 的联合密度 | 未知分布 |
| p(x|y,z) | X 给定 (Y,Z) 的条件密度,跨人群不变 | 未知分布(识别假设) |
| w(y,z) = p₀(y,z)/p₁(y,z) | 密度比(目标/源) | 未知 nuisance |
| ω(y,z) | w(y,z) 的工作模型 | 估计对象 |
| m₁(y,z) = E(X|Y=y,Z=z) | X 的一阶条件矩 | 未知 nuisance |
| m₂(y,z) = E(XXᵀ|Y=y,Z=z) | X 的二阶条件矩 | 未知 nuisance |
| β ∈ ℝᵖ, θ ∈ ℝᵍ | 目标人群线性回归系数 | 目标参数(estimand) |
| ϑ = (βᵀ, θᵀ)ᵀ | 合并参数向量 | 目标参数 |
| n | 源样本量 | 常数 |
| N | 目标样本量 | 常数 |
| ρ = n/(n+N) | 源样本占比,ρ ∈ (0,1) | 常数 |
模型(数据生成机制):
- 目标人群工作模型:E₀(Y|X,Z) = Xᵀβ + Zᵀθ(式 2)。注意:这是工作模型,允许误设;ϑ₀ 定义为式 (3) 的解,即目标人群最小二乘投影系数。
- 子人群漂移假设(式 1):(Y,Z)|S=s ~ pₛ(y,z),且 X|(Y,Z) ~ p(x|y,z) 与 s 无关。
- 可观测数据:
- 源样本:{(Yᵢ, Xᵢ, Zᵢ) : i = 1,...,n},独立同分布来自 p₁(y,z)p(x|y,z)
- 目标样本:{(Yᵢ, Zᵢ) : i = n+1,...,n+N},独立同分布来自 p₀(y,z)(X 完全不可观测)
关键区分: - 可观测:源样本的 (Y,X,Z)、目标样本的 (Y,Z) - 不可观测:目标样本的 X(完全缺失) - 要估计:ϑ₀ = (β₀ᵀ, θ₀ᵀ)ᵀ,即目标人群的回归系数
第二步:最小内核¶
最简特例:p = 1(X 是一维),q = 0(无 Z),且密度比 w(y) 已知。此时目标人群模型为 E₀(Y|X) = Xβ,目标参数 β₀ = E₀(XY)/E₀(X²)。
核心困难:目标样本中 X 完全不可观测,因此 E₀(XY) 和 E₀(X²) 都无法直接计算。但子人群漂移假设给出:
E₀(XY) = E₀[Y · E₀(X|Y)] = E₀[Y · m₁(Y)]
其中 m₁(y) = E(X|Y=y) 可以从源样本估计(因为源样本观测 (X,Y))。类似地:
E₀(X²) = E₀[E₀(X²|Y)] = E₀[m₂(Y)]
其中 m₂(y) = E(X²|Y=y)。因此,只要能从源样本估计 m₁ 和 m₂,目标参数就可识别。
双重稳健估计方程(式 6-7 在特例下的退化形式):
U_DR(β) = E₁[ω(Y){X - m₁(Y)}(Y - Yβ) + {m₂(Y) - X²}β] + E₀[m₁(Y)(Y - Yβ) - m₂(Y)β] = 0
为什么双重稳健: - 若 ω 正确(即 w(y) = p₀(y)/p₁(y)),则 E₁[ω(Y)·(·)] = E₀[·],第一项与第二项合并后,m₁ 和 m₂ 的项相互抵消,只剩下 E₀[X(Y - Xβ)] = 0,即目标人群的得分方程。此时即使 m₁、m₂ 误设,估计仍一致。 - 若 m₁、m₂ 正确(即 E(X|Y) 和 E(X²|Y) 被正确估计),则第一项中 {X - m₁(Y)} 和 {m₂(Y) - X²} 的条件期望为零,整个方程退化为 E₀[m₁(Y)(Y - Yβ) - m₂(Y)β] = 0,即目标人群的"插补得分方程"。此时即使 ω 误设,估计仍一致。
为什么需要二阶矩:注意 β₀ = E₀(XY)/E₀(X²),分母需要 E₀(X²),因此仅有一阶矩 m₁ 不够,必须估计 m₂。这是与"结果缺失"情形的本质区别——结果缺失只需插补 E(Y|X),而协变量缺失需要插补 X 和 XXᵀ 的条件矩。
证明为什么成立(直觉):双重稳健性的本质是"两个 nuisance 模型的误设方向正交"。当 ω 正确时,重要性加权把源分布"搬运"到目标分布,插补项成为冗余(因为加权后的源样本已经代表目标人群);当 m₁、m₂ 正确时,插补项直接给出目标人群的条件矩,加权项成为冗余(因为插补已经提供了所需信息)。两个模型至少一个正确,估计方程在 ϑ₀ 处期望为零。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在目标人群协变量完全缺失、源人群协变量全观测的两样本设定下,如何估计目标人群的线性回归系数,并保证对 nuisance 模型误设的稳健性。
- 核心工具/方法:构造结合重要性加权与一阶/二阶矩插补的增强估计方程(式 6-7),证明其双重稳健性;在 nuisance 全部正确时证明 n^{1/2} 一致性和半参数效率。
- 主要结论:估计量在密度比模型或两个插补模型之一正确时一致;全部正确时达到半参数效率界;模拟和 UK Biobank 数据验证了有限样本表现。
关键设定与假设¶
- 子人群漂移假设(式 1):p(x|y,z) 跨人群不变。这是识别条件,等价于跨人群 MAR。相比经典 MAR,本文的 X 在目标人群零观测,因此 p(x|y,z) 完全依赖源样本估计。
- 重叠条件:w(y,z) = p₀(y,z)/p₁(y,z) ≤ C < ∞ a.s.。这是重要性加权有效的必要条件,也是效率界有限的前提。
- 工作模型允许误设:式 (2) 是工作模型,ϑ₀ 定义为式 (3) 的解(即目标人群最小二乘投影),不要求模型正确。这使得理论覆盖模型误设情形。
- nuisance 估计:密度比用指数族(式 8),插补模型用参数条件密度诱导的一阶/二阶矩。Assumption 3 要求 nuisance 估计量具有渐近线性表示(对 M-估计量成立)。
- 相比已有文献的放宽/强化:相比 Liu et al. (2023)(结果缺失),本文需要两个插补模型(一阶+二阶矩),估计方程更复杂;相比 Chen et al. (2008)(通用矩条件),本文利用回归结构给出可操作的估计方程,但强化了识别条件(p(x|y,z) 跨人群不变,而非仅矩条件跨人群不变)。
主要结果¶
- Theorem 1(双重稳健性):式 (6)-(7) 的估计方程在 ϑ₀ 处期望为零,当且仅当 (i) 密度比模型正确,或 (ii) 两个插补模型都正确。这是全文的核心识别结果。
- Theorem 2(一致性):在 Assumptions 1-3 下,bϑ_DR → ϑ₀ 依概率。
- Theorem 3(渐近正态性):√n(bϑ_DR - ϑ₀) 依分布收敛到均值为零的高斯分布,方差由式 (9) 给出。关键结构:源样本贡献(F¹ᵢ)和目标样本贡献(F⁰ᵢ)分离,nuisance 估计的影响通过 ξ_η、ξ_γ 项进入。
- Theorem 4(半参数效率):当密度比和插补模型都正确时,bϑ_DR 达到半参数效率界,效率界为 J₀V₀J₀ᵀ,其中 J₀ 是式 (3) 的 Fisher 信息矩阵的逆,V₀ 有清晰的分解:目标样本贡献 E₀{ψ(Y,Z;ϑ₀)^{⊗2}} 和源样本贡献 E₁[w²(Y,Z){φ(X,Y,Z;ϑ₀) - ψ(Y,Z;ϑ₀)}^{⊗2}]。
证明路线与技术技巧¶
整体路线(3-5 步):
- 识别:先证明在 nuisance 已知时,式 (6)-(7) 的总体方程在 ϑ₀ 处有唯一解。关键技巧是将估计方程分解为"目标项 + 加权源项 + 插补项",利用式 (1) 的 MAR 结构消去交叉项。
- 双重稳健性:分别验证"ω 正确"和"m₁,m₂ 正确"两条路径。ω 正确时,利用 E₁[ω(Y,Z)·(·)] = E₀[·] 将加权项转化为目标期望,插补项与目标项中的 m₁、m₂ 相消;m₁,m₂ 正确时,利用条件期望性质 E₀[{X-m₁(Y,Z)}·(·)] = 0 消去加权项。
- 渐近展开:将 bϑ_DR 的估计误差分解为"参数估计误差 + nuisance 估计误差"。关键技巧是证明 nuisance 估计的影响是二阶小的(因为估计方程在 nuisance 正确时对 nuisance 的 Fréchet 导数为零——这是双重稳健性的本质),从而得到式 (9) 的渐近线性表示。
- 效率证明:计算半参数效率界。关键技巧是构造扰动参数空间,证明任意正则估计量的影响函数必须落在由 φ 和 ψ 张成的线性空间中,而 bϑ_DR 的影响函数恰好是该空间中的最优投影。
技术技巧点名:
- Neyman 正交性:估计方程对 nuisance 的 Gateaux 导数在真实 nuisance 处为零,这是双重稳健性的泛函分析本质,也是后续 nuisance 估计误差不进入一阶渐近展开的原因。
- 渐近线性表示 + 影响函数:式 (9) 是标准的渐近线性展开,但关键在 F¹ᵢ 和 F⁰ᵢ 的分离——这反映了"源样本估计 nuisance、目标样本估计参数"的两阶段结构。
- 经验过程理论:Assumption 3 的渐近线性表示 + 有限矩条件,用于控制 nuisance 估计的剩余项(文中引用 van der Vaart, 2000, Chapter 5 的 M-估计量理论)。
- 效率界计算的"最小充分子σ-代数"技巧:Theorem 4 的证明需要构造数据的最粗分割,使得目标参数在给定 (Y,Z) 时与 X 独立——这是半参数效率理论的标准技巧,但本文将其与两样本结构结合。
真实例子与应用¶
UK Biobank 数据(Section 5):
- 场景:Y = BMI,X = 多基因风险评分(PRS),Z = 总能量摄入、性别、年龄。将 UK Biobank 数据人为分成"源"(年龄<65 或 BMI≥30)和"目标"(年龄≥65 或 BMI<30),在目标中完全移除 X,模拟协变量完全缺失。
- 如何用:源样本估计密度比 ω(y,z)(指数族,式 8)和插补模型 m₁, m₂(线性回归 X~Y+Z);目标样本只提供 (Y,Z)。用式 (6)-(7) 的增强估计方程估计 β, θ。
- 结果:提出的双重稳健估计器在三种配置下(I:全正确;II:插补误设;III:密度比误设)均接近全观测基准;而 IW 在密度比误设时偏差大,IMP 在插补误设时偏差大。敏感性分析(Table 5)显示,二次和交互插补模型下结果稳定。
- 想说明什么:双重稳健性不是理论上的空洞性质,而是在实际数据中确实能防止单一 nuisance 误设导致的灾难性偏差。注意 Case II 中目标人群(BMI<30)与源人群(BMI≥30)的 Y 支撑几乎不重叠,这是对重叠条件的压力测试——作者将其作为"外推"示例,但未讨论此时效率界是否仍然有效。
🔎 结论是否比证明窄¶
是,存在三处"证明窄于结论":
- Theorem 4 的效率界只在"密度比和插补模型都正确"时成立,但摘要和引言中的表述是"attains the semiparametric efficiency bound"(未限定条件)。双重稳健性保证的是"至少一个正确时一致",但效率只在"全部正确"时达到——这两者的区别在正文 Theorem 4 的陈述中是明确的,但摘要中的表述容易让读者误以为效率是双重稳健性的直接推论。
- Theorem 3 的渐近正态性要求 nuisance 估计的收敛速度快于 n^{-1/4}(通过 Assumption 3 的渐近线性表示隐含),但正文未明确讨论当插补模型用高维或非参数方法估计时(收敛速度可能慢于 n^{-1/4}),结论是否仍然成立。作者在 Appendix A2-A3 提到"flexible machine learning methods",但未给出具体的收敛速度条件。
- Case II 的外推示例:作者将 BMI≥30 作为源、BMI<30 作为目标,但这两个人群的 Y 支撑几乎不重叠,w(y,z) 可能非常大甚至无界——这违反 Assumption 1 的重叠条件。作者在正文中未讨论这一违反,也未说明此时估计量的行为(模拟中 Proposed 方法仍有有限偏差,但理论保证不覆盖此情形)。
四、开放问题¶
-
重叠条件失效的边界行为:当 w(y,z) 无界(源/目标支撑几乎不重叠)时,估计量是否仍然一致?收敛速度如何退化?这扎根于 Assumption 1 的重叠条件与 Case II 的外推示例之间的矛盾。验证方法:读 Kpotufe & Martinet (2021) 的 minimax 结果,看是否存在与"奇异性指数"相关的收敛速度退化。
-
高维 X 的扩展:本文假设 X 的维度 p 固定。当 p 随样本量增长时,插补模型 m₁, m₂ 的估计误差如何影响主估计量的收敛速度?是否需要稀疏性假设?这扎根于 Appendix A2-A3 提到的"flexible machine learning methods"但未给出高维理论。验证方法:读 Zhou et al. (2025) 的高维特征设定,看其理论框架是否可移植。
-
部分缺失的中间情形:如果目标人群中 X 对部分样本可观测(而非完全缺失),如何利用这部分信息?这扎根于作者在引言中将本文与经典缺失数据区分开的论述——但未讨论中间情形。验证方法:读 Chen et al. (2008) 的辅助数据框架,看其是否涵盖部分观测。
-
非线性模型的推广:本文聚焦线性工作模型(式 2)。对广义线性模型或非参数回归,双重稳健估计方程的构造是否仍然可行?二阶矩插补是否仍然充分?这扎根于 Section 6 提到的"generalised linear models"扩展方向。验证方法:读 Liu et al. (2023) 的 ATReL 原文,看其是否讨论了非线性链接。
-
nuisance 估计的收敛速度条件:Theorem 3 隐含要求 nuisance 估计快于 n^{-1/4},但未给出具体条件。当插补模型用深度学习方法估计时,这个条件是否满足?如何验证?这扎根于 Assumption 3 的渐近线性表示。验证方法:读 van der Vaart (2000) Chapter 5 的 M-估计量理论,确认渐近线性表示对 nuisance 估计的具体要求。
提醒:要确认上述开放问题是否是真 gap,建议去读以下近期论文的引言部分(各约 5 篇):(a) 迁移学习中的协变量漂移(Kpotufe & Martinet 2021 的后续引用);(b) 缺失数据的双重稳健估计(Bang & Robins 2005 的后续引用);(c) 半参数效率理论在迁移学习中的应用(Chen et al. 2008 的后续引用)。如果多个近期工作都指向同一问题,那是共识性 gap;如果互相打架,那可能是更值得深挖的机会。
Maintained by 陈星宇 · Homepage · Source on GitHub