跳转至

Modelling positive and unlabelled data with a generalized additive density ratio model

作者: Peijun Sang, Yifan Sun, Qinglong Tian, Donglin Zeng, Pengfei Li
来源: Journal of the Royal Statistical Society Series B
主题: 因果推断
相关性: 6/10
机构绿灯: University of Waterloo(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是正例-未标注(PU)数据学习中的统计建模与可识别性问题。其根本科学问题是:当我们只能观测到一部分正例(labeled positives)和一个正负混合的未标注样本(unlabeled sample)时,如何估计混合比例 π(即未标注样本中正例的占比)以及正负两类特征分布之间的密度比 g(x)/h(x)。这个问题的统计本质是一个部分可观测的二元混合模型——由于未标注样本中的标签完全缺失,模型的可识别性必须依赖额外的结构假设。该方向当前处于"从参数化向半参数化/非参数化过渡"的活跃期,核心张力在于:更强的可识别性保证 vs. 更灵活的模型设定。

发展脉络(history)

  • 奠基工作:指数倾斜模型(Exponential Tilting Model)。Lancaster and Imbens (1996) 将密度比参数化为 log{g(x)/h(x)} = α + xᵀβ,即线性指数倾斜。这一设定通过线性结构保证了模型的可识别性,并允许在 PU 数据下进行参数估计。这是该方向的统计基准,几乎所有后续工作都在此框架内展开。引用语境:本文将其作为"参数化基准"来对比。

  • 机器学习分支:分类器导向的 PU 学习。Elkan and Noto (2008) 提出概率化 PU 学习框架,启发了大量分类器导向的工作(du Plessis et al. 2014; Kiryo et al. 2017; Chen et al. 2020)。这些工作关注的是训练分类器而非估计 π,通常需要额外的可识别性假设(如"选定的完全随机"SCAR)。引用语境:本文将其归为"分类器训练"路线,与自己的"统计推断"路线区分。

  • 生态学应用:存在-仅数据(Presence-Only Data)。Ward et al. (2009) 将 PU 问题引入生态学物种分布建模,提出 EM 算法估计逻辑斯蒂模型,并首次指出 π 未知时的可识别性困难。其 Proposition 4 证明了在 π 已知且 η(·) 线性时模型可识别——但未给出 π 未知时的理论分析。引用语境:本文明确说"这个结果扩展了 Ward et al. (2009) 的 Proposition 4,后者假设 π 已知且 η(·) 线性"。

  • 现代 PU 学习理论:可识别性与估计的严格化。Liu et al. (2025) 提出双指数倾斜模型(DETM),将 SCAR 推广到"随机标注"(SAR)设定,并给出了线性密度比下 π 的估计与推断理论。这是与本文最接近的工作。引用语境:本文在算法对比中明确说"与 Liu et al. (2025) 相比,我们算法的关键贡献在于对 Q₁ 的优化,其中我们在筛网下获得非线性函数优化器 η"。

  • 非参数/半参数化尝试。Blanchard et al. (2010)、Scott (2015)、Garg et al. (2021) 等探索了非参数混合比例估计,但要么只证明一致性(如 Ramaswamy et al. 2016),要么依赖后验可识别性条件(如 anchor set、最大正则假设)。引用语境:本文指出"Ramaswamy et al. (2016) 只证明了一致性"。

  • 本文的位置:在指数倾斜模型的线性结构(保证可识别性但易误设)与完全非参数方法(灵活但可识别性弱)之间,提出广义可加密度比模型(GAET):log{g(x)/h(x)} = α + Σⱼ uⱼ(xⱼ),其中每个 uⱼ 是非参数光滑函数。这是对线性指数倾斜的"可加非参数化"扩展,在保留可识别性的同时允许非线性。

子线索聚类

  1. 参数化密度比建模(Lancaster & Imbens 1996; Qin 1998; Liu et al. 2025):线性指数倾斜,可识别性由线性结构保证,估计与推断理论成熟,但易误设。
  2. 分类器导向的 PU 学习(Elkan & Noto 2008; du Plessis et al. 2014; Kiryo et al. 2017; Chen et al. 2020):关注分类性能而非 π 估计,通常需要 SCAR 或类似假设,理论以风险界为主。
  3. 非参数混合比例估计(Blanchard et al. 2010; Scott 2015; Ramaswamy et al. 2016; Garg et al. 2021):不假设密度比形式,但可识别性依赖额外条件(如 anchor set),且多数只证明一致性。
  4. 生态学存在-仅数据建模(Ward et al. 2009; Elith et al. 2020):应用驱动,EM 算法为主,理论分析相对薄弱。

⚠️ 作者的 framing(这是作者的说法)

作者将缺口 frame 为:"线性指数倾斜模型在非线性真实关系下严重误设,而完全非参数方法缺乏可识别性保证;我们提出的 GAET 模型在两者之间取得平衡——可加结构保留可解释性,非参数分量提供灵活性,且我们证明了可识别性。" 作者淡化的竞争路线包括:(a) 分类器导向的 PU 方法(认为它们不提供 π 的推断);(b) 完全非参数方法(认为它们可识别性弱);(c) SAR 设定(承认 DETM 更一般,但认为 SCAR 下的可加非参数化已是重要一步)。值得研究者去查的问题:作者在引言中未讨论的——可加结构本身是否也是一种强假设? 当真实密度比不可加时,GAET 是否比线性模型更好?此外,作者未引用近期关于深度密度比估计的工作(如神经网络密度比),这些方法在 PU 数据上的可识别性如何?

张力

未见明显对立引用。但存在一个隐含张力:Ward et al. (2009) 认为 π 未知时模型不可识别(因此建议 π 已知),而 Liu et al. (2025) 和本文都证明在特定结构假设下 π 可识别。这说明可识别性结论高度依赖模型结构假设——线性/可加结构是关键,而非参数设定下可能失效。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号清单(逐个点名):

记号 含义 类型
X ∈ ℝᵖ 特征向量 随机变量(可观测)
Y ∈ {0,1} 二元标签 潜在变量(不可观测,除标注样本外)
g(x) = p(x Y=1) 正类特征密度
h(x) = p(x Y=0) 负类特征密度
π ∈ (0,1) 混合比例(未标注样本中正例占比) 标量参数(目标之一)
ω(x) = g(x)/h(x) 密度比 导出函数(目标之一)
α ∈ ℝ 归一化常数 标量参数
uⱼ(·), j=1,…,p 可加分量函数 未知函数(目标之一)
n₀ 标注正例样本量 已知常数
n₁ = n − n₀ 未标注样本量 已知常数
n = n₀ + n₁ 总样本量 已知常数
ρ = n₀/n₁ 标注正例与未标注样本的比例 已知常数
τ = log{(1−π)/π} 对数几率 导出参数

模型(数据生成机制):

  1. 可观测数据:
  2. 标注正例样本:{x₁, …, x_{n₀}},i.i.d. ~ g(x)
  3. 未标注样本:{x_{n₀+1}, …, x_n},i.i.d. ~ πg(x) + (1−π)h(x)

  4. GAET 模型(核心结构假设): log{g(x)/h(x)} = α + Σⱼ₌₁ᵖ uⱼ(xⱼ),其中 ∫ uⱼ(xⱼ) dxⱼ = 0(可识别性约束)。

  5. SCAR 假设:标注过程与特征 X 独立,即 P(被标注 | Y=1, X=x) = P(被标注 | Y=1) = 常数。

要估计的对象:π(混合比例)、α(归一化常数)、uⱼ(·)(可加分量)。

关键区分——可观测 vs. 潜在: - 可观测:标注正例的 X、未标注样本的 X。 - 潜在/不可观测:未标注样本的标签 Y、负类密度 h(x)、正类密度 g(x)(只能通过密度比识别)。

第二步:最小内核

剥掉所有技术假设后,支撑整篇论文的最小内核是:

在 SCAR 假设下,如果密度比 log{g(x)/h(x)} 具有可加结构 α + Σⱼ uⱼ(xⱼ),且每个 uⱼ 非平凡(至少两个分量非恒定),则混合比例 π 和所有可加分量 uⱼ(·) 是联合可识别的。

为什么这个命题是核心? 因为 PU 数据的根本困难在于:观测到的未标注样本分布 m(x) = πg(x) + (1−π)h(x) 是一个混合,仅凭 m(x) 无法区分"π 大但 g 与 h 接近"和"π 小但 g 与 h 差异大"。线性指数倾斜通过限制密度比形式解决了这个问题——但线性太强。本文的关键洞察是:可加结构(而非完全线性)足以保证可识别性。

最简例子(p=2,两个可加分量):

设 X = (X₁, X₂),密度比模型为: log{g(x)/h(x)} = α + u₁(x₁) + u₂(x₂),其中 ∫₀¹ u₁ = ∫₀¹ u₂ = 0。

可识别性论证的直观版本:

假设存在两组参数 (π, α, u₁, u₂) 和 (π*, α*, u₁*, u₂*) 产生相同的观测混合分布 m(x) = πg(x) + (1−π)h(x)。由于 g(x) = h(x)·exp{α + u₁(x₁) + u₂(x₂)},且 ∫g = ∫h = 1,我们有:

m(x) = h(x)·[π·exp{α + u₁(x₁) + u₂(x₂)} + (1−π)]

对 x₁ 和 x₂ 分别积分并利用归一化条件,可以得到关于 π 和 α 的约束方程。关键在于:可加结构意味着对 x₁ 的积分不依赖于 x₂ 的具体形式,这产生了足够的约束来唯一确定 π。

具体来说(这是证明的骨架):

  1. 对 x₂ 积分:∫ m(x) dx₂ = h₁(x₁)·[π·e^{α+u₁(x₁)}·∫e^{u₂(x₂)}dx₂ + (1−π)],其中 h₁(x₁) = ∫h(x)dx₂。
  2. 对 x₁ 积分:∫ m(x) dx₁ dx₂ = 1(归一化)。
  3. 利用 ∫e^{uⱼ}dxⱼ 的归一化条件(由 ∫g = ∫h = 1 导出),可以得到 π 的显式表达式。

关键数学困难:当 p=1 时,上述论证失效——因为只有一个可加分量,对 x₁ 积分后所有信息都丢失了。这就是为什么定理 2.1 要求 p≥2 且至少两个分量非恒定。p=1 时的不可识别性正是 Remark 1 中构造的反例:对于任意 π* ∈ (0, π),都可以构造不同的 h* 使得观测分布不变。

这个最小内核告诉读者:本文在数学上做的事情是——证明"可加性"是比"线性"更弱的充分条件,它足以在 SCAR 下识别 π 和密度比。证明的技术核心是:利用可加结构将高维积分分解为一维积分的乘积,从而产生足够的矩约束。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在 SCAR 假设下,当真实密度比 log(g/h) 为非线性可加函数时,如何对 PU 数据中的混合比例 π 和密度比分量 uⱼ(·) 进行可识别估计与统计推断。
  2. 核心工具/方法:将经验似然(empirical likelihood)与筛网估计(sieve estimation)相结合——先用 B 样条基函数逼近每个可加分量 uⱼ(·),再通过 EM 型算法迭代优化一个带约束的经验似然函数。
  3. 主要结论:在 p≥2 且至少两个可加分量非恒定的条件下,模型可识别;所提估计量具有一致性,π 的估计量达到 √n 收敛速度且渐近正态(定理 5.3 与推论 1),可加分量估计量在 L² 范数下达到最优非参数收敛速率。

关键设定与假设

  • SCAR 假设(第 1 节):标注过程与特征独立。这是整个估计策略的基础——它保证了标注正例的分布就是 g(x),未标注样本的分布是 πg(x) + (1−π)h(x)。
  • 可加结构(式 4):log(g/h) = α + Σⱼ uⱼ(xⱼ)。这是本文的核心模型假设,比线性更灵活,但比完全非参数更结构化。
  • 可识别性条件(定理 2.1):p≥2,且至少存在两个分量 uⱼ、uₖ 在各自支撑上非恒定。这是保证 π 可识别的充分条件。
  • 光滑性条件(假设 3):每个 uⱼ ∈ C^k([0,1]),k > 0。这是筛网估计收敛速率分析的标准条件。
  • 紧支撑与有界性(假设 2):h(x) 在 [0,1]ᵖ 上有界且远离 0。这保证了密度比不会退化,也是经验似然方法的技术前提。
  • 筛网参数(假设 4):内部节点数 Kₙ 满足 Kₙ^{1/2} log Kₙ = o(√n)。这是平衡逼近偏差与估计方差的标准条件。

相比已有工作的变化: - 相比线性指数倾斜(Lancaster & Imbens 1996; Liu et al. 2025):放宽了线性假设为可加非参数,允许每个特征有独立的非线性效应。 - 相比完全非参数方法(Blanchard et al. 2010; Scott 2015):保留了可加结构以保证可识别性,而非依赖 anchor set 等后验条件。 - 相比 Ward et al. (2009):允许 π 未知,并给出了 π 的渐近分布理论。

主要结果

定理 2.1(可识别性):在 p≥2 且至少两个分量非恒定的条件下,模型参数 (π, α, u₁, …, uₚ) 是唯一可识别的。这是全文的理论基石。

定理 5.1(一致性):在假设 1-4 下,估计量 (π̂ₙ, α̂ₙ, η̂ₙ) 依概率收敛到真值 (π₀, α₀, η₀)。

定理 5.2(收敛速率): - |π̂ₙ − π₀|² = Oₚ(Kₙ^{−2k}) + oₚ(1/√n) - ∥η̂ₙ − η₀∥²_{L²(P)} = Oₚ(Kₙ^{−2k}) + oₚ(1/√n)

其中 Kₙ^{−2k} 是筛网逼近偏差项,oₚ(1/√n) 是估计方差项。当 Kₙ 选择使 Kₙ^{2k} ≍ √n 时,π 的估计达到参数速率 √n。

定理 5.3(弱收敛):在 √n = o(Kₙ^{2k}) 条件下,√n(π̂ₙ − π₀) 依分布收敛到均值为零的正态分布。这是构建置信区间的基础。

推论 1:√n(π̂ₙ − π₀) 渐近正态,方差可通过 bootstrap 一致估计。

数值结果: - 模拟:在三种设定下(线性、二次、一般非线性密度比),GAET 在非线性设定下显著优于线性方法(π 的偏差和 MSE 大幅降低);在线性设定下与线性方法表现相当(表 1)。bootstrap 置信区间在 n≥3000 时达到接近名义覆盖(表 2)。对 u₁ 的假设检验在 ζ 增大时功效趋近于 1(表 3)。 - 真实数据:欧洲晴雨表调查中,GAET 估计的未申报工作患病率为 12.5%,高于线性方法的 13.9%(后者可能因模型误设而高估);瑞士树种数据中,GAET 的 π 估计为 0.124,线性方法为 0.146,且线性估计落在 GAET 的 95% 置信区间之外,提示线性模型可能误设。

🔎 结论是否比证明窄

是,存在几处结论比证明宽的情况:

  1. 定理 2.1 的可识别性条件是充分条件,但作者在摘要和引言中暗示其接近必要条件。作者在 Remark 1 中只给出了 p=1 的反例,但没有讨论 p≥2 但只有一个分量非恒定的情况——此时是否可识别?从证明结构看,如果只有一个分量非恒定,对另一个分量的积分不会产生足够的约束,很可能也不可识别,但作者未明确说明。

  2. 定理 5.3 要求 √n = o(Kₙ^{2k}),但推论 1 的 bootstrap 有效性没有给出正式证明。作者在 6.2 节说"bootstrap 方法被应用",但没有证明 bootstrap 分布的一致收敛性。这在半参数文献中不是 trivial 的——特别是当 π 在参数空间的边界附近时。

  3. 定理 5.2 的收敛速率只给出了上界,没有证明下界(minimax 最优性)。作者在引言中说"达到最优非参数收敛速率",但正文中并没有提供匹配的下界论证。这是一个需要读者自行判断的 gap。

  4. 模拟中"线性设定下 GAET 与线性方法相当"的结论——表 1 显示在设定 1 中 GAET 的 MSE 略高于线性方法(0.261 vs 0.258 at n=1500),但作者没有讨论这是否是有限样本效率损失,还是渐近效率损失。


四、开放问题

以下开放问题均扎根于论文的具体语句:

  1. SAR 假设下的可加模型(扎根于第 7 节):作者明确说"将 GAET 框架扩展到 SAR 设定是 nontrivial 的",并指出"可识别性条件不再充分"。具体要解决的是:在 SAR 下,两个密度比 log(g₁/g₂) 和 log(g₁/h) 都需要可加建模,此时可识别性需要什么条件?标签交换问题如何避免?

  2. 高维扩展(扎根于第 7 节和补充材料 S.3):作者提到"可以借助 group LASSO 处理高维预测变量",但没有提供理论保证。具体问题是:当 p 随 n 增长时,可加模型的可识别性条件是否仍然成立?group LASSO 的变量选择一致性需要什么条件?

  3. π 的边界问题(扎根于定理 5.3 的证明):当 π₀ 接近 0 或 1 时,√n(π̂ₙ − π₀) 的正态近似是否仍然有效?作者在模拟中只考虑了 π₀ = 0.4 和 0.1,没有讨论边界情形。

  4. 可加性假设的检验(扎根于第 1 节的动机):作者论证了线性模型可能误设,但没有提供检验可加性是否成立的工具。具体问题是:能否构造一个检验 H₀: uⱼ 为线性 vs H₁: uⱼ 为非线性 的统计量?

  5. 效率界(扎根于定理 5.3 的陈述):作者证明了 π̂ₙ 的渐近正态性,但没有计算半参数效率界(semiparametric efficiency bound)。具体问题是:在可加密度比模型下,π 的有效估计的方差下界是什么?本文的筛网经验似然估计是否达到这个下界?

  6. bootstrap 的理论保证(扎根于 6.2 节):作者使用 bootstrap 构建置信区间,但没有证明其一致性。具体问题是:在什么条件下,bootstrap 分布能一致估计 √n(π̂ₙ − π₀) 的渐近分布?


给研究者的提醒:若要确认上述某条是否为真 gap,建议去读以下近期文献的引言部分——(a) PU 学习的半参数方法(如 Blanchard et al. 2010 的后续工作);(b) 可加模型的非参数可识别性文献;(c) SAR 设定下的 PU 学习(如 Liu et al. 2025 的后续)。如果这些文献的引言都指向同一问题,那大概率是共识性 gap;如果互相矛盾,则可能是更有价值的机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论