跳转至

Data integration using propensity score weighting under missing at random

作者: Caleb Leedy, Jae Kwang Kim
主题: 因果推断
相关性: 8/10
链接: https://arxiv.org/abs/2611.03353


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是调查抽样中的数据整合(data integration),其根本科学问题是:当研究者拥有一个遵循随机抽样设计、具有代表性但样本量有限(或未观测关键变量)的概率样本,以及一个规模更大、成本更低但选择机制未知的非概率样本(如在线自愿面板、行政记录)时,如何利用两者的互补信息,对有限总体均值等目标量进行有效且可靠的推断。该方向的核心统计挑战在于非概率样本的选择偏差——其包含机制(inclusion mechanism)未知,无法直接进行设计-based推断,必须依赖模型假设(如可忽略性)来校正偏差。当前该领域已从早期描述性整合方法(如事后分层、校准加权)发展到系统性的模型-based框架,包括倾向得分加权、质量插补(mass imputation)和双稳健估计,成熟度较高,但仍存在估计效率、模型误设稳健性和方差估计等方面的开放问题。

发展脉络(history)

  • 奠基工作:概率样本作为金标准与早期整合尝试。 本文的起点是概率抽样作为设计-based推断金标准的地位(Fuller, 2009)。早期工作(Rivers, 2007; Schenker and Raghunathan, 2007; Elliot, 2009; Dong et al., 2014)开始探索将概率样本与非概率样本结合的可能性,主要动机是概率样本成本高昂、规模有限,而非概率样本(如在线面板)获取容易且样本量大。Rivers (2007) 提出的样本匹配(sample matching)是这一时期的代表性方法,其核心思想是在概率样本的辅助变量分布上匹配非概率样本的个体,但该方法对匹配变量的选择高度敏感,且缺乏系统的推断理论。
  • 主要进展:倾向得分加权与伪似然方法的系统化。 该方向的转折点是 Chen et al. (2020)(即文中的 CLW)提出的伪最大似然估计(PMLE)框架。其核心策略是:利用概率样本(Sample A)估计非概率样本的包含概率(propensity score)π(B)i(φ),然后构造逆概率加权(IPW)估计量。CLW 的关键贡献在于将非概率样本的包含机制显式建模为辅助变量 X 的 Logistic 回归,并通过概率样本的 Horvitz–Thompson 估计来逼近似然函数中的总体项。然而,本文指出 PMLE 虽然一致,但并非有效——它没有充分利用两样本的联合结构来估计包含概率参数。
  • 当前 frontier:条件似然与双稳健估计。 本文的位置正是在这一前沿上。作者采用 Kim and Kwon (2024) 和 Beaumont et al. (2024) 独立提出的条件似然(conditional likelihood)视角,将观测到的两样本视为一个两阶段抽样过程:第一阶段是概率样本(Sample A)的抽取,第二阶段是从中(或从总体中)抽取非概率样本(Sample B)。这一视角允许构造条件最大似然估计(CMLE),比 PMLE 更有效地利用样本信息。在此基础上,本文进一步引入 Kwon et al. (2024) 的广义熵校准(GEC)框架,将结果回归模型的信息通过校准约束纳入估计,从而获得双稳健性——当倾向得分模型或结果回归模型之一正确设定时,估计量保持一致。这一"条件似然 + 校准"的组合代表了该方向当前的方法论前沿。

子线索聚类

被引文献大致落在三条子线索上:

  1. 倾向得分加权与伪似然方法(Chen et al., 2020; Valliant and Dever, 2011; Elliott and Valliant, 2017):这条线索的核心是建模非概率样本的包含概率,并通过 IPW 校正选择偏差。CLW 是其中的代表,其 PMLE 框架为后续工作提供了基准。已知瓶颈是 PMLE 的效率损失和对倾向得分模型误设的敏感性。

  2. 质量插补与结果建模(Kim et al., 2021; Chen et al., 2022; Tsung et al., 2018):这条线索通过建模 Y|X 的条件分布,将非概率样本中的结果信息"插补"到概率样本中。代表性工作是 Kim et al. (2021) 的 mass imputation 框架。已知瓶颈是结果回归模型的误设风险,以及插补方法在模型错误时的偏差传播。

  3. 校准加权与熵方法(Kwon et al., 2024; Deville and Särndal 传统):这条线索通过最小化某种距离(或最大化熵)来调整权重,使其满足基准约束。Kwon et al. (2024) 的广义熵校准(GEC)是这一线索的最新发展,它通过约束条件同时纳入辅助变量信息和模型预测信息。本文正是将这一线索与条件似然框架结合,构造双稳健估计。

这个方向在追问的核心问题

  1. 如何有效估计非概率样本的包含概率? 当前主流方法是参数化倾向得分模型(Logistic 回归),但 PMLE 的效率损失是已知瓶颈。本文的 CMLE 是对此的直接回应。
  2. 如何获得对模型误设的稳健性? 双稳健估计是当前主流答案,但如何在数据整合的特定设定下实现双稳健性(而非标准缺失数据设定)仍有技术挑战。
  3. 如何进行有效的方差估计? 非概率样本的设计未知,方差估计必须同时考虑包含概率估计的不确定性和结果模型的变异性,本文的方差估计程序是对此的尝试。

⚠️ 作者的 framing(这是作者的说法)

作者将缺口 frame 成:"现有伪似然方法(CLW)虽然一致但非有效,且缺乏双稳健性;本文通过条件似然 + 广义熵校准,同时解决效率问题和模型误设稳健性问题。" 具体而言,作者声称:(i) CMLE 比 PMLE 更有效地利用两样本的联合信息;(ii) GEC 框架使得估计量在倾向得分模型或结果回归模型之一正确时保持一致;(iii) 所提出的方差估计程序在模拟中达到近似名义覆盖。被作者淡化的竞争路线包括:质量插补方法(文中仅作为背景提及,未与 GEC 进行系统比较)、贝叶斯方法(完全未提及)、以及半参数效率界的讨论(作者未声称达到半参数有效,但未明确说明与效率界的距离)。值得注意的是,作者在模拟中仅与 CLW 的 IPW 和 DR 估计量比较,未与其他双稳健方法(如 TMLE)比较。

张力

未见明显对立引用。但存在一个微妙的张力:Chen et al. (2020) 的 PMLE 与 Kim and Kwon (2024) 的 CMLE 在估计包含概率时使用了不同的似然构造,本文声称 CMLE 更有效,但未提供理论上的效率比较(如半参数效率界),仅通过模拟验证。此外,Kwon et al. (2024) 的 GEC 框架原本用于标准调查抽样中的校准,本文将其扩展到数据整合设定,这种扩展是否保持原有的最优性性质(如最小渐近方差)并未被严格证明。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号清单(逐个点名):

  • 总体与样本:
  • U = {1, ..., N}:目标有限总体的指标集,N 为总体规模。
  • Sample A:概率样本,规模 n_A,观测 X,设计包含概率 π(A)i 已知。
  • Sample B:非概率样本,规模 n_B,观测 X 和 Y,包含机制未知。
  • S₁ = A ∪ B:两样本的并集,在条件似然框架中视为"第一阶段样本"。
  • δ(A)i、δ(B)i:个体 i 是否被 Sample A / Sample B 包含的示性变量。

  • 变量:

  • X ∈ R^m:辅助变量(协变量),在两样本中均可观测。
  • Y:研究变量(结果),仅在 Sample B 中观测。
  • θ = N⁻¹ Σ_{i∈U} y_i:目标 estimand,有限总体均值。

  • 模型参数:

  • φ ∈ R^m:非概率样本包含概率模型的参数,π(B)i(φ) = Pr(δ(B)i = 1 | x_i; φ)。
  • β:结果回归模型 Y|X 的参数(在 GEC 部分引入)。
  • λ:校准权重中的拉格朗日乘子。
  • γ、κ:渐近线性展开中的影响函数系数(Theorem 1 和 2 中定义)。

  • 关键概率:

  • π(A)i:Sample A 的设计包含概率,已知。
  • π(B)i(φ):Sample B 的包含概率,由参数模型给出。
  • π(1)i(φ) = π(A)i + π(B)i(φ) − π(A)i π(B)i(φ):个体进入 S₁(两样本并集)的概率。
  • π(2|1)i(φ) = π(B)i(φ) / π(1)i(φ):给定进入 S₁ 的条件下进入 Sample B 的条件概率。

  • 潜在/不可观测量:

  • 所有未进入 Sample B 的个体的 Y 值(包括 Sample A 中所有个体和总体中未被抽中的个体)——这是"想要但观测不到"的量。
  • 非概率样本的真实包含机制(我们只能假设其形式,无法验证)。
  • 总体中每个个体的 δ(B)i(除了 Sample B 中的个体外均不可观测)。

模型(数据生成机制):

  1. 总体 U 是固定的有限总体,每个个体 i 有属性 (x_i, y_i)。
  2. Sample A 由已知设计(如简单随机抽样)抽取,π(A)i 已知。
  3. Sample B 的包含机制未知,假设为可忽略的(ignorable):δ(B)i ⊥ y_i | x_i,且包含概率由参数模型 π(B)i(φ) = Pr(δ(B)i = 1 | x_i) 刻画(通常取 Logistic 形式)。
  4. 两样本独立抽取(或近似独立)。

可观测数据: - 来自 Sample A:{(x_i, δ(A)i = 1)},共 n_A 组。 - 来自 Sample B:{(x_i, y_i, δ(B)i = 1)},共 n_B 组。 - 注意:Sample A 中没有 Y 的观测;Sample B 中没有设计权重信息。

不可观测/潜在量: - 总体中所有个体的 Y(除 Sample B 外)。 - Sample B 的真实包含机制(只能通过模型近似)。 - 个体同时进入两个样本的情况(重叠部分),文中假设其贡献渐近可忽略。

第二步:最小内核

最简特例:假设 X 是一维的(m = 1),总体均值 θ = E[Y] 是目标。Sample A 是简单随机抽样(π(A)i = n_A/N 常数),Sample B 的包含概率为 Logistic 形式:

π(B)i(φ) = exp(φ₀ + φ₁ x_i) / [1 + exp(φ₀ + φ₁ x_i)]。

核心问题:我们观测到 Sample B 中的 (x_i, y_i),但 Sample B 对总体有选择偏差(例如高 x 的个体更可能被包含)。直接用 Sample B 的样本均值估计 θ 会有偏。如何利用 Sample A 的信息来校正这个偏差?

最小内核的数学表述:

  1. CLW 的伪似然方法:构造伪似然 ℓ(φ) = Σ_{i∈B} log[π(B)i(φ) / (1 − π(B)i(φ))] + Σ_{i∈A} (1/π(A)i) log(1 − π(B)i(φ)), 最大化得到 φ̂PMLE。然后用 IPW 估计 θ:θ̂IPW = [Σ{i∈B} y_i / π(B)i(φ̂)] / [Σ{i∈B} 1 / π(B)i(φ̂)]。

  2. 本文的条件似然方法:将 S₁ = A ∪ B 视为第一阶段样本,构造条件似然 ℓ_C(φ) = Σ_{i∈S₁} {δ(B)i log π(2|1)i(φ) + (1 − δ(B)i) log[1 − π(2|1)i(φ)]}, 其中 π(2|1)i(φ) = π(B)i(φ) / [π(A)i + π(B)i(φ) − π(A)i π(B)i(φ)]。 最大化得到 φ̂_CMLE。然后用同样的 IPW 公式估计 θ。

为什么这个例子是"最小内核":它剥离了所有一般性技术假设(多维 X、复杂抽样设计、非线性结果模型),只保留了数据整合的核心结构——两个样本、一个未知包含机制、一个需要校正的均值估计。在这个特例下,本文的核心贡献可以归结为:

  • 命题:φ̂_CMLE 比 φ̂_PMLE 更有效(渐近方差更小),因为条件似然利用了 S₁ 的联合结构,而伪似然只分别处理了两个样本。
  • 为什么成立:条件似然 ℓ_C(φ) 是建立在 S₁ 上的真实似然(在可忽略性假设下),而伪似然 ℓ(φ) 是对总体似然的一个近似(用 Horvitz–Thompson 估计替代不可观测的总体项)。因此,CMLE 是 MLE,在正则条件下达到 Cramér-Rao 下界(在给定模型类内),而 PMLE 不一定。
  • 双稳健性:当引入 GEC 后,θ̂_GEC 在倾向得分模型正确或结果回归模型正确时都一致。在最小内核中,这意味着:如果 Logistic 模型正确,θ̂_GEC 一致;如果线性回归 Y = β₀ + β₁ X + ε 正确(即使 Logistic 模型错误),θ̂_GEC 也一致。

这个最小内核揭示了论文的本质:本文不是在提出一个全新的估计策略,而是改进了现有策略中估计包含概率参数 φ 的方式(从伪似然到条件似然),并通过校准框架将结果模型信息纳入估计,从而获得双稳健性。核心数学贡献在于 Theorem 1 的渐近线性表示——它精确刻画了 φ̂ 的估计误差如何传播到 θ̂_IPW,以及如何通过 γ* 和 κ* 修正影响函数。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在概率样本与非概率样本共享辅助变量 X、研究变量 Y 仅在非概率样本中观测的数据整合设定下,如何构造总体均值 θ 的一致且渐近正态的估计量,并使其对模型误设具有双稳健性。
  2. 核心工具/方法:基于 Kim and Kwon (2024) 的条件似然框架估计非概率样本的包含概率参数 φ(CMLE),并进一步引入 Kwon et al. (2024) 的广义熵校准(GEC),将结果回归模型的信息通过校准约束纳入估计,构造双稳健估计量 θ̂_GEC。
  3. 主要结论:在正则条件下,θ̂_IPW(基于 CMLE)和 θ̂_GEC 均相合且渐近正态;θ̂_GEC 在倾向得分模型或结果回归模型之一正确设定时保持一致(双稳健性);所提出的方差估计程序在模拟中达到近似名义覆盖,且 θ̂_GEC 在多数设定下优于 CLW 的伪似然对应物。

关键设定与假设

  • 数据结构:有限总体 U,Sample A(概率样本,观测 X,设计包含概率 π(A)i 已知),Sample B(非概率样本,观测 X 和 Y,包含机制未知)。两样本独立抽取。
  • 可忽略性假设:δ(B)i ⊥ y_i | x_i,即给定协变量 X 后,非概率样本的包含与否与结果 Y 独立。这是所有倾向得分加权方法的核心识别条件。
  • 参数模型:π(B)i(φ) 为已知函数形式(如 Logistic),φ ∈ R^m。
  • 正则条件:包括矩条件、设计权重的有界性、模型的可识别性、估计方程的解存在且唯一等(详见补充材料)。
  • 重叠条件:π(B)i(φ) 有界远离 0 和 1,保证 IPW 估计量的方差有限。
  • 两样本渐近框架:n = min(n_A, n_B) → ∞,且 n_A / n → ρ ∈ (0, 1)。

相比已有工作的变化: - 相比 CLW 的伪似然,本文的 CMLE 利用了 S₁ 的联合结构,在相同模型假设下更有效。 - 相比标准双稳健估计(如 TMLE),本文的 GEC 框架通过校准约束而非显式估计结果回归模型来实现双稳健性,且与条件似然框架自然兼容。 - 相比 Kim and Kwon (2024),本文增加了 GEC 扩展和完整的方差估计程序。

主要结果

Theorem 1(θ̂_IPW 的渐近线性表示): √n(θ̂_IPW − θ) = −(√n/N) U_ℓ(θ, φ, γ(θ)) + o_p(1),

其中 U_ℓ = U^(A) + U^(B) 分解为 Sample A 和 Sample B 的独立贡献。U^(A) 反映通过 Sample A 估计 φ 的不确定性,U^(B) 反映 Sample B 中 IPW 估计的抽样变异性。γ* 是影响函数系数,通过期望的逆矩阵给出。

Corollary 1(θ̂_IPW 的渐近正态性): √n(θ̂_IPW − θ) → N(0, V_IPW),

其中 V_IPW = lim (n/N²) [Var(U^(A)) + Var(U^(B))]。方差分解为两部分:Var(U^(A)) 涉及 Sample A 的设计协方差 ∆(A)ij = π(A)ij − π(A)i π(A)j,Var(U^(B)) 涉及残差 e^(B)i = y_i − θ + π(B)i(φ)(1 − π(2|1)i(φ)) h_i(φ)⊤ γ。

Theorem 2(θ̂_GEC 的渐近线性表示): θ̂_GEC = θ̂_ℓ,GEC + o_p(n^{-1/2}),

其中 θ̂_ℓ,GEC 具有标准双稳健结构:一个基于 Sample A 的 Horvitz–Thompson 项 + 一个基于 Sample B 的残差项 + 一个 φ 估计的校正项。

Corollary 2 & 3(双稳健性): - 若结果回归模型正确(Y = X⊤β + ε, E[ε|X] = 0),则 z⊤_i γ* = x⊤_i β,θ̂_GEC 一致。 - 若倾向得分模型正确,则 λ* = (0⊤, 1)⊤,θ̂_GEC 退化为基于正确 IPW 的估计量,一致。

方差估计:提出基于渐近线性表示的方差估计器(公式 20-24),通过替换样本 analog 估计 γ、κ,并分别估计 Sample A 和 Sample B 的方差贡献。

证明路线与技术技巧

整体路线(Theorem 1 的证明逻辑):

  1. 建立估计方程系统:将 (θ̂_IPW, φ̂) 定义为估计方程组的解,其中 φ̂ 来自条件似然得分方程,θ̂_IPW 来自 IPW 估计方程。
  2. 线性化:对估计方程在真值 (θ, φ*) 处做一阶 Taylor 展开,利用一致大数定律和中心极限定理控制余项。
  3. 影响函数分解:将线性化后的表达式分解为 Sample A 和 Sample B 的独立贡献。关键步骤是证明交叉项(涉及 A ∩ B 的重叠个体)在 n → ∞ 时渐近可忽略。
  4. γ 的计算:通过求解一个期望为零的矩方程得到 γ,其形式为两个期望矩阵的逆的乘积。

关键技巧:

  • 条件似然得分方程的线性化:h_i(φ) = ∂/∂φ logit(π(2|1)i(φ)) 的关键性质是 ∂/∂φ logit(π(2|1)i(φ)) = ∂/∂φ logit(π(B)i(φ)),即条件包含概率的 logit 导数与无条件包含概率的 logit 导数相同。这一恒等式简化了影响函数的计算。
  • 重叠项的处理:A ∩ B 的个体同时出现在两个样本中,其贡献需要特殊处理。作者通过假设 |A ∩ B| = o_p(√n) 来保证重叠项在根号 n 尺度下可忽略(Remark 1)。
  • GEC 的双稳健性证明:通过构造特定的校准约束,使得当结果模型正确时,校准权重自动收敛到最优 IPW 权重;当倾向得分模型正确时,校准约束自动满足。这一证明依赖于 λ* 的特定形式(Lemma 1)。

真实例子与应用

数据:Culture and Community in a Time of Crisis (CCTC) 调查,由 NORC 实施。Sample A 为 NORC AmeriSpeak 面板(概率样本,n_A = 1,000),Sample B 为通过文化机构招募的非概率样本(n_B = 4,000)。目标变量 Y 为是否参加过古典音乐活动(二值),协变量 X 包括人口统计学变量和调查问题 1-48 的响应。

方法应用: 1. 拟合 Logistic 倾向得分模型(包含所有协变量)。 2. 用 CMLE 估计 φ,构造 θ̂_IPW。 3. 用 GEC(经验似然作为熵函数)构造 θ̂_GEC。 4. 与 CLW 的 PMLE 方法比较。

结果: - θ̂_IPW 和 θ̂_GEC 的偏差均远小于未调整的 Sample B 均值(MeanB),表明选择偏差得到了有效校正。 - θ̂_GEC 的 RMSE 略低于 θ̂_IPW,但差异不大。 - 两种方法的 95% 置信区间覆盖率接近名义水平(约 0.95)。 - 值得注意的是,在 S2(正确指定的倾向得分模型)下,θ̂_GEC 的效率略低于 θ̂_IPW,作者归因于 Sample A 规模较小导致的校准方程求解不稳定。

例子想说明什么:验证了理论结果在真实数据上的可行性,展示了数据整合方法在实际调查中的应用价值,特别是当非概率样本严重过度代表某些人口群体时(如白人比例 85% vs 总体 63%)。

🔎 结论是否比证明窄

  • 明确证明但被泛化声称的:Theorem 1 和 2 的渐近结果是在参数模型(Logistic 倾向得分 + 线性结果回归)下证明的,但引言中声称方法适用于"更一般的设置"。补充材料可能包含更一般的条件,但正文未明确说明推广范围。
  • 模拟中观察但未理论证明的:作者观察到 θ̂_GEC 在 Sample A 较小时效率低于 θ̂_IPW,但未提供理论解释(如高阶展开或有限样本修正)。
  • 被淡化的限制:双稳健性仅在"倾向得分模型正确或结果模型正确"时成立,但作者未讨论两个模型都错误时的行为(虽然模拟中 S1 和 S3 部分涉及,但未给出理论保证)。此外,可忽略性假设(δ(B)i ⊥ y_i | x_i)是不可检验的,作者未讨论其违反时的敏感性。
  • 未明确声称但可能成立的:作者未声称 θ̂_GEC 达到半参数有效界,但 Theorem 2 的线性化结构暗示其影响函数可能接近有效影响函数。这是一个值得研究者去查证的问题。

四、开放问题

  1. 半参数有效性:θ̂_GEC 是否达到半参数有效界?Theorem 2 的线性化结构给出了影响函数的具体形式,但作者未与半参数效率界进行比较。一个具体的研究问题是:在给定可忽略性假设和模型类下,θ̂_GEC 的渐近方差是否达到 Chamberlain 效率界?(扎根于 Theorem 2 的线性化表示和 Corollary 1 的方差分解。)

  2. 两个模型都错误时的行为:双稳健性保证"至少一个模型正确时一致",但当两个模型都错误时,θ̂_GEC 的偏差如何随样本量变化?是否存在类似"局部稳健性"(local robustness)的性质?(扎根于 Corollary 4 的表述:"consistent if either model is correctly specified"——但未讨论两者都错的情形。)

  3. 高维协变量的扩展:当 X 的维度 m 随样本量增长时,CMLE 和 GEC 的性质如何?是否需要正则化?这与研究者的高维统计背景直接相关。(扎根于引言中"X ∈ R^m"的一般设定,但所有理论结果均假设 m 固定。)

  4. 重叠条件的检验:本文假设 π(B)i(φ) 有界远离 0 和 1,但未提供检验该条件的程序。在 CCTC 应用中,某些人口群体的包含概率可能极低(如非裔美国人仅 3%),此时 IPW 估计量的有限样本行为可能很差。(扎根于第 6 节中"非概率样本显著过度代表某些人口群体"的观察。)

  5. 条件似然 vs 伪似然的效率比较:本文声称 CMLE 比 PMLE 更有效,但未给出理论上的效率比较(如渐近方差的解析表达式)。一个具体问题是:在 Logistic 倾向得分模型下,CMLE 和 PMLE 的渐近方差之差是否可以显式表达?(扎根于引言中"PMLE is consistent but not necessarily efficient"的表述。)

  6. 方差估计器的鲁棒性:所提出的方差估计器(公式 20-24)依赖于对 γ* 和 κ* 的估计,这些估计涉及矩阵求逆。当协变量高度相关或 Sample A 规模较小时,方差估计器是否稳定?(扎根于第 5 节中"GEC 在 n_A = 500 时效率略低于 IPW"的观察。)

提示:要确认上述问题是否为真 gap,建议去读近 5 年 Survey Methodology、JASA、JRSS-A 上关于非概率样本整合的论文(如 Wu 2022 的综述、Beaumont et al. 2024 的讨论),看是否已有工作解决了这些问题。特别是问题 1(半参数效率界)和问题 3(高维扩展),如果已有文献未解决,这两个方向可能值得深入。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论