跳转至

A Semiparametric Model Approach to Data Integration under Missing Not at Random

作者: Danhyang Lee, Kosuke Morikawa, Jae Kwang Kim
主题: 因果推断
相关性: 8/10
链接: https://arxiv.org/abs/2610.41937


一、领域脉络与小综述

  • 这个方向是什么:本文处理的是数据整合(data integration) 下的一个核心统计问题:如何利用一个概率样本(probability sample,观测协变量 X 但不观测结局 Y)和一个非概率样本(non-probability sample,同时观测 X 和 Y)来推断有限总体均值。根本困难在于非概率样本的选择机制(selection mechanism)未知,且可能依赖于结局本身(即 MNAR,Missing Not at Random)。该子方向的目标是在尽可能弱的假设下,利用工具变量(instrumental variable)等结构信息识别并估计总体均值,同时给出有效的推断(置信区间、假设检验)。当前成熟度:该领域已有大量基于 MAR(Missing At Random)假设的方法(如 mass imputation、calibration weighting),但放松 MAR 到 MNAR 的半参数方法仍处于活跃发展阶段,本文是这一前沿的一个具体推进。

  • 发展脉络(history):

    • 奠基工作:Rubin (1976) 提出了缺失数据机制的分类框架(MCAR/MAR/MNAR),为后续所有工作提供了概念基础。Cochran (1977) 和 Fuller (2011) 建立了基于概率抽样的有限总体推断理论,这是概率样本作为"基准"(reference)的根基。
    • 主要进展(MAR 时代):在 MAR 假设下,数据整合方法蓬勃发展。Kim et al. (2021) 提出了 mass imputation 方法,用非概率样本拟合结局模型,再对概率样本中的单位进行预测并加权平均。Chen et al. (2020, 2022) 发展了** doubly robust** 和 pseudo-likelihood 方法,这些方法在倾向 score 或结局模型之一正确时具有一致性。Chen and Haziza (2023) 进一步提出了 multiply robust 方法,对多个候选模型具有稳健性。这些方法的共同局限是假设选择机制在给定 X 后与 Y 独立(即 MAR)。
    • 当前 frontier(MNAR 时代):为突破 MAR 限制,近期工作引入工具变量。Kim and Tam (2021) 和 Kim and Morikawa (2023) 探讨了在非概率样本中使用工具变量处理不可忽略选择的参数方法。Miao et al. (2024) 建立了非可忽略缺失数据下基于"影子变量"(shadow variable,即本文的 X2)的非参数识别理论,证明了在工具变量排除约束和条件完备性下,选择模型和结局分布可被识别。本文的直接先驱是 Liu et al. (2026),他们提出了参数化的 pseudo-likelihood 方法,但假设协变量分量为线性。本文的位置:将 Liu et al. (2026) 的参数设定推广为半参数设定(协变量分量非参数化),并基于 Miao et al. (2024) 的识别条件,构建了具有 Neyman-正交性的估计方程,从而在更弱的假设下实现根号 N 推断。
  • 子线索聚类:被引文献大致落在三条子线索上:

    1. 基于 MAR 的数据整合方法:包括 mass imputation (Kim et al., 2021)、doubly robust 方法 (Chen et al., 2020)、multiply robust 方法 (Chen and Haziza, 2023)。这条线索的核心是假设选择可忽略,方法成熟,但无法处理选择依赖结局的情形。
    2. MNAR 下的参数模型方法:包括 Kim and Tam (2021)、Kim and Morikawa (2023) 和 Liu et al. (2026)。这条线索通过引入工具变量和参数化的选择模型(如 logistic)来处理 MNAR,但参数设定可能过于严格,存在模型误设风险。
    3. MNAR 下的非参数/半参数识别与估计:以 Miao et al. (2024) 为代表,建立了非参数识别理论。本文属于这一线索,但侧重于估计和推断,即在识别的基础上构造具体的、具有良好性质的估计量。
  • 这个方向在追问的核心问题(2-4 个):

    1. 识别问题:在非概率样本的选择机制未知且可能依赖结局时,仅凭可观测数据(X, Y in B; X in A),总体均值是否可被识别?需要什么样的额外假设(如工具变量、完备性条件)?
    2. 估计问题:在识别条件满足后,如何构造估计量?如何估计未知的协变量函数(如 g(x1))和倾斜参数 γ?估计量是否具有根号 N 一致性和渐近正态性?
    3. 推断问题:如何估计估计量的方差,从而构造置信区间?方差估计如何同时考虑抽样设计(概率样本)和选择机制(非概率样本)的随机性?
    4. 稳健性问题:当模型假设(如参数化的 g、线性倾斜)被违反时,估计量的表现如何?是否存在对某一类误设具有稳健性的估计量?
  • ⚠️ 作者的 framing(必须明确标注成"这是作者的说法"):

    • 作者把缺口 frame 成什么:作者在引言中指出,现有允许 MNAR 的方法(如 Liu et al. 2026)"rely on a parametric specification of the covariate component",而本文的目标是"relax this parametric assumption"(引言第 3 段)。因此,作者将本文定位为:在保持 MNAR 灵活性的同时,消除对协变量分量的参数依赖,从而提供一个更稳健、更通用的数据整合框架。作者认为,通过"profiling out"非参数分量 g 并构造正交方程,他们实现了这一目标,且代价(相对于正确指定的参数模型)仅是有限的效率损失。
    • 哪些竞争路线被他淡化或回避了:
      • 完全非参数识别与估计:作者引用了 Miao et al. (2024) 的识别理论,但本文的估计方法仍假设倾斜是标量线性的(即 logit 中为 g(x1) - γy)。作者在讨论中承认"the linear tilt assumption is a restriction"(第 7 节),但并未深入探讨如何放松这一假设(例如,允许 γ 依赖于 X1)。这暗示作者将"线性倾斜"视为一个合理的中间地带,而非最终答案。
      • 双重稳健性:作者的方法对协变量函数 g 的误设有稳健性(通过正交化),但不对倾斜模型的误设(如真实的 γ 不是常数)或工具变量无效具有稳健性。作者在数值实验中明确考察了"无效工具"和"倾斜误设"的后果,但将其视为方法的局限性而非需要解决的核心问题。
      • 贝叶斯或完全参数化方法:作者完全未提及贝叶斯方法,这暗示其目标受众是频率学派,且强调渐近理论(根号 N 推断)。
  • 张力:被引文献之间未见明显对立结论。但存在一个微妙的张力:Miao et al. (2024) 的识别理论是非参数的,暗示在理想情况下可以不依赖任何参数假设;而本文的估计方法为了获得根号 N 收敛速度,不得不引入参数假设(标量倾斜)。这种"识别可以非参数,但估计需要参数"的张力是该领域的普遍现象,本文并未试图解决,而是通过数值实验展示了在参数假设近似成立时的良好表现。

二、最核心、最简单的例子 / 数学问题

第一步:把符号、模型、可观测数据交代清楚

  • 有限总体与样本:
  • 有限总体 U = {1, ..., N},N 为总体大小。
  • 对每个单元 i,有结局变量 y_i(标量)和协变量向量 x_i = (x_{1i}, x_{2i}),其中 x_{1i} 是 p1 维,x_{2i} 是 p2 维。
  • 目标量(Estimand):有限总体均值 θ_N = N^{-1} Σ_{i=1}^N y_i。我们关注的是超总体均值 θ_0 = E(Y),并假设 θ_N → θ_0。
  • 概率样本 A:按已知抽样设计(如 SRSWOR)从 U 中抽取,观测到 x_i,但不观测 y_i。抽样指示为 I^A_i,已知包含概率 π^A_i,设计权重 d^A_i = 1/π^A_i。
  • 非概率样本 B:按未知机制从 U 中抽取,观测到 (x_i, y_i)。选择指示为 δ_i = I(i ∈ B)。B 的样本量 n_B 是随机的,且 E(n_B)/N → ρ_B ∈ (0,1)。

  • 选择模型(核心假设):

  • 非概率样本的选择概率由以下半参数 logistic 模型决定: P(δ = 1 | x_1, x_2, y) = expit{ g(x_1) - γ y } = 1 / [1 + exp{ -g(x_1) + γ y }]。
  • g(x_1):未知的、光滑的(Hölder 光滑度 s)函数,捕捉协变量 x_1 对选择的影响。这是非参数分量。
  • γ:标量参数,控制结局 y 对选择的依赖程度。γ = 0 对应 MAR(给定 x_1 后选择与 y 独立);γ ≠ 0 对应 MNAR。这是参数分量。
  • x_2:工具变量(instrumental variable),满足排除约束(exclusion restriction):给定 x_1 后,x_2 不直接影响选择概率,即 P(δ=1 | x_1, x_2, y) = P(δ=1 | x_1, y)。但 x_2 与 y 相关(相关性条件)。

  • 可观测数据:

  • 来自 A:{(x_i, I^A_i, d^A_i) : i ∈ A},即协变量和设计权重。
  • 来自 B:{(x_i, y_i, δ_i = 1) : i ∈ B},即协变量和结局。
  • 注意:没有任何单元同时观测到 y 和 I^A 下的抽样信息(即我们不知道概率样本中单元的 y 值)。

  • 关键识别条件:

  • 排除约束:P(δ=1 | x_1, x_2, y) = P(δ=1 | x_1, y)。
  • 条件完备性(conditional completeness):对于几乎所有的 x_1,分布 Y | X_1 = x_1, δ = 1 是完备的(即对任意函数 h,若 E[h(Y) | X_1=x_1, X_2, δ=1] = 0 对所有 x_2 成立,则 h = 0 a.s.)。这要求 x_2 对 y 有足够的"变化"。
  • 正性(positivity):选择概率有界远离 0 和 1。

第二步:讲最小内核

本文要解决的最核心、最简单的数学问题是:

如何利用一个"有偏"的样本(B)和一个"无偏但无结局"的样本(A),在结局依赖选择(MNAR)的情况下,估计总体均值 θ_0?

最小内核(一个简化但抓住本质的例子):

假设我们只有一个协变量 x_1(没有 x_2),并且我们错误地假设选择机制是 MAR(即 γ=0)。那么我们可以用 mass imputation: 1. 从 B 中估计回归函数 μ(x_1) = E(Y | X_1=x_1, δ=1)。 2. 对 A 中的每个单元,预测 \hat{μ}(x_{1i})。 3. 估计 θ 为 \hat{θ}{MI} = N^{-1} Σ{i∈A} d^A_i \hat{μ}(x_{1i})。

问题:如果真实机制是 MNAR(γ≠0),那么 B 中的样本是有偏的,μ(x_1) ≠ E(Y | X_1=x_1),因此 \hat{θ}_{MI} 是有偏的。

本文的核心思想(在最小内核下): 1. 引入工具变量 x_2:我们观测到 x_2,它影响 y 但不直接影响选择。这给了我们一个"额外的杠杆"。 2. 利用"倾斜"关系:在模型 (1) 下,可以证明(论文引理 S5)选择机制和总体分布被识别。关键在于,通过比较 B 中观测到的 y 分布和 A 中观测到的 x_1 分布,我们可以"反推"出倾斜参数 γ。 3. 构造正交方程:作者不直接估计 g(x_1),而是构造一个关于 γ 的估计方程,该方程对 g 的估计误差具有一阶不敏感性(Neyman 正交性)。这使得 γ 的估计可以达到根号 N 收敛速度,即使 g 的估计只有较慢的非参数收敛速度。 4. 估计均值:一旦得到 \hat{γ},就可以通过"倾斜"调整 B 中的样本,或者通过"去偏"的 mass imputation 来估计 θ_0。

为什么这个内核是"最小"的: - 它剥离了所有技术细节(核估计、交叉拟合、方差估计),只保留了核心的识别-估计逻辑。 - 它清楚地展示了本文的贡献:不是提出一个新的识别条件(那是 Miao et al. 2024 的工作),而是在给定识别条件下,如何构造一个可操作的、具有最优性质的估计量。 - 它揭示了本文的技术难点:如何同时处理非参数分量 g 和参数分量 γ,并保证 γ 的估计不受 g 的估计误差影响。这正是 Neyman 正交化和交叉拟合要解决的问题。

三、这篇论文做了什么

三句话: 1. 研究了什么问题:在概率样本与非概率样本整合的框架下,当非概率样本的选择机制依赖于结局(MNAR)时,如何利用工具变量和半参数模型,构造总体均值的根号 N 一致估计量并进行推断。 2. 核心工具/方法:提出了一个半参数 logistic 选择模型(非参数 g(x1) + 标量倾斜 γ),通过 Neyman 正交化 和 交叉拟合 构造关于 γ 和 θ 的估计方程,并给出线性化方差估计量。 3. 主要结论:在乘积率条件下,所提出的正交化 mass imputation 估计量是根号 N 一致且渐近正态的;模拟研究显示,它在协变量分量误设时具有稳健性,且对工具变量集的选择相对不敏感,但无法纠正无效工具或倾斜模型的误设。

关键设定与假设(在第二节基础上补全): - 模型:选择模型为 (1),即 logit 线性于 y,且协变量部分为非参数 g(x1)。结局模型未做参数假设,但通过倾斜关系 (2) 隐含了非参数形式。 - 识别条件:排除约束、条件完备性、正性(见第二节)。 - 正则条件: - (R1) 抽样机制:A 为概率样本(已知设计),B 为独立 Bernoulli 抽样,且 n_A/N → ρ_A, E(n_B)/N → ρ_B。 - (R2) 识别与根选择:γ_0 是估计方程的唯一分离根,且 Jacobian J ≠ 0。 - (R3) 尾部与矩条件:结局和协变量有界矩,逆概率有界。 - (R4) nuisance 收敛速率:所有 nuisance 估计(g, m, μ1, μ0, ξ, ag)的加权 L2 误差为 o_p(N^{-1/4})。 - (R5) 二阶余项条件:population 层面的二阶余项可被 nuisance 误差的平方控制。 - (R6) 交叉拟合条件:fold 划分、训练/评估独立、条件矩有界。 - (R7) 额外条件(仅用于 plain 估计量的偏差展开):fold-wise 积分线性化成立。 - (R8) 局部可微性:估计方程和均值泛函在 γ_0 附近可微。 - (R9) 联合 CLT:oracle 线性化变量满足联合中心极限定理。 - (R10) 方差估计一致性:设计方差估计量和 Bernoulli 方差估计量一致。 - 相比已有工作的变化: - 放宽:相比 Liu et al. (2026) 的参数 g,本文允许 g 为非参数,更灵活。 - 强化:相比 Kim and Morikawa (2023) 的经验似然方法,本文明确要求 Neyman 正交性和交叉拟合,以获得更清晰的渐近理论。

主要结果: - 定理 1(联合推断):在 (R1)-(R6) 和 (R8)-(R10) 下,\hat{γ} 和 \hat{θ}{MI,⊥} 是联合根号 N 渐近正态的。给出了 \hat{γ} 的展开式 (20) 和 \hat{θ}{MI,⊥} 的展开式 (21),其中影响函数 φ^F_{MI,⊥,i} 由 (22) 给出。关键点是,由于正交性,nuisance 估计的一阶效应被消除,剩下的余项是 o_p(N^{-1/2})。 - 命题 1(正交性):证明了倾斜 score 和均值 score 对 nuisance 参数的 Gateaux 导数为零。这是整个方法的基石。 - 定理 S1-S2(plain 估计量的偏差):给出了 plain IPW 和 plain MI 估计量的偏差展开式,表明它们存在一阶平滑偏差 B_{IPW,N} 和 B_{MI,N},这些偏差不会消失,因此需要偏差修正或使用正交化版本。

证明路线与技术技巧: - 整体路线: 1. 识别:利用条件完备性证明 (g_0, γ_0) 被识别(引理 S5)。 2. 构造正交 score:从 profile 似然出发,推导出 naive score (8),然后通过分析其 Gateaux 导数,发现它对 g 和 m 的估计敏感。作者通过添加两个修正项(\hat{φ} 和 \hat{ψ})构造出正交 score (9),使得其一阶导数在 nuisance 方向上为零。 3. 交叉拟合:将数据分成 K 折,每折的 nuisance 用其他折训练,本折评估 score。这避免了 Donsker 类条件,只要求较弱的矩条件。 4. 渐近展开:利用正交性和交叉拟合,将估计误差分解为 oracle 线性项 + 二阶余项。通过 (R4) 和 (R5) 控制余项为 o_p(N^{-1/2})。 5. 方差估计:利用影响函数的条件独立性,将方差分解为 A 样本和 B 样本两部分,分别用设计方差公式和 Bernoulli 方差公式估计。 - 关键跳跃点: - 如何找到正交修正项:这是最核心的技术难点。作者通过计算 naive score 对 nuisance 的导数,发现其形式为 E[ξ(x1) * (I^A d^A - δ exp{γy - g})] 和 E[δ c(y,x) * (exp{γy} - exp{m})] 等。通过巧妙地定义 ξ 和 ag,使得这些导数的期望为零。这需要非常细致的泛函分析计算。 - 如何处理非参数 g 的估计误差:g 出现在指数项 exp{-g} 中,其估计误差会通过非线性方式传播。作者通过"profile"恒等式 (4) 将 g 的导数转化为 m 的导数,并利用正交性将其消除。 - 如何证明交叉拟合后的余项可忽略:这需要仔细的 U-statistic 型分解和矩条件。作者在引理 S2 中给出了关键证明。 - 技术技巧点名: - Neyman 正交化:核心技巧,用于消除 nuisance 估计的一阶影响。 - 交叉拟合:用于放宽对 nuisance 估计的复杂性条件,使理论适用于现代机器学习方法。 - Gateaux 导数:用于计算 score 对 nuisance 的敏感性,指导正交化修正项的设计。 - 影响函数 / 线性化:用于推导渐近方差和构造置信区间。 - U-statistic 分解:用于处理交叉拟合带来的相关性。 - 核平滑:用于估计非参数函数 g, m, μ1, μ0 等。

真实例子与应用: - 合成数据模拟(第 5 节):设计了三种 MNAR 场景(MNAR-I、II、III),其中 g 和结局模型有不同的线性/非线性组合。比较了 naive mean、CLW (MAR-based)、PML (参数化 pseudo-likelihood)、OP.ipw、OP.mi、OP.mi⊥。结果显示,在正确设定下,PML 效率最高,但 OP.mi⊥ 在模型误设时表现更稳健。 - 基于韩国国民健康体检数据的模拟(第 6 节):使用 50,000 条真实记录作为有限总体,结局为 log(甘油三酯),协变量包括性别、年龄、血红蛋白、总胆固醇、高密度脂蛋白。模拟了不同的选择机制(M1、M2)和工具变量集(S1-S4)。结果显示,OP.mi⊥ 在基准工具集下偏差小,但 RMSE 高于 PML;在不同工具集间估计更稳定;弱工具(S4)会损害精度和覆盖率。这个例子说明:方法的灵活性(非参数 g)在真实数据分布下是有价值的,但工具变量的质量至关重要。

🔎 结论是否比证明窄: - 是的,存在明显的"窄结论": 1. 线性倾斜假设:定理 1 的证明严格依赖于选择模型 (1) 中结局以线性形式进入 logit。作者在结论中承认"the linear tilt assumption is a restriction"(第 7 节),但并未给出任何关于非线性倾斜的扩展或反例。因此,"根号 N 推断"的结论严格局限于线性倾斜模型。 2. 标量倾斜参数:γ 被假设为标量,即结局对选择的影响在所有协变量水平下是常数。如果真实机制是 γ 依赖于 x1(例如,高 x1 的人更可能因高 y 而被选择),则模型误设,定理 1 不适用。作者在模拟中考察了"倾斜误设"(NONLIN-Y),但仅作为数值观察,没有理论保证。 3. 条件完备性:这是一个不可检验的假设。作者在引理 S5 中证明了它是充分条件,但未讨论如果它失败会怎样。在 S4 中,作者指出离散工具变量无法满足完备性,但并未给出在这种情况下估计量表现的理论边界。 4. nuisance 估计的具体形式:定理 1 的证明依赖于核估计的具体形式(引理 S3)。作者在结论中提到"more flexible nuisance learners"是未来工作,但并未证明正交性对任意机器学习方法都成立。因此,"对 nuisance 估计稳健"的结论目前只对核估计严格成立。

四、开放问题

  1. 非线性倾斜的识别与估计:本文的核心假设是 logit 中结局为线性倾斜(标量 γ)。一个直接的开放问题是:当倾斜参数是 x1 的未知函数 γ(x1) 时,模型是否仍然可识别?如果可识别,如何构造正交估计方程?这需要比标量情形更复杂的泛函分析工具。扎根于:第 7 节 "the linear tilt assumption is a restriction"。
  2. 条件完备性的检验与替代:完备性是一个强假设,且在实践中难以验证。一个开放问题是:是否存在可检验的、比完备性更弱的充分条件?或者,当完备性失败时,能否给出估计量的偏误边界(部分识别)?扎根于:第 2.2 节 "Assume also that ... conditional completeness" 和 S4 对离散工具的讨论。
  3. 更灵活的 nuisance 学习器:本文的理论要求 nuisance 估计满足特定的乘积率条件。一个开放问题是:如何将正交估计框架与更现代的机器学习方法(如随机森林、深度神经网络)结合,并保持根号 N 推断的有效性?这可能需要新的理论工具,如"double machine learning"框架的扩展。扎根于:第 7 节 "more flexible nuisance learners"。
  4. 工具变量的选择与诊断:模拟显示工具变量的质量(相关性)对估计精度影响很大。一个开放问题是:如何从数据中诊断工具变量的强弱?是否存在一个类似于"F 统计量"的准则来指导 X2 的选择?扎根于:第 6.3 节对弱工具(S4)的讨论。
  5. 有限样本偏差与稳健方差估计:模拟中观察到,在弱工具或倾斜误设时,覆盖率下降。一个开放问题是:是否存在针对这些情况的有限样本修正或更稳健的方差估计量(如 bootstrap)?扎根于:第 6.3 节覆盖率 91.3% 的结果。

提醒:要确认上述问题是否是真 gap,建议去读近 5 年(2021-2026)关于"nonignorable missing data"、"shadow variable"、"data integration"的顶刊论文(如 JRSS-B, AoS, JASA)的引言和讨论部分。如果多个独立团队都在引言中把"非线性倾斜"或"机器学习 nuisance"列为 future work,那它们就是共识性的真 gap;如果只有本文提到,则需要谨慎。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论