跳转至

A comparison of missing data approaches for linear regression with missing not at random outcome and predictors

作者: Tetiana Gorbach, Tim P Morris, James R Carpenter
来源: Statistical Methods in Medical Research
主题: 因果推断
相关性: 7/10
机构绿灯: UCL(US News 前 50,免分进入精读)
链接: https://doi.org/10.1177/09622802261458074


一、领域脉络与小综述

这个方向是什么

本文属于缺失数据分析这一成熟子领域,具体聚焦于线性回归中结果变量与预测变量同时存在非随机缺失(MNAR)时的估计与推断问题。其根本科学问题是:当缺失机制依赖于未观测到的数据值(例如,健康状况较差的人更可能退出纵向研究,导致其后续记忆评分和脑容量测量同时缺失)时,如何对回归系数进行可靠的估计与敏感性分析。该领域的核心挑战在于,MNAR 机制下缺失数据的分布无法仅由观测数据识别,必须引入额外的、通常不可验证的假设(如选择模型中的误差相关性 ρ,或模式混合模型中的偏移参数 δ),因此方法比较的核心维度是:在不同数据生成机制下,各方法对假设偏离的稳健性如何。

发展脉络(history)

  • 奠基工作:Rubin (1976) 提出的缺失机制分类学(MCAR/MAR/MNAR)是整个领域的理论基础,其核心洞见是:当数据 MAR 且参数可分离时,基于观测数据的似然推断等价于完整数据推断(Little & Rubin 教科书第 6.2 章)。这一框架为后续所有方法提供了"基准假设"——MAR 是多数标准方法(如多重插补)的默认前提。
  • Heckman 选择模型(1979):这是处理 MNAR 结果的经典计量经济学工具。它通过显式建模结果方程与缺失指示方程的联合分布(假设二元正态误差),利用误差相关性 ρ 刻画缺失对结果的依赖。本文将其作为"选择模型家族"的代表,并指出其原始形式假设预测变量完全观测。
  • MNAR 多重插补的扩展:Galimard et al. (2016, 2018) 将 Heckman 模型嵌入多重插补框架(MI HE),使得在插补阶段即可利用选择模型结构。同期,Leacy (2016) 与 Tompsett et al. (2018) 提出 NARFCS,属于模式混合模型的 FCS 实现,通过引入偏移参数 δ 调整 MAR 插补模型,使插补分布反映 MNAR 假设。
  • 较新的方法:Beesley & Taylor (2021) 提出插补堆叠(imputation stacking),通过重要性采样加权调整 MAR 插补结果;Jolani & van Buuren (2024) 提出随机指示符插补(random indicator imputation),将缺失指示符作为随机变量纳入插补模型。这两者代表了"无需显式指定选择模型"的 MNAR 处理思路。
  • 本文位置:作者指出,上述方法大多在"结果 MNAR、预测变量完全观测"或"预测变量 MNAR、结果完全观测"的设定下被评估。本文首次系统性地在结果与预测变量同时 MNAR(且缺失机制可能同时依赖两者)的设定下,对上述所有方法进行统一模拟比较,填补了方法评估上的空白。

子线索聚类

  1. 选择模型家族(基于 P(V, R) = P(V)P(R|V) 分解):
  2. ML HE(Heckman 最大似然估计)
  3. MI HE(Heckman 模型多重插补)
  4. UI(不确定性区间,Genbäck et al. 2015) 共同点:需要指定结果方程与选择方程的联合分布,依赖二元正态误差假设;识别依赖于误差相关性 ρ。
  5. 模式混合模型家族(基于 P(V, R) = P(R)P(V|R) 分解):
  6. MI NARFCS(含偏移参数 δ 的 FCS 插补) 共同点:直接对给定缺失模式的条件分布建模,通过 δ 参数表达 MNAR 偏离程度;δ 不可识别,需敏感性分析。
  7. 加权/重采样方法:
  8. MI Stacking(重要性采样加权)
  9. MI RI(随机指示符) 共同点:不显式建模缺失机制,而是通过加权或引入指示符变量来近似 MNAR 分布;实现相对简单,但理论性质(如一致性、效率)尚不清晰。

核心问题

  1. 识别问题:MNAR 下回归系数是否可识别?需要哪些额外假设(如排除限制、误差分布假设、δ 参数设定)?
  2. 稳健性问题:当数据生成机制与方法的假设不匹配时(如真实机制是模式混合但方法假设选择模型),各方法的偏差和覆盖率表现如何?
  3. 实用性问题:在多元 MNAR(多个变量同时缺失)下,哪些方法实现可行、计算稳定、且对用户指定的敏感性参数不过度敏感?

⚠️ 作者的 framing(这是作者的说法)

作者将缺口 frame 为:"现有方法评估大多假设预测变量完全观测,而真实纵向研究中结果与预测变量常同时缺失;因此需要系统比较各方法在此更现实设定下的表现。" 这一 framing 使得本文成为"显然的下一步"——即对已有方法在更复杂缺失模式下的统一基准测试。作者淡化的竞争路线包括:基于贝叶斯全概率建模的方法(如模式混合模型的完整 MCMC 实现)和双重稳健估计,这些方法在理论深度上可能更强,但实现复杂度高,作者未将其纳入比较。什么明显该被引却没出现:作者未引用 Little (1993) 模式混合模型的原始论文,也未引用 Daniels & Hogan (2008) 关于 MNAR 敏感性分析的系统性专著(仅在讨论部分提及),这可能是为了控制篇幅,但读者若想深入模式混合模型的理论基础,需自行查阅。

张力

未见明显对立引用。各方法在各自假设下均有一致性结果,本文的价值恰恰在于揭示假设偏离时各方法的相对表现差异,而非方法间的理论矛盾。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

  • 符号:
  • \(Y\):结果变量(部分观测,连续)
  • \(X\):预测变量(部分观测,连续)
  • \(Z = (Z_1, Z_2)\):完全观测的协变量向量
  • \(R_Y, R_X\):响应指示符(1 = 观测,0 = 缺失)
  • \(\beta = (\beta_0, \beta_x, \beta_z)\):目标参数(estimand),线性回归系数
  • \(\rho\):Heckman 模型中结果方程与选择方程误差的相关系数(敏感性参数,不可识别)
  • \(\delta\):NARFCS 中的偏移参数(敏感性参数,不可识别)
  • \(\gamma\):选择方程中的系数向量(辅助参数)
  • \(n\):样本量(本文模拟中 n = 1000)
  • \(K\):插补次数(本文用 K = 20)

  • 模型(分析模型,即研究者关心的模型):

    \[E(Y|X, Z) = \beta_0 + \beta_x X + \beta_z Z_1\]
    注意:\(Z_2\) 只出现在缺失机制中,不出现在分析模型中(排除限制变量)。

  • 可观测数据:\((Y_i, X_i, Z_{1i}, Z_{2i}, R_{Yi}, R_{Xi})\) 对 \(i = 1, \dots, n\)。关键点是:当 \(R_{Yi} = 0\) 时 \(Y_i\) 不可观测;当 \(R_{Xi} = 0\) 时 \(X_i\) 不可观测。不可观测的是:缺失的 \(Y_i\)、缺失的 \(X_i\),以及决定缺失机制的潜在变量(如 Heckman 模型中的 \(R^*\))。

第二步:最小内核

问题:假设我们想估计 \(\beta_x\)(X 对 Y 的效应),但 X 和 Y 都有缺失,且缺失概率同时依赖于 X 和 Y 本身的值(MNAR)。我们只有完全观测的 Z 可用。

最简特例:考虑只有一个预测变量 X(无 Z),且缺失机制为:

\[P(R_Y = 0 | X, Y) = \text{logit}^{-1}(\gamma_0 + \gamma_x X + \gamma_y Y)\]
即 Y 缺失的概率依赖于未观测的 Y 值本身(若 \(\gamma_y \neq 0\),则 MNAR)。X 的缺失机制类似。

核心困难:如果我们只用完整观测的个案(complete-case analysis),当缺失依赖于 Y 时,回归系数的估计会有偏。如果我们用 MAR 假设下的多重插补(MI MAR),插补模型无法捕捉缺失对 Y 本身的依赖,同样有偏。要纠正这种偏差,必须引入一个不可识别的参数(如 \(\rho\) 或 \(\delta\)),它刻画了"缺失的 Y 与观测的 Y 在条件分布上的系统性差异"。

本文的最小内核命题:在结果与预测变量同时 MNAR 的设定下,没有任何一个方法能在所有数据生成机制下同时实现无偏估计和名义覆盖率。方法的相对表现取决于:(a) 真实缺失机制属于选择模型还是模式混合模型;(b) 用户设定的敏感性参数是否接近真实值;(c) 缺失模式是单调还是非单调。

为什么这个命题非平凡:因为每个方法都隐含地对缺失机制做了某种假设。选择模型方法(ML HE, MI HE, UI)假设缺失机制可以用一个潜变量 \(R^*\) 和误差相关性 \(\rho\) 刻画;模式混合方法(NARFCS)假设缺失与观测数据的差异可以用偏移参数 \(\delta\) 表达;加权方法(Stacking, RI)则假设可以通过重要性权重或指示符变量来近似 MNAR 分布。当真实机制与假设匹配时,方法有效;不匹配时,偏差的大小取决于假设偏离的程度。本文的模拟设计正是系统地变化真实机制(选择模型 vs. 模式混合模型 vs. 逻辑回归模型)和参数值(\(\gamma_x, \gamma_y, \rho\)),来刻画这种"假设-机制"匹配关系。

证明/验证思路:由于这是模拟研究,核心逻辑是对照实验:固定分析模型(线性回归),变化数据生成机制(3 类 × 多种参数组合),对每个机制运行所有方法,比较偏差、覆盖率、均方误差。关键设计决策包括:(1) 用 1000 次重复保证蒙特卡洛误差足够小;(2) 同时报告偏差和覆盖率,因为低偏差可能伴随低估的标准误(如 MI RI 的表现);(3) 在敏感性分析中,对 NARFCS 和 Stacking 使用"全数据估计"和"用户指定"两种参数设定方式,以区分参数设定误差与方法本身的优劣。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在线性回归中,当结果变量和预测变量同时存在非随机缺失(MNAR)时,比较多种缺失数据处理方法的有限样本表现。
  2. 核心工具/方法:通过大规模模拟研究(1000 次重复,n=1000),系统比较了完整案例分析(CC)、MAR 假设下的多重插补(MI MAR)、Heckman 选择模型最大似然估计(ML HE)、不确定性区间(UI)、Heckman 模型多重插补(MI HE)、非随机完全条件设定(NARFCS)、插补堆叠(MI Stacking)和随机指示符插补(MI RI)共 8 种方法。
  3. 主要结论:没有任何方法在所有场景下一致地产生无偏估计和名义覆盖率;NARFCS 在敏感性参数接近真实值时表现稳健且实现简单;MI RI 偏差大且方差估计不可靠;方法选择应基于对缺失机制的领域知识,并辅以多假设敏感性分析。

关键设定与假设

  • 分析模型:\(E(Y|X, Z_1) = \beta_0 + \beta_x X + \beta_z Z_1\),目标参数 \(\beta_x = 0.5\)。
  • 数据生成机制(三类):
  • Heckman 选择模型:\(R = I(\gamma_x X - Z_1 + Z_2 + \varepsilon_r > 0)\),误差 \((\varepsilon_r, \varepsilon_y)\) 二元正态,相关系数 \(\rho \in \{0, 0.3, 0.6\}\)。\(\rho = 0\) 时 MAR,否则 MNAR。
  • 逻辑回归选择模型:\(\text{logit}(P(R=1)) = \gamma_x X + \gamma_y Y - Z_1 + Z_2\),\(\gamma_x, \gamma_y \in \{0, \pm 0.5\}\)。
  • 模式混合模型:Y 的分布条件于缺失模式 R 有偏移(如 \(E(Y|X, Z, R=0) = E(Y|X, Z, R=1) + \delta\))。
  • 缺失模式:模拟 1 为单调缺失(X 和 Y 同时缺失,如纵向研究中的共同退出);模拟 2 为非单调缺失(X 和 Y 独立缺失,产生四种缺失模式)。
  • 方法实现假设:
  • ML HE 和 UI 要求选择模型中不含缺失的 X(因此 X 被排除在缺失机制之外,或使用完整观测的 X 子样本)。
  • MI HE 通过 FCS 迭代插补 X 和 Y,其中 Y 的插补模型为 Heckman 结构。
  • NARFCS 需要用户指定偏移参数 δ;本文用"全数据估计"(不可实现,作为理想基准)和"用户猜测"两种方式。
  • MI Stacking 需要用户指定权重函数中的参数(如 \(\gamma\));本文同样用"全数据估计"和"用户指定"两种方式。
  • MI RI 假设缺失指示符服从逻辑回归,无需用户指定参数。

主要结果

  • 模拟 1(单调缺失):
  • 当真实机制为 Heckman 模型且 \(\rho = 0.3\)(与 UI 假设一致)时,UI 和 ML HE 表现良好,覆盖率接近名义水平。
  • 当真实机制为逻辑回归模型时,所有选择模型方法(ML HE, UI, MI HE)因选择模型设定错误而出现偏差;NARFCS 在 δ 设定正确时表现最好。
  • MI RI 在所有 MNAR 场景下偏差最大,且标准误严重低估(覆盖率远低于名义水平)。
  • MI MAR 在缺失机制依赖 X 但不依赖 Y 时表现良好,但在缺失依赖 Y 时偏差明显。
  • 模拟 2(非单调缺失):
  • 方法表现对缺失模式敏感。NARFCS 和 MI Stacking 在非单调缺失下需要为每种缺失模式分别设定参数,实现复杂度显著增加。
  • MI HE 在非单调缺失下表现优于单调缺失,因为 FCS 允许 X 和 Y 的插补模型分别设定。
  • 没有任何方法在"缺失同时依赖 X 和 Y"且"选择模型设定错误"时能保持名义覆盖率。
  • 实证研究(Betula 数据):记忆变化与海马体灰质体积变化的关系在所有方法下均显著为正,但效应量估计在方法间有差异(CC 估计最小,MI RI 估计最大)。敏感性分析显示,结论对缺失机制假设的依赖有限,增强了该关联的证据强度。

证明路线与技术技巧

本文是模拟研究,无理论证明,其"证明"在于模拟设计的系统性和结果呈现的完整性:

  • 模拟设计:覆盖 3 类数据生成机制 × 多种参数组合 × 2 种缺失模式,确保结论不是特定设定下的偶然现象。
  • 性能指标:同时报告偏差、经验标准误、模型标准误、均方根误差和 95% 置信区间覆盖率,区分"点估计偏差"与"方差估计偏差"两类问题。
  • 实现细节:所有方法均使用 R 实现,MI 方法用 20 次插补、10 次迭代;ML HE 使用 sampleSelection 包;UI 使用 ui 包;NARFCS 和 Stacking 的敏感性参数设定区分"全数据估计"(理想基准)和"用户指定"(实际场景),以分离参数设定误差与方法本身的问题。
  • 结果呈现:用图形(图 3-5)展示覆盖率,用表格(表 S3-S20)展示详细数值,便于读者自行验证。

🔎 结论是否比证明窄

  • 是。作者在摘要和结论中声称"NARFCS 在敏感性参数接近真值时表现良好",但这一结论仅基于模拟中"全数据估计"δ 的场景;在实际应用中,用户无法知道真值,而"用户猜测"δ 的场景下 NARFCS 表现并不稳定(覆盖率可能远低于名义水平)。作者在讨论中承认了这一点,但摘要中的表述可能让读者高估 NARFCS 的实用性。
  • 是。作者声称"MI RI 应被排除在方法选择之外",但该结论基于 MI RI 的特定实现(逻辑回归缺失模型 + 正态插补模型)。MI RI 的变体(如使用更灵活的缺失模型)可能表现更好,作者未对此进行讨论。
  • 是。作者在结论中建议"进行多假设敏感性分析",但未提供具体的操作指南(如如何选择敏感性参数的范围、如何综合多个分析的结果),这超出了模拟研究的范围,但读者可能期待更多实用建议。

四、开放问题

  1. 理论性质缺失:本文是纯模拟研究,未提供任何方法的理论性质(一致性、渐近正态性、半参数效率界)。例如,MI Stacking 在权重函数正确设定时的估计效率如何?NARFCS 的 δ 参数与选择模型的 ρ 参数之间是否存在映射关系?这些问题的回答需要理论分析,是后续研究的方向。(扎根于:作者在讨论中承认"the theoretical properties of the methods under misspecification remain unclear")

  2. 高维扩展:本文所有模拟均使用低维设定(少量预测变量)。当预测变量维度 p 接近或超过样本量 n 时,Heckman 选择模型的 MLE 可能不稳定,NARFCS 的 FCS 算法可能不收敛。高维 MNAR 下的方法表现是未探索的领域。(扎根于:作者在讨论中提到"future research should evaluate the methods in higher-dimensional settings")

  3. 非单调缺失下的参数设定:模拟 2 显示,非单调缺失下 NARFCS 和 Stacking 需要为每种缺失模式分别设定参数,但作者未提供如何在实际中确定这些参数的策略。开发一种数据驱动的敏感性参数选择方法(如基于校准或交叉验证)是实际应用中的迫切需求。(扎根于:作者在讨论中指出"the specification of sensitivity parameters becomes increasingly complex with the number of missing variables")

  4. 与因果推断的衔接:本文聚焦于回归系数的估计,但 MNAR 问题在因果推断中同样关键(例如,潜在结果框架下的处理效应估计)。将本文的方法比较扩展到因果参数(如 ATE、ATT)的估计,并考虑混杂因素存在的情况,是自然的延伸。(扎根于:作者在引言中提到"our motivating example is the relationship between brain and cognitive changes",但未使用因果语言)

  5. 计算效率:MI HE 在模拟中计算时间最长(作者在讨论中提到),而实际应用中可能需要处理更大规模的数据。开发更高效的 Heckman 模型估计或插补算法(如利用 EM 的闭式更新)是工程上的开放问题。(扎根于:作者在讨论中提及"MI HE had the longest computation time among all considered methods")


提示:若要确认上述开放问题是否为真 gap,建议查阅近 5 年(2021-2026)发表在 Journal of the American Statistical Association、Biometrika、Statistical Methods in Medical Research 上关于 MNAR 缺失数据方法的论文,看是否已有研究触及这些问题。特别是,关于高维 MNAR 和因果推断中 MNAR 的论文近年来逐渐增多,值得关注。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论