跳转至

Comparing Missing Data Methods for Estimating Average Treatment Effects Under Time-Varying Confounding: A Simulation Study

作者: Ben Swallow, Lars Brestrich, Victor Velasco-Pardo
主题: 因果推断
相关性: 8/10
链接: https://arxiv.org/abs/2607.17775

一、领域脉络与小综述

这个方向是什么

本文研究的子方向是：在纵向（时变混杂）因果推断中，当处理变量或结果变量存在缺失数据时，如何选择缺失数据处理方法以准确估计平均处理效应（ATE）。该方向处于“应用导向的方法比较”阶段——已有大量关于缺失数据处理方法的理论（Little & Rubin 2002）和模拟比较（Crowe et al. 2010; Choi et al. 2019），但同时变化缺失机制、缺失率、缺失位置、混杂强度和样本量，并明确联系到可识别性条件（交换性、阳性、一致性）违反的研究极少。本文正是填补这一空白。

发展脉络（history）

  • 奠基工作：Little & Rubin (2002) 系统建立了缺失数据分类（MCAR/MAR/MNAR）和处理方法（CCA、单一插补、多重插补）的理论框架；Rosenbaum & Rubin (1983) 提出倾向得分加权作为混杂调整的核心工具。这两者构成了本文的方法论基础。
  • 主要进展：Van Buuren & Groothuis-Oudshoorn (2011) 开发了MICE软件包，使多重插补在R中广泛可用；Crowe et al. (2010) 模拟比较了基线混杂下缺失数据的插补方法，发现多重插补优于均值插补；Choi et al. (2019) 在倾向得分分析中比较了CCA、缺失指示法、多重插补等，发现CCA在无效应修饰时有效，但多重插补在MAR下更好；Rubright et al. (2014) 发现多重插补始终优于列表删除，且缺失位置影响不大。
  • 当前frontier：Yang et al. (2019) 提出了MNAR下混杂缺失的因果识别框架（非参数两阶段最小二乘）；Desai et al. (2024) 开发了模拟偏倚分析来评估未测量混杂的影响；Ge et al. (2023) 比较了二分类变量的多种插补方法（包括机器学习方法），发现缺失机制和变量分布是主要驱动因素。
  • 本文的位置：作者在引言中明确指出：“None of these studies, however, jointly varies missingness mechanism, missing rate, missingness location, confounding strength and sample size, or explicitly links performance to violations of the underlying identifiability conditions.” 本文通过全因子模拟设计（48种情景×500次重复）系统填补了这一缺口。

子线索聚类

这些被引文献大致落在三条子线索上： 1. 缺失数据处理方法比较（Crowe 2010, Rubright 2014, Choi 2019, Ge 2023）：在特定设定（如基线混杂、横截面数据）下比较CCA、单一插补、多重插补等，结论多为MICE最优，但缺乏时变混杂和多种参数联合变化。 2. 缺失数据生成方法学（Zhang 2023）：专门讨论如何生成MCAR/MAR/MNAR缺失数据，本文直接采用了其推荐的“单截断法”（single cutoff method）来生成MAR。 3. 因果推断中的识别条件与缺失数据（Hernán & Robins 2021, Yang 2019, Desai 2024）：讨论交换性、阳性、一致性在缺失数据下的违反，以及MNAR下的识别策略。本文通过记录极端倾向得分来近似阳性违反，并讨论交换性违反。

这个方向在追问的核心问题（2-4个）

  1. 在时变混杂下，不同缺失数据处理方法对ATE估计的偏差、覆盖率和标准误有何影响？ 已有研究多聚焦于横截面或基线混杂。
  2. 缺失机制（MCAR/MAR/MNAR）、缺失率、缺失位置（处理 vs. 结果）、混杂强度和样本量如何交互影响性能？ 这是本文的独特贡献。
  3. 缺失数据如何影响因果推断的可识别性条件（尤其是阳性假设）？ 本文通过极端倾向得分比例来量化。
  4. 在MNAR下，多重插补是否仍能保持合理性能？ 已有理论认为MNAR需要显式建模，但本文发现MICE在MNAR下仍能维持较高覆盖率（通过膨胀标准误）。

⚠️ 作者的framing

作者将缺口frame为：“few studies have examined how imputation methods perform under time-varying confounding in binary variables, or how missingness mechanism, missing rate, missingness location and sample size jointly affect performance and the underlying identifiability conditions.” 因此本文的“显然下一步”是：在一个时变混杂的纵向数据生成过程（基于真实人群分布）上，进行全因子模拟，并明确记录阳性违反。作者淡化了以下竞争路线： - g-methods（g-computation、IPTW、g-estimation） 本身如何处理缺失数据？本文仅使用IPTW，未比较g-computation或doubly robust方法。 - Proximal causal inference 或 工具变量法 在缺失数据下的表现未被提及。 - 机器学习插补方法（如随机森林、神经网络）被Ge et al. (2023) 比较过，但本文仅使用传统统计方法（MICE、热卡、众数、CCA）。

什么明显该被引/该存在、却没出现在intro里？ 本文未引用任何关于时变混杂下缺失数据的专门理论（如Robins的“sequential ignorability with missingness”或“inverse probability weighting for dropout”）。此外，多重插补的渐近理论（如Rubin's rules的有限样本性质）也未涉及。这些可能是研究者值得去查的缺口。

张力

未见明显对立引用。各研究结论基本一致：多重插补通常优于简单方法，但性能高度依赖设定。本文与Rubright et al. (2014) 在“缺失位置影响”上略有分歧：Rubright认为缺失位置影响不大，而本文发现缺失位置（处理 vs. 结果）在高度偏斜分布下影响显著。作者将此归因于变量分布差异。

二、最核心、最简单的例子 / 数学问题

第一步：符号、模型、可观测数据交代清楚

符号： - \(A_k\)：第 \(k\) 个时间点的二元处理变量（\(k=0,1,2\)），\(A_k \in \{0,1\}\)。 - \(Y_k\)：第 \(k\) 个时间点的二元结果变量（\(k=0,1,2,3\)），\(Y_k \in \{0,1\}\)。注意 \(Y_0\) 为基线结果，\(Y_3\) 为最终结果。 - \(Z\)：基线混杂向量，包含四个变量：合并症数量（有序分类）、年龄组（分类）、区域剥夺指数（分类）、性别（二元）。 - \(\rho\)：混杂强度，控制 \(Z\) 与 \(A_k\)、\(Y_k\) 的关联程度（通过逻辑回归系数设定）。 - \(n\)：样本量（1000 或 5000）。 - estimand：平均处理效应（ATE）\(\tau = \mathbb{E}[Y_3(1) - Y_3(0)]\)，其中 \(Y_3(a)\) 是如果所有个体在时间点2接受处理 \(a\) 时的潜在结果。本文实际估计的是 \(A_1\) 和 \(A_2\) 的ATE（分别对应第一个和第二个处理时间点的效应），但报告时以 \(A_1\) 为主。 - 可观测数据：每个个体有完整的 \((A_0, A_1, A_2, Y_0, Y_1, Y_2, Y_3, Z)\)，但经过缺失生成后，部分个体的 \(A_1, A_2\) 或 \(Y_1, Y_2\) 被设为缺失（NA）。注意 \(A_0, Y_0, Y_3, Z\) 始终完全观测。 - 潜在/不可观测：潜在结果 \(Y_3(1), Y_3(0)\) 不可观测；缺失值本身（如 \(A_1\) 的真实值）在缺失后不可观测。

模型： 数据生成过程基于Velasco-Pardo et al. (2026) 的纵向结构方程模型（图1 DAG）： - 每个时间点 \(k\)，处理 \(A_k\) 由前一期结果 \(Y_k\)、前一期处理 \(A_{k-1}\) 和混杂 \(Z\) 通过逻辑回归生成。 - 结果 \(Y_{k+1}\) 由当前处理 \(A_k\)、前一期结果 \(Y_k\) 和混杂 \(Z\) 通过逻辑回归生成。 - 系数由真实人群数据（CPRD Aurum）校准，使得边际分布接近实际（表1：结果变量高度偏斜，约92-97%为1）。 - 缺失机制：MCAR（随机删除）、MAR（缺失依赖于完全观测的变量，如 \(Z\) 或 \(A_0\)）、MNAR（缺失依赖于自身真实值）。具体实现采用Zhang (2023) 的单截断法。

可观测数据： 研究者实际能观测到的是：每个个体在缺失生成后的数据集，包含部分缺失的 \(A_1, A_2, Y_1, Y_2\)，其余变量完整。缺失模式由场景参数决定（缺失机制、缺失率、缺失位置）。研究者需要从这些不完整数据中估计ATE。

第二步：最小内核

本文的核心是模拟比较，而非理论证明。其最小内核可以剥离为以下最简特例：

最简特例：假设只有一个时间点（\(k=0\)），即横截面设定：处理 \(A\)，结果 \(Y\)，混杂 \(Z\)。ATE = \(\mathbb{E}[Y(1)-Y(0)]\)。缺失发生在 \(A\) 或 \(Y\) 上（MCAR/MAR/MNAR）。比较四种方法：CCA、单值众数插补、分层热卡插补、MICE。估计方法：用逻辑回归估计倾向得分 \(e(Z) = P(A=1|Z)\)，然后用IPTW估计ATE：\(\hat{\tau} = \frac{1}{n}\sum_i \frac{A_i Y_i}{\hat{e}(Z_i)} - \frac{1}{n}\sum_i \frac{(1-A_i)Y_i}{1-\hat{e}(Z_i)}\)。性能通过偏差、覆盖率和标准误评估。

在这个特例下，本文的核心思路是： 1. 生成完整数据（已知真实ATE）。 2. 按设定引入缺失。 3. 用每种方法处理缺失，得到“完整”数据集。 4. 用IPTW估计ATE。 5. 比较估计值与真实值。

为什么这个特例抓住了本质：本文的时变设定只是增加了时间维度，但缺失处理方法和ATE估计的核心逻辑与横截面相同——都是先插补/删除，再倾向得分加权。时变带来的额外复杂性（如时变混杂、结构缺失）被作者通过数据生成过程纳入，但方法比较的框架不变。因此，理解横截面特例就理解了本文的骨架。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在时变混杂和二元变量缺失数据下，系统比较CCA、单值众数插补、分层热卡插补和MICE对ATE估计的性能，并评估缺失机制、缺失率、缺失位置、混杂强度和样本量的影响。
  2. 核心工具/方法：全因子模拟设计（48种情景×500次重复），数据生成基于Velasco-Pardo et al. (2026) 的纵向结构模型，缺失生成采用Zhang (2023) 的方法，ATE估计用逻辑回归IPTW，性能评估用绝对偏差、95% CI覆盖率和经验标准误，辅以重复测量ANOVA量化各因素贡献。
  3. 主要结论：缺失机制和方法选择是性能的主要驱动因素；MICE在覆盖率和偏差上普遍优于其他方法；缺失位置（处理 vs. 结果）重要；缺失率和样本量主要影响阳性违反（极端倾向得分比例），在MNAR、高缺失率和低样本量下最严重；混杂强度主要影响覆盖率而非偏差。

关键设定与假设

  • 数据生成：三个时间点，二元处理/结果，四个基线混杂。结构缺失（如死亡后无法接受后续处理）被预先处理，与实验缺失区分。
  • 缺失生成：MCAR（随机删除）、MAR（单截断法，缺失依赖于完全观测变量）、MNAR（缺失依赖于自身真实值）。缺失率20%或50%。缺失位置：处理变量（\(A_1, A_2\)）或结果变量（\(Y_1, Y_2\)）。
  • 假设：
  • 交换性：假设所有混杂被测量（\(Z\) 包含所有共同原因），但通过改变 \(\rho\) 模拟不同混杂强度。
  • 阳性：假设每个混杂层内所有处理水平都有正概率，但通过记录极端倾向得分来检测违反。
  • 一致性：假设潜在结果等于观测结果（SUTVA的一部分），未明确检验。
  • 缺失机制：MAR下，MICE假设缺失依赖于观测数据；MNAR下，MICE理论上不适用，但本文仍测试其表现。
  • 相比已有文献：本文是首个同时变化五个参数（机制、率、位置、混杂、样本量）并明确记录阳性违反的模拟研究。

主要结果

  • 极端倾向得分：MNAR下平均23.6%的权重为极端值（<0.05或>0.95），远高于其他机制（<5%）。50%缺失率下10.1%，20%下5.1%。单值众数插补的极端值比例最高。
  • 边际方法性能（图2）：MICE的偏差最低、覆盖率最高（接近完整数据基准），经验标准误与热卡相当。热卡覆盖率约90%但变异性大。CCA和单值众数表现相近，CCA偏差略低但标准误更大。
  • ANOVA效应量（表3）：
  • 偏差：仅缺失机制达到实际显著性（\(\eta^2=0.140\)）；方法、样本量及其与机制的交互为中等效应。
  • 覆盖率：方法（\(\eta^2=0.175\)）唯一达到实际显著性；混杂强度边界显著（\(\eta^2=0.129\)）。
  • 经验标准误：方法（0.192）和机制（0.181）均显著；样本量和机制×方法交互边界显著。
  • 参数效应（表4）：
  • 样本量：n=1000比n=5000偏差高1.52，覆盖率反而高11个百分点（因小样本稳健标准误膨胀），经验SE高2.84。
  • 混杂强度：\(\rho=-0.1\)与\(\rho=-0.7\)相比，覆盖率下降20个百分点（p<0.001），偏差无显著差异。
  • 机制：MCAR vs MNAR，偏差差-2.67（MCAR更低），经验SE差-4.42，覆盖率无显著差异。
  • 缺失率：20% vs 50%，偏差差-1.22，经验SE差-1.71，覆盖率无显著差异。
  • 最佳/最差情景（表5）：最佳情景多为MCAR/MAR(A)、低缺失率、大样本；最差情景多为MNAR、高缺失率、小样本。CCA和单值众数在强混杂下覆盖率极低（如CCA在MCAR、20%缺失、\(\rho=-0.7\)、n=5000下覆盖率仅21.0%）。

证明路线与技术技巧（模拟设计路线）

本文是模拟研究，无数学证明。其“证明路线”即模拟设计逻辑：

  1. 数据生成：用固定种子生成完整数据集，确保真实ATE已知（通过完整数据模型估计作为基准）。
  2. 缺失引入：按场景参数（机制、率、位置）对完整数据施加缺失，得到不完整数据。
  3. 方法应用：对每个不完整数据集，依次应用CCA、单值众数、热卡、MICE（m=5），得到“完整”数据集。
  4. ATE估计：对每个“完整”数据集，用逻辑回归拟合倾向得分，计算IPTW权重，用加权逻辑回归估计ATE，用HC3稳健标准误。
  5. 性能计算：对每个场景的500次重复，计算绝对偏差（|平均估计-真实ATE|）、覆盖率（95% CI包含真实ATE的比例）、经验标准误（估计值的标准差）。
  6. 方差分解：用重复测量ANOVA（以方法为重复因子）计算各参数及交互的偏\(\eta^2\)，用Tukey HSD做事后比较。

关键跳跃点：无数学跳跃，但有两个设计决策值得注意： - 缺失生成方法：作者选择单截断法而非回归法生成MAR，理由是“computationally expensive, and one cannot easily set the rate of missingness”。这影响了MAR的真实性（单截断法可能产生强依赖关系）。 - 极端值排除：将|ATE估计|>100的重复排除，避免数值不稳定污染结果。MICE的排除率几乎为零，说明其稳定性。

技术技巧点名： - 单截断法（single cutoff method）：用于生成MAR缺失，按预测变量水平分层删除。 - Rubin's rules：合并MICE的m个估计，公式见论文第7页。 - HC3稳健标准误：用于IPTW后的加权逻辑回归，应对异方差。 - 重复测量ANOVA：将方法作为重复因子，考虑同一情景下不同方法的相关性。 - 偏\(\eta^2\)：效应量指标，阈值0.134（大效应）用于判断实际显著性，避免过度检验。

真实例子与应用

本文无真实数据例子。所有数据均为合成数据，但合成数据的边际分布基于英国CPRD Aurum数据库（Cooper et al. 2023）的真实人群分布（表1）。因此，模拟结果可视为对真实流行病学队列的近似。作者在讨论中明确说：“synthetic datasets were generated using the longitudinal data-generating process of Velasco-Pardo et al, which simulates time-varying treatment and survival processes under time-varying confounding in a vaccine-efficacy setting, with variable distributions informed by population data from a large UK primary-care multimorbidity study.” 所以这是一个“基于真实分布的模拟”，而非真实数据分析。

🔎 结论是否比证明窄

  • 结论1：“MICE consistently outperformed the alternative methods”——在模拟设定下成立，但作者承认“method performance is highly context-dependent”，且MICE在MNAR下只是通过膨胀标准误维持覆盖率，并非无偏。
  • 结论2：“Missingness mechanism and choice of missing data method were the dominant determinants”——ANOVA支持，但仅解释了76%（偏差）、74%（覆盖率）、90%（经验SE）的方差，仍有未解释部分。
  • 结论3：“Positivity violations were most pronounced under MNAR, high missing rates and small samples”——基于极端倾向得分比例，但作者指出极端倾向得分也可能由小样本或强混杂引起，不完全是阳性违反。
  • 窄处：本文仅测试了单一配置的MICE（m=5，逻辑回归插补模型），未探索不同m值或不同插补模型（如随机森林）。此外，仅考虑了二元变量，未涉及连续变量或多分类变量。这些在limitations中明确列出。

四、开放问题（点到为止，扎根具体语句）

  1. 扩展到doubly robust和机器学习插补方法：论文结论部分指出“Future work should extend this comparison to doubly robust and machine-learning-based imputation methods under time-varying confounding”。扎根于第12页“Future work should extend this comparison to doubly robust and machine-learning-based imputation methods”。研究者可考虑将本文的模拟框架用于比较AIPW、TMLE与MICE的组合，或随机森林插补（如missForest）。

  2. 更复杂的缺失模式：本文仅引入单一机制、单一位置缺失。作者在limitations中承认“Missingness was introduced via a single mechanism at a time and in a single set of variables, which is unlikely to reflect the complexity of missingness patterns encountered in real longitudinal data, including intermittent dropout and informative censoring.” 扎根于第11页。可设计多机制混合、间歇性缺失、信息删失等情景。

  3. 阳性违反与缺失机制的交互更系统探索：作者提到“a more systematic exploration of positivity violations and their interaction with missingness mechanisms”作为未来工作（第12页）。当前仅用极端倾向得分近似，可考虑直接操纵阳性假设（如删除某些混杂层）并观察方法表现。

  4. MNAR下的识别方法比较：本文发现MICE在MNAR下仍能维持覆盖率，但理论上MNAR需要显式建模。可比较Yang et al. (2019) 的识别方法（两阶段最小二乘）与MICE在MNAR下的表现。扎根于第4页引用Yang et al. (2019) 但未在模拟中纳入。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论