跳转至

Identifiability of the Instrumental Variable Model with the Treatment and Outcome Missing Not at Random

作者: Shuozhi Zuo, Peng Ding, Fan Yang
来源: JMLR
主题: 因果推断
相关性: 8/10
机构绿灯: University of California, Berkeley(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv


一、领域脉络与小综述

这个方向是什么

本文属于因果推断中工具变量(IV)模型与非随机缺失(MNAR)数据的交叉领域。其根本科学问题是:在经典的 Imbens-Angrist IV 框架下,当治疗变量 D 和/或结局变量 Y 存在缺失,且缺失机制依赖于未观测的变量(如潜在依从类型 U 或变量本身的值)时,我们能否仅从可观测数据中非参数地识别局部平均处理效应(LATE/CACE)?该问题的核心困难在于,MNAR 意味着观测数据的分布不再等同于完整数据的分布,缺失机制本身引入了额外的未知参数,导致目标因果量通常不可识别。该子领域的成熟度处于中期发展阶段:已有大量针对特定缺失机制(如结局 MNAR)的零散结果,但缺乏一个系统性的、穷举式的分类框架。

发展脉络(history)

  1. 奠基工作:IV 模型的识别。Imbens and Angrist (1994) 和 Angrist et al. (1996) 确立了在单调性假设下,利用工具变量 Z 识别 CACE 的经典结果。这是本文的基准框架,其识别公式(IV 比率)是后续所有工作的出发点。
  2. 主要进展:结局 MNAR 的识别。文献中针对结局变量 Y 缺失的研究最为丰富,形成了两条主要脉络:
    • 依赖潜在依从类型 U:Frangakis and Rubin (1999) 在单侧不依从下,利用潜在可忽略性(latent ignorability,即给定 U 后 Y 的缺失与 Y 独立)和响应排除限制(response exclusion restriction,即 Z 不直接影响缺失)实现了非参数识别。Zhou and Li (2006) 和 O'Malley and Normand (2005) 将其推广到双侧不依从。
    • 依赖结局值本身 Y:Chen et al. (2009a) 针对离散结局,Imai (2009) 针对二元结局,研究了缺失机制依赖于结局值本身(自删失)的情形,并给出了识别条件。
  3. 当前 frontier:治疗变量缺失与联合缺失。治疗变量 D 的 MNAR 问题在 IV 文献中受到的关注远少于结局缺失。Calvi et al. (2022) 是少数研究治疗 MNAR 的工作,但依赖两个代理变量(proxies)这一额外信息。当 D 和 Y 同时 MNAR 时,识别问题变得更加复杂,此前缺乏系统性的研究。本文正是针对这一空白,试图给出一个完整的、穷举式的识别性分类。

子线索聚类

被引文献大致可归为以下三条子线索:

  • 线索一:基于潜在可忽略性的识别。核心思想是假设缺失机制由潜在类别(如依从类型 U)驱动,而非由缺失值本身驱动。代表工作:Frangakis and Rubin (1999)、Zhou and Li (2006)、O'Malley and Normand (2005)、Peng et al. (2004)、Taylor and Zhou (2009)。这条线索的优点是能处理复杂的缺失机制,缺点是需要较强的、不可检验的假设。
  • 线索二:基于结局依赖的识别。核心思想是缺失机制直接依赖于结局变量本身的值(自删失)。代表工作:Chen et al. (2009a)、Imai (2009)。这条线索通常需要结局是离散的或属于指数族,并依赖特定的参数模型或支持条件。
  • 线索三:基于辅助信息的识别。核心思想是利用额外的变量(如代理变量、工具变量)来纠正 MNAR 带来的选择偏差。代表工作:Calvi et al. (2022) 使用两个代理变量来识别治疗 MNAR 下的 LATE。这条线索的优点是能处理更一般的缺失机制,但对数据要求较高。

这个方向在追问的核心问题

  1. 在何种缺失机制下,CACE 是非参数可识别的? 这是本文的核心问题。作者试图给出一个完整的、穷举式的答案,即找出所有"最一般"的可识别缺失机制。
  2. 识别需要什么样的条件? 除了缺失机制本身,还需要哪些辅助条件,如阳性条件(positivity)、条件依赖条件(conditional dependence)、单调性(monotonicity)等。
  3. 当机制不可识别时,能获得什么? 作者通过数值研究展示了不可识别时,CACE 会落在一个区间内,而非一个点。这为实证研究提供了重要的警示。

⚠️ 作者的 framing(这是作者的说法)

作者将本文的贡献框架为"穷举式分类":他们声称,通过系统地搜索所有可能的缺失机制(即缺失指示器 R_D 和 R_Y 可能依赖的变量集合),他们完整地刻画了在无辅助信息下可识别 CACE 的所有机制。他们强调本文的结果"统一了已有结论并补充了新情形",并据此提出了一个实用的建议:在分析 IV 数据前,应先检查所假设的缺失机制是否在本文的"可识别清单"中。作者淡化了以下事实:他们的分类依赖于二元治疗、二元结局、二元工具变量这一特定设定,且其"穷举"是在他们定义的缺失机制空间内进行的。对于更复杂的设定(如连续结局、多值工具),其结论的推广性并未在本文中讨论。

张力

被引文献之间未见明显对立结论。不同工作之间的差异主要体现在假设的缺失机制不同,而非对同一机制得出相反结论。例如,Frangakis and Rubin (1999) 的机制(依赖 U)和 Imai (2009) 的机制(依赖 Y)是两种不同的设定,它们各自在自身假设下成立,并不矛盾。本文的价值在于将这些看似不同的结果统一到一个框架下,并明确了它们各自成立的条件。


二、最核心、最简单的例子 / 数学问题

第一步:把符号、模型、可观测数据交代清楚

  • 符号:
  • Z ∈ {0, 1}:工具变量(随机化鼓励),可观测。
  • D ∈ {0, 1}:实际接受的治疗,可能缺失。
  • Y ∈ {0, 1}:结局变量,可能缺失。
  • U ∈ {a, c, d, n}:潜在依从类型(总是接受者、依从者、抗拒者、从不接受者),不可观测。
  • D(z):在工具变量 Z=z 下的潜在治疗,不可观测(反事实)。
  • Y(z):在工具变量 Z=z 下的潜在结局,不可观测(反事实)。
  • R_D ∈ {0, 1}:治疗 D 的缺失指示符(1 表示观测到),可观测。
  • R_Y ∈ {0, 1}:结局 Y 的缺失指示符(1 表示观测到),可观测。
  • CACE:E[Y(1) - Y(0) | U = c],即依从者的平均因果效应,目标估计量(estimand)。
  • Θ:表示模型中所有未知参数的集合(如依从类型概率、结局概率、缺失概率等)。

  • 模型:

  • IV 假设:(1) 随机化:Z ⊥ {D(1), D(0), Y(1), Y(0)};(2) 单调性:D(1) ≥ D(0),即不存在抗拒者;(3) 工具变量与治疗相关:E[D(1) - D(0)] ≠ 0;(4) 排除限制:Y(1) = Y(0) 对总是接受者和从不接受者成立。
  • 缺失机制:本文的核心是探讨 R_D 和 R_Y 的条件概率(即缺失倾向)可以依赖哪些变量。例如,R_Y 可能依赖于 (Z, D, Y),也可能依赖于 (U, D) 等。MNAR 指的是缺失倾向依赖于缺失变量本身(如 Y)或不可观测的变量(如 U)。

  • 可观测数据:

  • 研究者能观测到的是:(Z, R_D, R_Y, D·R_D, Y·R_Y)。即,对于每个个体,我们知道其工具变量 Z,知道 D 和 Y 是否缺失,并且当它们不缺失时知道其具体值。
  • 研究者观测不到的是:潜在依从类型 U,以及当 D 或 Y 缺失时的具体值。关键点在于,可观测数据的联合分布 P(Z, R_D, R_Y, D·R_D, Y·R_Y) 是有限的、可估计的,而识别问题就是问:在这个可观测分布之上,CACE 是否被唯一确定?

第二步:讲最小内核

本文的最小内核可以归结为一个线性方程组是否有唯一解的问题。

考虑最简单的情形:结局 Y 缺失,治疗 D 完全观测。假设缺失机制为 R_Y ⊥ (Z, D) | Y(即缺失依赖于结局值本身,但不依赖于 Z 和 D)。此时,对于每个 (Z, D) 组合,我们观测到的数据可以整理为:

  • 观测到 Y=1 的比例:P(Y=1, R_Y=1 | Z, D)
  • 观测到 Y=0 的比例:P(Y=0, R_Y=1 | Z, D)
  • Y 缺失的比例:P(R_Y=0 | Z, D)

我们想恢复的是 P(Y=1 | Z, D)。由于缺失机制,我们有: P(Y=1, R_Y=1 | Z, D) = P(Y=1 | Z, D) * P(R_Y=1 | Y=1) P(Y=0, R_Y=1 | Z, D) = P(Y=0 | Z, D) * P(R_Y=1 | Y=0)

这里,P(R_Y=1 | Y=1) 和 P(R_Y=1 | Y=0) 是两个未知的"缺失倾向"参数。我们有 2 个方程(观测到的 Y=1 和 Y=0 的比例),但有 4 个未知数(P(Y=1|Z,D) 和两个缺失倾向)。显然,这个方程组有无穷多解,CACE 不可识别。

本文的核心思想是:通过改变缺失机制的假设(即改变 R_Y 和 R_D 依赖的变量集合),来改变这个方程组的"形状",从而判断其是否有唯一解。

例如,如果假设 R_Y ⊥ (Z, D, Y) | U(即缺失仅依赖于潜在依从类型),那么我们可以利用工具变量 Z 在不同依从类型中的行为差异,构造出更多的方程,从而有可能将 CACE 唯一地解出来。本文的定理 1-7 正是在不同的缺失机制假设下,判断这个方程组是否有唯一解,并给出解的具体形式(或构造出两个解不同的反例)。

一句话总结:本文在数学上干的事情是,系统地遍历所有可能的缺失机制(即缺失指示符的条件独立图),并逐一判断由该机制产生的、关于 CACE 的线性/多项式方程组是否具有唯一解。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在工具变量模型中,当治疗 D 和结局 Y 以 MNAR 方式缺失时,系统地刻画了无需辅助信息即可非参数识别 CACE 的所有缺失机制。
  2. 核心工具/方法:使用有向无环图(DAG) 对缺失机制进行分类,并利用线性方程组求解和构造反例的方法,逐一判断每种机制下 CACE 的可识别性。
  3. 主要结论:在结局单独缺失、治疗单独缺失、以及两者同时缺失(前瞻性研究)三种设定下,给出了完整的可识别性分类,统一了已有结果并发现了新的可识别机制。

关键设定与假设

  • 核心设定:二元工具变量 Z、二元治疗 D、二元结局 Y。这是全文分析的基础,也是其"穷举"得以实现的前提。
  • IV 假设:全文沿用 Imbens-Angrist 的四个核心假设(随机化、单调性、非零效应、排除限制),这些是 CACE 定义和识别的基石。
  • 缺失机制假设:这是本文的核心变量。作者假设缺失指示符 R_D 和 R_Y 的条件概率可以依赖于 (Z, U, D, Y) 中的任意子集。MNAR 特指依赖于 U(不可观测)或 Y(可能缺失)的情形。作者通过穷举这些子集,定义了不同的"缺失机制"。
  • 技术条件:除了上述结构性假设,每个识别定理还要求特定的阳性条件(如 P(R_Y=1|...) > 0)和条件依赖条件(如 Y ⊥ Z | D 不成立),这些条件确保了方程组有唯一解而非退化。

主要结果

  • 定理 1(结局缺失):在结局 Y 缺失时,识别 CACE 的最一般机制是 R_Y ⊥ (Z, U) | (D, Y)(即缺失依赖于 D 和 Y,但不直接依赖于 Z 和 U)。该机制下,通过利用 D 和 Y 的联合分布以及 Z 的随机化,可以构造出 CACE 的显式识别公式。此外,R_Y ⊥ (Z, Y) | (U, D)(即缺失依赖于 U 和 D)也是可识别的,这统一了 Frangakis-Rubin 的潜在可忽略性结果。
  • 定理 2(治疗缺失):在治疗 D 缺失时,识别 CACE 的最一般机制是 R_D ⊥ (U, Y) | (Z, D)(即缺失依赖于 Z 和 D)。该机制下,CACE 同样可识别。
  • 定理 3-5(联合缺失):当 D 和 Y 同时缺失时,情况更为复杂。作者发现,只有特定组合的机制是可识别的。例如,R_D ⊥ (U, Y) | (Z, D) 与 R_Y ⊥ (Z, U) | (D, Y, R_D) 的组合是可识别的。而许多看似合理的组合(如 R_D 和 R_Y 都依赖于 U)则不可识别。
  • 定理 6-7(附录 A):进一步扩展了联合缺失下的可识别机制,允许 R_D 和 R_Y 之间存在直接依赖(即 R_D → R_Y 路径),但需要以移除其他路径为代价。
  • 反例(附录 C):对于所有被判定为不可识别的机制,作者都构造了具体的反例,即两个不同的参数配置产生完全相同的可观测数据分布,但 CACE 不同。这严格证明了这些机制的不可识别性。

真实例子与应用

  • 模拟研究(第 7 节):通过数值模拟验证了理论结果。在可识别机制下,所提出的估计量(基于定理 1 的闭式解)能够无偏地恢复真实的 CACE;在不可识别机制下,展示了不同参数配置可以产生相同的观测数据,但 CACE 差异巨大。
  • 实证应用(第 8 节):将方法应用于美国国家职业训练团研究(National Job Corps Study)。该研究是一个随机化试验,Z 是随机分组,D 是实际参训情况,Y 是后续收入。由于存在不依从和失访,D 和 Y 均有缺失。作者在 13 种可识别的缺失机制下估计了 CACE,发现所有估计值均为正(每周 19-29 美元),但置信区间宽度和精确值因机制而异。这展示了作者推荐的"多机制比较"策略的实际操作。

🔎 结论是否比证明窄

是的,存在结论比证明窄的情况,需要读者注意。

  1. "穷举"的范围:作者声称"穷举"了所有缺失机制,但这严格限于二元变量和无协变量的设定。在讨论部分,作者提到"我们的结果依赖于二元 Z、D、Y 的假设",并指出扩展到连续变量或包含协变量的情形是未来工作。因此,"完整分类"这一结论的适用范围比其字面意思要窄。
  2. 识别 vs. 估计:论文严格关注非参数识别,即无限样本下的唯一性。对于有限样本估计,作者仅在第 7 节提供了一个简单的闭式估计量,但未讨论其渐近性质(如收敛速度、半参数效率界)。文中提到"我们提出的估计量是根号 n 一致的",但未给出严格的证明或效率分析。因此,论文的结论在"识别"层面是完整的,但在"估计"层面是初步的。
  3. 可识别机制的"实用性":作者在讨论中承认,虽然某些机制(如 R_Y ⊥ (Z, U) | (D, Y))在数学上是可识别的,但其识别公式依赖于对 P(Y|Z,D) 的精确恢复,这在有限样本中可能非常不稳定(特别是当 D 和 Z 的相关性较弱时)。模拟研究也显示,依赖条件(如 Y ⊥ Z | D)较弱时,估计量的方差会急剧增大。因此,理论上的可识别性并不等同于实践中的可靠性。

四、开放问题

以下问题均扎根于论文的具体语句或直接推论,供你进一步调研:

  1. 连续结局与多值治疗的推广:论文的"穷举"严格依赖于 Z、D、Y 均为二元变量。作者在讨论部分(第 9 节)明确指出:"将我们的结果扩展到连续结局或多值治疗是一个重要的未来方向。" 一个具体的问题是:当 Y 是连续变量时,定理 1 中基于二元 Y 的线性方程组方法将失效,需要何种新的识别条件或参数模型?(扎根于第 9 节 "Discussion" 及定理 1 的证明结构)
  2. 协变量的纳入:论文通篇"抑制"了协变量 X。但在实证应用中(第 8 节),作者使用了协变量进行条件分析。一个开放问题是:当存在协变量 X 时,本文的识别条件应如何调整?是否所有在无 X 下可识别的机制,在加入 X 后仍然可识别?(扎根于第 8 节 "Empirical Illustration" 中对协变量的处理方式)
  3. 半参数效率估计:论文只解决了"是否可识别"的问题,未解决"如何有效估计"的问题。作者在文中仅提供了一个简单的闭式估计量,但未推导其半参数效率界。一个直接的问题是:在定理 1 的机制下,CACE 的有效影响函数是什么?是否存在比闭式估计量更高效的估计方法(如基于经验似然或一步估计)?(扎根于第 7 节 "Numerical Study" 中估计量的构造方式)
  4. 缺失机制的可检验性:作者在讨论中指出,缺失机制本身是"不可检验的"(untestable)。一个更深层的问题是:虽然单个机制不可检验,但多个机制之间的某些推论是否可检验?例如,如果两个不同的可识别机制产生了显著不同的 CACE 估计(如第 8 节所示),这是否可以作为证据,以排除某些机制?(扎根于第 9 节 "Discussion" 中关于敏感性分析的讨论)

提示:要确认上述问题是否为真 gap,建议去读该领域近期(2023-2025)关于 IV 与 MNAR 的论文(例如引用本文的后续工作,或 Zuo et al. 2025 在 JASA 上的相关研究)的引言部分。如果多篇论文的引言都指向同一个未解决问题,那它大概率是共识性的真 gap;如果各论文说法不一,则可能是一个充满机会的争议点。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论