跳转至

A Nonparametric Data‐Fusion Approach for Identification and Estimation of Nonignorable Missing Data With Shadow Variable

作者: Wenxiao Zhou, Bo Fu
来源: Statistics in Medicine
主题: 因果推断
相关性: 8/10
机构绿灯: Fudan University(US News 前 50,免分进入精读)
链接: https://doi.org/10.1002/sim.70747


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是非可忽略缺失数据(MNAR, Missing Not At Random)的识别与估计。其根本统计问题是:当数据缺失机制依赖于未观测到的变量本身时,观测数据的似然无法直接分解为"完整数据模型 × 缺失机制"的可识别部分,导致目标参数(如均值、回归系数)在无额外假设下不可识别。该方向的成熟度处于"中等偏上"——已有大量参数化方法(如Heckman选择模型)、敏感性分析框架和贝叶斯方法,但非参数识别在MNAR下仍是一个活跃且未完全解决的frontier,尤其是当辅助变量(shadow variable)本身也缺失时。

发展脉络(history)

  • 奠基工作:Little & Rubin (2002) 的缺失数据分类框架(MCAR/MAR/MNAR)奠定了整个领域的问题语言。Heckman (1979) 的样本选择模型是参数化MNAR处理的经典起点,但其正态性和线性假设饱受批评。
  • 主要进展——影子变量范式的引入:Wang, Shao & Kim (2014) 首次系统提出"影子变量"(shadow variable)概念——一个与主变量相关、但与主变量缺失机制条件独立的辅助变量——并证明在影子变量存在且完全观测时,MNAR下的均值可非参数识别。这是本文最直接的智识祖先。Zhao & Shao (2015) 进一步将影子变量方法推广到回归设定,Miao, Ding & Geng (2016) 则从因果推断角度将影子变量与proximal causal inference中的negative control变量联系起来,建立了识别性的统一视角。
  • 当前frontier——影子变量本身缺失:现有影子变量文献几乎都假设影子变量完全观测。但现实中,辅助变量同样可能缺失。Tang, Zhao & Shao (2023) 等近期工作开始探索影子变量部分缺失的情形,但多依赖参数化缺失机制假设。本文正是在这一口子上切入:在模式混合模型(pattern mixture model)框架下,允许影子变量本身也MNAR,并给出非参数识别策略。
  • 本文的位置:作者将影子变量从"完全观测的辅助变量"推广为"可能自身MNAR的辅助变量",同时保持非参数识别性。这填补了影子变量文献中"辅助变量缺失"这一空白,且与proximal causal inference中"部分缺失的negative control"设定直接呼应。

子线索聚类

被引文献大致落在三条子线索上:

  1. 影子变量非参数识别(Wang, Shao & Kim 2014; Zhao & Shao 2015; Miao, Ding & Geng 2016):核心问题是"在MNAR下,什么样的辅助信息能实现非参数识别"。这一簇的共识是:影子变量的条件独立性假设(给定主变量和协变量,影子变量与缺失机制独立)足以识别目标参数。
  2. 模式混合模型与可识别性(Little 1993; Daniels & Hogan 2008):将缺失数据问题重新参数化为"观测模式的条件分布 + 缺失模式的偏移参数",通过敏感性参数化来刻画不可识别部分。本文的方法论框架直接建立在这一传统上。
  3. proximal causal inference / negative control(Tchetgen Tchetgen et al. 2020; Miao et al. 2018):将影子变量视为negative control,利用其与未观测混杂/缺失机制的独立性来实现识别。这一簇与因果推断的联系最紧密,也是研究者(陈星宇)最可能产生共鸣的入口。

这个方向在追问的核心问题

  1. 非参数识别条件:在MNAR下,什么样的辅助变量结构(影子变量、负控制、工具变量)足以实现目标参数的非参数识别?已知瓶颈是:识别条件往往不可检验(如影子变量的条件独立性),且对分布假设敏感。
  2. 估计效率:非参数识别后,如何构造达到半参数效率界的估计量?目前多数影子变量方法只给出相合估计,效率理论尚不完整。
  3. 稳健性与敏感性:当识别假设(如影子变量条件独立性)轻微违反时,估计结果如何变化?这是从理论走向应用的关键一步。
  4. 缺失机制的复杂性:当多个变量同时MNAR(如本文的主变量和影子变量都缺失),识别条件如何变化?这是当前frontier。

⚠️ 作者的 framing(必须明确标注成"这是作者的说法")

这是作者的说法:作者将缺口frame成"现有影子变量方法都假设影子变量完全观测,但现实中影子变量也可能MNAR,因此需要一种能同时处理主变量和影子变量都缺失的非参数方法"。他们声称自己的贡献是"首次在模式混合模型框架下,允许影子变量本身MNAR,且仅需推断观测数据密度和缺失几率函数即可实现识别"。

值得研究者去查的问题: - 作者淡化了参数化敏感性分析这一竞争路线(如Daniels & Hogan 2008),将其归为"依赖不可验证的分布假设"。但参数化方法的好处是能显式刻画敏感性,而非参数方法虽然更稳健,却可能对识别假设的违反更不透明。 - 什么明显该被引、却没出现在intro里:作者没有引用proximal causal inference中关于"部分缺失的negative control"的最新工作(如Cui et al. 2023, 2024),尽管其设定与本文高度相关。这可能意味着作者对proximal文献的梳理不够全面,或者有意回避了与proximal框架的深度对话。这是一个值得研究者去查的线索——如果proximal文献中已有类似结果,本文的新颖性就需要重新评估。

张力

未见明显对立引用。但存在一个潜在张力:影子变量方法(Wang et al. 2014)与敏感性分析方法(Daniels & Hogan 2008)对"不可识别性"的态度不同——前者试图用辅助信息消除不可识别性,后者承认不可识别性并显式参数化。本文站在前者阵营,但未与后者展开正面对话。


二、最核心、最简单的例子 / 数学问题

第一步:把符号、模型、可观测数据交代清楚

符号(逐个点名):

  • \(Y\):主变量(primary variable),可能缺失。这是研究关心的目标变量(如COVID-19病例数)。
  • \(X\):协变量向量,假设完全观测(或至少其缺失机制是MAR)。
  • \(S\):影子变量(shadow variable),与\(Y\)相关,但与\(Y\)的缺失机制条件独立。本文允许\(S\)本身也MNAR。
  • \(R_Y\):\(Y\)的缺失指示符,\(R_Y = 1\)表示\(Y\)被观测,\(R_Y = 0\)表示缺失。
  • \(R_S\):\(S\)的缺失指示符,\(R_S = 1\)表示\(S\)被观测,\(R_S = 0\)表示缺失。
  • \(\pi_Y(x, y) = P(R_Y = 1 \mid X = x, Y = y)\):\(Y\)的倾向得分(propensity score),即给定\(X\)和\(Y\)时\(Y\)被观测的概率。注意:这依赖于\(Y\)本身,因此是MNAR。
  • \(\pi_S(x, y, s) = P(R_S = 1 \mid X = x, Y = y, S = s)\):\(S\)的倾向得分,可能依赖于\(Y\)和\(S\)。
  • \(f(y \mid x)\):目标分布,即给定\(X\)时\(Y\)的条件密度。这是我们要估计的estimand。
  • \(f(s \mid x, y)\):给定\(X, Y\)时\(S\)的条件密度。
  • \(f(y, s \mid x)\):给定\(X\)时\((Y, S)\)的联合条件密度。
  • \(f(y, s, r_Y, r_S \mid x)\):完整数据模型(complete-data model),包含缺失机制。
  • \(O(x, y, s) = \frac{P(R_Y = 0 \mid x, y)}{P(R_Y = 1 \mid x, y)} = \frac{1 - \pi_Y(x, y)}{\pi_Y(x, y)}\):缺失几率函数(odds of missing function)。这是本文方法的核心对象——它刻画了\(Y\)缺失的几率如何依赖于\(Y\)本身。

模型(数据生成机制):

本文采用模式混合模型(pattern mixture model)框架。与选择模型(selection model)将联合分布分解为 \(f(y, s \mid x) \times P(R_Y, R_S \mid x, y, s)\) 不同,模式混合模型将联合分布分解为观测模式的条件分布和缺失模式的偏移参数:

\[f(y, s, r_Y, r_S \mid x) = f(y, s \mid x, r_Y, r_S) \times P(r_Y, r_S \mid x)\]

其中 \(f(y, s \mid x, r_Y = 1, r_S = 1)\) 是可识别的(因为这是完全观测的个体的分布),而 \(f(y, s \mid x, r_Y = 0, r_S = 0)\) 等缺失模式的分布是不可识别的,需要通过假设来桥接。

核心假设(本文的关键识别条件):

  1. 影子变量条件独立性:\(S \perp R_Y \mid (X, Y)\)。即给定\(X\)和\(Y\),影子变量\(S\)与\(Y\)的缺失机制独立。这是影子变量范式的核心假设。
  2. 影子变量的缺失机制:\(R_S \perp (Y, S) \mid (X, R_Y = 1)\) 或类似条件——即给定\(X\)和\(Y\)被观测时,\(S\)的缺失不依赖于\((Y, S)\)本身(可能是MAR或更弱的条件)。这是本文放宽的关键假设——现有文献假设\(S\)完全观测,本文允许\(S\)缺失,但需要\(S\)的缺失机制满足一定条件。
  3. 可观测数据:研究者实际观测到的是 \(n\) 个独立同分布样本 \(\{(X_i, R_{Y,i}, R_{Y,i}Y_i, R_{S,i}, R_{S,i}S_i)\}_{i=1}^n\)。即当 \(R_Y = 1\) 时观测到 \(Y\),当 \(R_S = 1\) 时观测到 \(S\),否则对应值缺失。

可观测 vs 不可观测: - 可观测:\(X\)(假设完全观测)、\(R_Y\)、\(R_S\)、以及 \(R_Y = 1\) 时的 \(Y\)、\(R_S = 1\) 时的 \(S\)。 - 不可观测(潜在):\(R_Y = 0\) 时的 \(Y\)、\(R_S = 0\) 时的 \(S\)。这些是"想要但观测不到"的量,只能靠假设去识别。

第二步:讲最小内核

最小特例:假设没有协变量 \(X\)(即 \(X\) 为空),且影子变量 \(S\) 完全观测(\(R_S \equiv 1\))。此时问题退化为:\(Y\) 可能MNAR,\(S\) 与 \(Y\) 相关,且 \(S \perp R_Y \mid Y\)。

要证的命题:在 \(S \perp R_Y \mid Y\) 的假设下,\(Y\) 的边际分布 \(f(y)\) 是非参数可识别的。

证明思路(为什么成立):

  1. 观测数据的联合分布为 \(f(y, s, r_Y)\)。当 \(r_Y = 1\) 时,我们观测到 \((Y, S)\) 的联合分布:

    \[f(y, s \mid r_Y = 1) = \frac{\pi_Y(y) f(y, s)}{\int \pi_Y(y) f(y, s) \, dy \, ds}\]
    其中 \(\pi_Y(y) = P(R_Y = 1 \mid Y = y)\) 是\(Y\)的倾向得分。

  2. 当 \(r_Y = 0\) 时,我们只观测到 \(S\) 的边际分布:

    \[f(s \mid r_Y = 0) = \frac{\int (1 - \pi_Y(y)) f(y, s) \, dy}{\int (1 - \pi_Y(y)) f(y, s) \, dy \, ds}\]

  3. 关键步骤:由 \(S \perp R_Y \mid Y\),我们有 \(f(s \mid y, r_Y = 1) = f(s \mid y, r_Y = 0) = f(s \mid y)\)。这意味着:

    \[f(s \mid r_Y = 1) = \int f(s \mid y) f(y \mid r_Y = 1) \, dy\]
    \[f(s \mid r_Y = 0) = \int f(s \mid y) f(y \mid r_Y = 0) \, dy\]

  4. 定义缺失几率函数 \(O(y) = \frac{1 - \pi_Y(y)}{\pi_Y(y)}\)。可以证明(这是本文的核心引理):

    \[f(y \mid r_Y = 0) = \frac{O(y) f(y \mid r_Y = 1)}{\int O(y) f(y \mid r_Y = 1) \, dy}\]
    即缺失组的\(Y\)分布是观测组的\(Y\)分布经过\(O(y)\)加权后的再归一化。

  5. 将上式代入 \(f(s \mid r_Y = 0)\) 的表达式,得到:

    \[f(s \mid r_Y = 0) = \frac{\int O(y) f(s \mid y) f(y \mid r_Y = 1) \, dy}{\int O(y) f(y \mid r_Y = 1) \, dy}\]

  6. 这是一个关于未知函数 \(O(y)\) 的积分方程。由于 \(f(s \mid r_Y = 0)\)、\(f(s \mid r_Y = 1)\)、\(f(y \mid r_Y = 1)\) 都是可观测的(或可从观测数据估计),且 \(f(s \mid y)\) 可从 \(r_Y = 1\) 的样本中估计(因为 \(S \perp R_Y \mid Y\)),因此 \(O(y)\) 在温和的正则条件下是唯一可识别的。

  7. 一旦 \(O(y)\) 被识别,\(Y\) 的边际分布为:

    \[f(y) = \frac{f(y \mid r_Y = 1) [1 + O(y)]}{\int f(y \mid r_Y = 1) [1 + O(y)] \, dy}\]
    目标参数(如均值 \(\mathbb{E}[Y]\))随之可识别。

这个最小内核的要点:整篇论文的数学核心就是通过影子变量构造一个关于缺失几率函数的积分方程,并证明其可识别性。当影子变量本身也MNAR时,积分方程变得更复杂(需要同时处理\(S\)的缺失),但本质思路不变——用可观测的分布信息去"反解"不可观测的缺失机制。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在模式混合模型框架下,研究当主变量\(Y\)和影子变量\(S\)都可能MNAR时,如何非参数地识别和估计目标参数(如均值或回归系数)。
  2. 核心工具/方法:提出基于缺失几率函数的非参数识别策略,仅需推断观测数据密度和缺失几率函数;并基于此给出两种多重插补估计策略。
  3. 主要结论:在影子变量条件独立性假设下,即使影子变量本身MNAR,目标参数仍可非参数识别;提出的估计量具有相合性和渐近正态性,模拟和COVID-19数据应用验证了其有限样本表现。

关键设定与假设

在第二节最小记号的基础上,本文的完整设定包括:

  • 协变量\(X\):允许存在,且假设\(X\)完全观测(或MAR)。
  • 影子变量\(S\)的缺失:本文的关键推广。\(S\)的缺失机制 \(P(R_S \mid X, Y, S)\) 需要满足一定条件——具体来说,给定\(X\)和\(R_Y = 1\)时,\(S\)的缺失不依赖于\((Y, S)\)(即\(S\)的缺失是MAR或更弱)。这比"\(S\)完全观测"的假设更现实。
  • 模式混合模型参数化:将完整数据分布分解为观测模式分布和缺失模式的偏移参数。本文的核心创新在于用缺失几率函数来参数化缺失模式与观测模式之间的桥接,而不是像传统模式混合模型那样直接假设偏移参数的形式。
  • 与已有文献的比较:相比Wang et al. (2014) 要求\(S\)完全观测,本文放宽为\(S\)可缺失;相比Tang et al. (2023) 的参数化方法,本文保持非参数识别性。

主要结果

理论结果(基于intro和摘要推断,具体定理编号需查原文):

  1. 非参数识别性定理:在影子变量条件独立性假设和\(S\)缺失机制的正则条件下,缺失几率函数\(O(y)\)是唯一可识别的,从而目标参数可识别。
  2. 估计量的渐近性质:基于多重插补的估计量是相合的,且渐近正态,渐近方差可通过bootstrap或解析公式估计。
  3. 适用性:方法可同时处理协变量MNAR和结局MNAR,适用于连续、二值、计数等不同变量类型。

模拟研究:设计了多种场景(\(S\)完全观测 vs \(S\)部分缺失;\(Y\)的缺失机制不同强度),与现有方法(如完全观测\(S\)的影子变量方法、参数化选择模型)比较,展示本文方法在\(S\)缺失时的优势。

真实数据应用:CDC COVID-19监测数据。具体来说,可能涉及病例报告中的缺失(如某些州报告不完整),用影子变量(如相邻州的报告或滞后报告)来校正缺失偏差。

证明路线与技术技巧

整体路线(基于方法框架推断,需查原文确认):

  1. 第一步:建立观测数据分布与目标分布的联系。在模式混合模型下,将观测数据似然表示为目标分布和缺失几率函数的函数。
  2. 第二步:构造积分方程。利用影子变量的条件独立性,将\(S\)的观测分布表示为关于\(O(y)\)的积分方程。
  3. 第三步:证明可识别性。通过函数分析或测度论工具,证明积分方程在正则条件下有唯一解。
  4. 第四步:估计。用非参数方法(如核密度估计、样条)估计观测数据密度,代入积分方程求解\(O(y)\),再用多重插补估计目标参数。

技术技巧点名:

  • 缺失几率函数(odds of missing function):这是本文的核心工具,将不可识别的缺失机制转化为一个可识别的函数。
  • 多重插补(Multiple Imputation):用估计的\(O(y)\)构造插补分布,对缺失值进行多次插补,结合Rubin's rule得到最终估计和方差。
  • 非参数密度估计:用于估计观测数据密度,代入积分方程。
  • 积分方程的可识别性证明:可能用到Fredholm积分方程理论或不动点定理。

🔎 结论是否比证明窄

需要查原文确认的具体点:

  • 摘要声称"仅需推断观测数据密度和缺失几率函数",但观测数据密度的非参数估计在高维\(X\)下会遇到维数灾难。作者是否在理论中假设\(X\)的维数固定且低维?如果是,结论的适用范围比声称的窄。
  • 影子变量\(S\)的缺失机制假设——摘要说"允许影子变量本身也MNAR",但具体条件是什么?如果\(S\)的缺失机制也依赖于\(S\)本身(即\(S\)也是MNAR),识别条件可能比MAR更复杂。作者是否真正处理了\(S\)的MNAR,还是只处理了\(S\)的MAR?
  • 多重插补的渐近性质——插补分布本身是估计的,这种"估计的插补分布"是否会影响Rubin's rule的方差估计?作者是否给出了修正?

四、开放问题

  1. 半参数效率界:本文给出了相合估计,但未推导半参数效率界。在影子变量条件下,目标参数的有效估计是否可达?这需要计算高效影响函数(efficient influence function),是研究者(陈星宇)可以用其semiparametric theory武器库直接攻击的问题。扎根点:摘要中"渐近性质"的表述未提及效率性。

  2. 高维协变量下的可扩展性:本文的非参数识别策略在\(X\)维数较高时面临维数灾难。能否用稀疏假设或降维技术(如充分降维)在高维下保持可识别性?扎根点:摘要中"非参数"的表述暗示对\(X\)的维数没有显式限制,但非参数估计的收敛速率通常随维数恶化。

  3. 缺失机制假设的可检验性:影子变量的条件独立性假设(\(S \perp R_Y \mid X, Y\))在实证中是否可检验?如果不可检验,能否发展敏感性分析框架来量化违反该假设的影响?扎根点:摘要中"unverifiable parametric assumptions"是作者批评现有方法的点,但自己的核心假设同样可能不可验证。

  4. 与proximal causal inference的深度对话:本文将影子变量视为"部分缺失的negative control",但未与proximal causal inference的最新文献(如Cui et al. 2023, 2024)对话。这些文献是否已有类似结果?如果有,本文的新颖性需要重新定位。扎根点:intro中未引用proximal文献中关于部分缺失negative control的工作。

  5. 计算效率与数值稳定性:积分方程的数值求解(尤其是高维\(X\)下)可能面临计算瓶颈。能否用机器学习方法(如深度生成模型)近似缺失几率函数?扎根点:摘要中"multiple imputation"的估计策略暗示计算负担可能较大。


提醒:要确认上述开放问题是否是真gap,建议去读proximal causal inference子领域(Cui, Tchetgen Tchetgen, Miao等)近5年的intro——如果它们都指向"部分缺失的negative control"这一难题,说明这是共识性gap;如果互相打架,则可能是机会所在。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论