跳转至

Missing Endogenous Variables in Conditional Moment Restriction Models

作者: Antonio Cosma, Andreï Victorovitch Kostyrka, Gautam Tripathi
来源: Journal of Business & Economic Statistics
主题: 因果推断
相关性: 8/10
链接: https://doi.org/10.1080/07350015.2026.2619543


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是带缺失数据的条件矩限制(CMR)模型中的半参数有效估计。根本问题是:当模型中的内生变量(结果变量或解释变量)存在缺失时,如何利用可观测数据对有限维参数进行识别与有效估计。这个方向位于三个经典领域的交汇处:缺失数据处理(missing data)、工具变量/矩限制模型(IV/GMM)、以及半参数效率理论(semiparametric efficiency)。其成熟度属于"经典问题的新设定"——缺失数据下的矩限制模型已有大量文献(如 Robins et al. 1994; Rotnitzky & Robins 1995; Wooldridge 2007),但内生变量缺失这一特定设定下的效率刻画,尤其是"何时能获得效率增益"的充要条件,此前未被系统回答。

发展脉络(history)

  • 奠基工作:缺失数据下的半参数效率。Robins, Rotnitzky & Zhao (1994, JASA) 建立了在缺失数据下利用逆概率加权(IPW)和增广逆概率加权(AIPW)构造半参数有效估计量的框架。这是本文方法论的直接源头——本文的"双重稳健"估计量本质上是 AIPW 思想在 CMR 模型中的推广。
  • 主要进展:矩限制模型中的缺失数据。Wooldridge (2007, Econometric Reviews) 系统处理了矩限制模型中解释变量缺失的问题,提出基于 IPW 的 GMM 估计量。但 Wooldridge 的设定中缺失变量是外生的(或至少不涉及内生性),且未讨论效率上界。本文的贡献正是在此开口:当缺失变量是内生的时,IPW-GMM 是否仍然有效?答案是否定的——本文证明了在特定条件下可以做得更好。
  • 关键转折:内生变量缺失的"信息性插补"。本文的核心理论贡献是证明了效率增益的充要条件:当且仅当模型中至少有一个内生变量(无论是否包含在 CMR 中)对所有个体可观测时,信息性插补(informative imputation)才能带来效率增益。这个刻画将"缺失机制"与"模型结构"联系起来——不是任何缺失都能被插补弥补,只有存在"锚点"内生变量时,插补才具有信息量。
  • 当前 frontier 与本文位置:当前该子方向的活跃问题包括:高维矩限制模型中的缺失处理、非参数/半参数矩限制模型的估计、以及缺失机制本身未知(非 ignorable)时的敏感性分析。本文的位置是在经典 CMR 框架下给出了效率增益的精确刻画,并构造了达到该效率界的估计量——这是一个"收口"型贡献,把此前分散的 IPW-GMM、AIPW、插补方法统一在一个效率框架下。

子线索聚类

被引文献大致落在三条子线索上:

  1. 缺失数据下的半参数效率理论(Robins et al. 1994; Rotnitzky & Robins 1995; Tsiatis 2006):这条线建立了"缺失机制已知时,有效估计量的形式是 IPW + 增广项"这一核心范式。本文直接继承此范式,但将其推广到内生变量缺失且模型为 CMR 的设定。
  2. 矩限制模型中的缺失数据处理(Wooldridge 2007; Graham 2011; Chaudhuri & Guilkey 2016):这条线处理的是"如何在 GMM 框架下处理缺失",但大多假设缺失变量外生或缺失机制可忽略。本文的贡献在于放松了外生性假设,并给出了效率增益的精确条件。
  3. 工具变量与内生性处理(Angrist & Evans 1998; Newey & Powell 2003):这条线提供的是 CMR 模型本身的理论基础(工具变量如何识别参数),以及实证应用中的经典数据集。本文的实证部分直接使用 Angrist-Evans 数据,展示新估计量在大样本下的优势。

这个方向在追问的核心问题

  • Q1(识别):当内生变量缺失时,参数是否仍然可识别?本文的回答是肯定的——只要 CMR 模型本身可识别,缺失不破坏识别(因为矩条件只依赖于可观测的完整子样本)。
  • Q2(效率):在可识别的前提下,半参数效率界是什么?什么条件下能达到?这是本文的核心贡献——给出了效率增益的充要条件。
  • Q3(估计):如何构造达到效率界的估计量?本文给出了一个双重稳健的估计量。
  • Q4(稳健性):当缺失机制被错误指定时,估计量的性质如何?本文的双重稳健性部分回答了这个问题——只要缺失机制或结果回归模型之一正确,估计量就一致。

已知瓶颈:此前文献的主要瓶颈是——当缺失变量是内生的时,IPW-GMM 虽然一致但不是有效的,而如何构造有效估计量、以及何时可能获得效率增益,缺乏系统性刻画。本文直接填补了这一空白。

⚠️ 作者的 framing(必须明确标注为"这是作者的说法")

作者在引言中将本文的贡献 frame 为:"We demonstrate that efficiency gains in estimation occur if and only if there is at least one endogenous variable—included in or excluded from the CMR model—that is nonmissing (observed for all individuals in the sample), which we show characterizes informative imputation."

作者把缺口 frame 成:此前文献(Wooldridge 2007 等)只考虑了 IPW-GMM 的一致性,但未回答"何时能做得更好"。本文的充要条件刻画因此成为"显然的下一步"。

被淡化或回避的竞争路线: - 作者回避了缺失机制未知(non-ignorable missingness)的情形——本文假设缺失机制是已知的(倾向得分可估计),这是标准的 MAR 假设。如果缺失机制本身需要敏感性分析,本文的方法不直接适用。 - 作者没有讨论高维设定——当 CMR 中的变量维度很高时,本文的效率界和估计量是否仍然成立?这是一个明显的未回答问题。 - 作者没有与多重插补(MI)方法做直接比较——MI 是实践中常用的替代方案,但本文未讨论其相对效率。

什么明显该被引 / 该存在、却没出现在 intro 里? - Newey (1990, Econometrica) 关于 CMR 模型半参数效率的经典论文——这是 CMR 模型效率理论的奠基之作,本文的效率界推导本质上是在 Newey 框架下加入缺失机制,但引言中未直接引用。 - Tsiatis (2006) 的专著——关于半参数效率与缺失数据的标准参考,本文的方法论与其高度相关,但引言中未提及。 - 近期的双重机器学习(DML)文献(Chernozhukov et al. 2018)——DML 也处理矩限制模型中的 nuisance 参数估计,与本文的交叉拟合(cross-fitting)技术有重叠,但引言未讨论这一联系。

张力

未见明显对立引用。被引文献之间在"IPW-GMM 是否有效"这一问题上存在隐含张力——Wooldridge (2007) 的框架暗示 IPW-GMM 是自然选择,而本文证明在特定条件下可以超越它。这不是矛盾,而是效率边界的推进。


二、最核心、最简单的例子 / 数学问题

第一步:把符号、模型、可观测数据交代清楚

符号(逐个点名):

  • θ ∈ Θ ⊂ ℝ^d:有限维参数,本文的估计目标(estimand)。例如在 Angrist-Evans 应用中,θ 包含"第三个孩子对女性劳动供给的影响"等系数。
  • g(Z, θ):p 维矩函数(moment function),其中 Z 是完整数据向量。CMR 模型假设 E[g(Z, θ₀)] = 0 当且仅当 θ = θ₀(识别条件)。
  • X:条件变量(conditioning variables),CMR 中的条件 E[g(Z, θ₀) | X] = 0 所依赖的变量。X 假设对所有个体可观测。
  • Y:内生变量(endogenous variables),包括结果变量和/或解释变量。关键设定:Y 中的某些分量可能缺失。
  • R:缺失指示器(missingness indicator),R = 1 表示 Y 完整可观测,R = 0 表示 Y 至少有一个分量缺失。R 是随机变量。
  • π(X) = P(R = 1 | X):倾向得分(propensity score),即给定 X 时 Y 完整的概率。本文假设缺失机制是 MAR(missing at random):R ⊥ Y | X,即给定 X 后,缺失与否与 Y 的值无关。π(X) 是 nuisance 参数,需要估计。
  • W:工具变量(instrumental variables),在 CMR 模型中用于构造矩条件。W 假设对所有个体可观测。
  • n:样本量。
  • P:观测数据的联合分布。可观测数据是 (R, X, W, R·Y)——即当 R = 1 时我们观察到完整的 Y,当 R = 0 时 Y 缺失。

模型(用直白语言写出):

  1. 完整数据模型:如果所有 Y 都可观测,则 θ₀ 通过 CMR 条件 E[g(Z, θ₀) | X] = 0 识别,其中 Z = (Y, X, W)。标准的 GMM 估计量基于样本矩条件。
  2. 缺失数据模型:当 R = 0 时,Y 不可观测,因此矩函数 g(Z, θ) 无法直接计算。可观测的矩条件是 E[R·g(Z, θ₀) | X] = 0(因为 MAR 假设下,R 与 Y 条件独立,所以 E[R·g(Z, θ) | X] = E[R | X]·E[g(Z, θ) | X] = π(X)·0 = 0)。
  3. 估计策略:基于可观测矩条件 E[R·g(Z, θ₀) | X] = 0,可以用 IPW-GMM 估计 θ。但本文证明这不是有效的——存在更好的估计量。

可观测 vs 不可观测:

  • 可观测:R, X, W, 以及 R = 1 时的 Y(即完整子样本)。
  • 不可观测:R = 0 时的 Y(缺失值本身)。
  • 想要但观测不到:完整的矩函数 g(Z, θ) 对所有个体——这是缺失带来的核心困难。

第二步:讲最小内核

最简特例:考虑一个极简化的线性回归 + 缺失设定,剥离所有一般性假设:

  • 设定:假设模型是 Y = Xθ + ε,其中 X 是外生解释变量(无内生性问题),但 Y 对部分个体缺失。我们想估计 θ。
  • 完整数据:如果所有 Y 都可观测,OLS 估计量 θ̂ = (X'X)⁻¹X'Y 是有效的。
  • 缺失数据:当 Y 缺失时,一个自然的估计量是仅用完整子样本的 OLS(complete-case analysis):θ̂_CC = (X'X)⁻¹X'Y_obs,其中 Y_obs 只包含 R = 1 的个体。在 MAR 假设下,这个估计量是一致的(因为 E[R·X(Y - Xθ₀)] = E[R·Xε] = E[X·E[R|X]·E[ε|X]] = 0)。
  • 问题:θ̂_CC 是有效的吗?不是。因为缺失的个体中,X 的信息没有被充分利用——X 对所有个体可观测,但 θ̂_CC 只用了完整子样本的 X。

本文的核心洞见(在特例中的体现):

  • 效率增益的充要条件:在极简设定中,"至少有一个内生变量对所有个体可观测"这个条件退化为"X 对所有个体可观测"——这显然成立(X 是外生且无缺失)。因此,本文的定理说:存在比 complete-case OLS 更有效的估计量。
  • 信息性插补:更有效的估计量利用 X 对所有个体可观测这一事实,对缺失的 Y 进行"插补"。具体地,可以构造一个增广矩条件:E[R·X(Y - Xθ) + (1-R)·X(m(X) - Xθ)] = 0,其中 m(X) = E[Y|X] 是 Y 对 X 的回归。这个矩条件利用了所有个体的 X 信息,因此更有效。
  • 为什么"锚点"内生变量是关键:如果所有内生变量都缺失(即 Y 和 X 都缺失),则没有任何变量可以作为"锚点"来插补,效率增益不可能实现。本文的充要条件精确刻画了这一点:至少一个内生变量(无论是否在 CMR 中)对所有个体可观测。

这个特例揭示了本文的数学本质:本文处理的问题是"在矩限制模型中,缺失数据下的半参数效率界是什么,以及如何达到"。最小内核是:当存在一个"锚点"内生变量时,可以通过信息性插补构造一个比 IPW-GMM 更有效的估计量,且该估计量达到半参数效率界。一般设定(多个内生变量、CMR 而非线性回归、非参数 nuisance)只是这个内核的"加壳"。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在条件矩限制(CMR)模型中,当至少一个内生变量(结果变量或解释变量)对部分个体缺失时,如何对有限维参数 θ 进行半参数有效估计。
  2. 核心工具 / 方法:结合逆概率加权(IPW)与 GMM 框架,构造了一个双重稳健的估计量;核心理论贡献是证明了效率增益的充要条件——当且仅当至少一个内生变量(无论是否包含在 CMR 中)对所有个体可观测时,信息性插补能带来效率增益。
  3. 主要结论:所提出的估计量是半参数有效的(达到效率界),且具有双重稳健性(缺失机制或结果回归模型之一正确时即一致);在 Angrist-Evans 女性劳动供给数据的大样本实证中,传统 IPW-GMM 得到不显著的负效应,而新估计量得到显著且可比的结果。

关键设定与假设

在第二节最小记号的基础上,补全完整设定:

  • CMR 模型:E[g(Z, θ₀) | X] = 0,其中 Z = (Y, X, W),g 是 p 维矩函数,θ₀ 是唯一解。这是标准的矩限制模型设定,覆盖了线性回归、IV、非线性 GMM 等大量特例。
  • 缺失机制:假设 MAR(missing at random):R ⊥ Y | X,即给定 X 后,Y 的缺失与 Y 的值无关。倾向得分 π(X) = P(R = 1 | X) 是 nuisance 参数,需要估计。这个假设比 MCAR(完全随机缺失)更弱,但比 MNAR(非随机缺失)更强——作者明确将 MNAR 情形留给未来工作。
  • "锚点"内生变量条件:至少一个内生变量(无论是否包含在 CMR 中)对所有个体可观测。这是本文效率增益定理的核心条件。注意:这个条件不要求所有内生变量都可观测,只需要至少一个。
  • 正则条件:矩函数 g 的矩存在性、可微性、以及 θ 的识别条件(E[g(Z, θ)] = 0 唯一解)。这些是 GMM 文献的标准条件,本文未做实质性放松。
  • 相比已有文献的放宽/强化:
  • 放宽:允许缺失变量是内生的(Wooldridge 2007 主要处理外生缺失)。
  • 强化:要求至少一个内生变量可观测(这是效率增益的必要条件,也是本文的主要限制)。

主要结果

理论结果(基于摘要和引言的重构,论文为理论型):

  1. 效率增益的充要条件(Theorem 1 或类似):在 MAR 假设下,CMR 模型中存在比 IPW-GMM 更有效的估计量,当且仅当至少一个内生变量(无论是否包含在 CMR 中)对所有个体可观测。这个定理给出了"信息性插补"的精确刻画——只有当存在"锚点"内生变量时,缺失值才能被有效插补,从而获得效率增益。
  2. 半参数有效估计量(Theorem 2 或类似):构造了一个估计量 θ̂,它结合了 IPW 和 GMM 框架,并利用"锚点"内生变量进行信息性插补。该估计量达到半参数效率界,即其渐近方差等于半参数效率下界。
  3. 双重稳健性(Theorem 3 或类似):所提出的估计量具有双重稳健性——只要倾向得分 π(X) 或结果回归模型 m(X) = E[Y|X] 之一被正确指定,估计量就是一致的。这是 AIPW 类估计量的标准性质,但在 CMR 模型中的推广是新的。

实证结果:

  • 数据:Angrist & Evans (1998) 的女性劳动供给数据,样本量超过 200,000。
  • 设定:结果变量是女性劳动收入(有缺失),内生解释变量是"是否有第三个孩子"(工具变量是"前两个孩子是否同性别")。作者人为诱导缺失(artificially induce missingness),以比较不同估计量的表现。
  • 结果:传统 IPW-GMM 估计得到统计不显著的负效应(第三个孩子对劳动收入的负向影响),而本文提出的有效估计量得到统计显著且可比的结果。这说明在中等缺失率下,IPW-GMM 的效率损失可能导致检验功效不足,而有效估计量恢复了检验功效。

证明路线与技术技巧

整体路线(基于摘要和引言的重构,3-5 步逻辑主干):

  1. 建立可观测矩条件:在 MAR 假设下,证明 E[R·g(Z, θ₀) | X] = 0,从而 θ₀ 可由完整子样本的矩条件识别。这是 IPW-GMM 的基础。
  2. 刻画半参数效率界:利用半参数效率理论(Newey 1990 的框架),计算在缺失数据下 θ 的渐近方差下界。关键步骤是找到影响函数(influence function)的显式形式,并证明其达到效率界。
  3. 构造有效估计量:基于效率界的影响函数,构造一个估计量。核心技巧是信息性插补——利用"锚点"内生变量对所有个体可观测的事实,对缺失的 Y 进行插补,从而利用所有个体的信息。具体地,估计量采用如下形式: θ̂ = argmin_θ || (1/n) Σ_i [R_i·g(Z_i, θ) / π̂(X_i) + (1 - R_i)·ĝ(X_i, θ)] ||² 其中 ĝ(X_i, θ) 是对 E[g(Z, θ)|X] 的非参数估计(利用"锚点"内生变量可观测的信息)。
  4. 证明双重稳健性:证明上述估计量在 π(X) 或 m(X) 之一正确指定时一致。这需要仔细处理 nuisance 参数的估计误差,通常使用交叉拟合(cross-fitting)或经验过程理论。
  5. 渐近正态性与效率:证明估计量的渐近正态性,并验证其渐近方差等于效率界。

技术技巧点名:

  • 影响函数(influence function):核心工具,用于刻画效率界和构造有效估计量。
  • 逆概率加权(IPW):处理缺失的标准技巧,本文将其嵌入 GMM 框架。
  • 信息性插补(informative imputation):本文的核心创新——利用"锚点"内生变量对所有个体可观测的事实,对缺失值进行插补。这比单纯的 IPW 更有效,因为它利用了更多信息。
  • 交叉拟合(cross-fitting):处理 nuisance 参数估计误差的标准技巧,用于保证双重稳健性。
  • 经验过程理论(empirical process theory):用于处理非参数 nuisance 估计的渐近性质。

🔎 结论是否比证明窄

  • 效率增益的充要条件:作者在摘要中声称"if and only if",但这一结论的证明可能依赖于 MAR 假设和"锚点"内生变量的存在性。如果缺失机制是 MNAR,充要条件可能不成立——作者在引言中可能未充分讨论这一限制。
  • 双重稳健性:作者声称估计量是"doubly robust",但双重稳健性通常要求 nuisance 参数的收敛速率足够快(如交叉拟合下的 √n 速率)。如果非参数估计的收敛速率较慢,双重稳健性可能不成立——作者在定理陈述中可能附加了额外的速率条件,但摘要中未明确。
  • 实证部分:作者在摘要中强调"statistically significant",但这一结论依赖于人为诱导缺失的设定。在真实缺失机制未知的情况下,结论的稳健性未经验证。

四、开放问题

以下开放问题均扎根于本文的具体陈述或明显未覆盖的领域:

  1. MNAR(非随机缺失)下的效率刻画:本文的充要条件依赖于 MAR 假设。当缺失机制是 MNAR 时,效率增益的条件是什么?是否仍然存在"锚点"内生变量?——扎根于摘要中"MAR"假设的明确设定,以及引言中未讨论 MNAR 的情形。要确认这是否为真 gap,去读近期关于 missing not at random 的因果推断文献(约 5 篇)的 intro。

  2. 高维设定下的效率与计算:本文的估计量涉及非参数 nuisance 估计(倾向得分和结果回归)。当 X 的维度很高时,非参数估计的收敛速率会下降,双重稳健性可能失效。是否存在高维稀疏设定下的有效估计量?——扎根于本文对 nuisance 参数估计的标准假设(未明确维度限制)。这与您的高维统计背景直接相关。

  3. "锚点"内生变量的选择:本文的充要条件要求至少一个内生变量对所有个体可观测,但未讨论如何选择这个"锚点"。在多个内生变量部分缺失的情况下,选择哪个变量作为"锚点"对效率的影响是什么?——扎根于充要条件的陈述("at least one"),但未讨论选择问题。

  4. 高阶性质:本文的估计量是半参数有效的(一阶渐近),但其高阶性质(如 Edgeworth 展开、有限样本偏差)未讨论。结合您的高阶 U-统计量工具,可以分析该估计量的高阶偏差修正——扎根于本文仅讨论一阶渐近的设定。这是您可以直接用 very_familiar 工具攻击的问题。

  5. 与 DML 框架的联系:本文的估计量涉及 nuisance 参数的估计,与 Chernozhukov et al. (2018) 的 DML 框架有天然联系。本文未讨论其估计量是否满足 DML 的 Neyman orthogonality 条件,以及是否可以用 DML 的交叉拟合技巧进一步改进——扎根于本文未引用 DML 文献。这是您 moderately_familiar 的 semiparametric theory 可以触及的问题。


提醒:要确认上述哪条是真正的 gap,去读同子领域近期约 5 篇论文的 intro——都指向它 = 共识(真 gap),互相打架 = 机会。特别是第 1 条(MNAR)和第 4 条(高阶性质),前者是因果推断中公认的难点,后者是您可以直接用现有工具攻击的领域。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论