跳转至

Testing selection on observables in parametric models with refreshment samples

作者: Grigory Franguridi, Arie Kapteyn
主题: 因果推断
相关性: 8/10
链接: https://arxiv.org/abs/2608.23508


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是面板数据中样本选择(attrition / nonresponse)问题的因果推断。其根本科学问题是:当个体因非随机原因流失(如退出调查、拒绝回答)时,如何对目标总体进行有效推断。传统上,研究者要么假设"选择仅依赖于可观测变量"(即 MAR / selection on observables),要么假设存在不可观测的混杂因素(即 nonignorable nonresponse)。前者通常不切实际,后者则面临识别困难。本文的核心贡献在于:当存在 refreshment sample(刷新样本,即从目标期边际分布中独立抽取的新样本)时,MAR 假设变得可检验。该方向的成熟度处于"方法已建立、但检验理论尚不完善"的阶段——识别与估计问题已有大量工作(Hirano et al., 2001; Franguridi et al., 2026a),但假设检验(尤其是检验统计量的渐近分布)是相对较新的贡献。

发展脉络

  1. 奠基工作:MAR 与 refreshment sample 的识别框架。Hirano, Imbens, Ridder, and Rubin (2001) 首次系统性地提出,在存在 refreshment sample 的情况下,通过"加性不可忽略性"(additive nonignorability, AN)假设可以恢复联合分布的识别。AN 假设允许选择概率依赖于未观测的时期 2 变量,但要求这种依赖以可分离的形式进入选择概率(即 p(z1,z2) = exp(k1(z1) + k2(z2)))。这一工作奠定了本文的理论基础——本文的检验正是基于 AN 假设下的估计与 MAR 假设下的估计之间的差异。

  2. 主要进展:估计方法的实用化。Franguridi, Hahn, Hoonhout, Kapteyn, and Ridder (2026a) 将 AN 假设下的估计问题转化为一个函数投影问题(KL 投影),并证明了可以用 raking 算法(迭代比例拟合 / Sinkhorn 算法)高效求解。该文还推导了估计量的渐近方差,并给出了递归计算公式。这是本文的直接技术基础——本文的检验统计量正是基于该文的 raking 估计量。此外,Franguridi and Kosenkova (2026) 提出了一个闭式估计量,避免了迭代优化,进一步降低了计算成本。

  3. 当前 frontier:假设检验与推断。本文的位置在于:在已有识别与估计方法的基础上,首次提出对 MAR 假设本身的统计检验。作者将检验问题转化为比较两个估计分布(MAR 下的 IPW 估计与 AN 下的 raking 估计)之间的 Hellinger 距离,并推导了检验统计量在原假设下的渐近分布(广义卡方分布)。这填补了该领域"估计方法成熟、但假设检验缺失"的空白。

子线索聚类

被引文献大致落在三条子线索上:

  • 线索 A:识别与估计理论(Hirano et al., 2001; Franguridi et al., 2026a; Franguridi and Kosenkova, 2026)。这条线索关注"在 AN 假设下,如何从 refreshment sample 中恢复联合分布并估计目标参数"。核心工具是 KL 投影、raking 算法、以及闭式变换。本文直接建立在这条线索之上。
  • 线索 B:refreshment sample 的实践应用与推广(Deng, Hillygus, Reiter, Si, and Zheng, 2013; Si, Reiter, and Hillygus, 2015)。这条线索关注 refreshment sample 在调查设计中的实际价值,包括偏差诊断、多重插补、贝叶斯分析等。本文的实证部分(UAS 数据)属于这条线索的应用场景。
  • 线索 C:部分识别与最优传输(Franguridi and Liu, 2026)。这条线索处理更一般的部分识别问题,用最优传输(optimal transport)刻画识别集。虽然与本文的检验问题不同,但 raking 算法与熵正则化 OT 在数学结构上高度相关(都是 KL 投影的变体),因此这条线索为本文提供了算法上的旁证。

这个方向在追问的核心问题

  1. 识别问题:在何种假设下,refreshment sample 能恢复联合分布?AN 假设是否必要?能否进一步放宽?
  2. 估计问题:如何高效、稳定地估计 AN 假设下的目标分布?raking 算法的收敛速度与数值稳定性如何?
  3. 检验问题(本文的切入点):如何检验 MAR 假设是否成立?检验统计量的渐近分布是什么?如何控制有限样本下的检验水平与功效?

⚠️ 作者的 framing

作者将缺口 frame 为:"MAR 假设在实证中常被使用但往往不切实际,而 refreshment sample 的存在使得检验这一假设成为可能。然而,现有文献缺乏一个在参数模型下具有可操作渐近分布的检验统计量。" 作者强调其检验的计算便利性(基于 raking 的递归公式)和理论完备性(渐近分布为广义卡方)。被淡化的竞争路线包括:非参数设定下的检验(作者明确限定在参数模型)、基于贝叶斯方法的模型比较(作者未讨论)、以及基于其他距离(如 KL 散度)的检验(作者选择了 Hellinger 距离,理由是其二阶性质更易处理)。一个值得注意的遗漏:作者没有讨论检验的功效分析——即在 AN 假设下,检验对偏离 MAR 的敏感度如何随参数变化。这可能是后续研究的一个切入点。

张力

未见明显对立引用。但存在一个微妙的张力:Hirano et al. (2001) 的 AN 假设本身是一个半参数假设(选择概率为指数形式),而本文将其与参数模型结合。在参数模型下,AN 假设可能比非参数设定下更强,这可能导致检验对 AN 假设本身的偏离也敏感——即检验可能同时检验 MAR 与 AN 的正确性。作者在文中未明确讨论这一点。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号(逐个点名):

  • \( Z_{it} = (Y_{it}, X_{it}) \):个体 \( i \) 在时期 \( t \) 的结果与协变量堆叠向量。这是随机变量,其联合分布是目标推断对象。
  • \( S_i \):时期 2 的留存指示变量,\( S_i = 1 \) 表示个体留在样本中。这是随机变量,其条件分布刻画选择机制。
  • \( p(z_1, z_2) = P(S_i = 1 | Z_{1i} = z_1, Z_{2i} = z_2) \):选择概率。这是参数/函数,是识别与检验的核心对象。
  • \( f(z_1, z_2) \):目标联合密度(时期 1 与时期 2 的联合分布)。这是待估的无限维参数。
  • \( f_1(z_1) \):时期 1 的边际密度,可直接从时期 1 全样本估计。
  • \( f_2(z_2) \):时期 2 的边际密度,可由 refreshment sample 估计。
  • \( f_s(z_1, z_2) \):留存样本的联合密度,即 \( f(z_1, z_2 | S = 1) \),可直接从留存样本估计。
  • \( f^{AN}(z_1, z_2) \):在 AN 假设下恢复的目标联合密度。
  • \( f^{MAR}(z_1, z_2) \):在 MAR 假设下的目标联合密度。
  • \( \gamma = (\gamma_1', \gamma_2', \gamma_s')' \):参数向量,分别参数化 \( f_1, f_2, f_s \)。这是有限维参数,是估计的直接对象。
  • \( n_1, n_r \):时期 1 样本量与 refreshment sample 样本量。样本量指标。
  • \( \hat{T}_n \):检验统计量(Hellinger 距离的估计)。
  • \( H(\gamma_0) \):Hellinger 距离在真实参数处的 Hessian 矩阵。
  • \( s^{AN}(z, \gamma), s^{MAR}(z, \gamma) \):\( f^{AN} \) 和 \( f^{MAR} \) 的得分函数(对 \( \gamma \) 的对数梯度)。

模型:

  • 数据生成机制:时期 1 全样本 \( \{Z_{1i}\}_{i=1}^{n_1} \) 从 \( f_1 \) 抽取;时期 2 留存样本 \( \{Z_{2i}: S_i = 1\} \) 从 \( f_s \) 抽取;refreshment sample \( \{Z_{2i}^r\}_{i=1}^{n_r} \) 从 \( f_2 \) 抽取。三个样本相互独立。
  • 目标:恢复联合分布 \( f(z_1, z_2) \),并检验 MAR 假设 \( p(z_1, z_2) = p(z_1) \)(即选择不依赖于 \( z_2 \))。
  • 关键假设:
  • AN 假设:\( p(z_1, z_2) = \exp(k_1(z_1) + k_2(z_2)) \)。这是备择假设下的工作假设,比 MAR 更弱。
  • 参数化:\( f_1, f_2, f_s \) 属于参数族(如高斯或离散分布),参数 \( \gamma \) 可估计。
  • 正则条件:密度为正、参数可识别、估计量 \( \sqrt{n} \)-一致且渐近正态。

可观测数据: 1. 时期 1 全样本:\( \{Z_{1i}\}_{i=1}^{n_1} \)。 2. 时期 2 留存样本:\( \{Z_{2i}\}_{i: S_i = 1} \)(与时期 1 的对应个体配对)。 3. 时期 2 refreshment sample:\( \{Z_{2i}^r\}_{i=1}^{n_r} \)。

不可观测:时期 2 流失个体的 \( Z_2 \) 值,以及选择概率 \( p(z_1, z_2) \) 本身。

第二步:最小内核

核心思想:在 AN 假设下,联合分布 \( f \) 是唯一可识别的,且可由三个可观测分布 \( f_1, f_2, f_s \) 通过 KL 投影恢复。在 MAR 假设下,联合分布退化为 \( f^{MAR}(z_1, z_2) = f_1(z_1) f_s(z_2 | z_1) \)。如果 MAR 成立,则 \( f^{AN} = f^{MAR} \);如果 MAR 不成立,则二者不同。因此,检验 MAR 等价于检验 \( f^{AN} \) 与 \( f^{MAR} \) 是否相等。

最小例子(离散情形,两变量各取两值):

设 \( Z_1 \in \{0, 1\} \),\( Z_2 \in \{0, 1\} \)。可观测数据给出: - \( f_1(0) = 0.5, f_1(1) = 0.5 \)(时期 1 全样本)。 - \( f_2(0) = 0.6, f_2(1) = 0.4 \)(refreshment sample)。 - 留存样本的联合分布 \( f_s \) 为:

\( Z_1 \backslash Z_2 \) 0 1
0 0.3 0.2
1 0.2 0.3

MAR 下的联合分布: \( f^{MAR}(z_1, z_2) = f_1(z_1) f_s(z_2 | z_1) \)。计算得: - \( f^{MAR}(0,0) = 0.5 \times (0.3/0.5) = 0.3 \) - \( f^{MAR}(0,1) = 0.5 \times (0.2/0.5) = 0.2 \) - \( f^{MAR}(1,0) = 0.5 \times (0.2/0.5) = 0.2 \) - \( f^{MAR}(1,1) = 0.5 \times (0.3/0.5) = 0.3 \)

AN 下的联合分布:需解 KL 投影问题(2)。直观上,AN 假设允许选择概率依赖于 \( Z_2 \),因此恢复的联合分布 \( f^{AN} \) 会调整 \( f_s \) 使其边际等于 \( f_1 \) 和 \( f_2 \)。通过 raking 迭代(或直接解方程),可得 \( f^{AN} \) 为:

\( Z_1 \backslash Z_2 \) 0 1
0 0.25 0.25
1 0.25 0.25

(此例中,AN 恢复的分布是独立分布,因为 \( f_1 \) 和 \( f_2 \) 都是均匀的,且 raking 使联合分布向均匀分布调整。)

检验:计算 Hellinger 距离 \( T = \frac{1}{2} \sum_{a,b} (\sqrt{f^{AN}(a,b)} - \sqrt{f^{MAR}(a,b)})^2 \)。本例中: \( T = \frac{1}{2} [(\sqrt{0.25} - \sqrt{0.3})^2 \times 2 + (\sqrt{0.25} - \sqrt{0.2})^2 \times 2] \approx 0.5 \times [0.003 + 0.005] = 0.004 \)。

这个距离非零,表明 MAR 不成立。在统计检验中,我们会比较 \( n\hat{T}_n \) 与卡方分布的临界值。这个例子的本质:检验统计量度量的是"在 AN 假设下恢复的联合分布"与"在 MAR 假设下推断的联合分布"之间的差异。如果差异显著大于零,则拒绝 MAR。

为什么这个例子是内核:它剥离了所有技术细节(高斯参数化、raking 迭代、渐近理论),直接展示了检验的逻辑——两个假设下的分布估计之差。所有后续的数学工作(定理 1 的渐近分布、raking 算法的导数计算)都是在为这个简单的逻辑提供严格的统计推断基础。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在存在 refreshment sample 的面板数据中,如何检验"选择仅依赖于可观测变量"(MAR)这一常见但往往不切实际的假设。
  2. 核心工具/方法:构造了一个基于 Hellinger 距离的检验统计量,比较 MAR 下的 IPW 估计分布与 AN 假设下(Hirano et al., 2001)的 raking 估计分布;在参数模型下,证明了该统计量在原假设下渐近服从广义卡方分布。
  3. 主要结论:该检验在蒙特卡洛模拟中具有良好的尺寸控制(接近名义水平)和较高的功效(随样本量增加迅速趋近 1);应用于 Understanding America Study(UAS)数据时,强烈拒绝了 MAR 假设,表明样本流失与未观测的时期 2 变量相关。

关键设定与假设

  • 参数模型:假设 \( f_1, f_2, f_s \) 属于参数族(高斯或离散),参数 \( \gamma \) 有限维。这是本文与 Hirano et al. (2001) 半参数设定的关键区别——参数化使得 raking 算法可以转化为有限维迭代,且渐近理论更易处理。
  • AN 假设:选择概率 \( p(z_1, z_2) = \exp(k_1(z_1) + k_2(z_2)) \)。这是备择假设下的识别条件,也是 raking 算法收敛的前提。
  • 正则条件(Assumption 1):密度二次连续可微、在支撑上为正、估计量 \( \sqrt{n} \)-一致且渐近正态。这些条件保证了 Delta 方法的适用性。
  • 样本量条件:\( n_1 \) 与 \( n_r \) 同阶(\( n/n_r \to \kappa \in (0, \infty) \)),确保两个样本的估计误差都可控。
  • 相比已有工作的变化:Hirano et al. (2001) 关注识别与估计,本文关注检验;Franguridi et al. (2026a) 关注 raking 估计量的性质,本文将其推广到检验统计量的渐近分布。

主要结果

定理 1(渐近分布):在 MAR 原假设下,检验统计量 \( n\hat{T}_n \) 渐近服从广义卡方分布:

\[n\hat{T}_n \rightsquigarrow \frac{1}{2} g_0' H(\gamma_0) g_0, \quad g_0 \sim N(0, \Omega(\gamma_0)),\]
其中 \( H(\gamma_0) \) 是 Hellinger 距离在真实参数处的 Hessian 矩阵,\( \Omega(\gamma_0) \) 是参数估计量的渐近方差。关键点:该分布不是标准卡方,而是二次型,因为 Hellinger 距离在 \( f^{AN} = f^{MAR} \) 处的一阶导数为零(这是距离函数的固有性质)。

证明路线: 1. 一阶条件为零:在 MAR 下,\( f^{AN} = f^{MAR} \),因此 Hellinger 距离 \( T(\gamma_0) = 0 \),且 \( \nabla_\gamma T(\gamma_0) = 0 \)(因为距离函数在零点处取最小值)。 2. 二阶 Delta 方法:由于一阶导数为零,\( \hat{T}_n \) 的渐近分布由二阶项决定:

\[\hat{T}_n \approx \frac{1}{2} (\hat{\gamma} - \gamma_0)' H(\gamma_0) (\hat{\gamma} - \gamma_0).\]
3. 代入估计量渐近分布:由 Assumption 1(iii),\( \sqrt{n}(\hat{\gamma} - \gamma_0) \rightsquigarrow N(0, \Omega) \),代入即得定理 1。 4. Hessian 的计算:\( H(\gamma_0) \) 涉及 \( f^{AN} \) 和 \( f^{MAR} \) 对 \( \gamma \) 的二阶导数,通过 raking 迭代的 Jacobian 递推(Proposition 1)和投影映射的导数(Proposition 2)计算。

技术技巧: - raking 迭代的 Jacobian 递推(Proposition 1):将 raking 迭代视为参数空间的映射 \( \xi_{t+1} = F(\xi_t, \eta) \),其导数 \( J_t = \partial \xi_t / \partial \eta' \) 满足线性递推 \( J_{t+1} = H_{2,\xi} H_{1,\xi_t} J_t + (H_{2,\xi} H_{1,\gamma_1}, H_{2,\gamma_2}, 0) \)。这允许在有限次迭代内精确计算 \( f^{AN} \) 对 \( \gamma \) 的导数。 - 投影映射的导数(Proposition 2):给出高斯情形下 KL 投影 \( H_1, H_2 \) 对输入参数的显式导数公式,是 Jacobian 递推的基础。 - Hellinger 距离的二次型结构:利用 Hellinger 距离在零点处的二阶性质,避免了计算复杂的分布距离导数,直接得到广义卡方分布。

真实例子与应用

数据:Understanding America Study(UAS)子样本,时期 1 为 2021-2023 年,时期 2 为 2023-2025 年。变量包括收入、教育、认知能力(由五个认知测试的因子分析得分衡量)。

应用方式: 1. 将收入、教育、认知能力分别离散化为三分类变量。 2. 估计三个可观测分布 \( f_1, f_2, f_s \)(高斯或离散参数模型)。 3. 用 raking 算法计算 \( f^{AN} \),用 IPW 计算 \( f^{MAR} \)。 4. 计算 Hellinger 距离 \( \hat{T}_n \) 及其 p 值。

结果:检验在 5% 显著性水平下强烈拒绝 MAR(p 值 \( 5 \times 10^{-6} \))。这表明 UAS 中的样本流失与未观测的时期 2 变量(如认知能力下降)相关,简单的 IPW 估计可能存在偏差。

例子想说明什么:该检验在实际调查数据中具有可操作性,能够检测到 MAR 假设的偏离,为实证研究者提供了诊断工具。

🔎 结论是否比证明窄

  • 窄的地方:定理 1 的证明严格依赖于参数模型假设(Assumption 1)。作者在结论中暗示检验"可以推广到半参数设定",但并未给出证明。这是一个明显的"证明窄于 claim"之处。
  • 另一个窄处:Hessian \( H(\gamma_0) \) 的估计需要 raking 迭代的 Jacobian,而 Jacobian 递推的收敛性(即 \( J_t \) 是否随 \( t \) 收敛)没有在文中证明,只是引用了 Franguridi et al. (2026a) 的结果。如果 raking 迭代不收敛,检验统计量的计算可能不稳定。
  • 未讨论:检验的局部功效(即对 MAR 的微小偏离的检测能力)未在文中分析。作者只给出了蒙特卡洛模拟中的功效,但没有理论上的功效函数。

四、开放问题

  1. 半参数推广:定理 1 的证明依赖参数模型。能否在非参数或半参数设定下推导检验统计量的渐近分布?这需要处理无限维参数的 Delta 方法,可能涉及经验过程理论。扎根于 Assumption 1 和结论部分的推广暗示。

  2. 检验的功效分析:在 AN 假设下,检验对 MAR 偏离的敏感度如何?是否存在某些方向的偏离无法被检测到(即检验的一致性区域)?这需要计算检验统计量在备择假设下的渐近分布。扎根于蒙特卡洛模拟部分(仅给出数值功效,无理论分析)。

  3. raking 迭代的收敛性:Jacobian 递推(Proposition 1)的收敛速度与条件是什么?在什么情况下 raking 迭代可能不收敛或收敛极慢?这关系到检验统计量在有限样本下的数值稳定性。扎根于 Proposition 1 和 Franguridi et al. (2026a) 的引用。

  4. 检验的局部功效与置信区间:能否构造 MAR 偏离程度的置信区间(而非仅做二元检验)?这需要估计 Hellinger 距离的分布,并可能涉及 bootstrap 方法。扎根于定理 1 的广义卡方分布(可进一步推导非中心参数)。

  5. 多期面板的推广:本文仅考虑两期面板。在多期面板中,AN 假设的形式如何推广?检验统计量如何构造?扎根于引言部分对多期设置的提及(未展开)。

提示:若要确认这些是否是真 gap,建议去读近 5 年关于 refreshment sample 的文献(如 Journal of Business & Economic Statistics、Journal of Econometrics 上的相关文章)的引言部分。如果多篇文献都提到"缺乏对 MAR 的检验",则第 1、2 条是真 gap;如果已有其他检验方法(如基于贝叶斯因子或信息准则),则需要重新定位本文的贡献。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论