Testing selection on observables in parametric models with refreshment samples¶
作者: Grigory Franguridi, Arie Kapteyn
主题: 因果推断
相关性: 8/10
链接: https://arxiv.org/abs/2608.23508
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是面板数据中样本选择(attrition / nonresponse)问题的因果推断。其根本科学问题是:当个体因非随机原因流失(如退出调查、拒绝回答)时,如何对目标总体进行有效推断。传统上,研究者要么假设"选择仅依赖于可观测变量"(即 MAR / selection on observables),要么假设存在不可观测的混杂因素(即 nonignorable nonresponse)。前者通常不切实际,后者则面临识别困难。本文的核心贡献在于:当存在 refreshment sample(刷新样本,即从目标期边际分布中独立抽取的新样本)时,MAR 假设变得可检验。该方向的成熟度处于"方法已建立、但检验理论尚不完善"的阶段——识别与估计问题已有大量工作(Hirano et al., 2001; Franguridi et al., 2026a),但假设检验(尤其是检验统计量的渐近分布)是相对较新的贡献。
发展脉络¶
-
奠基工作:MAR 与 refreshment sample 的识别框架。Hirano, Imbens, Ridder, and Rubin (2001) 首次系统性地提出,在存在 refreshment sample 的情况下,通过"加性不可忽略性"(additive nonignorability, AN)假设可以恢复联合分布的识别。AN 假设允许选择概率依赖于未观测的时期 2 变量,但要求这种依赖以可分离的形式进入选择概率(即
p(z1,z2) = exp(k1(z1) + k2(z2)))。这一工作奠定了本文的理论基础——本文的检验正是基于 AN 假设下的估计与 MAR 假设下的估计之间的差异。 -
主要进展:估计方法的实用化。Franguridi, Hahn, Hoonhout, Kapteyn, and Ridder (2026a) 将 AN 假设下的估计问题转化为一个函数投影问题(KL 投影),并证明了可以用 raking 算法(迭代比例拟合 / Sinkhorn 算法)高效求解。该文还推导了估计量的渐近方差,并给出了递归计算公式。这是本文的直接技术基础——本文的检验统计量正是基于该文的 raking 估计量。此外,Franguridi and Kosenkova (2026) 提出了一个闭式估计量,避免了迭代优化,进一步降低了计算成本。
-
当前 frontier:假设检验与推断。本文的位置在于:在已有识别与估计方法的基础上,首次提出对 MAR 假设本身的统计检验。作者将检验问题转化为比较两个估计分布(MAR 下的 IPW 估计与 AN 下的 raking 估计)之间的 Hellinger 距离,并推导了检验统计量在原假设下的渐近分布(广义卡方分布)。这填补了该领域"估计方法成熟、但假设检验缺失"的空白。
子线索聚类¶
被引文献大致落在三条子线索上:
- 线索 A:识别与估计理论(Hirano et al., 2001; Franguridi et al., 2026a; Franguridi and Kosenkova, 2026)。这条线索关注"在 AN 假设下,如何从 refreshment sample 中恢复联合分布并估计目标参数"。核心工具是 KL 投影、raking 算法、以及闭式变换。本文直接建立在这条线索之上。
- 线索 B:refreshment sample 的实践应用与推广(Deng, Hillygus, Reiter, Si, and Zheng, 2013; Si, Reiter, and Hillygus, 2015)。这条线索关注 refreshment sample 在调查设计中的实际价值,包括偏差诊断、多重插补、贝叶斯分析等。本文的实证部分(UAS 数据)属于这条线索的应用场景。
- 线索 C:部分识别与最优传输(Franguridi and Liu, 2026)。这条线索处理更一般的部分识别问题,用最优传输(optimal transport)刻画识别集。虽然与本文的检验问题不同,但 raking 算法与熵正则化 OT 在数学结构上高度相关(都是 KL 投影的变体),因此这条线索为本文提供了算法上的旁证。
这个方向在追问的核心问题¶
- 识别问题:在何种假设下,refreshment sample 能恢复联合分布?AN 假设是否必要?能否进一步放宽?
- 估计问题:如何高效、稳定地估计 AN 假设下的目标分布?raking 算法的收敛速度与数值稳定性如何?
- 检验问题(本文的切入点):如何检验 MAR 假设是否成立?检验统计量的渐近分布是什么?如何控制有限样本下的检验水平与功效?
⚠️ 作者的 framing¶
作者将缺口 frame 为:"MAR 假设在实证中常被使用但往往不切实际,而 refreshment sample 的存在使得检验这一假设成为可能。然而,现有文献缺乏一个在参数模型下具有可操作渐近分布的检验统计量。" 作者强调其检验的计算便利性(基于 raking 的递归公式)和理论完备性(渐近分布为广义卡方)。被淡化的竞争路线包括:非参数设定下的检验(作者明确限定在参数模型)、基于贝叶斯方法的模型比较(作者未讨论)、以及基于其他距离(如 KL 散度)的检验(作者选择了 Hellinger 距离,理由是其二阶性质更易处理)。一个值得注意的遗漏:作者没有讨论检验的功效分析——即在 AN 假设下,检验对偏离 MAR 的敏感度如何随参数变化。这可能是后续研究的一个切入点。
张力¶
未见明显对立引用。但存在一个微妙的张力:Hirano et al. (2001) 的 AN 假设本身是一个半参数假设(选择概率为指数形式),而本文将其与参数模型结合。在参数模型下,AN 假设可能比非参数设定下更强,这可能导致检验对 AN 假设本身的偏离也敏感——即检验可能同时检验 MAR 与 AN 的正确性。作者在文中未明确讨论这一点。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号(逐个点名):
- \( Z_{it} = (Y_{it}, X_{it}) \):个体 \( i \) 在时期 \( t \) 的结果与协变量堆叠向量。这是随机变量,其联合分布是目标推断对象。
- \( S_i \):时期 2 的留存指示变量,\( S_i = 1 \) 表示个体留在样本中。这是随机变量,其条件分布刻画选择机制。
- \( p(z_1, z_2) = P(S_i = 1 | Z_{1i} = z_1, Z_{2i} = z_2) \):选择概率。这是参数/函数,是识别与检验的核心对象。
- \( f(z_1, z_2) \):目标联合密度(时期 1 与时期 2 的联合分布)。这是待估的无限维参数。
- \( f_1(z_1) \):时期 1 的边际密度,可直接从时期 1 全样本估计。
- \( f_2(z_2) \):时期 2 的边际密度,可由 refreshment sample 估计。
- \( f_s(z_1, z_2) \):留存样本的联合密度,即 \( f(z_1, z_2 | S = 1) \),可直接从留存样本估计。
- \( f^{AN}(z_1, z_2) \):在 AN 假设下恢复的目标联合密度。
- \( f^{MAR}(z_1, z_2) \):在 MAR 假设下的目标联合密度。
- \( \gamma = (\gamma_1', \gamma_2', \gamma_s')' \):参数向量,分别参数化 \( f_1, f_2, f_s \)。这是有限维参数,是估计的直接对象。
- \( n_1, n_r \):时期 1 样本量与 refreshment sample 样本量。样本量指标。
- \( \hat{T}_n \):检验统计量(Hellinger 距离的估计)。
- \( H(\gamma_0) \):Hellinger 距离在真实参数处的 Hessian 矩阵。
- \( s^{AN}(z, \gamma), s^{MAR}(z, \gamma) \):\( f^{AN} \) 和 \( f^{MAR} \) 的得分函数(对 \( \gamma \) 的对数梯度)。
模型:
- 数据生成机制:时期 1 全样本 \( \{Z_{1i}\}_{i=1}^{n_1} \) 从 \( f_1 \) 抽取;时期 2 留存样本 \( \{Z_{2i}: S_i = 1\} \) 从 \( f_s \) 抽取;refreshment sample \( \{Z_{2i}^r\}_{i=1}^{n_r} \) 从 \( f_2 \) 抽取。三个样本相互独立。
- 目标:恢复联合分布 \( f(z_1, z_2) \),并检验 MAR 假设 \( p(z_1, z_2) = p(z_1) \)(即选择不依赖于 \( z_2 \))。
- 关键假设:
- AN 假设:\( p(z_1, z_2) = \exp(k_1(z_1) + k_2(z_2)) \)。这是备择假设下的工作假设,比 MAR 更弱。
- 参数化:\( f_1, f_2, f_s \) 属于参数族(如高斯或离散分布),参数 \( \gamma \) 可估计。
- 正则条件:密度为正、参数可识别、估计量 \( \sqrt{n} \)-一致且渐近正态。
可观测数据: 1. 时期 1 全样本:\( \{Z_{1i}\}_{i=1}^{n_1} \)。 2. 时期 2 留存样本:\( \{Z_{2i}\}_{i: S_i = 1} \)(与时期 1 的对应个体配对)。 3. 时期 2 refreshment sample:\( \{Z_{2i}^r\}_{i=1}^{n_r} \)。
不可观测:时期 2 流失个体的 \( Z_2 \) 值,以及选择概率 \( p(z_1, z_2) \) 本身。
第二步:最小内核¶
核心思想:在 AN 假设下,联合分布 \( f \) 是唯一可识别的,且可由三个可观测分布 \( f_1, f_2, f_s \) 通过 KL 投影恢复。在 MAR 假设下,联合分布退化为 \( f^{MAR}(z_1, z_2) = f_1(z_1) f_s(z_2 | z_1) \)。如果 MAR 成立,则 \( f^{AN} = f^{MAR} \);如果 MAR 不成立,则二者不同。因此,检验 MAR 等价于检验 \( f^{AN} \) 与 \( f^{MAR} \) 是否相等。
最小例子(离散情形,两变量各取两值):
设 \( Z_1 \in \{0, 1\} \),\( Z_2 \in \{0, 1\} \)。可观测数据给出: - \( f_1(0) = 0.5, f_1(1) = 0.5 \)(时期 1 全样本)。 - \( f_2(0) = 0.6, f_2(1) = 0.4 \)(refreshment sample)。 - 留存样本的联合分布 \( f_s \) 为:
| \( Z_1 \backslash Z_2 \) | 0 | 1 |
|---|---|---|
| 0 | 0.3 | 0.2 |
| 1 | 0.2 | 0.3 |
MAR 下的联合分布: \( f^{MAR}(z_1, z_2) = f_1(z_1) f_s(z_2 | z_1) \)。计算得: - \( f^{MAR}(0,0) = 0.5 \times (0.3/0.5) = 0.3 \) - \( f^{MAR}(0,1) = 0.5 \times (0.2/0.5) = 0.2 \) - \( f^{MAR}(1,0) = 0.5 \times (0.2/0.5) = 0.2 \) - \( f^{MAR}(1,1) = 0.5 \times (0.3/0.5) = 0.3 \)
AN 下的联合分布:需解 KL 投影问题(2)。直观上,AN 假设允许选择概率依赖于 \( Z_2 \),因此恢复的联合分布 \( f^{AN} \) 会调整 \( f_s \) 使其边际等于 \( f_1 \) 和 \( f_2 \)。通过 raking 迭代(或直接解方程),可得 \( f^{AN} \) 为:
| \( Z_1 \backslash Z_2 \) | 0 | 1 |
|---|---|---|
| 0 | 0.25 | 0.25 |
| 1 | 0.25 | 0.25 |
(此例中,AN 恢复的分布是独立分布,因为 \( f_1 \) 和 \( f_2 \) 都是均匀的,且 raking 使联合分布向均匀分布调整。)
检验:计算 Hellinger 距离 \( T = \frac{1}{2} \sum_{a,b} (\sqrt{f^{AN}(a,b)} - \sqrt{f^{MAR}(a,b)})^2 \)。本例中: \( T = \frac{1}{2} [(\sqrt{0.25} - \sqrt{0.3})^2 \times 2 + (\sqrt{0.25} - \sqrt{0.2})^2 \times 2] \approx 0.5 \times [0.003 + 0.005] = 0.004 \)。
这个距离非零,表明 MAR 不成立。在统计检验中,我们会比较 \( n\hat{T}_n \) 与卡方分布的临界值。这个例子的本质:检验统计量度量的是"在 AN 假设下恢复的联合分布"与"在 MAR 假设下推断的联合分布"之间的差异。如果差异显著大于零,则拒绝 MAR。
为什么这个例子是内核:它剥离了所有技术细节(高斯参数化、raking 迭代、渐近理论),直接展示了检验的逻辑——两个假设下的分布估计之差。所有后续的数学工作(定理 1 的渐近分布、raking 算法的导数计算)都是在为这个简单的逻辑提供严格的统计推断基础。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在存在 refreshment sample 的面板数据中,如何检验"选择仅依赖于可观测变量"(MAR)这一常见但往往不切实际的假设。
- 核心工具/方法:构造了一个基于 Hellinger 距离的检验统计量,比较 MAR 下的 IPW 估计分布与 AN 假设下(Hirano et al., 2001)的 raking 估计分布;在参数模型下,证明了该统计量在原假设下渐近服从广义卡方分布。
- 主要结论:该检验在蒙特卡洛模拟中具有良好的尺寸控制(接近名义水平)和较高的功效(随样本量增加迅速趋近 1);应用于 Understanding America Study(UAS)数据时,强烈拒绝了 MAR 假设,表明样本流失与未观测的时期 2 变量相关。
关键设定与假设¶
- 参数模型:假设 \( f_1, f_2, f_s \) 属于参数族(高斯或离散),参数 \( \gamma \) 有限维。这是本文与 Hirano et al. (2001) 半参数设定的关键区别——参数化使得 raking 算法可以转化为有限维迭代,且渐近理论更易处理。
- AN 假设:选择概率 \( p(z_1, z_2) = \exp(k_1(z_1) + k_2(z_2)) \)。这是备择假设下的识别条件,也是 raking 算法收敛的前提。
- 正则条件(Assumption 1):密度二次连续可微、在支撑上为正、估计量 \( \sqrt{n} \)-一致且渐近正态。这些条件保证了 Delta 方法的适用性。
- 样本量条件:\( n_1 \) 与 \( n_r \) 同阶(\( n/n_r \to \kappa \in (0, \infty) \)),确保两个样本的估计误差都可控。
- 相比已有工作的变化:Hirano et al. (2001) 关注识别与估计,本文关注检验;Franguridi et al. (2026a) 关注 raking 估计量的性质,本文将其推广到检验统计量的渐近分布。
主要结果¶
定理 1(渐近分布):在 MAR 原假设下,检验统计量 \( n\hat{T}_n \) 渐近服从广义卡方分布:
证明路线: 1. 一阶条件为零:在 MAR 下,\( f^{AN} = f^{MAR} \),因此 Hellinger 距离 \( T(\gamma_0) = 0 \),且 \( \nabla_\gamma T(\gamma_0) = 0 \)(因为距离函数在零点处取最小值)。 2. 二阶 Delta 方法:由于一阶导数为零,\( \hat{T}_n \) 的渐近分布由二阶项决定:
技术技巧: - raking 迭代的 Jacobian 递推(Proposition 1):将 raking 迭代视为参数空间的映射 \( \xi_{t+1} = F(\xi_t, \eta) \),其导数 \( J_t = \partial \xi_t / \partial \eta' \) 满足线性递推 \( J_{t+1} = H_{2,\xi} H_{1,\xi_t} J_t + (H_{2,\xi} H_{1,\gamma_1}, H_{2,\gamma_2}, 0) \)。这允许在有限次迭代内精确计算 \( f^{AN} \) 对 \( \gamma \) 的导数。 - 投影映射的导数(Proposition 2):给出高斯情形下 KL 投影 \( H_1, H_2 \) 对输入参数的显式导数公式,是 Jacobian 递推的基础。 - Hellinger 距离的二次型结构:利用 Hellinger 距离在零点处的二阶性质,避免了计算复杂的分布距离导数,直接得到广义卡方分布。
真实例子与应用¶
数据:Understanding America Study(UAS)子样本,时期 1 为 2021-2023 年,时期 2 为 2023-2025 年。变量包括收入、教育、认知能力(由五个认知测试的因子分析得分衡量)。
应用方式: 1. 将收入、教育、认知能力分别离散化为三分类变量。 2. 估计三个可观测分布 \( f_1, f_2, f_s \)(高斯或离散参数模型)。 3. 用 raking 算法计算 \( f^{AN} \),用 IPW 计算 \( f^{MAR} \)。 4. 计算 Hellinger 距离 \( \hat{T}_n \) 及其 p 值。
结果:检验在 5% 显著性水平下强烈拒绝 MAR(p 值 \( 5 \times 10^{-6} \))。这表明 UAS 中的样本流失与未观测的时期 2 变量(如认知能力下降)相关,简单的 IPW 估计可能存在偏差。
例子想说明什么:该检验在实际调查数据中具有可操作性,能够检测到 MAR 假设的偏离,为实证研究者提供了诊断工具。
🔎 结论是否比证明窄¶
- 窄的地方:定理 1 的证明严格依赖于参数模型假设(Assumption 1)。作者在结论中暗示检验"可以推广到半参数设定",但并未给出证明。这是一个明显的"证明窄于 claim"之处。
- 另一个窄处:Hessian \( H(\gamma_0) \) 的估计需要 raking 迭代的 Jacobian,而 Jacobian 递推的收敛性(即 \( J_t \) 是否随 \( t \) 收敛)没有在文中证明,只是引用了 Franguridi et al. (2026a) 的结果。如果 raking 迭代不收敛,检验统计量的计算可能不稳定。
- 未讨论:检验的局部功效(即对 MAR 的微小偏离的检测能力)未在文中分析。作者只给出了蒙特卡洛模拟中的功效,但没有理论上的功效函数。
四、开放问题¶
-
半参数推广:定理 1 的证明依赖参数模型。能否在非参数或半参数设定下推导检验统计量的渐近分布?这需要处理无限维参数的 Delta 方法,可能涉及经验过程理论。扎根于 Assumption 1 和结论部分的推广暗示。
-
检验的功效分析:在 AN 假设下,检验对 MAR 偏离的敏感度如何?是否存在某些方向的偏离无法被检测到(即检验的一致性区域)?这需要计算检验统计量在备择假设下的渐近分布。扎根于蒙特卡洛模拟部分(仅给出数值功效,无理论分析)。
-
raking 迭代的收敛性:Jacobian 递推(Proposition 1)的收敛速度与条件是什么?在什么情况下 raking 迭代可能不收敛或收敛极慢?这关系到检验统计量在有限样本下的数值稳定性。扎根于 Proposition 1 和 Franguridi et al. (2026a) 的引用。
-
检验的局部功效与置信区间:能否构造 MAR 偏离程度的置信区间(而非仅做二元检验)?这需要估计 Hellinger 距离的分布,并可能涉及 bootstrap 方法。扎根于定理 1 的广义卡方分布(可进一步推导非中心参数)。
-
多期面板的推广:本文仅考虑两期面板。在多期面板中,AN 假设的形式如何推广?检验统计量如何构造?扎根于引言部分对多期设置的提及(未展开)。
提示:若要确认这些是否是真 gap,建议去读近 5 年关于 refreshment sample 的文献(如 Journal of Business & Economic Statistics、Journal of Econometrics 上的相关文章)的引言部分。如果多篇文献都提到"缺乏对 MAR 的检验",则第 1、2 条是真 gap;如果已有其他检验方法(如基于贝叶斯因子或信息准则),则需要重新定位本文的贡献。
Maintained by 陈星宇 · Homepage · Source on GitHub