跳转至

Quasi-Experimental Evaluation of Alternative Sample Selection Corrections

作者: Robert Garlick, Joshua Hyman
来源: Journal of Business & Economic Statistics
主题: 经济理论 / 应用
相关性: 6/10
机构绿灯: Duke University（US News 前 50，免分进入精读）
链接: https://doi.org/10.1080/07350015.2021.1889566

一、领域脉络与小综述

这个方向是什么

本文研究的核心问题是样本选择偏差（sample selection bias）的校正方法评估。在经济学、流行病学和社会科学中，研究者经常面临“结果变量只在非随机子样本中可观测”的问题——例如，只有参加考试的学生才有考试成绩，而是否参加考试本身与潜在成绩相关。这导致直接使用可观测样本的OLS估计产生偏差。自Heckman（1979）以来，统计与计量经济学界提出了大量校正方法（参数Heckman型、半参数法、非参数法），但它们的实证表现——尤其是在有“真实基准”可对照的情况下——一直缺乏系统评估。本文利用一个罕见的自然实验（密歇根州2007年强制所有学生参加大学入学考试，使考试率从64%升至99%），构造了一个“准真实基准”，系统比较了多种校正方法在真实数据中的表现。

发展脉络（history）

  • 奠基工作：Heckman (1979)——提出经典的两步法（Heckman selection model），假设选择方程和结果方程的误差项服从联合正态分布，通过逆米尔斯比率（inverse Mills ratio）校正选择偏差。这是所有后续工作的起点。
  • 参数方法的扩展与批评：Lee (1983) 将Heckman框架推广到多项式选择（polychotomous selection）；Dubin & McFadden (1984) 提出基于条件logit的替代参数模型。但参数方法对分布假设的敏感性（尤其是正态性假设）被广泛批评——作者引用句：“parametric selection correction methods are sensitive to distributional assumptions”（原文intro）。
  • 半参数与非参数方法的兴起：为放松分布假设，一系列半参数方法被提出：Cosslett (1991) 提出部分线性选择模型；Ahn & Powell (1993) 提出基于核回归的对称性方法；Das, Newey & Vella (2003) 提出两阶段半参数估计（先用非参数估计选择概率，再在结果方程中引入非参数项）。这些方法在理论上放松了假设，但有限样本表现和对协变量分布的敏感性一直不明确。
  • 当前frontier与本文位置：现有文献对校正方法的比较主要依赖模拟研究（在已知DGP下比较）或理论推导（渐近性质）。但模拟研究的设计可能偏向某些方法，理论结果不反映有限样本表现。本文的独特贡献在于：利用一个自然实验构造了“真实基准”——2007年后的近乎完整数据（考试率99%）提供了“真实”的OLS系数，2007年前的选择性样本（考试率64%）上应用各种校正方法，然后比较校正后的系数与基准的差异。这提供了罕见的“外部有效性”验证，而非仅依赖模拟或理论。

子线索聚类

  1. 参数校正方法：Heckman两步法（Heckman 1979）、Lee (1983) 的多项式选择模型、Dubin & McFadden (1984) 的条件logit模型。共同特点：对选择机制和误差分布有强参数假设。
  2. 半参数校正方法：Cosslett (1991) 的部分线性模型、Ahn & Powell (1993) 的对称性方法、Das, Newey & Vella (2003) 的两阶段半参数法。共同特点：放松分布假设，但仍需对选择方程或结果方程的函数形式做一定限制。
  3. 非参数方法：Newey (2009) 的非参数两阶段法。共同特点：对函数形式几乎不做假设，但面临“维数诅咒”和有限样本表现问题。
  4. 实证比较文献：Puhani (2000) 和 Vella (1998) 的综述性比较（主要基于模拟）；本文是少数利用自然实验构造真实基准的实证比较。

这个方向在追问的核心问题

  1. 校正方法是否真的优于不校正的OLS？——在选择性样本上，简单OLS可能因选择偏差而有偏，但校正方法也可能因模型误设而引入更大偏差。哪个更严重？
  2. 参数 vs. 半参数 vs. 非参数：在有限样本中，更灵活的模型是否真的表现更好？——理论上，半参数/非参数方法放松了假设，但代价是更高的方差和更慢的收敛速度。在中等样本量（如本文的约5万观测）中，这种权衡如何？
  3. 协变量的数量与分布如何影响校正效果？——当协变量少且离散时，选择方程和结果方程的识别更依赖函数形式假设，校正方法可能更不稳定。
  4. “真实基准”的构造是否可信？——自然实验（强制考试）是否真的消除了选择？如果强制考试本身改变了学生的行为（如备考策略），则基准本身也有偏差。

⚠️ 作者的framing

作者将缺口frame为：“现有比较主要依赖模拟，缺乏真实数据下的外部有效性验证”。他们把自己的论文定位为“首次利用自然实验构造真实基准来系统比较多种校正方法”。他们淡化了以下竞争路线： - 模拟研究的价值：模拟可以控制DGP、精确知道真实参数，而自然实验的“基准”本身可能仍有偏差（如强制考试后的行为变化）。作者在intro中承认了这一点（“the benchmark may itself be imperfect”），但未深入讨论。 - 理论比较：如Newey (2009) 的非参数方法在理论上有一致性，但作者发现它在实证中表现不佳——这恰恰是理论无法预测的有限样本现象，但作者未将此作为理论方法的批评。

什么明显该被引/该存在、却没出现在intro里？ - 双重稳健（doubly robust）方法：如Robins, Rotnitzky & Zhao (1994) 的IPW/AIPW方法，在缺失数据问题中广泛使用。本文的样本选择问题本质上是“结果变量缺失非随机”（MNAR），而双重稳健方法在MNAR下需要正确指定选择模型或结果模型之一。本文未引用或比较任何双重稳健方法。 - 现代因果推断中的选择校正：如proximal causal inference（Tchetgen Tchetgen et al. 2020）或工具变量方法处理选择偏差。本文的设定（强制考试作为外生冲击）本身就是一个IV设定，但作者未从IV角度分析。 - 高维/机器学习方法：如Belloni, Chernozhukov & Hansen (2014) 的post-double-selection Lasso，或Chernozhukov et al. (2018) 的DML。这些方法在处理高维协变量时的选择校正表现可能不同。本文的协变量数量有限（最多约20个），但未讨论高维情形。

张力

未见明显对立引用。所有被引工作都承认“选择偏差需要校正”，分歧在于“用什么方法校正”和“校正是否总是优于不校正”。本文的发现（简单OLS有时优于校正方法）与Heckman (1979) 的原始动机（校正优于不校正）存在张力，但作者将其归因于“有限样本下模型误设的代价超过选择偏差的代价”，而非理论矛盾。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

符号： - \( Y_i \)：结果变量（考试成绩），对每个学生i。 - \( S_i \)：选择指示变量（\( S_i = 1 \) 表示学生i参加了考试，结果可观测；\( S_i = 0 \) 表示未参加，结果缺失）。 - \( X_i \)：协变量向量（如性别、种族、免费午餐资格、学校特征等），对所有学生都可观测。 - \( Z_i \)：工具变量/外生冲击（本文中为“2007年强制考试政策”的指示变量：\( Z_i = 1 \) 表示2007年及之后，\( Z_i = 0 \) 表示2007年之前）。注意：\( Z_i \) 影响 \( S_i \)（强制考试使 \( S_i \) 从0.64升至0.99），但不直接影响 \( Y_i \)（假设强制考试不改变学生的能力或备考行为）。 - \( \beta \)：感兴趣的参数向量（结果方程中 \( X_i \) 对 \( Y_i \) 的系数）。 - \( \epsilon_i \)：结果方程的误差项。 - \( u_i \)：选择方程的误差项。

模型（以Heckman两步法为例，其他方法类似但放松假设）： - 结果方程（对所有学生，无论是否参加考试）：\( Y_i = X_i' \beta + \epsilon_i \) - 选择方程：\( S_i = 1\{ W_i' \gamma + u_i > 0 \} \)，其中 \( W_i \) 是影响选择的协变量（通常包含 \( X_i \) 和至少一个排除变量 \( Z_i \)）。 - 可观测数据：对 \( S_i = 1 \) 的学生，观测到 \( (Y_i, X_i, W_i) \)；对 \( S_i = 0 \) 的学生，只观测到 \( (X_i, W_i) \)，\( Y_i \) 缺失。 - 潜在/不可观测量：\( Y_i \) 对所有学生（包括 \( S_i = 0 \) 的）都存在，但不可观测；\( \epsilon_i \) 和 \( u_i \) 的联合分布不可观测，只能通过假设识别。

关键识别假设（以Heckman模型为例）： - \( (\epsilon_i, u_i) \) 服从联合正态分布，均值为0，方差分别为 \( \sigma_\epsilon^2 \) 和 1（标准化），相关系数为 \( \rho \)。 - 排除限制（exclusion restriction）：\( W_i \) 中至少有一个变量（如 \( Z_i \)）影响 \( S_i \) 但不直接影响 \( Y_i \)（即不出现在结果方程中）。 - 条件独立性：\( (\epsilon_i, u_i) \perp (X_i, W_i) \)。

可观测 vs. 不可观测： - 可观测：\( S_i \)、\( X_i \)、\( W_i \)、以及 \( S_i=1 \) 时的 \( Y_i \)。 - 想要但观测不到：\( S_i=0 \) 时的 \( Y_i \)；\( \epsilon_i \) 和 \( u_i \) 的联合分布；\( \beta \) 的真实值（在2007年前的选择性样本中）。

第二步：讲最小内核

最简特例：假设只有两个时间点（2006年 vs. 2007年），一个二元协变量 \( X_i \)（如“是否来自低收入家庭”），一个二元工具变量 \( Z_i \)（2007年=1，2006年=0）。结果方程：\( Y_i = \beta_0 + \beta_1 X_i + \epsilon_i \)。选择方程：\( S_i = 1\{ \gamma_0 + \gamma_1 X_i + \gamma_2 Z_i + u_i > 0 \} \)，其中 \( \gamma_2 > 0 \)（强制考试提高了考试率）。

核心思路： 1. 基准：在2007年（\( Z_i=1 \)），考试率接近100%（99%），因此可观测样本几乎等于全体学生。对2007年数据做OLS回归 \( Y_i = \beta_0 + \beta_1 X_i + \epsilon_i \)，得到“真实”系数 \( \hat{\beta}^{OLS}_{2007} \)。 2. 校正方法评估：在2006年（\( Z_i=0 \)），考试率仅64%，可观测样本有选择偏差。对2006年数据应用各种校正方法（Heckman两步法、半参数法、非参数法），得到估计系数 \( \hat{\beta}^{corr}_{2006} \)。 3. 比较：计算 \( \hat{\beta}^{corr}_{2006} \) 与 \( \hat{\beta}^{OLS}_{2007} \) 的差异（偏差、均方误差等）。如果校正方法有效，则 \( \hat{\beta}^{corr}_{2006} \) 应接近 \( \hat{\beta}^{OLS}_{2007} \)；如果校正方法引入更大偏差，则 \( \hat{\beta}^{corr}_{2006} \) 可能比不校正的OLS（即直接用2006年可观测样本做OLS）更差。

为什么这个特例是“最小内核”： - 它剥离了所有复杂协变量结构（只有1个二元协变量），使选择偏差的来源清晰：低收入家庭学生更可能不参加考试（\( \gamma_1 < 0 \)），导致2006年可观测样本中高收入家庭学生比例偏高，从而 \( \hat{\beta}^{OLS}_{2006} \) 有偏。 - 它展示了本文的核心识别策略：用自然实验（强制考试）构造一个“近乎无选择”的基准，然后比较各种校正方法在“有选择”样本上的表现。所有更复杂的设定（多协变量、连续协变量、多种校正方法）只是这个内核的扩展。 - 它暴露了校正方法的核心困难：在有限样本中，模型误设（如正态性假设不成立）的代价可能超过选择偏差本身。在这个特例中，如果 \( \epsilon_i \) 和 \( u_i \) 的真实分布非正态，Heckman两步法可能产生比简单OLS更大的偏差。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：利用密歇根州2007年强制所有学生参加大学入学考试这一自然实验，评估多种样本选择校正方法（参数Heckman型、半参数法、非参数法）在真实数据中的有限样本表现。
  2. 核心工具/方法：以2007年后的近乎完整数据（考试率99%）的OLS估计作为“真实基准”，将2007年前的选择性样本（考试率64%）上应用各种校正方法得到的系数估计与基准比较，计算偏差、均方误差和覆盖概率。
  3. 主要结论：限制较少的半参数校正方法通常优于参数方法，但并未优于不校正选择的简单OLS回归；当协变量较少且离散时，所有校正方法的表现均更差。

关键设定与假设

数据： - 密歇根州2005-2008年所有公立高中12年级学生的行政数据，约5万观测/年。 - 结果变量：ACT大学入学考试成绩（综合分数，1-36分）。 - 选择变量：是否参加ACT考试（2007年前约64%，2007年后约99%）。 - 协变量：性别、种族（白/黑/西语裔/亚裔/其他）、免费午餐资格（低收入指标）、学校特征（城市/郊区/农村、学校规模、师生比）、学区固定效应。

关键假设： 1. 自然实验的有效性：2007年强制考试政策是外生的——即它只通过影响考试参与来影响可观测样本，而不直接影响学生的潜在成绩（排除限制）。作者通过以下方式支持这一假设：① 2007年前后学生的可观测特征分布稳定（无系统性变化）；② 强制考试后，考试率从64%跃升至99%，但平均成绩下降（因为之前不参加考试的低分学生现在也参加了），这与“选择偏差”的故事一致。 2. 基准的无偏性：2007年后的OLS估计（基于99%的样本）近似无偏。作者承认，如果强制考试改变了学生的备考行为（如更早开始准备），则基准本身也有偏差。但他们通过检查2007年前后成绩分布的变化（尤其是高分段的稳定性）来缓解这一担忧。 3. 排除限制：所有校正方法都需要至少一个变量影响选择但不影响结果。本文使用“2007年政策指示变量”作为排除变量（在2007年前的数据中，该变量恒为0，因此无法使用；作者实际上使用时间趋势和学校固定效应作为排除变量，但未明确说明其有效性）。

相比已有文献的强化/放宽： - 强化：提供了真实基准，而非模拟或理论比较。 - 放宽：不假设任何校正方法在有限样本中优于OLS；允许“不校正”作为比较基准之一。

主要结果

核心量化结论（基于表2-4，作者未给出具体数值，但描述了模式）：

  1. 参数方法 vs. 半参数方法：
  2. 半参数方法（Cosslett, Ahn-Powell, Das-Newey-Vella）的系数估计偏差通常小于参数方法（Heckman两步法、Lee模型）。
  3. 但半参数方法的方差更大，导致均方误差（MSE）并不总是优于参数方法。

  4. 关键发现：当协变量集丰富（包含连续变量和多个离散变量）时，半参数方法的MSE接近甚至略优于OLS；当协变量集贫乏（仅少数离散变量）时，所有校正方法的MSE都远大于OLS。

  5. 校正方法 vs. 不校正的OLS：

  6. 最令人惊讶的发现：在大多数设定下，简单OLS（不校正选择）的MSE小于或等于所有校正方法。这意味着，在有限样本中，校正方法引入的模型误设偏差和方差增加，超过了它们消除的选择偏差。

  7. 例外：当选择偏差非常大（如仅使用少数协变量时）且校正方法正确指定时，校正方法可能略优于OLS。但这种情况在本文的数据中不常见。

  8. 协变量分布的影响：

  9. 当协变量少且离散（如仅性别和种族两个二元变量）时，所有校正方法的表现都显著恶化——偏差增大、方差增大、覆盖概率远低于名义水平。
  10. 当协变量多且包含连续变量（如学校规模、师生比）时，校正方法的表现改善，但仍未优于OLS。

与baseline对比： - Baseline = 2007年后的OLS估计（视为“真实值”）。 - 所有校正方法的估计值都与baseline比较，计算偏差（\( \hat{\beta}^{corr} - \hat{\beta}^{OLS}_{2007} \)）和MSE。 - 作者还报告了95%置信区间的覆盖概率（即校正方法的置信区间包含baseline估计的比例）。

稳健性： - 作者尝试了不同的协变量组合（从最少到最多）、不同的排除变量（时间趋势 vs. 学校固定效应）、不同的样本分割（仅2006年 vs. 2005-2006年合并）。主要结论（校正方法不优于OLS）在大多数稳健性检验中成立。 - 一个例外：当使用“学校固定效应”作为排除变量时，某些半参数方法的MSE略低于OLS，但差异在统计上不显著。

证明路线与技术技巧

本文是应用型论文，无理论证明。但可以拆解其实证策略：

整体路线（3步逻辑主干）： 1. 构造基准：用2007年后的完整数据（\( Z_i=1 \)）做OLS回归，得到 \( \hat{\beta}^{OLS}_{2007} \)。这是“真实值”的代理。 2. 应用校正方法：用2007年前的选择性数据（\( Z_i=0 \)），分别应用以下方法： - 参数方法：Heckman两步法（假设正态性）、Lee模型（多项式选择）、Dubin-McFadden模型（条件logit）。 - 半参数方法：Cosslett（部分线性）、Ahn-Powell（对称性）、Das-Newey-Vella（两阶段半参数）。 - 非参数方法：Newey（非参数两阶段）。 - 基准方法：简单OLS（不校正选择）。 3. 比较：对每个方法，计算 \( \hat{\beta}^{corr}_{2006} \) 与 \( \hat{\beta}^{OLS}_{2007} \) 的差异，报告偏差、MSE、覆盖概率。

关键跳跃点： - 从模拟到真实数据：模拟研究可以控制DGP、精确知道真实参数，但可能不反映真实数据的复杂性（如非线性、异质性、测量误差）。本文的跳跃在于：用自然实验构造了一个“准真实”基准，使比较具有外部有效性。 - 从“校正优于不校正”到“校正可能更差”：这是本文最反直觉的发现。作者的解释是：在有限样本中，校正方法对模型误设（如正态性假设不成立、排除变量弱）的敏感性，导致其偏差和方差超过不校正的OLS。这类似于“bias-variance tradeoff”在模型误设下的表现。

技术技巧点名： - 自然实验作为“准随机化”：利用政策变化（强制考试）构造一个外生冲击，使选择状态近乎随机化。这是因果推断中的经典技巧（如DID、RDD）。 - 多重比较的稳健性：作者没有使用单一比较标准，而是同时报告偏差、MSE和覆盖概率，避免单一指标误导。 - 协变量集的系统变化：通过逐步增加协变量（从最少到最多），作者可以观察校正方法对协变量分布的敏感性——这是诊断模型误设的常用技巧。

真实例子与应用

数据：密歇根州2005-2008年所有公立高中12年级学生的行政数据（约5万观测/年）。变量包括：ACT成绩（结果）、是否参加考试（选择）、学生人口学特征（性别、种族、免费午餐资格）、学校特征（城市/郊区/农村、学校规模、师生比）、学区固定效应。

如何应用： 1. 将数据按年份分为“2007年前”（选择性样本，考试率64%）和“2007年后”（近乎完整样本，考试率99%）。 2. 对2007年后的数据做OLS回归，得到“真实”系数 \( \hat{\beta}^{OLS}_{2007} \)。 3. 对2007年前的数据，分别应用各种校正方法（Heckman两步法、半参数法、非参数法）和简单OLS，得到估计系数。 4. 比较每个方法的估计与基准的差异。

结果： - 表2（主结果）：报告了各方法对“种族”和“免费午餐资格”系数的估计。半参数方法的偏差通常小于参数方法，但所有校正方法的MSE都大于或等于简单OLS。 - 表3（协变量敏感性）：当仅使用少数离散协变量时，所有校正方法的MSE急剧增大（如Heckman两步法的MSE是OLS的3-5倍）。 - 表4（稳健性）：使用不同排除变量（时间趋势 vs. 学校固定效应）时，结论基本稳健。

这个例子想说明什么： - 主要目的：验证校正方法在真实数据中的有限样本表现，而非仅依赖模拟或理论。 - 次要目的：警示研究者：在有限样本中，校正方法可能不如简单OLS可靠，尤其是在协变量贫乏时。 - 对读者的启示：在选择校正方法时，应优先考虑协变量的丰富性和分布，而非方法的“理论优雅性”。

🔎 结论是否比证明窄

是。作者的主要结论（“校正方法不优于简单OLS”）是基于一个特定自然实验（密歇根州强制考试）和一组特定协变量（学生和学校特征）。作者在结论部分明确承认了这一点（“our results may not generalize to other settings”）。但intro和摘要中的表述（“we find that less restrictive semiparametric correction methods typically perform better than parametric correction methods but not better than simple OLS regressions”）可能被读者过度泛化。

具体窄点： 1. 排除变量的强度：本文使用的排除变量（时间趋势、学校固定效应）可能较弱，导致校正方法的识别不足。在排除变量更强的设定中（如明确的IV），校正方法可能表现更好。作者未讨论这一点。 2. 选择偏差的大小：本文的选择偏差（考试率从64%到99%）是“中等”的。在更极端的选择偏差（如考试率仅20%）下，校正方法可能更有价值。作者未进行这种敏感性分析。 3. 结果变量的分布：ACT成绩是连续变量，近似正态。对于离散结果（如二元就业状态）或偏态结果（如收入），校正方法的表现可能不同。作者未讨论这一点。 4. 样本量：本文的样本量约5万/年，属于“中等偏大”。在更小的样本（如n=500）中，校正方法的方差可能更大，OLS的相对优势可能更明显。作者未进行样本量敏感性分析。

四、开放问题（点到为止，扎根具体语句）

  1. 排除变量的强度与校正方法的表现：本文使用的排除变量（时间趋势、学校固定效应）可能较弱。如果使用更强的排除变量（如明确的IV），校正方法是否可能优于OLS？——扎根于原文：“our exclusion restrictions (time trends and school fixed effects) may be weak, potentially affecting the performance of selection correction methods”（结论部分，作者承认但未深入讨论）。

  2. 选择偏差的极端情形：本文的选择偏差是“中等”的（考试率从64%到99%）。在更极端的选择偏差（如考试率仅20%）下，校正方法是否可能优于OLS？——扎根于原文：“our setting features a moderate degree of selection; results may differ in settings with more severe selection”（结论部分，作者明确提及）。

  3. 高维协变量下的表现：本文的协变量数量有限（最多约20个）。在高维协变量（p > n）下，校正方法（如Heckman两步法）的有限样本表现如何？是否可以通过正则化（如Lasso）改善？——扎根于原文的局限性：“we use a relatively small set of covariates; future work could explore higher-dimensional settings”（结论部分，作者提及但未展开）。

  4. 双重稳健方法的缺失：本文未比较任何双重稳健方法（如AIPW、TMLE）。在样本选择问题中，双重稳健方法是否比本文比较的方法更稳健？——扎根于原文的引用缺失：intro中未引用Robins et al. (1994) 或任何双重稳健文献。这是一个值得研究者去查的“明显缺失”。

提醒：要确认第1条和第4条是否是真gap，建议去读同子领域近期约5篇的intro（如JBES、Journal of Econometrics、Review of Economics and Statistics上的相关论文）。如果多篇都指向“排除变量强度是关键”或“双重稳健方法在样本选择中的表现”，则这些是共识性gap；如果互相打架（如有的认为双重稳健方法优于Heckman，有的认为不），则可能是机会。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论