跳转至

Treatment evaluation at the intensive and extensive margins

作者: Phillip Heiler, Asbjørn Kaufmann, Bezirgen Veliyev
来源: Journal of Econometrics
主题: 因果推断
相关性: 8/10
链接: 期刊页 · arXiv


一、领域脉络与小综述

这个方向是什么

本文研究的是选择性样本中的因果效应识别与推断问题。具体而言,当研究结果(如工资)仅对部分样本可观测(如就业者),且处理(如职业培训)可能同时影响结果和样本选择时,如何在没有工具变量和参数假设的条件下,对处理效应进行识别和推断。该子方向的核心挑战在于:处理对样本选择的影响(广延边际)与对已选择样本结果的影响(集约边际)相互交织,导致简单的组间比较产生选择偏差。本文的目标是在弱单调性假设下,对所有主分层(principal strata)推导出平均处理效应(ATE)的尖锐界,并构建相应的推断方法。

发展脉络

  • 奠基工作:Heckman (1974, 1979) 开创了样本选择模型,指出选择性样本对内部效度的威胁,并提出了基于参数分布假设的修正方法。这是整个领域的起点。
  • 主要进展:Zhang and Rubin (2003) 和 Lee (2009) 将主分层(principal stratification, Frangakis and Rubin, 2002)框架引入样本选择问题,在强单调性假设(即处理对选择的影响方向一致)下,推导出处理效应的尖锐界。Lee (2009) 的界成为后续研究的标准方法,其核心思想是通过对选择概率的单调性假设,识别出始终就业者(always-takers)子总体,并在该子总体内比较处理效应。
  • 当前前沿:Semenova (2025) 将 Lee (2009) 的框架扩展到条件单调性(即允许处理对选择的影响在不同协变量子群中方向不同),并引入正交矩方法和高维机器学习工具进行估计。Heiler (2024) 则进一步考虑了异质性处理效应界,并提出了基于高效影响函数的估计方法。本文(Heiler, Kaufmann, Veliyev)在此基础上,明确允许存在对处理选择无差异的群体(即点质量),并系统性地处理由此产生的非正则性问题。

子线索聚类

  1. 基于单调性的识别策略:这条线索的核心是利用单调性假设来识别主分层。Zhang and Rubin (2003) 和 Lee (2009) 是强单调性的代表,而本文和 Semenova (2025) 则推广到条件单调性。这条线索的关键在于如何利用选择概率的相对大小(p₀(x))来划分主分层,并构造相应的截断矩条件。
  2. 部分识别与推断:这条线索关注在无法点识别时,如何给出参数集合(identified set)并进行推断。Imbens and Manski (2004) 和 Stoye (2020) 提供了部分识别参数置信区间的构造方法,本文在推断部分直接使用了这些结果。
  3. 非/半参数效率理论:这条线索关注估计量的最优性。Hahn (1998) 给出了ATE的半参数效率界,本文将其推广到样本选择下的主分层效应界,并证明了所提出的去偏机器学习估计量达到该效率界。Hirano and Porter (2012) 关于非正则估计量的不可能性结果是本文理论动机的核心。
  4. 机器学习与高维推断:这条线索关注如何利用现代机器学习方法处理高维协变量。Chernozhukov et al. (2018) 的去偏机器学习框架是本文估计方法的基础,而 Athey et al. (2019) 的森林方法则用于估计条件分位数等 nuisance 参数。

这个方向在追问的核心问题

  1. 如何在不依赖强单调性假设的情况下识别处理效应? 强单调性(如 Lee 2009)在实践中常被拒绝,而条件单调性(本文与 Semenova 2025)是一个更弱的、更可信的假设。
  2. 当存在对处理无差异的群体时,如何保证推断的有效性? 这是本文的核心贡献。无差异群体的存在导致目标参数(如界)作为数据分布的泛函是非光滑的,使得传统的 Delta 方法和自助法失效。
  3. 如何在高维协变量下实现半参数有效推断? 这需要结合去偏机器学习与半参数效率理论,同时处理 nuisance 参数估计误差对目标参数的影响。

⚠️ 作者的 framing

作者将本文定位为解决 Lee (2009) 界在存在无差异群体时的推断失效问题。作者明确指出,Lee (2009) 的强单调性假设排除了无差异群体,而 Semenova (2025) 虽然允许条件单调性,但其推断方法在点质量存在时可能失效。作者的 framing 是:通过引入平滑的外识别区域,在保持半参数有效性的同时,为不规则的目标参数提供有效的推断。作者将这一方法视为对现有文献的“自然延伸”,并强调了其在实际数据(如 Job Corps 数据)中的实证相关性。作者淡化了竞争路线(如基于工具变量的方法或更复杂的结构假设),而将重点放在在弱假设下提供有效推断这一核心贡献上。

张力

未见明显对立引用。作者将 Semenova (2025) 视为最接近的竞争对手,但指出其方法在点质量存在时的局限性。作者也引用了 Levis et al. (2025) 关于平滑部分识别参数的工作,但强调了自己的方法在效率上的优势(无需最坏情况偏差修正)。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

  • 符号:
  • 可观测变量:
    • \( D \in \{0,1\} \):二元处理变量(如是否被随机分配到职业培训)。
    • \( S \in \{0,1\} \):样本选择指示符(如是否就业)。
    • \( Y \):结果变量(如对数小时工资),仅当 \( S=1 \) 时可观测。
    • \( X \):协变量向量(如年龄、性别、教育背景等)。
  • 潜在变量(counterfactual):
    • \( S(1), S(0) \):在处理 \( D=1 \) 和 \( D=0 \) 下的潜在选择状态。
    • \( Y(1), Y(0) \):在处理 \( D=1 \) 和 \( D=0 \) 下的潜在结果。
  • 主分层(由 \( (S(1), S(0)) \) 定义):
    • 始终就业者 (Always-takers, AT):\( S(1)=S(0)=1 \)
    • 从不就业者 (Never-takers, NT):\( S(1)=S(0)=0 \)
    • 进入者 (Compliers, C):\( S(1)=1, S(0)=0 \)
    • 退出者 (Defiers, D):\( S(1)=0, S(0)=1 \)
  • 关键参数:
    • \( p_0(x) = P(S(0)=1 | X=x) \):控制组中观测到结果的概率。
    • \( p_1(x) = P(S(1)=1 | X=x) \):处理组中观测到结果的概率。
    • \( \beta(x, s_0, s_1) = E[Y(1)-Y(0) | S(0)=s_0, S(1)=s_1, X=x] \):给定主分层和协变量下的条件处理效应。
    • \( \beta(s_0, s_1) = E[\beta(X, s_0, s_1)] \):主分层处理效应(如 AT 效应 \( \beta(1,1) \))。
  • 估计目标:\( \beta(1,1) \)(集约边际效应)和 \( \beta(0,1) \)(广延边际效应)。

  • 模型:

  • 数据生成机制:观测数据 \( W = (YS, S, D, X) \) 是 i.i.d. 的。
  • 假设 3.1(条件独立性):\( D \perp\!\!\!\perp (Y(1), Y(0), S(1), S(0)) | X \)。这意味着给定协变量 \( X \),处理分配是外生的(如随机实验)。
  • 假设 3.2(弱/条件单调性):对于每个 \( x \in \mathcal{X} \),要么 \( P(S(1) \ge S(0) | X=x) = 1 \),要么 \( P(S(1) \le S(0) | X=x) = 1 \)。这意味着在给定协变量 \( x \) 的条件下,处理对选择的影响方向是确定的,但允许在不同 \( x \) 上方向不同。这比 Lee (2009) 的强单调性(\( P(S(1) \ge S(0)) = 1 \))更弱。
  • 假设 4.1(连续性):结果变量 \( Y \) 的条件分布是连续的。
  • 假设 4.2(多重重叠):\( 0 < m(x) < 1 \) 且 \( 0 < s(d,x) < 1 \),其中 \( m(x) = P(D=1|X=x) \),\( s(d,x) = P(S=1|D=d, X=x) \)。这保证了每个主分层在给定协变量下都有正的概率被观测到。
  • 假设 5.1(结果正则性 II):结果变量的条件分布有紧支撑,且密度函数有界。
  • 假设 5.2(强多重重叠):存在常数 \( \underline{m}, \underline{s} > 0 \) 使得 \( m(x) \in (\underline{m}, 1-\underline{m}) \) 且 \( s(d,x) \in (\underline{s}, 1-\underline{s}) \) 对所有 \( x \) 成立。
  • 假设 6.1(结果正则性 III):条件密度函数可微且有界导数。
  • 假设 6.2(Margin):\( P(|s(1,x)-s(0,x)| \le \delta) \le C\delta^\alpha \),即选择概率差异在零附近的概率质量被控制。
  • 假设 6.3(机器学习偏差 I):nuisance 参数估计满足一定的收敛速率。

  • 可观测数据:研究者观测到 \( n \) 个 i.i.d. 样本 \( \{Y_i S_i, S_i, D_i, X_i\}_{i=1}^n \)。关键点是,当 \( S_i=0 \) 时,\( Y_i \) 是缺失的。

第二步:最小内核

核心问题:在没有工具变量的情况下,如何识别和估计始终就业者(AT)的平均处理效应 \( \beta(1,1) \)?

最小内核:考虑一个最简单的例子,其中协变量 \( X \) 是离散的,且只取一个值(即无协变量)。此时,条件单调性退化为强单调性。假设 \( p_0 = P(S(0)=1) < p_1 = P(S(1)=1) \),即处理增加了就业概率。根据单调性,我们可以将观测到的个体分为三类:

  1. 始终就业者 (AT):\( S(1)=S(0)=1 \),占比 \( p_0 \)。
  2. 进入者 (C):\( S(1)=1, S(0)=0 \),占比 \( p_1 - p_0 \)。
  3. 从不就业者 (NT):\( S(1)=S(0)=0 \),占比 \( 1-p_1 \)。

识别策略: - 在控制组(\( D=0 \))中,观测到的结果 \( Y \) 全部来自 AT 个体(因为 \( S(0)=1 \) 意味着 \( S(1)=1 \))。因此,控制组的观测结果均值 \( E[Y | D=0, S=1] \) 就是 AT 个体在未处理状态下的平均结果 \( E[Y(0) | AT] \)。 - 在处理组(\( D=1 \))中,观测到的结果 \( Y \) 来自 AT 和 C 两类个体。我们不知道哪些是 AT,哪些是 C。但是,我们可以利用分位数截断来构造界: - 下界:假设 C 个体在处理状态下的结果 \( Y(1) \) 是总体中最低的 \( (p_1-p_0)/p_1 \) 比例。那么,AT 个体在处理状态下的平均结果 \( E[Y(1) | AT] \) 的下界是处理组观测结果分布中高于其 \( (p_1-p_0)/p_1 \) 分位数的部分的均值。 - 上界:假设 C 个体在处理状态下的结果 \( Y(1) \) 是总体中最高的 \( (p_1-p_0)/p_1 \) 比例。那么,AT 个体在处理状态下的平均结果 \( E[Y(1) | AT] \) 的上界是处理组观测结果分布中低于其 \( (1 - (p_1-p_0)/p_1) \) 分位数的部分的均值。

为什么这是最小内核:这个例子揭示了本文所有技术细节背后的核心思想: 1. 主分层识别:通过单调性,将观测到的混合分布分解为不同主分层的分布。 2. 截断矩条件:界是通过对观测结果进行分位数截断来构造的,截断点由选择概率 \( p_0, p_1 \) 决定。 3. 非光滑性:当 \( p_0 = p_1 \) 时(即无进入者),截断点位于分布的端点,导致目标参数作为 \( p_0, p_1 \) 的函数是非光滑的。这正是本文要解决的正则性问题。 4. 效率:在正则情形下(\( p_0 < p_1 \)),可以通过高效影响函数达到半参数效率界;在非正则情形下(\( p_0 = p_1 \)),需要引入平滑来恢复正则性。

一般化:当协变量 \( X \) 存在时,上述逻辑在每一个 \( x \) 上成立,但 \( p_0(x) \) 和 \( p_1(x) \) 是未知的,需要用机器学习方法估计。此外,条件单调性允许 \( p_0(x) > p_1(x) \) 在某些 \( x \) 上成立,此时主分层的定义需要相应调整(例如,在 \( x \in X^- \) 上,AT 和 C 的角色互换)。本文的 Proposition 4.1 和 4.2 正是将这个最小内核推广到一般情形,并给出了所有主分层和边际效应的界。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在无工具变量、仅有条件单调性假设的样本选择模型中,如何对所有主分层(始终就业者、进入者、退出者、从不就业者)的平均处理效应进行识别和推断,特别是当存在对处理选择无差异的群体(点质量)时。
  2. 核心工具/方法:推导了所有主分层处理效应的尖锐界(Proposition 4.1),并针对界在点质量存在时的非正则性,提出了平滑的外识别区域(smooth outer identification region)和相应的去偏机器学习估计量(Theorem 5.2, 6.2),该估计量在正则和平滑两种情形下均达到半参数效率界。
  3. 主要结论:在正则情形(无点质量)下,所提出的估计量是渐近正态且半参数有效的;在非正则情形(存在点质量)下,通过平滑处理,估计量仍然渐近正态,但置信区间是保守的。实证分析表明,Job Corps 培训项目对小时工资的效应在更弱的假设下与 Lee (2009) 的结论一致,但识别区域更宽。

关键设定与假设

  • 核心假设:条件独立性(Assumption 3.1)和弱/条件单调性(Assumption 3.2)。相比 Lee (2009) 的强单调性,本文的假设允许处理对选择的影响方向随协变量变化,且明确允许无差异群体(\( X_0 \))的存在。
  • 正则性假设:结果分布连续(4.1)、多重重叠(4.2)、紧支撑(5.1)、强重叠(5.2)、密度可微(6.1)、选择概率差异的 margin 条件(6.2)。这些假设用于保证估计量的渐近性质。
  • 相比已有文献的放宽/强化:
    • 放宽:将强单调性放宽为条件单调性,允许无差异群体存在。
    • 强化:为了处理非正则性,引入了平滑参数 \( h \) 和对 nuisance 参数收敛速率的要求(Assumption 6.3, 6.4)。

主要结果

  • 识别结果(Proposition 4.1, 4.2):
  • 给出了所有主分层(AT, C, D, NT)的条件处理效应 \( \beta(x, s_0, s_1) \) 的尖锐界。
  • 给出了主分层条件分布的显式表达式,即 \( P(S(0)=s_0, S(1)=s_1 | X=x) \) 可以用可观测的选择概率 \( s(d,x) \) 表示。
  • 无条件界通过对条件界关于 \( X \) 积分得到,积分权重由 Proposition 4.2 给出。
  • 正则性结果(Theorem 5.1):
  • 证明了当且仅当 \( P(X_0) = 0 \) 时,所有界是路径可微的。
  • 当 \( P(X_0) > 0 \) 时,界是非正则的,不存在一致估计量。
  • 效率结果(Corollary 5.1):
  • 给出了正则情形下半参数效率界的显式表达式,该表达式由五个方差项组成,分别对应选择概率、条件分位数、截断均值等 nuisance 参数的贡献。
  • 推断结果(Theorem 6.1, 6.2, 6.3):
  • 正则情形:去偏机器学习估计量 \( \hat{\beta}_L(1,1) \) 渐近正态且达到半参数效率界。
  • 非正则情形:平滑估计量 \( \hat{\beta}_{L,h}(1,1) \) 渐近正态,但置信区间是保守的(因为平滑引入了已知方向的偏差)。
  • 效率差距:当倾向得分已知时,使用未修正的矩函数会导致效率损失,损失量由 Theorem 6.3 中的方差差公式给出。

证明路线与技术技巧

  1. 识别证明:
  2. 核心技巧:利用单调性将观测到的混合分布分解为不同主分层的分布。例如,在 \( X_+ \) 上,控制组的观测结果全部来自 AT,处理组的观测结果是 AT 和 C 的混合。通过比较两个分布的分位数,可以构造出 AT 和 C 的界的表达式。
  3. 关键步骤:证明 Proposition 4.1 中的界是尖锐的,即存在满足假设的数据生成过程使得界被达到。这通常通过构造两个极端的数据生成过程来实现,一个使 AT 效应最大,另一个使 AT 效应最小。
  4. 正则性证明:
  5. 核心技巧:计算目标参数(如 \( \beta_L(1,1) \))在单点扰动下的 Gateaux 导数。如果导数存在且连续,则参数是路径可微的。
  6. 关键步骤:证明当 \( P(X_0) > 0 \) 时,导数在 \( X_0 \) 上发散。这是因为 \( X_0 \) 上的个体对选择不敏感,导致截断点 \( p_0(x) \) 的微小变化会引起截断均值的大幅变化。
  7. 效率证明:
  8. 核心技巧:利用半参数效率理论,将目标参数视为数据分布的泛函,并计算其影响函数。影响函数是目标参数在单点扰动下的线性近似。
  9. 关键步骤:通过构造影响函数的显式表达式,并验证其满足影响函数的性质(均值为零、方差达到 Cramér-Rao 下界),从而证明估计量的效率。
  10. 去偏机器学习:
  11. 核心技巧:使用 Neyman 正交矩条件,使得目标参数的估计对 nuisance 参数的一阶估计误差不敏感。这通常通过在一阶影响函数中减去一个“偏差修正项”来实现。
  12. 关键步骤:对于正则情形,直接使用影响函数作为矩条件。对于非正则情形,通过平滑函数 \( g_{i,h} \) 替换不连续的截断指示函数,从而恢复路径可微性。平滑偏差的阶数为 \( O(h) \),而方差项为 \( O(1/\sqrt{n}) \),通过选择合适的 \( h \)(如 \( h \asymp n^{-1/4} \))可以平衡偏差和方差。

真实例子与应用

  • 数据:美国国家 Job Corps 研究(National Job Corps Study),样本量为 9415,结果变量为对数小时工资,处理变量为是否被随机分配到 Job Corps 项目,选择变量为是否就业。
  • 方法应用:作者使用五种不同的机器学习方法(Logit, Logit Interacted, XGBoost, Neural Network, Random Forest)估计选择概率 \( s(d,x) \),并使用随机森林估计条件分位数和截断均值。
  • 主要发现:
    • 在 Job Corps 数据中,存在大量对处理选择无差异的个体(估计的 \( P(X_0) \) 在 28.61% 到 45.16% 之间,取决于估计方法)。
    • 平滑界(\( h=1 \))的估计结果与 Lee (2009) 的强单调性界接近,但置信区间更宽,反映了更弱的假设。
    • 在培训结束后的第 208 周,平滑界排除了较大的负效应,但无法排除零效应,这与 Lee (2009) 的结论一致。
    • 广延边际(进入者)的效应估计不确定性很大,因为进入者占比很小。

🔎 结论是否比证明窄

  • 窄的地方:
    1. Theorem 5.1 证明了路径可微性的充要条件是 \( P(X_0) = 0 \),但没有给出当 \( P(X_0) > 0 \) 时,是否存在其他(非路径可微的)估计量可以达到更快的收敛速度。作者在脚注中提到了 Hirano and Porter (2012) 的不可逆结果,但未深入探讨。
    2. Theorem 6.1 的正则情形要求 nuisance 参数满足特定的收敛速率(Assumption 6.3),但没有明确这些速率在哪些具体的机器学习方法下可以满足。作者在实证部分使用了交叉验证,但没有提供理论保证。
    3. Theorem 6.2 的平滑界是保守的,但作者没有给出如何最优地选择平滑参数 \( h \) 的准则。他们只提供了一个渐近的速率范围,但在有限样本下,\( h \) 的选择可能对结果有较大影响。
    4. 实证部分的结论依赖于对 \( P(X_0) \) 的估计,但作者没有提供关于 \( P(X_0) \) 估计的不确定性量化。他们只报告了点估计,没有给出置信区间。
  • 宽泛的表述:
    1. 作者在摘要和引言中声称该方法“可以处理高维协变量和灵活函数形式”,但理论部分(Theorem 6.1, 6.2)只要求 nuisance 参数满足一定的收敛速率,并没有明确说明在高维稀疏或非参数情形下这些速率是否成立。
    2. 作者声称该方法“对所有主分层”都给出了界,但Proposition 4.1 中对于 \( X_0 \) 上的个体(无差异群体),其效应是点识别的(因为 \( S(0)=S(1) \)),而对于 \( X_+ \) 和 \( X_- \) 上的个体,效应是部分识别的。作者没有明确区分这两种情况在推断上的不同难度。

四、开放问题

  1. 平滑参数 \( h \) 的自适应选择:作者在 Section 7 中给出了 \( h \) 的渐近速率要求,但没有提供有限样本下的数据驱动选择准则。一个自然的开放问题是:如何根据数据自适应地选择 \( h \),以在保守性和效率之间取得最优平衡?这可能需要发展关于平滑偏差的更精细的估计方法。
  2. \( P(X_0) \) 的推断:作者在实证部分估计了 \( P(X_0) \),但没有提供其置信区间。由于 \( P(X_0) \) 是判断数据是否处于非正则情形的关键,发展关于 \( P(X_0) \) 的有效推断方法(例如,基于子采样或 bootstrap 的方法)将是有价值的。
  3. 高维协变量下的理论保证:作者在实证中使用了 XGBoost 和神经网络,但理论部分只要求 nuisance 参数满足一定的收敛速率。一个开放问题是:在什么样的高维稀疏或非参数条件下,这些速率可以满足?这需要结合具体的函数类别和正则化方法进行分析。
  4. 与其他识别策略的结合:本文的方法依赖于条件单调性。一个自然的扩展是:如何将本文的平滑方法与其他识别策略(如工具变量、代理变量或差分中的差分)结合,以在更弱的假设下获得更紧的界?
  5. 多重处理或连续处理:本文只考虑了二元处理。如何将本文的框架扩展到多重处理(如不同的培训项目)或连续处理(如培训时长)是一个重要的开放问题。

提示:要确认上述问题是否是真 gap,建议去读近 5 年关于部分识别、样本选择和去偏机器学习的顶刊论文(如 Journal of Econometrics, Econometrica, Annals of Statistics)的引言部分。如果多个独立团队都在朝同一方向努力,那大概率是共识性的真问题。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论