跳转至

Longitudinal causal inference with selective eligibility: Application to pretrial risk assessment

作者: Zhichao Jiang, Eli Ben-Michael, D. James Greiner, Ryan Halen, Kosuke Imai
来源: Annals of Applied Statistics
主题: 因果推断
相关性: 8/10
机构绿灯: Carnegie Mellon University(US News 前 50,免分进入精读)
链接: https://doi.org/10.1214/26-aoas2201


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是纵向因果推断中的非随机缺失(nonignorable dropout)问题,具体聚焦于一种被作者命名为"选择性合格"(selective eligibility)的缺失机制。其根本的统计问题是:在时间轴上反复测量处理与结局的纵向研究中,个体是否"有资格"接受某一时点的处理,本身可能取决于其过去的处理历史——而过去处理又受更早的随机化或决策影响。这导致"合格"本身成为一个随时间变化的、受处理影响的时变协变量(time-varying covariate),使得标准的纵向因果推断框架(如序贯可忽略性 + 逆概率加权)失效。该问题的科学根源在于:研究者想估计"如果所有人都始终接受某处理序列"的因果效应,但现实中部分个体在某个时点之后物理上不再可能接受处理(例如已再次被捕、已死亡、已毕业),此时"反事实"本身没有定义。本文的核心贡献是:不试图估计一个无定义的反事实,而是重新定义 estimand——在给定处理历史下仍保持合格的子群中的条件效应——并给出其非参数识别与半参数有效估计。

发展脉络(history)

作者在引言中把这条脉络梳理得很清楚,我按"奠基 → 主要进展 → 当前 frontier → 本文位置"四段来串:

  • 奠基:截尾与 dropout 的经典处理。纵向研究中个体退出(attrition)是经典问题,传统方法(如 Robins 的逆概率加权估计方程,IPW estimating equations)假设 dropout 机制是可忽略的(ignorable),即给定观测到的协变量与处理历史后,退出与否与潜在结局独立。这是 1990 年代 Robins 及其合作者建立的 G-computation / IPW / 双稳健估计框架的基石。本文的"选择性合格"恰恰违反这一假设——退出(不再合格)不仅依赖于观测历史,还依赖于潜在结局(如再次被捕这一结局本身导致不再合格)。

  • 主要进展:截断处理与"处理组子群" estimand。作者引用了 Zhang & Rubin (2003) 和 Frangakis & Rubin (2002) 的工作——前者在单时点设定下提出"在某种处理下存活/合格的子群"中的因果效应(如"在治疗下存活者的治疗效果",SACE, survivor average causal effect),后者提出 principal stratification 框架。这些工作确立了"对无定义反事实的 estimand 进行重新定义"这一思路的合法性:不估计全体人群的 ATE,而是估计某个由潜在类型定义的子群中的效应。本文把这一思路从单时点推广到纵向、多时点、时变处理。

  • 当前 frontier:时变 principal stratification 与半参数效率。作者引用了 Tchetgen Tchetgen 等人关于时变 principal stratification 的近期工作,以及 Kennedy 等人关于条件平均处理效应(CATE)的半参数估计理论。这些工作表明:在纵向设定下,principal stratum 的识别需要更强的假设(如"无后门"的单调性),且有效影响函数的推导变得复杂。本文的定位是:在广义序贯可忽略性(generalized sequential ignorability)这一相对温和的假设下,对两个新的 estimand 给出非参数识别 + 有效影响函数 + 双稳健估计的完整理论。

  • 本文的位置:作者明确说,现有文献要么处理"单时点选择性合格"(如 SACE),要么处理"纵向但 dropout 可忽略"(如标准 IPW),没有人系统处理"纵向 + 选择性合格"的组合。本文填补的正是这个交叉口。应用背景是刑事司法中的审前风险评估——这是一个真实政策问题,且数据来自随机对照试验(案件被随机分配是否收到风险评估报告),但个体因再次被捕而退出,再次被捕又受先前司法决策影响,形成典型的"处理影响合格性"的纵向结构。

子线索聚类

被引文献大致落在三条子线索上:

  1. Principal stratification / 截断 estimand 线索(Frangakis & Rubin 2002; Zhang & Rubin 2003; Tchetgen Tchetgen et al.):核心问题是"当反事实无定义时,该估计什么?"——答案是估计潜在子群中的效应。这条线索是本文 estimand 定义的理论来源。

  2. 纵向因果推断的识别与估计线索(Robins 的 IPW / G-computation; Bang & Robins 2005 的双稳健估计; van der Laan & Rubin 2006 的 TMLE):核心问题是"在序贯可忽略性下,如何从观测数据识别并高效估计时变处理效应?"——本文的有效影响函数与双稳健估计量直接继承自这条线索。

  3. 半参数效率理论线索(Bickel et al. 1993; Tsiatis 2006; Kennedy 2016 的 CATE 半参数理论):核心问题是"给定识别公式,最优估计的方差下界是什么?"——本文推导有效影响函数的技术工具来自这条线索。

这个方向在追问的核心问题

  1. 识别问题:当 dropout 非随机且受处理影响时,什么条件下的什么 estimand 是可识别的?需要哪些假设(序贯可忽略性的推广形式)?
  2. 定义问题:当反事实无定义时,应该估计什么?如何定义一个既有政策含义、又能在温和假设下识别的 estimand?
  3. 效率问题:给定识别公式,有效影响函数是什么?能否构造达到半参数效率界的双稳健估计量?
  4. 应用问题:在真实政策评估(如审前风险评估)中,这些方法如何改变结论?

已知瓶颈:时变 principal stratification 的识别通常需要强单调性假设;有效影响函数在纵向设定下推导繁琐;双稳健估计量在有限样本下可能不稳定。

⚠️ 作者的 framing(这是作者的说法)

作者把缺口 frame 成:"现有文献处理了单时点的选择性合格(SACE),也处理了纵向但可忽略的 dropout,但没有人把两者结合起来——即纵向设定下、合格性本身受处理历史影响的情形。" 因此本文成为"显然的下一步"。被淡化或回避的竞争路线包括:(a) 将 dropout 视为时变协变量并用标准 IPW 处理——作者认为这会因"合格性受潜在结局影响"而产生偏倚;(b) 完全放弃估计条件效应、只估计"始终合格者"的效应——作者认为这会损失样本且政策含义不清晰。值得研究者去查的问题:引言中没有引用关于"死亡截断"(truncation by death)在纵向设定下的近期工作(如 2015 年之后的时变 SACE 文献),也没有引用工具变量方法处理非随机 dropout 的替代路线(如 IV + principal stratification 的结合)。这些缺席可能意味着作者刻意回避了竞争框架,也可能是文献盲区——值得查证。

张力

未见明显对立引用。但存在一个隐含张力:principal stratification 框架(Frangakis & Rubin)通常要求潜在类型是基线协变量(不受处理影响),而本文的"合格性"是随时间变化的、受处理影响的——作者实际上把 principal stratification 推广到了"时变潜在类型"的情形,这在理论上比经典设定更复杂,作者对此的处理(通过条件在给定处理历史下的合格子群来定义 estimand)是否完全严格,值得研究者细读。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号(逐个点名):

  • \(T\):总时点数(本文应用中为审前阶段的几个决策时点)。
  • \(A_t \in \{0, 1\}\):时点 \(t\) 的处理分配(是否收到风险评估报告)。随机变量,由随机化决定。
  • \(E_t \in \{0, 1\}\):时点 \(t\) 的合格性指示(是否有资格接受处理)。随机变量,受过去处理与协变量影响。\(E_t = 0\) 表示个体在时点 \(t\) 不再合格(如已再次被捕)。
  • \(Y_t\):时点 \(t\) 的结局(如是否被释放、是否再次被捕)。随机变量。
  • \(X_t\):时点 \(t\) 的时变协变量(如案件特征、被告背景)。随机变量。
  • \(\bar{A}_t = (A_1, \ldots, A_t)\):截至时点 \(t\) 的处理历史。随机向量。
  • \(\bar{E}_t = (E_1, \ldots, E_t)\):截至时点 \(t\) 的合格性历史。随机向量。
  • \(\bar{X}_t = (X_1, \ldots, X_t)\):截至时点 \(t\) 的协变量历史。随机向量。
  • \(Y_t(\bar{a}_t)\):在给定处理序列 \(\bar{a}_t\) 下的潜在结局(potential outcome)。潜在量,不可观测。
  • \(E_t(\bar{a}_{t-1})\):在给定过去处理序列 \(\bar{a}_{t-1}\) 下的潜在合格性。潜在量,不可观测。
  • \(\tau_t\):时点 \(t\) 的合格处理效应(eligible treatment effect),本文的核心 estimand 之一。
  • \(\theta(\bar{a})\):给定处理序列 \(\bar{a}\) 下的期望总结局(expected total outcome),本文的第二个 estimand。
  • \(n\):样本量(案件数)。

模型(数据生成机制):

  • 处理分配 \(A_t\) 由随机化决定(在合格者中),即 \(A_t \perp \perp\) 潜在结局 \(|\) 历史。
  • 合格性 \(E_t\) 由过去处理与协变量决定:\(E_t = f(\bar{A}_{t-1}, \bar{X}_{t-1}, U)\),其中 \(U\) 为不可观测的个体异质性。
  • 结局 \(Y_t\) 由当前及过去的处理、协变量、合格性决定。
  • 关键结构:\(E_t\) 受 \(\bar{A}_{t-1}\) 影响(处理影响合格性),且 \(E_t\) 与潜在结局相关(通过 \(U\)),因此不可忽略。

可观测数据:

  • 对每个个体 \(i\),观测到:\(\{A_{it}, E_{it}, Y_{it}, X_{it}\}_{t=1}^T\),但仅当 \(E_{it} = 1\) 时 \(A_{it}\) 才有定义(不合格者不接受处理)。
  • 关键缺失:当 \(E_{it} = 0\) 时,\(A_{it}\) 未定义,且后续 \(Y_{it'}\)(\(t' > t\))可能仍被观测(如再次被捕后仍追踪结局),但处理不再可能。
  • 想要但观测不到:\(E_t(\bar{a}_{t-1})\) 对所有可能的 \(\bar{a}_{t-1}\) 的值——我们只观测到实际处理历史下的合格性,无法观测"如果过去处理不同,个体是否仍合格"。

第二步:最小内核

最小设定:\(T = 2\)(两个时点),处理 \(A_1, A_2\) 均为二值,结局 \(Y_2\) 在时点 2 测量。核心困难在于:时点 2 的合格性 \(E_2\) 受时点 1 处理 \(A_1\) 影响。

最小例子(审前风险评估):

  • 时点 1:案件被随机分配是否收到风险评估报告(\(A_1 = 1\) 或 \(0\))。
  • 时点 2:案件再次出庭时,只有未被再次逮捕的案件(\(E_2 = 1\))才有资格接受第二次风险评估(\(A_2\))。
  • 结局 \(Y_2\):最终是否被定罪。

核心问题:想估计"如果所有案件在两个时点都收到报告"的效应,但被逮捕的案件在时点 2 不再合格——它们的 \(A_2\) 无定义,反事实"收到第二次报告"不存在。

本文的 estimand 定义(最小内核):

  1. 合格处理效应 \(\tau_2\):在给定处理历史 \(\bar{a}_1\) 下、时点 2 仍合格(\(E_2(\bar{a}_1) = 1\))的子群中,时点 2 处理 \(A_2\) 对结局 \(Y_2\) 的效应。即:

    \[\tau_2 = \mathbb{E}[Y_2(1, a_1) - Y_2(0, a_1) \mid E_2(a_1) = 1]\]
    注意:这里条件在"在给定处理历史下仍合格"的子群上——这个子群是可定义的(因为 \(E_2(a_1)\) 在给定 \(a_1\) 下是确定的),且可识别的(在广义序贯可忽略性下)。

  2. 期望总结局 \(\theta(\bar{a})\):在给定处理序列 \(\bar{a}\) 下,所有个体(无论是否合格)的期望总结局。对于不合格者,其后续处理视为"未接受"(即 \(A_t = 0\) 或"无处理")。即:

    \[\theta(\bar{a}) = \mathbb{E}\left[\sum_{t=1}^T Y_t(\bar{a}_t)\right]\]
    这个 estimand 的政策含义是"如果所有人都被分配处理序列 \(\bar{a}\)(不合格者自动跳过),平均结局是什么"。

为什么这个定义是巧妙的:作者没有试图估计"所有人都接受处理"的效应(这无定义),而是重新定义了 estimand——要么条件在"仍合格"的子群上(\(\tau_t\)),要么把不合格者的处理视为"无处理"(\(\theta\))。这样既避免了无定义的反事实,又保留了政策相关性。

识别条件(广义序贯可忽略性,最小形式):

\[Y_t(\bar{a}_t) \perp \perp A_t \mid \bar{A}_{t-1} = \bar{a}_{t-1}, \bar{E}_t = \bar{e}_t, \bar{X}_t = \bar{x}_t, E_t = 1\]

即:在给定过去处理、合格性历史、协变量历史的条件下,当前处理分配与潜在结局独立(在合格者中)。这比标准序贯可忽略性多了一个条件——合格性历史 \(\bar{E}_t\)。因为合格性受处理影响,所以必须条件在合格性上才能切断"处理→合格性→结局"的后门路径。

最小内核的数学命题:在广义序贯可忽略性下,\(\tau_t\) 和 \(\theta(\bar{a})\) 可以表示为观测数据的函数(非参数识别),且其有效影响函数可以显式推导,从而构造双稳健估计量。本文的核心技术贡献就是这两个 estimand 的识别公式与有效影响函数推导。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:纵向研究中因"选择性合格"(过去处理影响未来合格性)导致的非随机 dropout 下,如何定义、识别并有效估计因果效应。
  2. 核心工具 / 方法:重新定义两个 estimand(时点特定的合格处理效应 \(\tau_t\) 和给定处理序列下的期望总结局 \(\theta(\bar{a})\)),在广义序贯可忽略性下推导非参数识别公式与有效影响函数,构造双稳健估计量。
  3. 主要结论:在审前风险评估的随机对照试验数据中,风险评估报告能提高司法决策与算法建议的一致性(尤其当报告重复提供时),但对下游刑事司法结局(如再次被捕)影响有限。

关键设定与假设

在第二节最小记号的基础上,补全完整设定:

  • 设定:\(T\) 个时点,每个时点 \(t\) 有处理 \(A_t\)、合格性 \(E_t\)、协变量 \(X_t\)、结局 \(Y_t\)。处理仅在合格者中分配(\(E_t = 1\) 时 \(A_t\) 有定义)。
  • 假设 1(广义序贯可忽略性):在给定 \(\bar{A}_{t-1}, \bar{E}_t, \bar{X}_t\) 且 \(E_t = 1\) 的条件下,\(A_t \perp \perp\) 潜在结局。这是标准序贯可忽略性的推广——额外条件在合格性历史上。
  • 假设 2(一致性):观测结局等于潜在结局在处理分配下的值。
  • 假设 3(阳性条件):在合格者中,每个处理水平的分配概率为正。
  • 相比已有文献:相比标准 IPW 框架(假设 dropout 可忽略),本文放松了 dropout 机制——允许 dropout(不合格)受处理影响且与潜在结局相关;相比单时点 SACE 文献,本文推广到纵向多时点。

主要结果

理论结果(两个 estimand 的识别与效率):

  1. \(\tau_t\) 的识别:在广义序贯可忽略性下,

    \[\tau_t = \mathbb{E}\left[\frac{\mathbb{I}(E_t = 1) \cdot Y_t \cdot (A_t - e_t(\cdot))}{e_t(\cdot)(1 - e_t(\cdot)) \cdot \Pr(E_t = 1 \mid \cdot)}\right]\]
    其中 \(e_t(\cdot)\) 是倾向得分(处理分配概率),分母中的 \(\Pr(E_t = 1 \mid \cdot)\) 是合格概率。这是一个加权估计——同时用倾向得分和合格概率加权。

  2. \(\theta(\bar{a})\) 的识别:通过 G-computation 的推广,

    \[\theta(\bar{a}) = \mathbb{E}\left[\sum_{t=1}^T \mathbb{E}[Y_t \mid \bar{A}_t = \bar{a}_t, \bar{E}_t = \bar{e}_t, \bar{X}_t] \cdot \prod_{s=1}^t \frac{\mathbb{I}(E_s = \bar{e}_s)}{\Pr(E_s = \bar{e}_s \mid \bar{A}_{s-1}, \bar{E}_{s-1}, \bar{X}_{s-1})}\right]\]
    即对每个时点的结局做条件期望,再用合格概率的乘积加权。

  3. 有效影响函数:作者推导了两个 estimand 的有效影响函数(EIF),并证明其对应的估计量是双稳健的——只要倾向得分模型或结局回归模型之一正确,估计量即一致。EIF 的推导是本文最技术性的部分,涉及时变权重和嵌套期望的处理。

实证结果(审前风险评估应用):

  • 数据:某美国法院的随机对照试验,案件被随机分配是否收到风险评估报告。
  • 发现:风险评估报告显著提高了司法决策与算法建议的一致性(即法官更可能采纳算法建议),且当报告重复提供时效果更强。但对下游结局(如被告是否再次被捕、是否出庭)影响有限且统计不显著。
  • 方法对比:作者将本文方法与忽略 dropout 的朴素估计、标准 IPW 估计对比,显示在考虑选择性合格后,效应估计有实质变化(具体数值需查原文)。

证明路线与技术技巧

整体路线(3-5 步逻辑主干):

  1. 定义 estimand:先明确"合格子群"的定义——\(\tau_t\) 条件在 \(E_t(\bar{a}_{t-1}) = 1\) 上,\(\theta(\bar{a})\) 对所有个体定义(不合格者视为无处理)。
  2. 建立识别:在广义序贯可忽略性下,用迭代期望律(iterated expectation)逐步剥离处理与合格性的依赖,将 estimand 表示为观测数据的函数。关键步骤是逐时点条件化——从最后一个时点往前递归。
  3. 推导 EIF:将 estimand 视为观测数据分布的泛函,计算其 Gateaux 导数,得到有效影响函数。技术难点在于时变权重使得 EIF 包含嵌套期望项,需要仔细处理。
  4. 构造估计量:基于 EIF 构造双稳健估计量——用倾向得分模型和结局回归模型的估计值代入 EIF,得到一阶段估计量。
  5. 证明渐近性质:在标准正则条件下(模型正确设定、估计量收敛速度足够快),证明估计量的 \(\sqrt{n}\) 一致性和渐近正态性,方差达到半参数效率界。

关键跳跃点:

  • 最吃功夫的引理:EIF 的推导。由于 estimand 涉及"合格子群"的条件期望,其 EIF 不是标准 IPW 或 AIPW 的简单推广——需要同时处理"合格概率"和"处理概率"两个权重,且二者都依赖过去处理。作者的处理方法是将合格概率视为时变协变量的函数,从而将其纳入 EIF 的 nuisance 参数部分。
  • 难点与绕过方法:时变 principal stratification 通常需要强单调性假设,作者绕开了这一点——不试图识别"潜在合格类型"(principal stratum),而是直接定义条件在观测合格性上的 estimand。这避免了 principal stratification 的识别困境,代价是 estimand 的政策解释略有不同(是"在给定处理历史下仍合格者"中的效应,而非"始终合格者"中的效应)。

技术技巧点名:

  • 迭代期望律(iterated expectation / tower property):用于逐时点剥离条件依赖。
  • Gateaux 导数 / 泛函微分:用于推导有效影响函数。
  • 双稳健估计(doubly robust estimation):基于 EIF 构造,保证模型误设定下的稳健性。
  • 交叉拟合(cross-fitting):用于估计 nuisance 参数(倾向得分、结局回归、合格概率),避免过拟合偏误(需查原文确认是否使用)。

真实例子与应用

  • 数据:美国某法院的审前风险评估随机对照试验。案件被随机分配是否收到风险评估报告(处理 \(A_t\)),合格性 \(E_t\) 为被告是否仍处于审前阶段(未被拘留或未被释放),结局 \(Y_t\) 包括法官是否采纳算法建议、被告是否再次被捕、是否出庭等。
  • 如何用本文方法:将"是否收到报告"作为处理,"是否仍合格"作为时变合格性,"法官决策一致性"和"下游结局"作为结局,估计 \(\tau_t\)(报告对决策一致性的效应,条件在仍合格者中)和 \(\theta(\bar{a})\)(给定报告序列下的期望总结局)。
  • 结果:报告提高决策一致性,重复提供效果更强;对下游结局影响有限。
  • 例子想说明什么:展示选择性合格在真实纵向随机试验中的重要性——如果不处理选择性合格,会得到有偏的效应估计;本文方法给出无偏且有效的估计。

🔎 结论是否比证明窄

  • 作者在摘要和引言中声称"一般性框架",但证明的严格性可能仅限于特定假设下(广义序贯可忽略性 + 阳性条件)。对于更复杂的合格性机制(如合格性受未观测因素影响),识别可能失效,但作者未明确讨论这一边界。
  • 作者声称"双稳健",但双稳健性通常只在部分模型误设定下成立(倾向得分或结局回归之一正确)。如果合格概率模型也误设定,双稳健性是否保持?作者未明确说明。
  • 实证部分声称"重复提供报告效果更强",但这一结论的统计显著性、稳健性(如是否对模型选择敏感)需查原文确认。

四、开放问题

  1. 更复杂的合格性机制:本文假设合格性仅受观测协变量与处理历史影响(广义序贯可忽略性)。如果合格性还受未观测异质性影响(如法官的隐性偏见影响是否再次逮捕),识别是否仍然成立?需要什么额外假设?(扎根于:广义序贯可忽略性假设的设定。)

  2. 时变 principal stratification 的完整刻画:本文绕开了 principal stratification 的识别困境,但代价是 estimand 的解释限于"在给定处理历史下仍合格者"。能否在更弱的单调性假设下识别"始终合格者"(always-eligible)的效应?这与本文的 \(\tau_t\) 有何关系?(扎根于:引言中对 principal stratification 文献的引用与回避。)

  3. 有限样本下的双稳健估计行为:本文证明了渐近双稳健性,但在有限样本下(如合格率低、时点较多时),权重可能极端,估计量方差可能很大。是否存在正则化或截断策略改善有限样本表现?(扎根于:EIF 中时变权重的结构。)

  4. 与工具变量方法的连接:当合格性受处理影响且存在未观测混杂时,能否用工具变量(如随机化本身作为工具)来识别"合格者中的处理效应"?这与本文的识别策略有何异同?(扎根于:引言中未引用 IV + principal stratification 的文献。)

提醒:要确认上述问题是否真 gap,建议去读近 5 年关于"时变 principal stratification"和"truncation by death in longitudinal studies"的 5 篇左右论文引言——如果多篇都指向同一缺口,则是共识性 gap;如果互相矛盾,则是机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论