A Doubly Robust Learner for Regression and Inference With Right‐Censored Outcomes¶
作者: O. L. Sandqvist
来源: Scandinavian Journal of Statistics
主题: 因果推断
相关性: 7/10
机构绿灯: University of Copenhagen(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv
一、领域脉络与小综述¶
-
这个方向是什么:本文所处的子方向是"删失数据下的非参数回归与因果推断"。其根本统计问题是:当结局变量(如生存时间、疾病持续时间)因右删失而无法完全观测时,如何利用观测到的数据(删失指示、删失时间、协变量)来估计条件期望函数 E[Y|W=w] 这类无穷维参数,并在此基础上进行因果推断(如断点回归中的局部平均处理效应)。该方向的成熟度处于"方法框架已建立、但理论性质与泛化场景仍在快速推进"的阶段——已有大量针对特定模型(如 Cox 模型、加速失效时间模型)的删失数据处理方法,但针对"任意右删失过程 + 任意非参数回归器"的通用框架,尤其是具有双稳健性质的框架,仍是一个活跃的研究前沿。
-
发展脉络(history):
- 奠基工作:Rubin & van der Laan (2007) 提出的删失无偏变换(Censoring Unbiased Transformation, CUT)是本文的直接理论源头。该工作首次系统性地将"逆概率删失加权"思想与"构造无偏伪结局"相结合,为后续将完整数据回归方法推广到删失数据提供了基础工具。本文引用其作为"早期 DR 方法"的代表。
- 主要进展(删失数据回归):Steingrimsson et al. (2016, 2019) 将 CUT 推广为"双稳健"版本(DRCUT),并应用于回归树与随机森林,证明了其在生存数据设定下的有效性。这是本文最直接的前作,本文明确将其定位为"仅考虑生存设定、未提供渐近理论"的局限性。同期,Cui et al. (2023) 提出因果生存森林,用正交估计方程处理删失与混杂,代表了"森林方法 + 删失数据"的另一条技术路线。
- 主要进展(双稳健与正交学习):Kennedy (2023) 的 DR-learner 是本文方法论的直接模板。该工作提出了一个通用框架:构造具有双稳健性质的伪结局,再将其输入任意"黑箱"回归器,并证明了在样本分割下,只要伪结局的条件偏差具有特定乘积结构,最终估计量就能继承回归器的收敛速率(即"率双稳健"与"预言机效率")。本文的核心贡献之一,就是将 Kennedy 的框架从"处理分配缺失"推广到"结局删失"。
- 主要进展(效率理论):Rotnitzky et al. (2021) 对具有"混合偏差"性质的参数进行了系统刻画,给出了率双稳健估计的通用理论。本文引用其作为"混合偏差"概念的权威出处,并明确将自身工作定位为"混合偏差性质在删失数据下的具体实现"。
- 当前 frontier:将双稳健学习与更复杂的删失机制(如状态依赖删失、竞争风险)、更灵活的回归器(非平滑器,如深度网络)结合,以及在高维协变量下的行为,是当前活跃的探索方向。本文的框架在理论上只覆盖了"线性平滑器"作为第二阶段的回归器,对更一般回归器的推广被明确列为开放问题。
-
本文的位置:本文是"DR-learner 框架 + 删失数据"这一交叉点的系统化。它首次将 Kennedy (2023) 的框架完整地推广到一般右删失过程(不仅限于生存数据),给出了伪结局条件偏差的显式乘积结构,并证明了在交叉拟合下,估计量达到预言机效率。它同时统一了此前分散的 CUT/DRCUT 文献,并为其提供了缺失的渐近理论。
-
子线索聚类:被引文献大致落在三条子线索上:
- 删失无偏变换与伪结局方法(Rubin & van der Laan 2007; Steingrimsson et al. 2016, 2019; Suzukawa 2004):核心思路是将删失数据通过加权或变换转化为"伪结局",使得伪结局的条件期望等于目标 estimand。这一簇的早期工作多假设删失完全随机或仅依赖协变量,后期(如 DRCUT)引入双稳健性以放宽假设。
- 正交机器学习 / 双稳健学习(Kennedy 2023; Foster & Syrgkanis 2023; Chernozhukov et al. 2018):核心思路是利用 Neyman 正交性构造对 nuisance 参数不敏感的估计方程或伪结局,再配合样本分割/交叉拟合,实现"率双稳健"与"预言机效率"。这一簇的典型应用场景是异质性处理效应(CATE)估计。
-
删失数据下的因果推断与效率理论(Cui et al. 2023; Rytgaard et al. 2021, 2023; Hou et al. 2023; Wang et al. 2024; Luo et al. 2025):核心思路是结合生存分析、计数过程与半参数效率理论,针对特定的因果 estimand(如平均处理效应、状态占用概率)构造高效估计量。这一簇与本文的交叉点在于"删失"与"因果"的结合,但本文更侧重于通用的回归函数估计。
-
这个方向在追问的核心问题:
- 如何构造伪结局,使其条件偏差具有可处理的乘积结构? 这是双稳健估计的基石。本文的答案是:通过 IPCW 项与 Doob 鞅的积分,构造出条件偏差为
∫(E[Y|Xu]−Ê2[Y|Xu])(γ̂1−γ) dµ的伪结局,从而将偏差分解为两个 nuisance 误差的乘积。 - 在什么条件下,两阶段估计量能继承第二阶段回归器的收敛速率? 即"率双稳健"的充分条件。本文给出的条件是:两个 nuisance 的加权 L2 收敛速率之和大于第二阶段回归器的速率(α1+α2>α)。
- 如何在不牺牲灵活性的前提下进行推断? 线性平滑器(如局部线性回归)提供了现成的渐近正态性,但更灵活的机器学习方法(如随机森林、深度网络)的推断理论仍不完善。本文的框架明确依赖"线性平滑器"这一假设。
-
已知瓶颈:删失机制的正确指定(CAR 假设)、nuisance 估计的收敛速率验证、以及在高维或复杂数据结构(如区间删失、竞争风险)下的推广。
-
⚠️ 作者的 framing(必须明确标注成"这是作者的说法"):作者在引言中将缺口 frame 为:"现有 DRCUT 方法(Steingrimsson et al. 2016, 2019)仅适用于生存设定,且缺乏渐近理论;而 Kennedy (2023) 的 DR-learner 框架虽通用,但未处理删失数据。本文填补了这一空白。" 作者将自身贡献定位为"将 DR-learner 策略系统性地推广到右删失数据,并提供完整的渐近理论"。值得研究者去查的问题:作者淡化了与 Rytgaard et al. (2021, 2023) 的连续时间 TMLE 方法的直接对比——后者同样处理删失数据下的因果 estimand,且同样基于效率理论。作者在引言中仅以"seminal works"一笔带过,未明确说明本文方法与 TMLE 在适用场景、假设强度上的具体差异。此外,作者对"模型可解释性"和"高维协变量下的行为"着墨甚少,这可能意味着这些方向存在空白。
-
张力:被引文献之间未见明显对立结论。但存在一个微妙的张力:Steingrimsson et al. (2016) 认为"使用全样本估计 nuisance 不会损害性能",而本文(以及 Kennedy 2023)则强调样本分割/交叉拟合的必要性,以避免过拟合导致的偏差。这并非逻辑矛盾,而是对"数据有效利用"与"理论严谨性"的不同权衡。另一个张力在于:Cui et al. (2023) 的因果生存森林依赖于"正交估计方程"的显式构造,而本文的伪结局方法更"即插即用",两者在 nuisance 估计的灵活性上各有取舍。
二、最核心、最简单的例子 / 数学问题¶
第一步:把符号、模型、可观测数据交代清楚
- 数据生成机制:存在一个完整的随机过程 X = (X(t))_{t≥0},取值于某个度量空间(Skorokhod 空间)。X(0) 包含基线协变量 W。结局 Y = Y(X) 是 X 的某个函数(如疾病持续时间)。C 是删失时间,独立于 X 的条件由 CAR 假设(Assumption 1)刻画:删失的机制仅通过已观测的历史 X^c 起作用。
- 可观测数据:对每个个体 i,研究者观测到 (C_i, X^{C_i}_i),即删失时间 C_i 和过程在删失前被观测到的部分 X^{C_i}_i。注意:Y(X) 本身可能未被观测到(若 C < η 且 Y 依赖 C 之后的过程)。这是"想要但观测不到"的核心对象。
- 目标 estimand:条件期望函数 m(w) = E[Y(X) | W = w]。这是一个无穷维参数,是后续因果推断(如断点回归中的 τ)的基础。
- 关键 nuisance 参数:
- 删失机制:γ(u|x) = r(u|x) / P(C ≥ u | X = x),即给定完整历史 X 下,在时刻 u 删失的 hazard。这是 IPCW 权重的核心。
- 条件期望过程:E[Y(X) | X_u],即给定过程在时刻 u 的历史,结局的条件期望。这是 Doob 鞅的组成部分。
- 倾向得分(若涉及因果):P(A = a | W),用于处理分配机制。
- 估计流程:第一阶段,用样本 D_I 估计 nuisance(如 γ̂1,n, Ê2,n);第二阶段,在样本 D_II 上构造伪结局 Ŷ*,并将其作为"普通结局"输入任意回归器(如局部线性回归),得到 m̂(w)。
第二步:讲最小内核
把论文的所有一般性设定剥掉,最核心的数学问题可以归结为:
如何构造一个"伪结局" Ŷ,使得 E[Ŷ | W] = E[Y(X) | W],且当 nuisance 估计有误差时,条件偏差 E[Ŷ − Y | W] 是两个 nuisance 误差的乘积?*
最简特例:假设 X 是一个简单的生存过程,结局 Y = T(生存时间),删失 C 与 T 独立(在给定 W 下)。此时:
- 可观测数据:(C, min(T, C), Δ = 1{T ≤ C}, W)。
- 目标:m(w) = E[T | W = w]。
- 若已知删失生存函数 G(t|w) = P(C > t | W = w),则 IPCW 伪结局为 Ŷ_IPCW = Δ·T / G(T|w)。其条件期望等于 E[T|W=w],但方差很大(因为权重可能很大)。
- 双稳健伪结局(DRCUT)在此基础上增加一个"鞅积分"修正项,利用部分观测到的信息(如 T 是否超过某个时刻 t)来降低方差。其核心形式为:
Ŷ_DR = Δ·T / G(T|w) + ∫_0^T [E[T | T > u, W] / G(u|w)] dM_C(u)
其中 M_C 是删失过程的鞅。这个修正项的期望为零(在正确指定模型下),但能显著降低方差。
为什么这个结构重要? 当 G 和 E[T|T>u,W] 都需要估计时,Ŷ_DR 的条件偏差可以写成:
E[Ŷ_DR − T | W] = ∫ (Ê[T|T>u,W] − E[T|T>u,W]) × (Ĝ(u|w) − G(u|w)) × 某个正权重 dµ(u)
这正是两个 nuisance 估计误差的乘积。因此,只要两个 nuisance 的收敛速率分别为 α1 和 α2,且 α1+α2 > α(α 是第二阶段回归器的速率),最终估计量就能达到与"知道真实 nuisance"时相同的收敛速率。这就是"率双稳健"——两个模型都正确时最优,一个错误时仍一致,两个都错但速率互补时也能接受。
本文的一般化:将上述思想从"生存时间 T"推广到"任意右删失过程 X 的任意平方可积函数 Y(X)"。此时,伪结局的构造需要更精细的 Doob 鞅理论,但核心逻辑——构造条件偏差为乘积形式的伪结局——完全一致。论文的主要理论贡献(Theorem 2.1)就是给出了这个一般化伪结局的条件偏差的显式表达式。
三、这篇论文做了什么¶
三句话: 1. 研究了什么问题:在右删失结局下,如何构造一个通用的双稳健非参数回归框架,使得任意"黑箱"回归器(尤其是线性平滑器)都能被用于估计条件期望函数 E[Y(X)|W=w],并保证估计量具有"率双稳健"和"预言机效率"。 2. 核心工具/方法:将 Kennedy (2023) 的 DR-learner 策略推广到删失数据,通过推广删失无偏变换(CUT)为双稳健版本(DRCUT),构造出条件偏差具有乘积结构的伪结局,并采用样本分割/交叉拟合来消除 nuisance 估计带来的过拟合偏差。 3. 主要结论:在 CAR 和 positivity 假设下,当两个 nuisance(条件期望过程和删失 hazard)的加权 L2 收敛速率之和大于第二阶段回归器的速率时,估计量达到预言机效率;当第二阶段回归器为线性平滑器时,估计量渐近正态且方差与 oracle 相同。模拟和真实数据应用验证了方法的有限样本性能。
关键设定与假设: - Assumption 1 (CAR):删失机制仅通过已观测历史 X^c 影响观测过程。这是识别的基础,比"完全随机删失"弱,但比"条件独立删失"(给定完整 X)强。它允许删失依赖于已观测到的协变量和过程历史,但不允许依赖于未观测到的未来信息。 - Assumption 2 (Positivity):P(C ≥ η | X) ≥ ε > 0。保证 IPCW 权重有界,不会出现极端权重导致方差爆炸。 - Assumption 3 (第二阶段回归器速率):m̃(w) − m(w) = O_P(n^{-α})。这是对"黑箱"回归器的唯一要求,使其可以与伪结局方法解耦。 - nuisance 收敛速率假设(Proposition 1 的 (iv)(v)):两个 nuisance 的加权 L2 速率分别为 α1 和 α2,且 α1+α2>α。这是"率双稳健"的核心条件。 - 相比已有文献的放宽/强化:相比 Steingrimsson et al. (2016, 2019),本文放宽了"仅限生存数据"的限制,允许任意右删失过程和任意平方可积结局;相比 Kennedy (2023),本文处理了删失这一新的缺失机制,且 nuisance 从"倾向得分+条件均值"变为"条件期望过程+删失 hazard",结构更复杂。
主要结果:
- Theorem 2.1:给出了 DRCUT 伪结局的条件偏差的显式表达式,即 E[Ŷ*_{P1,P2} − Y | W] = E[∫ (E[Y|Xu] − E2[Y|Xu])(γ1(u|X) − γ(u|X)) × (P(C≥u|X)/P1(C>u|X)) dµ(u) | W]。这个表达式是全文的理论基石,它揭示了双稳健性的来源:偏差是两个 nuisance 误差的乘积积分。
- Proposition 1:在样本分割下,若 nuisance 估计满足速率条件,则 m̂(w) − m(w) = m̃(w) − m(w) + o_P(n^{-α}),即达到预言机效率。证明的关键是利用 Theorem 2.1 的乘积结构,将伪结局估计误差分解为可忽略的高阶项。
- Proposition 2:交叉拟合版本。在同样的速率条件下,交叉拟合估计量的渐近分布与全样本 oracle 估计量相同,方差为 K^{2α-1}σ²(K 为折数)。这推广了 Kennedy (2023) 的结果,并表明交叉拟合可以恢复全样本效率。
证明路线与技术技巧: - 整体路线:证明分为三步。第一步(Theorem 2.1)推导伪结局的条件偏差表达式,核心技巧是伊藤公式/分部积分,将离散的 IPCW 项与连续的鞅积分项合并,得到乘积结构。第二步(Proposition 1)利用样本分割,将 nuisance 估计误差与第二阶段回归解耦,通过条件期望的塔性质和柯西-施瓦茨不等式,将偏差项 bound 为两个 nuisance 误差的 L2 范数乘积。第三步(Proposition 2)将样本分割结果推广到交叉拟合,利用折间独立性和Slutsky 引理得到渐近分布。 - 关键跳跃点:最吃功夫的是 Theorem 2.1 的证明。难点在于处理 Doob 鞅的积分项,特别是当 X 不是简单生存过程、而是具有复杂状态空间的右删失过程时,需要仔细处理条件期望 E[Y|Xu] 的正则性。作者通过引入"固定正则条件期望"(如 van der Vaart 2004 中的构造)来绕过不可测性问题,这是技术上的关键一步。 - 技术技巧点名: - 伊藤公式/分部积分:用于合并 IPCW 项和鞅积分项,得到偏差的乘积结构。 - 样本分割/交叉拟合:用于消除 nuisance 估计的过拟合偏差,是"率双稳健"得以成立的关键机制。 - 加权 L2 范数:用于度量 nuisance 的收敛速率,比逐点收敛更宽松,也更适合高维或非参数设定。 - Doob 鞅表示:用于刻画删失过程的信息结构,是构造高效伪结局的数学基础。
真实例子与应用: - 模拟研究:数据生成过程是一个不可逆 illness-death 模型(健康→疾病→死亡),结局 Y 是疾病状态持续时间。设置了状态依赖删失(删失 hazard 依赖于当前状态),以检验 CAR 假设下的表现。对比了五种方法:CAJ 插件估计、HAL 插件估计、IPCW 伪结局、DRCUT 伪结局(misspecified 和正确指定)。结果显示:(1) 插件估计(CAJ 和 HAL)在删失严重时偏差显著;(2) DRCUT 伪结局在 nuisance 正确指定时表现接近 oracle;(3) 即使 censoring hazard misspecified,DRCUT 仍优于 IPCW,验证了双稳健性。 - 真实数据应用:使用 LSYPE(英格兰青年纵向研究)数据,估计断点回归设计中的局部平均处理效应。断点为家庭收入 £20,817(EMA 资格线),结局为 16-18 岁全日制教育持续时间(存在右删失)。结果显示,DRCUT 方法给出的效应估计与已有文献一致,但置信区间更窄,且对 nuisance 模型的选择更稳健。作者特别指出,该方法首次允许在 RDD 中同时处理"模糊断点"和"右删失结局",而无需强加参数模型。
🔎 结论是否比证明窄:
- 论文在 Proposition 1 和 2 中严格证明的是"线性平滑器"作为第二阶段回归器时的预言机效率。但在讨论部分,作者声称"结果可以推广到更广泛的回归器类别",这并未在文中严格证明,属于 conjecture 而非 theorem。
- Theorem 2.1 的方差下界结果(Var[Ŷ*_{P,P}|W] ≥ Var[Y|W])是在"已知真实 nuisance"的 oracle 情形下证明的。对于"估计 nuisance"的情形,方差是否会因 nuisance 估计误差而增大,文中没有给出严格的二阶展开,仅通过模拟间接验证。
- 交叉拟合的 Proposition 2 假设了 nuisance 估计的收敛速率是确定性的(非随机),但在实际中 nuisance 估计的速率可能依赖于数据分布,这一 gap 未被讨论。
- 论文在应用部分使用了"模拟删失时间"来处理区间删失(LSYPE 中教育状态是按年观测的),这一近似处理的理论误差未被分析。
四、开放问题¶
- 更一般回归器的预言机效率:论文只对线性平滑器证明了预言机效率。对于随机森林、深度网络等非线性回归器,是否仍能保持"率双稳健"和"预言机效率"?这需要新的理论工具,因为这类回归器的渐近分布通常未知。扎根于 Proposition 1 的"线性平滑器"假设和讨论部分的 conjecture。
- nuisance 估计速率的自适应选择:Proposition 1 要求 α1+α2>α,但如何在实际中选择 nuisance 估计方法以满足这一条件?特别是当协变量维度较高时,如何验证加权 L2 速率?扎根于 Proposition 1 的条件 (iv)(v) 和讨论部分对高维设定的展望。
- 交叉拟合的有限样本行为:Proposition 2 的渐近结果依赖于折数 K 固定。当 K 随 n 增长时,方差项 K^{2α-1}σ² 会如何变化?是否存在最优的 K 选择?扎根于 Proposition 2 的证明和讨论部分对"折数选择"的提及。
- 区间删失与离散观测:真实数据中,过程 X 往往是在离散时间点观测的(如 LSYPE 的年度访谈),而理论框架假设连续时间观测。这种离散化带来的近似误差如何量化?扎根于应用部分对"模拟删失时间"的处理和讨论部分对离散观测的评论。
- 状态依赖删失的弱化:CAR 假设允许删失依赖已观测历史,但若删失还依赖未观测的潜在过程(如"带信息删失"),识别将失败。是否存在更弱的可识别条件?扎根于 Assumption 1 和讨论部分对 CAR 假设局限性的承认。
- 高维协变量下的行为:当 W 的维度随 n 增长时,nuisance 估计的收敛速率会下降,此时"率双稳健"条件是否还能满足?是否需要引入稀疏性或其他结构假设?扎根于 Proposition 1 的速率条件和对高维设定的展望。
顺带提醒:要确认上述某条是否是真 gap,建议去读近 5 年 Journal of the American Statistical Association、Biometrika 和 Annals of Statistics 上关于"删失数据 + 双稳健估计"的论文引言——如果多篇都指向同一个未解决问题,那大概率是共识性 gap;如果各说各话,则可能是机会所在。
Maintained by 陈星宇 · Homepage · Source on GitHub