Doubly robust and efficient calibration of prediction sets for right-censored time-to-event outcomes¶
作者: Rebecca Farina, Eric Tchetgen Tchetgen, Arun Kumar Kuchibhotla
来源: Biometrika
主题: 因果推断
相关性: 8/10
机构绿灯: Carnegie Mellon University(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv
一、领域脉络与小综述¶
-
这个方向是什么:本子方向致力于在右删失(right-censoring)生存数据下,构建对未来观测具有保证覆盖概率的预测集(prediction sets),且不依赖对生存时间分布的正确参数或半参数建模。其核心挑战在于,观测数据并非完整的生存时间 T,而是 Y = min{T, C} 与删失指示符 Δ,这破坏了标准共形预测(conformal prediction)所依赖的交换性(exchangeability)结构。该方向的目标是在尽可能少的分布假设下,提供统计上有效且信息量尽可能大的不确定性量化工具。
-
发展脉络(history):
- 奠基工作:共形预测框架由 Vovk et al. (2005) 系统提出,其核心优势在于无需分布假设即可在有限样本下提供边际覆盖保证。然而,标准共形预测无法直接处理删失数据,因为观测到的 Y 并非我们关心的 T。
- 主要进展 1(Type-I 删失):Candès et al. (2023) 的开创性工作将共形预测引入生存分析,但其框架建立在 Type-I 删失 假设之上,即所有个体的删失时间 C 都被完全观测到。在此设定下,他们证明了任何对 Y 有效的预测下界(LPB)必然也是对 T 有效的 LPB,从而可以通过构造 Y 的 LPB 来间接构造 T 的 LPB。然而,这一假设在多数实际应用中(如失访、退出研究)过于理想化。
- 主要进展 2(自适应截断):Gui et al. (2023) 在 Candès et al. (2023) 的基础上,引入了一个用户指定的常数 c₀,通过丢弃删失时间早于 c₀ 的样本,并结合加权共形推断(Tibshirani et al., 2019)来修正由此引入的分布偏移。该方法在一定程度上缓解了 Type-I 删失的限制,但仍依赖于一个额外的截断参数,且其有效性依赖于对删失机制的估计。
- 主要进展 3(一般右删失):Sesia & Svetnik (2025b) 和 Qin et al. (2025) 等后续工作开始处理更一般的右删失设定。Sesia & Svetnik (2025b) 通过插补未观测的删失时间来构造伪完整数据集,再应用加权共形推断。Qin et al. (2025) 则采用 bootstrap 重抽样策略来校准预测区间。这些方法在特定条件下取得了渐进有效性,但通常依赖于对删失分布或生存分布的估计,且其覆盖误差的收敛速度可能受限于这些估计的精度。
- 当前 frontier:如何将现代半参数效率理论(semiparametric efficiency theory)引入共形预测框架,以构造不仅具有覆盖保证,而且在统计上高效的预测集。Yang et al. (2024) 在协变量偏移(covariate shift)设定下首次应用了效率理论,而本文(Farina et al., 2026)则将其推广至右删失生存数据,并明确以覆盖误差的二阶性质(second-order property)作为理论目标。
-
子线索聚类:
- 线索 A:基于加权/插补的共形方法:包括 Candès et al. (2023)、Gui et al. (2023)、Sesia & Svetnik (2025b)、Qin et al. (2025)、Yi et al. (2025)。这些方法的核心在于通过加权或插补来修正删失带来的分布偏移,其理论保证通常是渐进的,且覆盖误差的收敛速率与删失机制估计的收敛速率直接相关。
- 线索 B:基于效率理论的校准方法:以 Yang et al. (2024) 和本文为代表。这类方法不直接修正数据分布,而是构造关于目标量的高效估计量(如 AIPCW),并利用其渐近性质来校准预测集,从而获得更优的收敛速率和鲁棒性。
- 线索 C:基于模型的方法:包括 Cox 回归(Teng et al., 2021)和随机生存森林(Boström et al., 2017, 2019)等。这些方法依赖于对生存模型的正确设定,其预测集的有效性在模型错误设定下无法保证。
-
这个方向在追问的核心问题:
- 如何定义并实现"有效"的预测集? 在删失数据下,边际覆盖(marginal coverage)是主要目标,但更强的条件覆盖(conditional coverage)是否可能或必要?
- 如何权衡鲁棒性与效率? 完全分布自由的共形方法(如对 Y 直接做共形)通常保守且信息量低;而依赖模型的方法效率高但可能失效。如何在这两者之间取得最佳平衡?
- 覆盖误差的收敛速率是多少? 现有方法的覆盖误差通常是 O_p(n^{-1/2}) 或更慢。能否通过效率理论将其提升至二阶(即 O_p(n^{-1}) 或更优)?本文的核心贡献正在于此。
- 如何选择非共形分数(non-conformity score)? 不同的分数(如条件分位数、残差)会影响预测集的形状和效率,如何针对删失数据设计最优分数?
-
⚠️ 作者的 framing(必须明确标注成"这是作者的说法"):作者将领域缺口 frame 为:现有方法(如 Candès et al. 2023, Gui et al. 2023)要么受限于 Type-I 删失这一不切实际的假设,要么在一般右删失下无法达到最优的收敛速率。作者声称,他们的 AIPCW 方法通过利用半参数效率理论,首次在一般右删失下实现了覆盖误差的二阶性质(即双鲁棒性),从而在理论上优于所有现有方法。他们淡化了 Sesia & Svetnik (2025b) 和 Qin et al. (2025) 等同样处理一般右删失的工作,强调其方法缺乏"效率"保证。值得研究者注意:作者在引言中未提及 Si & Qiu (2025) 的 APAC 类型保证,而后者在模拟中被列为对比方法,这可能暗示了两种理论目标(边际 vs. 条件)之间的微妙张力。
-
张力:未见明显对立引用。但存在一个潜在张力:Candès et al. (2023) 的结论(任何对 Y 有效的 LPB 也是对 T 有效的 LPB)是在 Type-I 删失下成立的。本文处理一般右删失,其 AIPCW 方法不再依赖这一结论,而是直接估计 T 的边际生存概率。这两种路径在理论上是否等价,或在何种条件下等价,是一个值得深究的问题。
二、最核心、最简单的例子 / 数学问题¶
第一步:把符号、模型、可观测数据交代清楚
- 符号:
- 随机变量:
- X ∈ R^d:协变量向量(完全观测)。
- T ∈ R_+:生存时间(潜在结果,可能未被观测)。
- C ∈ R_+:删失时间(潜在结果,可能未被观测)。
- 可观测数据:
- Y = min{T, C}:观测到的随访时间。
- Δ = 1{T ≤ C}:事件指示符(1 表示观测到事件,0 表示删失)。
- 观测样本:D = {(X_i, Y_i, Δ_i)}_{i=1}^n,i.i.d.
- 参数 / 目标量(Estimand):
- S*_{T|X}(t|x) = P(T > t | X = x):真实的生存函数。
- S*_{C|X}(t|x) = P(C > t | X = x):真实的删失生存函数。
- q_{T|X}(γ|x):条件 γ-分位数,即 inf{t : S_{T|X}(t|x) ≤ 1-γ}。
- 目标:构造一个函数 L̂(·)(LPB),使得对新观测 (X, T),有 P(T ≥ L̂(X)) ≥ 1-α。这里 α 是用户指定的名义误差水平(如 0.1)。
-
估计量 / 模型:
- Ŝ_{T|X}(·|·):从训练集 D₁ 估计的生存函数。
- Ŝ_{C|X}(·|·):从训练集 D₁ 估计的删失生存函数。
- q̂{T|X}(β|·):从 Ŝ{T|X} 推出的条件 β-分位数。
- β̂:校准集 D₂ 上选择的"伪分位数水平"。
-
模型:
- 数据生成机制:假设 (X, T, C) 来自联合分布 P。我们观测到 (X, Y, Δ)。
-
核心假设:
- 条件独立删失 (Conditional Independent Censoring):T ⊥ C | X。这是本文的 Assumption 2.1,是识别的基础。
- 积极性 (Positivity):S*_{C|X}(T|X) > 0 a.s.,即给定 X,删失时间有正概率超过生存时间。这是 Assumption 2.2,确保权重有界。
- 可忽略性 (Ignorability):在给定 X 的条件下,删失机制不依赖于潜在结果 T。这与假设 1 等价。
-
可观测数据 vs. 不可观测数据:
- 可观测:X, Y, Δ。
- 不可观测(潜在):T(当 Δ=0 时),C(当 Δ=1 时)。
- 关键点:我们想对 T 做推断,但只能观测到 Y。当 Δ=1 时,Y=T;当 Δ=0 时,Y=C < T,我们只知道 T 大于某个值。
第二步:讲最小内核
本文的核心思想可以用一个最简单的例子来理解:假设我们想构造生存时间 T 的 90% 下预测界(LPB),即找到一个函数 L(X),使得 P(T ≥ L(X)) ≥ 0.9。
-
朴素思路(忽略删失):如果我们能观测到所有 T,那么标准共形预测的做法是:在训练集上拟合一个分位数回归模型 q̂{T|X}(0.1|X),然后在校准集上计算残差,取残差的 90% 分位数作为校准量,最后得到 L(X) = q̂{T|X}(0.1|X) - 校准量。但问题是,我们观测不到所有 T。
-
IPCW 思路(Horvitz-Thompson 型):我们只能观测到未删失个体的 T。为了估计 P(T ≥ t),我们可以用 IPCW 加权: P(T ≥ t) = E[ Δ · 1{T ≥ t} / S_{C|X}(T|X) ]。 这个等式是精确的(在假设 1 下),因为 E[Δ/S_{C|X}(T|X) | X, T] = 1。所以,我们可以用观测到的未删失个体,通过加权来"代表"所有个体。这就是 IPCW 方法(Algorithm A.1/A.2)的基础。
-
AIPCW 思路(增强版):IPCW 的缺点是它只用了未删失个体的信息,效率较低。AIPCW 通过添加一个"增强项"来利用删失个体的信息。这个增强项基于对条件生存函数 S*{T|X}(t|X) 的估计 Ŝ{T|X}(t|X)。AIPCW 的估计量具有双鲁棒性:只要 Ŝ{T|X} 或 Ŝ{C|X} 中有一个是一致的,估计量就是一致的。更重要的是,其误差项是二阶小量(即两个估计误差的乘积),因此当两个模型都以足够快的速度收敛时,AIPCW 的收敛速度可以比 IPCW 更快,从而实现效率提升。
-
核心数学问题:如何选择 β̂ 使得 L̂(X) = q̂_{T|X}(β̂|X) 满足覆盖保证?本文的关键在于,不是直接估计条件分位数,而是构造一个关于覆盖概率的估计方程(estimating equation),并利用 IPCW 或 AIPCW 来求解这个方程。AIPCW 的估计方程具有更小的渐近偏差,因此 β̂ 更接近最优值,预测界更紧(即 L̂(X) 更大,信息量更多)。
三、这篇论文做了什么¶
-
三句话:
- 研究了什么问题:在一般右删失(非 Type-I)下,如何构造生存时间 T 的、具有渐近覆盖保证且统计高效的预测下界(LPB)。
- 核心工具 / 方法:提出了基于逆概率删失加权(IPCW)及其增强版本(AIPCW)的估计方程方法,利用半参数效率理论中的影响函数来构造校准统计量,并证明 AIPCW 的覆盖误差具有双鲁棒性和二阶性质。
- 主要结论:AIPCW 方法在理论上优于 IPCW 和现有方法,其覆盖误差的渐近偏差是二阶小量(双鲁棒),因此在更弱的条件下(只需一个模型正确)即可达到名义覆盖,且在两个模型都正确时具有更高的效率(更紧的预测界)。
-
关键设定与假设:
- 设定:i.i.d. 数据,右删失,观测 (X, Y, Δ)。
- 假设:
- Assumption 2.1 (条件独立删失):T ⊥ C | X。这是所有方法的基础。
- Assumption 2.2 (积极性):S*_{C|X}(T|X) > 1/s₀ > 0 a.s.。这确保了 IPCW 权重的有界性,是获得渐近正态性的必要条件。
- 对估计量的假设:假设 Ŝ{T|X} 和 Ŝ{C|X} 是训练集 D₁ 上的一致估计量,且满足一定的收敛速率条件(如 L2 范数收敛)。AIPCW 的双鲁棒性意味着,只要这两个估计量中有一个收敛到真值,覆盖误差就是二阶小量。
-
与已有文献的比较:相比 Candès et al. (2023) 和 Gui et al. (2023) 的 Type-I 假设,本文的假设更弱、更实际。相比 Sesia & Svetnik (2025b) 的插补方法,本文不依赖于插补模型的正确性,而是通过 AIPCW 的增强项来提供鲁棒性。
-
主要结果:
- Theorem 2.3 (IPCW 的覆盖保证):在假设 2.1 和 2.2 下,IPCW 方法构造的 LPB 是渐近 (α, ε)-PAC 的,即 P(P(T ≥ L̂(X) | D) ≥ 1-α) ≥ 1-ε 渐近成立。其覆盖误差的阶为 O_p(||Ŝ{C|X} - S*{C|X}||_{L2} + n^{-1/2})。
- Theorem 2.6 (AIPCW 的双鲁棒性):AIPCW 估计方程的渐近偏差是混合偏差乘积的形式(见公式 9),即它由 Ŝ{T|X} 和 Ŝ{C|X} 的估计误差的乘积所界定。这意味着:
- 如果 Ŝ{T|X} 和 Ŝ{C|X} 都一致,则偏差是二阶小量(例如,O_p(n^{-1}) 如果两者都以 n^{-1/2} 速率收敛)。
- 如果只有一个模型正确,偏差仍然趋于零(因为乘积中有一个因子趋于零)。
-
Theorem 2.10 (AIPCW 的覆盖保证):在假设 2.1、2.2 以及上述双鲁棒性条件下,AIPCW 方法构造的 LPB 是渐近 (α, ε)-PAC 的,且其覆盖误差的阶为 O_p(偏差乘积 + n^{-1/2})。由于偏差乘积是二阶小量,AIPCW 的覆盖误差在渐近上优于 IPCW。
-
证明路线与技术技巧:
- 整体路线:
- 识别:利用条件独立删失假设,将目标量 P(T ≥ t) 表示为 IPCW 加权期望(公式 1)。
- 估计方程:定义一个关于 β 的估计方程 W(β),其总体期望在 β = α 时为零(当模型正确时)。IPCW 和 AIPCW 是 W(β) 的两种不同估计。
- 渐近分析:证明估计方程的解 β̂ 是渐近正态的,并推导其渐近偏差的表达式。关键在于将偏差分解为"估计方程在真值处的偏差"和"估计方程斜率的影响"两部分。
- 覆盖保证:利用 β̂ 的渐近正态性,证明由 β̂ 定义的 LPB 满足渐近覆盖保证。
-
关键技巧:
- 影响函数与切线空间:AIPCW 的构造基于半参数效率理论。作者将 IPCW 估计量投影到删失机制的切线空间的正交补上,从而得到 AIPCW 估计量。这个投影过程(公式 5-8)是消除一阶偏差、实现双鲁棒性的关键。
- 混合偏差乘积:Theorem 2.6 的核心是证明 AIPCW 估计方程的偏差可以写成两个估计误差的乘积形式。这通常需要巧妙地运用积分恒等式(如 Duhamel 公式)或泰勒展开,将偏差项重新组合。
- 经验过程理论:为了处理估计方程中的随机项,作者使用了经验过程理论(如 McDiarmid 不等式,见 Lemma S.2.1)来界定经验过程的波动,从而得到一致收敛的结果。
-
真实例子与应用:
- 模拟实验:设计了 6 种不同的数据生成机制(Settings 1-6),涵盖了 Cox 模型成立/不成立、低维/高维、低删失/高删失、同方差/异方差等情况。核心对比指标是经验覆盖率和平均 LPB 长度。主要发现:
- 在所有设置中,AIPCW-SL 的覆盖率最接近名义水平 90%,且 LPB 长度(信息量)优于或等同于 IPCW-SL。
- 在模型误设(Settings 3-6)和高删失率下,AIPCW-SL 的优势更加明显,而基于 Cox 模型的方法(如 Qin et al. 2025)会出现明显的覆盖不足。
- 与 Si & Qiu (2025) 相比,AIPCW-SL 在覆盖率上相当,但 LPB 通常更紧(信息量更大),这归因于其直接针对边际覆盖进行校准,而非更保守的 APAC 保证。
-
真实数据:使用了类风湿关节炎(Rheumatoid Arthritis)患者队列数据(Choi et al., 2002),共 1240 名患者,其中 191 例死亡(约 15.4% 的事件率)。目标是为患者个体化地预测死亡时间的下界。结果与模拟实验一致,AIPCW-SL 在保证覆盖率的同时,提供了更紧的预测界。
-
🔎 结论是否比证明窄:
- 窄的地方:Theorem 2.3 和 2.10 的证明依赖于估计方程在 β 上的单调性(或近似单调性),这在理论上需要一些正则条件(如生存函数的连续性、分位数的唯一性等),论文中未完全展开这些条件的验证。此外,双鲁棒性(Theorem 2.6)的证明是针对固定的 β 的,而最终结论需要 β̂ 在 [0,1] 上一致成立,这需要更强的假设(如函数类 Donsker 性质),论文中未明确讨论。
- 宽的地方:作者在引言和讨论中声称方法"不依赖模型",但实际证明中假设了 Ŝ{T|X} 和 Ŝ{C|X} 以特定速率收敛。如果使用高维或非参数估计器,这些速率可能无法满足。因此,"不依赖模型"应理解为"对模型误设鲁棒",而非"无需估计模型"。
四、开放问题¶
- 条件覆盖(Conditional Coverage):本文主要关注边际覆盖保证。如何将 AIPCW 框架扩展至更强的条件覆盖目标(如 P(T ≥ L̂(X) | X) ≥ 1-α)?这需要更精细的局部校准技术,且可能面临维数灾难。扎根于:作者在模拟中对比了 Si & Qiu (2025) 的 APAC 保证,但未在理论上探讨两种目标的差异。
- 高维协变量:当 X 的维度 d 远大于样本量 n 时,如何估计 Ŝ{T|X} 和 Ŝ{C|X} 并保证双鲁棒性所需的收敛速率?这需要引入稀疏性假设或正则化技术,并重新分析二阶项。扎根于:作者在模拟中使用了 d=2 和 d=100 的设置,但未讨论高维下的理论性质。
- 非连续或离散生存时间:本文的证明假设了生存时间的连续性。对于离散时间或存在结(ties)的数据,影响函数的形式和估计方程的渐近性质需要重新推导。扎根于:论文未明确讨论此情况。
- 自适应非共形分数:本文的分位数回归模型是预先固定的。能否根据数据自适应地选择非共形分数以进一步优化效率?这涉及到数据分裂(data splitting)和模型选择的理论。扎根于:作者在讨论中提到了"任何非共形分数"的普适性,但未深入探讨其选择问题。
- 与其他删失类型的结合:如何将 AIPCW 框架推广至区间删失(interval censoring)或左截断(left truncation)?这些数据结构会改变切线空间和影响函数的形式。扎根于:作者在讨论中提到了区间删失是未来工作方向。
提醒:要确认上述问题是否为真 gap,建议去读近 5 年(2021-2026)在 Biometrika, JRSS-B, Annals of Statistics 上关于"conformal prediction for censored data"的论文。如果多篇论文都指向同一个问题(如条件覆盖),那很可能是共识性的真 gap;如果各论文的结论互相矛盾,那可能是一个充满机会的争议点。
Maintained by 陈星宇 · Homepage · Source on GitHub