When does conformal calibration need censoring weights? Cause-of-failure prediction sets under competing risks¶
作者: Sunny Yang, Weiyan Zhao
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2610.08602
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的领域是分布自由的预测不确定性量化(distribution-free predictive inference),具体聚焦于竞争风险(competing risks)框架下的因果失效标签(cause-of-failure label)预测集构造。根本的统计问题是:在右删失(right censoring)使得部分个体的"到期标签"(horizon label)不可观测时,如何构造一个预测集,使其以至少 \(1-\alpha\) 的概率覆盖真实标签。该子方向当前处于快速发展但尚未成熟的阶段:conformal prediction 的基础理论(交换性、分裂法)已相当完备,但将其推广到删失数据、尤其是竞争风险设定,是近三年的活跃前沿,且缺乏统一的有限样本理论框架。
发展脉络¶
-
奠基工作:交换性假设下的 conformal prediction。Vovk et al. 的 conformal prediction 框架确立了"交换性 → 有限样本覆盖保证"这一核心逻辑。Tibshirani et al. (2019) 将其推广到加权交换性(weighted exchangeability),允许训练与测试分布不同,但要求似然比已知。这是本文方法论的直接起点——本文的 Lemma 1 正是将 Tibshirani et al. 的加权交换性框架应用到删失诱导的选择事件上。
-
主要进展:从生存分析到删失数据。Candès, Lei and Ren (2023) 首次系统处理生存时间预测,但要求 I 型删失(Type-I censoring)且删失时间对所有个体已知。Gui et al. (2024) 提出自适应截断(adaptive cutoffs),但 PAC 型保证不适用于失访(loss to follow-up)。Yi et al. (2025) 的关键突破是:在随机删失下,通过逆概率加权(IPW)构造加权交换性,其 Appendix A 的分解论证是本文 Theorem 1 的直接前身。Sesia and Svetnik (2025a) 通过插补处理一般右删失,但只有渐近保证。
-
当前前沿:竞争风险与因果标签。Dang et al. (2026) 首次将 conformal prediction 引入竞争风险,但只处理"事件时间"而非"到期标签",且其 complete-case 校准在 PBC 数据上仅达到 14.3% 的覆盖率。Alberge et al. (2025)、Wang et al. (2026) 分别处理点预测和渐近区间,但均未解决有限样本保证问题。本文的位置在于:首次为竞争风险下的 cause-of-failure 标签预测集建立有限样本覆盖下界,并显式刻画删失模型误差的代价。
子线索聚类¶
-
线索 A:加权 conformal prediction 的理论推广。Tibshirani et al. (2019) → Lei and Candès (2021) → Yi et al. (2025) → 本文。这条线关注如何在不同形式的分布偏移(协变量偏移、删失诱导的选择)下保持覆盖保证。核心工具是加权分位数、Radon–Nikodym 导数、以及(本文新增的)总变差耦合论证。
-
线索 B:删失数据的 conformal 化。Candès et al. (2023) → Gui et al. (2024) → Sesia and Svetnik (2025a, 2025b, 2026) → Farina et al. (2026) → 本文。这条线关注删失机制的类型(I 型 vs 随机)、删失时间是否可观测、以及保证的强度(有限样本 vs 渐近 vs PAC)。本文的贡献在于处理"标签缺失"而非"时间缺失",这是一个本质区别。
-
线索 C:竞争风险下的预测与不确定性量化。Dang et al. (2026) → Alberge et al. (2025) → 本文。这条线关注如何将生存分析中的竞争风险模型与预测集构造结合。本文的独特之处在于:目标量是离散的 cause-of-failure 标签,而非连续的事件时间,这使得 score 函数的选择和分位数论证都需要重新设计。
核心问题¶
- 识别问题:在右删失下,complete-case 校准的覆盖保证针对的是"标签可观测的子总体",而非全体目标总体。这个 gap 有多大?由什么决定?
- 估计问题:当删失模型(\(G\))需要从数据中估计时,有限样本覆盖下界如何随估计误差变化?是否存在"免费午餐"——即某些 score 函数对删失模型误差天然稳健?
- 效率问题:加权校准(IPW)与 complete-case 校准在预测集大小(效率)上的差距有多大?是否存在比 IPW 更优的校准方式?
⚠️ 作者的 framing(这是作者的说法)¶
作者将缺口 frame 为:"complete-case 校准在竞争风险下对总体覆盖率可能偏高或偏低,即使真实类别概率已知;而加权校准配合正确指定的删失模型可以修复这一问题,并具有有限样本保证。" 作者强调其贡献是:(i) 证明 complete-case 误差的符号取决于 score 分布如何被选择改变;(ii) 建立加权校准的有限样本下界,显式惩罚删失模型误差;(iii) 通过模拟展示在 22% 无事件率下 complete-case 的名义 90% 覆盖率实际仅为 87.23%。
值得注意的张力:作者在 Section 4.3 和 Table 8 中展示,当删失模型被错误指定(marginal 而非 conditional)时,加权校准也可能失效,且失效方向与 complete-case 相反。这意味着"加权"不是万能药——它把对 outcome 模型的依赖转移到了对删失模型的依赖。作者在 Discussion 中承认这一点,但未给出选择权重的数据驱动准则。此外,作者在 Section 4.2 中使用的"shrinkage"(收缩)方法是一种人为构造的 misspecification,其与真实应用中模型误设的对应关系值得商榷——真实应用中,模型误设的方向和大小通常是未知的,而非可以精确控制的。
未见明显对立引用:被引文献之间没有直接矛盾,但存在一个微妙的分歧——Candès et al. (2023) 和 Gui et al. (2024) 倾向于通过"删失时间可观测"的假设来简化问题,而 Yi et al. (2025) 和本文则处理更一般的随机删失。这导致了两条路线在"需要多少关于删失的信息"这一问题上的不同立场。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号清单(逐个点名):
| 记号 | 含义 | 类型 |
|---|---|---|
| \(X\) | 协变量 | 可观测随机变量 |
| \(T\) | 潜在首次事件时间 | 潜在量(latent) |
| \(\varepsilon \in \{1,\dots,K\}\) | 事件原因 | 潜在量 |
| \(C\) | 删失时间 | 潜在量 |
| \(\tilde{T} = \min(T, C)\) | 观测随访时间 | 可观测 |
| \(t^\star\) | 固定预测时点(horizon) | 常数 |
| \(Y = \varepsilon \cdot \mathbf{1}\{T \le t^\star\} + 0 \cdot \mathbf{1}\{T > t^\star\}\) | 到期标签(cause-of-failure label),\(Y \in \{0,1,\dots,K\}\) | 目标量(estimand) |
| \(\Delta = \mathbf{1}\{C \ge \min(T, t^\star)\}\) | 标签可观测指示 | 可观测 |
| \(m = \min(T, t^\star)\) | 截断事件时间 | 潜在量 |
| \(G(u \mid x) = P(C \ge u \mid X = x)\) | 条件删失生存函数 | 未知函数(需估计) |
| \(\pi_\ell(x)\) | 类别 \(\ell\) 的拟合概率 | 估计量 |
| \(s(x, \ell) = 1 - \pi_\ell(x)\) | 非一致性分数 | score 函数 |
| \(V = s(X, Y) = 1 - \pi_Y(X)\) | 校准分数 | 随机变量 |
| \(w^\star = 1/G(m \mid X)\) | 逆概率删失权重(oracle) | 权重 |
| \(\hat{w} = 1/\hat{G}(m \mid X)\) | 估计权重 | 权重 |
| \(\kappa = E[G/\hat{G}]\) | 权重归一化常数 | 常数 |
| \(\Delta_w\) | 覆盖下界的惩罚项 | 常数 |
| \(A\) | 测试点权重(atom) | 权重 |
模型(数据生成机制):
- 潜在量:\((X_i, T_i, \varepsilon_i, C_i) \overset{\text{i.i.d.}}{\sim} P\),\(i = 1, \dots, n\)。
- 独立删失:\(C \perp\!\!\!\perp (T, \varepsilon) \mid X\)(条件独立删失)。
- 可观测数据:对每个个体 \(i\),观测到 \((X_i, \tilde{T}_i, \delta_i)\),其中 \(\delta_i = \mathbf{1}\{T_i \le C_i\}\) 是事件指示。关键点:当 \(\Delta_i = 0\)(即 \(C_i < \min(T_i, t^\star)\))时,\(Y_i\) 不可观测。研究者实际能观测到的是:协变量 \(X_i\)、随访时间 \(\tilde{T}_i\)、以及"是否在 \(t^\star\) 前观察到事件"的指示。想要但观测不到的是:\(Y_i\)(到期标签)。
- 目标:对新的测试个体 \((X_{n+1}, T_{n+1}, \varepsilon_{n+1}, C_{n+1})\),构造预测集 \(\hat{S}(X_{n+1}) \subseteq \{0, 1, \dots, K\}\),使得 \(P(Y_{n+1} \in \hat{S}(X_{n+1})) \ge 1 - \alpha\)。
关键识别条件: - 独立删失(Assumption 1):\(C \perp\!\!\!\perp (T, \varepsilon) \mid X\)。这保证了 \(E[\Delta \cdot w^\star \cdot h(X, Y)] = E[h(X, Y)]\) 对任意可积 \(h\) 成立——即 IPW 可以"还原"完整数据分布。 - 正值性(Assumption 2):\(G(t^\star \mid X) \ge g_{\min} > 0\) 几乎必然。这保证了权重 \(w^\star \le 1/g_{\min}\) 有界,是有限样本论证的关键。
第二步:最小内核¶
核心问题:在竞争风险下,complete-case 校准(只用 \(\Delta_i = 1\) 的个体)为什么可能失效?
最小设定:\(K = 2\)(两个事件原因),\(t^\star\) 固定,\(X\) 为常数(无协变量),删失时间 \(C\) 与 \((T, \varepsilon)\) 独立(边际独立删失)。真实类别概率为 \(p_\ell = P(Y = \ell)\),\(\ell = 0, 1, 2\)。
关键观察:complete-case 校准使用的分数分布是 \(P(V \mid \Delta = 1)\),而目标总体分布是 \(P(V)\)。由于 \(\Delta = \mathbf{1}\{C \ge \min(T, t^\star)\}\) 依赖于 \(T\)(从而依赖于 \(Y\)),这两个分布不相等。
具体例子:设 \(t^\star = 1\),事件时间 \(T\) 的分布为:\(P(T \le 1, \varepsilon = 1) = 0.2\),\(P(T \le 1, \varepsilon = 2) = 0.2\),\(P(T > 1) = 0.6\)。删失时间 \(C \sim \text{Exp}(\lambda)\),使得 \(P(C \ge 1) = 0.5\)(即 50% 删失率)。那么:
- 标签可观测概率:\(P(\Delta = 1) = P(C \ge \min(T, 1))\)。对于 \(T \le 1\) 的个体(占 40%),\(\min(T, 1) = T \le 1\),所以 \(P(\Delta = 1 \mid T \le 1) = P(C \ge T)\)。对于 \(T > 1\) 的个体(占 60%),\(\min(T, 1) = 1\),所以 \(P(\Delta = 1 \mid T > 1) = P(C \ge 1) = 0.5\)。
- 假设 \(T\) 在 \((0, 1)\) 上均匀分布,则 \(P(C \ge T) = \int_0^1 P(C \ge t) dt = \int_0^1 e^{-\lambda t} dt = (1 - e^{-\lambda})/\lambda\)。取 \(\lambda = \ln 2\)(使得 \(P(C \ge 1) = 0.5\)),则 \(P(C \ge T) = (1 - 0.5)/\ln 2 \approx 0.721\)。
- 因此,\(P(\Delta = 1) = 0.4 \times 0.721 + 0.6 \times 0.5 = 0.288 + 0.3 = 0.588\)。
- 在 complete-case 子总体中,各标签的条件概率为:
- \(P(Y = 1 \mid \Delta = 1) = 0.2 \times 0.721 / 0.588 \approx 0.245\)
- \(P(Y = 2 \mid \Delta = 1) = 0.2 \times 0.721 / 0.588 \approx 0.245\)
- \(P(Y = 0 \mid \Delta = 1) = 0.6 \times 0.5 / 0.588 \approx 0.510\)
- 而总体标签概率为:\(P(Y = 1) = P(Y = 2) = 0.2\),\(P(Y = 0) = 0.6\)。
失效机制:complete-case 校准将"标签可观测"的概率权重 \(P(\Delta = 1 \mid Y = \ell)\) 混入了分数分布。在这个例子中,\(P(\Delta = 1 \mid Y = 1) = P(\Delta = 1 \mid Y = 2) \approx 0.721\),而 \(P(\Delta = 1 \mid Y = 0) = 0.5\)。因此,complete-case 子总体中事件标签(1 和 2)被过度代表,而"无事件"标签(0)被低估。当真实分数 \(V = 1 - \pi_Y(X)\) 对"无事件"个体给出较高分数(即 \(\pi_0\) 较大)时,complete-case 校准的分位数会偏低,导致覆盖不足。
加权修复:使用权重 \(w^\star = 1/G(\min(T, t^\star) \mid X)\) 对 complete-case 个体重新加权。在这个例子中,\(G(\min(T, t^\star)) = e^{-\lambda \min(T, 1)}\),对于 \(T \le 1\) 的个体权重为 \(e^{\lambda T}\),对于 \(T > 1\) 的个体权重为 \(e^{\lambda} = 2\)。加权后,\(E[\Delta \cdot w^\star \cdot \mathbf{1}\{Y = \ell\}] = P(Y = \ell)\),从而恢复了正确的总体分布。
为什么有限样本下界需要 atom? 在加权分位数中,测试点的权重 \(A\) 必须至少覆盖其真实权重 \(w^\star_{te}\)。由于 \(w^\star_{te}\) 依赖于未观测的 \(m = \min(T_{te}, t^\star)\),程序使用 \(A = 1/\max\{\hat{G}(t^\star \mid X_{te}), g_{\min}\}\) 作为上界(Lemma 3)。这个 atom 的作用是:即使测试点的真实权重很大(因为 \(m\) 很小),atom 也能保证加权分位数不会过低,从而维持覆盖下界。
这个最小内核揭示了什么:complete-case 校准的失效不是由于分数估计误差,而是由于选择偏差——删失机制与标签相关时,complete-case 子总体不是总体的代表。加权校准通过 IPW 消除选择偏差,但代价是需要正确指定删失模型,且有限样本保证依赖于 atom 的选择。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在竞争风险框架下,当右删失导致 cause-of-failure 标签不可观测时,complete-case 分裂 conformal 预测集对总体覆盖率的偏差方向与大小如何刻画,以及加权校准能否提供有限样本覆盖保证。
- 核心工具/方法:将 Tibshirani et al. (2019) 的加权交换性框架推广到删失诱导的选择事件 \(\{\Delta = 1\}\),使用逆概率删失权重(IPW)校准,并引入"atom"(测试点权重的上界)来保证有限样本覆盖下界;理论工具包括总变差耦合论证和 Lei–Candès 的加权分位数引理。
- 主要结论:complete-case 校准的覆盖误差符号取决于 score 分布如何被选择改变,可正可负;加权校准在删失模型正确指定时具有有限样本覆盖下界 \(1 - \alpha - \Delta_w\),其中 \(\Delta_w\) 显式依赖于删失模型估计误差;在模拟中,22% 无事件率下 complete-case 的名义 90% 覆盖实际仅 87.23%,而加权校准保持在 90% 附近。
关键设定与假设¶
- 数据生成:\((X_i, T_i, \varepsilon_i, C_i)\) i.i.d.,\(C \perp\!\!\!\perp (T, \varepsilon) \mid X\)(独立删失),\(P(C \ge t^\star \mid X) \ge g_{\min} > 0\)(正值性)。
- 目标量:到期标签 \(Y = \varepsilon \cdot \mathbf{1}\{T \le t^\star\} + 0 \cdot \mathbf{1}\{T > t^\star\}\),预测集 \(\hat{S}(X) \subseteq \{0, 1, \dots, K\}\)。
- Score 函数:\(s(x, \ell) = 1 - \pi_\ell(x)\),其中 \(\pi_\ell\) 是拟合的类别概率(可来自任意模型)。
- 校准方式:分裂 conformal,训练集 \(\mathcal{D}_{\text{tr}}\) 拟合 \(\pi\) 和 \(\hat{G}\),校准集 \(\mathcal{D}_{\text{cal}}\) 计算分数,测试集 \(\mathcal{D}_{\text{te}}\) 评估。
- 相比已有工作的放宽/强化:
- 相比 Candès et al. (2023):不要求 I 型删失,允许一般随机删失(但需要独立删失条件)。
- 相比 Yi et al. (2025):将目标量从事件时间推广到 cause-of-failure 标签,且显式处理了"标签缺失"而非"时间缺失"。
- 相比 Sesia and Svetnik (2025a):提供有限样本保证(而非渐近),但需要删失模型估计误差的显式上界。
主要结果¶
定理 1(覆盖下界):在 Assumptions 1–3 下,加权程序(2)配合 atom(3)满足:
推论 1(率):在边际删失(\(G(u|X) = G(u)\))下,若 \(\hat{G}\) 是 Kaplan–Meier 估计量,则 \(\Delta_w = O_P(|\mathcal{D}_{\text{tr}}|^{-1/2})\)。
模拟发现: - 在正确指定的 score 下,complete-case 校准的覆盖偏差随无事件率增加而增大:无事件率 0.544 时覆盖 0.919(过覆盖),0.224 时覆盖 0.878(欠覆盖)。 - 加权校准在所有设计下保持在 0.900–0.910 之间。 - 当删失模型被错误指定(marginal 而非 conditional)时,加权校准可能失效,且失效方向与 complete-case 相反(Table 8, 9)。 - 在 48 个设计中使用"经典竞争风险错误"(将原因别 Nelson–Aalen 累积风险指数化并归一化)时,complete-case 校准在 4 个设计中低于名义值至少四个标准误,最低覆盖 0.8920。
真实数据:三个 R 包 survival 中的竞争风险队列(mgus2, PBC, 以及 SEER 乳腺癌队列)显示,complete-case 校准在 pooled 覆盖上通常过覆盖,但 per-cause 覆盖可能严重不足(如 PBC 中其他原因死亡覆盖仅 0.262)。
🔎 结论是否比证明窄¶
是,存在明显差距。具体如下:
-
定理 1 的假设 vs 模拟设计:定理 1 要求 \(\hat{G}\) 是条件删失模型(依赖于 \(X\)),且 \(\Delta_w\) 的界依赖于 \(\sup_{u \le t^\star} |\hat{G}(u|X) - G(u|X)|\) 的期望。但在 Section 4.1 和 4.2 的模拟中,删失是边际的(\(G(u|X) = G(u)\)),且 \(\hat{G}\) 是边际 Kaplan–Meier。这意味着模拟中的 \(\Delta_w\) 实际上比定理 1 的界更小,但定理 1 并未给出这一特殊情形下的更紧界。作者在推论 1 中给出了边际情形的率,但未证明该率下的常数。
-
"正确指定的删失模型" vs "可实现的估计":作者在 Table 1 中声称"加权程序在删失模型正确时保持名义覆盖",但在 Section 4.3 中,当删失模型被错误指定时,加权程序也可能失效。作者没有给出数据驱动的权重模型选择准则——即如何判断一个删失模型是否"足够正确"。这使得定理 1 的实用性受限:它保证了"如果 \(\hat{G}\) 好,则覆盖好",但未回答"\(\hat{G}\) 需要多好"。
-
per-cause 覆盖 vs pooled 覆盖:作者在 Section A.1 和 Table 5 中展示了 per-cause 覆盖的严重不足,但定理 1 只给出 pooled 覆盖下界。作者没有证明 per-cause 覆盖的任何下界,也没有给出 per-cause 覆盖与 pooled 覆盖之间的定量关系。这是一个重要的理论缺口,因为实际应用中 per-cause 覆盖往往比 pooled 覆盖更关键。
-
"即使真实类别概率已知"的表述:作者在摘要和引言中强调 complete-case 校准"即使真实类别概率已知"也可能失败。但这一表述仅适用于 score 函数是真实概率的情形。在模拟中,作者使用的是拟合的森林概率,而非真实概率。因此,"真实概率已知"这一条件在模拟中并未被严格验证。作者在 Section 4.1 中使用了"true score"(真实概率),但 Table 2 的结果显示 complete-case 在无事件率 0.544 时过覆盖、0.224 时欠覆盖,这与"真实概率已知"下的理论预测一致,但作者未提供该情形下的解析证明。
四、开放问题¶
以下问题均扎根于本文的具体语句或结果:
-
条件删失模型的最优估计与自适应选择(扎根于 Theorem 1 和 Section 4.3):定理 1 的 \(\Delta_w\) 界依赖于 \(\hat{G}\) 对 \(G\) 的逼近误差,但作者未给出 \(\hat{G}\) 的估计方法选择准则。当 \(X\) 维数较高时,条件删失模型的估计误差可能主导 \(\Delta_w\),此时是否应该退回到边际模型?是否存在一个数据驱动的准则,在条件与边际模型之间选择,使得 \(\Delta_w\) 最小?——这需要证明一个关于 \(\Delta_w\) 的自适应界,可能涉及模型选择后的均匀收敛论证。
-
per-cause 覆盖的有限样本下界(扎根于 Section A.1 和 Table 5):作者只证明了 pooled 覆盖下界,但 Table 5 显示 per-cause 覆盖可能严重不足。能否建立 per-cause 覆盖的有限样本下界?这需要处理"条件于标签 \(\ell\)"的覆盖概率,而加权分位数论证在条件于标签时不再直接适用——因为测试点的标签未知,无法确定其权重。一个可能的路径是:对每个标签 \(\ell\) 构造单独的校准集,但这会损失效率。是否存在一个统一的程序,同时控制 pooled 和 per-cause 覆盖?
-
score 函数的选择对覆盖偏差的影响(扎根于 Section 4.2 和 Table 15):作者展示了 score 的 misspecification 如何影响 complete-case 校准,但未给出 score 函数选择的一般准则。具体地,当 score 函数是"校准的"(即 \(\pi_\ell(x)\) 是真实条件概率的一致估计)时,complete-case 校准的偏差是否可以被刻画为 score 误差的显式函数?这需要建立 score 误差到覆盖偏差的定量映射,可能涉及对 score 分布的分位数敏感度分析。
-
正值性违反的鲁棒性(扎根于 Section 4.3 和 Table 14):作者在 Table 14 中展示了当 \(G(t^\star \mid X) < g_{\min}\) 时覆盖的退化,但未给出 \(\Delta_w\) 在正值性违反时的上界。能否将 \(\Delta_w\) 的界推广到 \(P(G(t^\star \mid X) < g_{\min}) > 0\) 的情形?这可能需要引入截断权重或"软"atom,并分析其对覆盖和效率的权衡。
-
与 doubly robust 方法的比较(扎根于 Farina et al. 2026 和 Paul et al. 2025 的引用):作者在相关工作部分提到 Farina et al. (2026) 的 doubly robust 方法,但未在模拟中与之比较。一个自然的问题是:当 outcome 模型和删失模型都部分错误时,加权 conformal 与 doubly robust conformal 的覆盖和效率如何比较?这需要设计一个统一的模拟框架,同时变化 outcome 和删失模型的错误程度。
提醒:要确认上述问题是否是真 gap,建议去读以下近期论文的引言部分(各约 5 篇):(1) 关于删失数据 conformal prediction 的后续工作(2025–2026 年 arXiv 上的后续引用);(2) doubly robust conformal inference 的近期发展;(3) 竞争风险下预测集构造的因果推断文献。如果多个独立工作组的引言都指向同一个未解决问题,那大概率是共识性 gap;如果各说各话,则可能是机会也可能是伪问题。
Maintained by 陈星宇 · Homepage · Source on GitHub