跳转至

Partial Identification of Survival Prediction Performance under Dependent Right Censoring

作者: Yuji Komiyama, Yasumasa Matsuda
主题: 因果推断
相关性: 8/10
链接: https://arxiv.org/abs/2610.32488


一、领域脉络与小综述

这个方向是什么

本文研究的根本问题是:在生存分析中,当"事件时间"与"删失时间"之间存在未知依赖关系时,如何评估一个预测模型的性能。传统方法(如IPCW)依赖"独立删失"假设——即删失时间与事件时间条件独立于协变量——但这个假设在现实中往往不成立(例如,病情恶化导致患者既更可能退出研究、也更可能死亡),且无法从观测数据中验证(Tsiatis, 1975 证明了不同依赖结构可生成相同的观测数据分布)。本文采用部分识别(partial identification)框架,不假设删失机制的具体形式,而是推导出模型性能指标(积分Brier分数)在所有与观测数据兼容的数据生成过程中的取值范围(识别集),从而在不依赖不可验证假设的前提下,给出性能评估的稳健结论。

发展脉络

  • 奠基工作:部分识别理论的现代框架由 Manski (2003) 系统建立,其核心思想是:当点识别不可得时,转而刻画与观测数据和先验假设相容的参数集合。Molinari (2020) 和 Tamer (2010) 的综述进一步将该框架推广至计量经济学的广泛问题。在生存分析的删失问题中,Peterson (1976) 最早在竞争风险框架下给出了生存函数的边界,这是本文的直接理论先驱。
  • 主要进展:在依赖删失的生存模型领域,近期工作主要沿两条路径推进。参数化路径:Gharari et al. (2023) 提出基于 Copula 的深度生存模型,通过指定事件与删失时间的联合分布(Archimedean copula)来显式建模依赖结构;Lillelund et al. (2026) 在此基础上提出"依赖Brier分数",用 Copula-Graphic 估计量替代 IPCW 权重。非参数/部分识别路径:Rambachan et al. (2026) 在选择性标签(selective labels)框架下,通过限制选择与未选择个体间结果差异的幅度来界定预测性能;Maia Polo et al. (2024) 利用 Fréchet 界在弱监督设置下界定分类器准确率;Guerdan et al. (2024) 直接对两个决策策略的性能差异构造边界,利用共享未观测结果的特性避免重复计算不确定性。
  • 当前 frontier 与本文位置:上述部分识别工作均未处理"右删失"这一特殊数据结构——其中每个个体的观测时间是一个下界(事件时间被删失时间截断),且同一事件时间同时决定所有评估时点的生存状态。本文的贡献在于:首次将部分识别框架系统应用于右删失生存数据的预测性能评估,并利用"事件时间跨评估时点与模型共享"这一结构特征,推导出比朴素逐点边界更紧的 sharp 边界。

子线索聚类

  1. 删失机制建模(参数化路径):Gharari et al. (2023)、Lillelund et al. (2026) —— 通过 copula 显式建模依赖结构,获得点估计但依赖不可验证的 copula 族假设。
  2. 部分识别与边界推断(非参数路径):Peterson (1976)、Sakaguchi (2024)、Willems et al. (2025) —— 在生存函数或回归参数层面构造边界,不指定依赖结构。
  3. 预测性能评估的识别问题(应用路径):Rambachan et al. (2026)、Maia Polo et al. (2024)、Guerdan et al. (2024)、Liu et al. (2026) —— 在选择性标签、弱监督等框架下界定分类器或策略的性能,但未处理右删失。

这个方向在追问的核心问题

  1. 识别问题:在删失机制完全未知时,哪些性能指标仍可被(部分)识别?识别集的宽度由什么决定?
  2. 推断问题:如何对识别集构造统计推断(置信区域),使得覆盖目标是整个识别集而非单个点?
  3. 模型比较问题:当识别集相互重叠时,如何做出"一个模型优于另一个"的稳健结论?

⚠️ 作者的 framing

作者将本文定位为"在依赖删失下,无需指定依赖结构即可评估预测性能"的首个系统性部分识别方法。其核心叙事是:IPCW 的独立删失假设不可验证且在实际中常被违反,而现有替代方案(copula 方法)又需要指定不可验证的依赖结构;本文通过推导 sharp 边界,在"不做不可验证假设"与"给出有用结论"之间取得平衡。作者在引言中明确写道:"The identified set thus shows what can be concluded about prediction performance without assuming independent censoring or specifying a copula." 值得注意的是,作者淡化了部分识别方法的一个固有限制——当删失比例高时,识别集可能过宽而失去实用价值(本文在模拟中通过控制删失比例来部分回应这一点,但未在理论上刻画识别集宽度与删失比例的关系)。

张力

未见明显的对立引用。但存在一个微妙的张力:Lillelund et al. (2026) 主张通过 copula 建模获得点估计(即使依赖结构不可识别),而本文主张放弃点估计、接受识别集。这两种路径代表了"强假设+精确结论"与"弱假设+稳健结论"之间的根本权衡,作者未在文中直接讨论这一取舍。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号清单(按角色分类):

符号 含义 类型
\(T\) 事件时间(如死亡、复发、流失) 潜在变量(不可完全观测)
\(C\) 删失时间(如退出研究、随访结束) 潜在变量(不可完全观测)
\(X\) 协变量(如年龄、病情、收入) 可观测
\(Y = \min(T, C)\) 观测到的随访时间 可观测
\(\Delta = \mathbf{1}\{T \leq C\}\) 事件指示符(1=事件发生,0=删失) 可观测
\(O = (Y, \Delta, X)\) 单个个体的完整观测数据 可观测
\(Q\) 完整数据分布(\((T, C, X)\) 的联合分布) 未知、不可识别
\(P\) 观测数据分布(\(O\) 的分布) 可由数据估计
\(\mathcal{Q}(P)\) 与 \(P\) 兼容的完整数据分布集合 识别对象
\(\hat{S}_j(t \mid x)\) 第 \(j\) 个模型的预测生存函数 固定(评估对象)
\(\text{BS}_j(t; Q)\) 模型 \(j\) 在时间 \(t\) 的 Brier 分数 目标 estimand
\(\text{IBS}_j(\tau; Q)\) 模型 \(j\) 在 \([0, \tau]\) 上的积分 Brier 分数 目标 estimand
\(\tau\) 预设评估时域 用户指定
\(L_j(r, x; \tau)\) 截断事件时间 \(r\) 下的个体损失 辅助函数
\(r^*(y, x)\) 预测生存概率首次降至 1/2 的时间 辅助量
\(M_j(\tau; Q)\) 模型 \(j\) 与最优竞争者的 IBS 差异 目标 estimand

模型设定: - 完整数据:\((T, C, X) \sim Q\),其中 \(T, C \geq 0\),\(X \in \mathcal{X}\)。 - 观测数据:\(O = (Y, \Delta, X)\),其中 \(Y = \min(T, C)\),\(\Delta = \mathbf{1}\{T \leq C\}\)。 - 关键结构:\(T\) 与 \(C\) 的依赖关系完全不受限制。\(Q \in \mathcal{Q}(P)\) 当且仅当 \(Q\) 诱导的 \((Y, \Delta, X)\) 分布等于 \(P\)。 - 目标 estimand:\(\text{IBS}_j(\tau; Q) = \frac{1}{\tau} \int_0^\tau \mathbb{E}_Q[(\mathbf{1}\{T > t\} - \hat{S}_j(t \mid X))^2] \, dt\),其中 \(Q\) 未知且不可识别。 - 可观测数据:独立同分布的样本 \(O_1, \ldots, O_n \sim P\),每个样本包含 \((Y_i, \Delta_i, X_i)\)。

第二步:最小内核

核心数学问题:给定观测分布 \(P\),对固定模型 \(j\),刻画识别集

\[\Theta_I(P) = \{\text{IBS}_j(\tau; Q) : Q \in \mathcal{Q}(P)\}\]
的上下确界。

最小例子(单个删失个体、单个评估时点):

设 \(\tau = 1\),只有一个个体,观测到 \(Y = y < 1\),\(\Delta = 0\)(即该个体在时间 \(y\) 被删失,事件时间 \(T > y\) 未知)。模型预测该个体在时间 \(t\) 的生存概率为 \(\hat{S}(t \mid x)\)。

  • 可观测信息:\(T > y\),但 \(T\) 的确切值未知。
  • 兼容的完整数据分布:\(T\) 可以是 \((y, \infty)\) 上的任意分布。
  • Brier 分数的可能值:\(\text{BS}(t) = \mathbb{E}[(\mathbf{1}\{T > t\} - \hat{S}(t \mid x))^2]\)。
  • 若 \(t \leq y\):\(\mathbf{1}\{T > t\} = 1\) 必然成立,Brier 分数唯一确定。
  • 若 \(t > y\):\(\mathbf{1}\{T > t\}\) 可以是 0 或 1,取决于 \(T\) 的取值。Brier 分数在 \(\min\{\hat{S}(t \mid x)^2, (1-\hat{S}(t \mid x))^2\}\) 和 \(\max\{\hat{S}(t \mid x)^2, (1-\hat{S}(t \mid x))^2\}\) 之间变化。

为什么这是"最小内核":整篇论文的所有技术细节——包括多评估时点的积分、多个体的期望、模型间差异的联合边界——都是在这个单个体、单时点例子上叠加结构。核心洞察是:每个被删失的个体贡献一个"自由度",其事件时间可以在删失时间之后任意放置,从而影响 Brier 分数的取值。论文的 sharp 边界本质上是在问:如何最优地同时选择所有被删失个体的事件时间,以最小化或最大化目标 estimand?

关键难点(论文的核心技术贡献): 1. 跨时点约束:同一个体的事件时间 \(T\) 同时决定所有 \(t\) 的生存状态。逐点边界(Proposition 2.1)在积分后可能不 sharp,因为不同时点的最优选择可能对应不同的事件时间。Proposition 2.2 通过利用 \(\hat{S}(t \mid x)\) 的单调性,证明积分下界是 sharp 的(选择 \(T = r^*(Y, X)\)),但积分上界需要更精细的分析。 2. 模型间共享事件时间:比较两个模型时,同一个体的事件时间同时影响两个模型的损失。朴素地组合两个模型的独立边界会高估不确定性;Proposition 2.3 通过直接优化损失差 \(D_{jk}(r, X)\) 来获得更紧的边界。 3. 多个竞争者的联合约束:当 \(K \geq 3\) 时,"与最优竞争者的差异"涉及多个 pairwise 边界的最大值,其 sharp 上界需要处理多个约束的交互(Proposition 2.5)。

为什么这个例子"一看就懂":它剥离了所有统计推断的复杂性,直接展示部分识别的本质——观测数据对完整数据分布的约束是"不等式"而非"等式",识别集正是这些不等式所界定的区域。论文的所有估计量、置信区域和检验,都是在估计这个区域的边界并量化其不确定性。

三、这篇论文做了什么

三句话

  1. 研究问题:在事件时间与删失时间存在任意依赖关系(即删失机制完全未知)的右删失数据下,如何对固定预测模型的积分 Brier 分数(IBS)以及模型间的 IBS 差异进行部分识别,并据此进行稳健的模型比较。
  2. 核心方法:利用"每个个体的单一事件时间同时决定所有评估时点的生存状态"这一结构约束,推导出 IBS 及其差异的 sharp 边界(Proposition 2.2、2.3、2.5),并基于这些边界构造估计量、置信区域、稳健严格优势检验和 intersection-union 检验。
  3. 主要结论:在删失比例较高或模型预测接近 1/2 时,观测数据可能无法支持任何稳健的模型排序;IPCW 在依赖删失下可能给出误导性结论,而本文方法能正确反映不确定性。模拟和三个真实数据应用验证了方法的有限样本性能。

关键设定与假设

  • 假设 1(独立评估样本):评估样本 \(O_1, \ldots, O_n\) 独立同分布于观测分布 \(P\)。这是标准假设,用于估计的渐近理论。
  • 假设 2(预测函数性质):每个模型的预测生存函数 \(\hat{S}_j(t \mid x)\) 可测、取值于 \([0,1]\)、且关于 \(t\) 非增。这是 Brier 分数定义和边界推导的基础。
  • 假设 3(模型外生性):预测模型在评估样本之外训练,评估时视为固定。这避免了模型训练与评估之间的依赖。
  • 假设 4(比较预设):候选模型集合、评估时域 \(\tau\) 在查看评估样本前固定。这保证了检验的 level 性质。

相比已有工作的关键差异:本文不假设 \(T \perp C \mid X\)(独立删失),不指定 \(T\) 与 \(C\) 的 copula 结构,不假设删失时间可被协变量完全解释。它只依赖一个结构事实:\(T\) 是单个随机变量,其取值同时决定所有时点的生存状态。

主要结果

定理 1(单模型边界,Proposition 2.2): - 下界:\(\underline{\text{IBS}}(\tau; P) = \frac{1}{\tau} \mathbb{E}_P[\mathbf{1}(Y \geq \tau \text{ 或 } \Delta = 1) L(\min(Y, \tau), X; \tau) + \mathbf{1}(Y < \tau, \Delta = 0) L(r^*(Y, X), X; \tau)]\) - 上界:\(\overline{\text{IBS}}(\tau; P) = \frac{1}{\tau} \mathbb{E}_P[\mathbf{1}(Y \geq \tau \text{ 或 } \Delta = 1) L(\min(Y, \tau), X; \tau) + \mathbf{1}(Y < \tau, \Delta = 0) \max\{L(Y, X; \tau), L(\tau, X; \tau)\}]\) - Sharpness:当 \(P(Y = t, \Delta = 0) = 0\) 对所有 \(t\) 成立时,边界是 sharp 的(即识别集等于闭区间 \([\underline{\text{IBS}}, \overline{\text{IBS}}]\))。 - 直觉:下界对应"被删失个体的事件时间恰好在其预测生存概率降至 1/2 的时刻"(此时损失最小);上界对应"事件时间紧贴删失时间之后或远在评估时域之后"(取两者中损失更大者)。

定理 2(两模型差异边界,Proposition 2.3): - 直接优化损失差 \(D_{jk}(r, X) = L_j(r, X; \tau) - L_k(r, X; \tau)\) 在 \(r \in (Y, \tau]\) 上的下确界和上确界,而非分别优化两个模型的损失再相减。 - 关键改进:朴素组合边界(分别取两个模型的最优/最差事件时间)会得到比 sharp 边界更宽的区间,因为同一个体的事件时间必须同时服务于两个模型。Proposition 2.3 的边界比 Proposition 2.2 的组合边界窄 8%–20%(模拟中测得)。

定理 3(多模型上界,Proposition 2.5): - \(M_j(\tau; P) = \max_{k \neq j} \overline{\text{IBS}}_{jk}(\tau; P)\) 是"模型 \(j\) 与最优竞争者的差异"的 sharp 上界。 - 证明思路:上确界与最大值可交换,因为每个 pairwise 上界都是通过选择事件时间实现的,而"使某个 \(k\) 的差异最大"的事件时间选择足以实现最大值。

定理 4(置信区域,Proposition 3.4): - 对单模型和两模型差异,构造覆盖整个识别集(而非单个点)的置信区域。 - 关键技巧:利用下界和上界估计量的联合渐近正态性,通过 Bonferroni 校正或直接计算临界值 \(c_{1-\alpha}(\hat{\rho})\) 来同时覆盖两个边界。 - 模拟中,覆盖概率在 0.935–0.967 之间(名义水平 0.95),接近 nominal level。

定理 5(检验,Propositions 3.5、3.6): - 稳健严格优势检验:\(H_0: \overline{\text{IBS}}_{jk}(\tau; P) \geq 0\) vs \(H_1: \overline{\text{IBS}}_{jk}(\tau; P) < 0\)。拒绝 \(H_0\) 意味着模型 \(j\) 在所有兼容的数据生成过程中都优于模型 \(k\)。 - Intersection-union 检验:\(H_0: \bigcup_{k \neq j} \{\overline{\text{IBS}}_{jk}(\tau; P) \geq 0\}\) vs \(H_1: \bigcap_{k \neq j} \{\overline{\text{IBS}}_{jk}(\tau; P) < 0\}\)。拒绝 \(H_0\) 意味着模型 \(j\) 是稳健最优的。 - 关键性质:IUT 的 level 由每个 pairwise 检验的 level 控制,无需多重比较校正(Berger, 1982)。

证明路线与技术技巧

整体路线: 1. 边界推导:将 IBS 的识别问题分解为每个个体的"损失范围"问题。对每个被删失个体,其事件时间 \(T\) 在 \((Y, \infty)\) 中自由变化,损失 \(L_j(\min(T, \tau), X; \tau)\) 的范围由预测生存函数 \(\hat{S}_j\) 的单调性决定。下界在 \(T = r^*(Y, X)\) 处取得(预测概率降至 1/2 的时刻),上界在 \(T \downarrow Y\) 或 \(T \geq \tau\) 处取得。 2. Sharpness 证明:构造显式的兼容数据生成过程,使得目标 estimand 恰好等于边界值。关键工具是混合分布:对每个被删失个体,以概率 \(\lambda\) 选择"下界事件时间",以概率 \(1-\lambda\) 选择"上界事件时间",从而连续地实现识别集中的任意值。 3. 渐近理论:边界估计量是样本平均值,直接应用大数定律和中心极限定理。关键技巧是处理"下界和上界估计量来自同一批样本"的相关性,通过联合 CLT 和 Delta method 得到协方差矩阵。 4. 检验构造:利用"边界估计量 \(\pm\) 标准误 \(\times\) 临界值"的单侧置信区间。IUT 的 level 控制依赖于每个 pairwise 检验的 level 控制,以及"最大值函数的连续性"。

关键技术技巧: - 损失函数的 Lipschitz 性质:\(|L_j(r_1, x; \tau) - L_j(r_2, x; \tau)| \leq |r_1 - r_2|\),这使得对 \(r\) 的优化可以简化为对区间端点的检查。 - 可测性论证:\(r^*(y, x)\) 的可测性通过 \(\hat{S}\) 的联合可测性和单调性建立,避免了选择公理问题。 - 非唯一最优竞争者:当多个竞争者同时达到最大上界时,IUT 的渐近分布涉及"最大值函数的非光滑性",作者通过"仅需证明 level 而非精确分布"来绕过这一困难。 - 退化情形处理:当 \(\sigma = 0\)(边界估计量无变异)时,检验的 level 性质通过"永不拒绝"来保证。

真实例子与应用

数据:三个数据集,删失比例差异大(56.3%、22.4%、0.4%)。

分析流程: 1. 在训练集上拟合三个候选模型(CoxPH、RSF、DeepSurv),在验证集上选择超参数,在测试集上评估。 2. 对每个模型,计算 IBS 的估计边界 \([\widehat{\underline{\text{IBS}}}, \widehat{\overline{\text{IBS}}}]\) 和 95% 置信区域。 3. 对每对模型,计算差异的估计边界和置信区域,以及稳健严格优势检验。 4. 对三个模型,计算每个模型与最优竞争者的差异上界,以及 IUT。

关键结果: - UnempDur(56.3% 删失):IPBS 边界宽度约为 0.14–0.15,IPCW 估计值位于边界内但接近下界。IPCW 排序(CoxPH < RSF < DeepSurv)在边界意义下不被支持——所有 pairwise 差异的置信区域都包含 0。 - KKBOX(22.4% 删失):边界宽度约为 0.06–0.07。IPCW 排序部分被支持:DeepSurv 对 CoxPH 的差异上界为负(稳健优势成立),但 RSF 对 CoxPH 的差异不确定。 - SFLLD(0.4% 删失):边界宽度仅为 0.0011–0.0014。IPCW 排序被完全支持:所有 pairwise 差异的置信区域都排除 0,IUT 认证 DeepSurv 为稳健最优。

例子想说明什么:删失比例是识别集宽度的主要决定因素。当删失极少时(SFLLD),部分识别几乎退化为点识别,结论与 IPCW 一致;当删失严重时(UnempDur),识别集过宽,IPCW 的精确排序是虚假的精确性。这验证了方法的理论预期,并展示了实际应用中"何时可以信任 IPCW"的指导原则。

🔎 结论是否比证明窄

是。具体表现: 1. Proposition 2.2 的 sharpness 需要 \(P(Y = t, \Delta = 0) = 0\),这在连续时间模型中自然成立,但离散时间模型(如按月记录的数据)中可能不成立。作者在模拟中使用了连续时间设定,未讨论离散时间下的边界是否仍 sharp。 2. 定理 3.2 的渐近正态性要求边界估计量的方差为正。当 \(\sigma = 0\) 时(例如所有个体都在 \(\tau\) 前发生事件),置信区域退化为 \(\mathbb{R}\),检验的 level 性质虽然成立但无检验功效。作者在 Proposition 3.5 的证明中处理了这一情形,但未在模拟中评估其有限样本行为。 3. 假设 3(模型外生性)在实际中常被违反:如果模型在包含评估样本的数据上训练(如某些 AutoML 流程),则评估样本不独立于模型。作者在讨论中承认这一点,但未提供敏感性分析。 4. 边界估计量的偏差:由于 \(r^*(Y, X)\) 和 \(\max\{L(Y, X; \tau), L(\tau, X; \tau)\}\) 是 \(Y\) 和 \(X\) 的非线性函数,有限样本下边界估计量可能有偏差。模拟中偏差在 \(n=250\) 时约为边界宽度的 5–10%,作者未提供偏差校正方法。 5. 结论部分声称"IPCW 排序在 UnempDur 和 KKBOX 中不被支持",但这一结论依赖于 95% 置信区域的选择。若使用 90% 置信区域,部分 pairwise 差异可能排除 0。作者未讨论置信水平选择的敏感性。

四、开放问题

  1. 离散时间下的 sharpness:Proposition 2.2 的 sharpness 条件 \(P(Y = t, \Delta = 0) = 0\) 在离散时间数据(如按月记录)中不成立。离散时间下的识别集是否仍为闭区间?边界是否仍由 \(r^*\) 和 \(\max\{L(Y), L(\tau)\}\) 刻画?(扎根于 Proposition 2.2 的证明,第 35 页)

  2. 边界估计量的偏差校正:模拟中 \(n=250\) 时边界估计量有 5–10% 的偏差。能否构造 jackknife 或 bootstrap 偏差校正?偏差是否随删失比例和预测函数 \(\hat{S}\) 的曲率变化?(扎根于模拟部分,第 18–19 页)

  3. 弱假设下的边界收紧:本文完全不限制 \(T\) 与 \(C\) 的依赖结构。若引入部分可验证的假设(如"删失时间受协变量影响但依赖方向已知"),识别集能否显著收窄?这与 Willems et al. (2025) 的回归参数边界有何联系?(扎根于引言第 3 段和结论第 6 节)

  4. 检验功效的改进:IUT 在对称竞争者情形下几乎不拒绝(模拟中拒绝率 ≤0.003)。能否构造更高效的检验,利用 pairwise 上界估计量之间的相关性?(扎根于 Proposition 3.6 的讨论,第 16 页)

  5. 模型选择的内生性:假设 3 要求模型独立于评估样本。在 AutoML 或交叉验证流程中,模型间接使用了评估样本信息。此时边界估计量是否仍一致?能否将模型选择过程纳入识别框架?(扎根于假设 3 的陈述,第 7 页)

  6. 扩展到其他性能指标:本文聚焦于 Brier 分数。能否将类似的部分识别框架应用于时间相关的 AUC(如 Harrell's C)或对数秩统计量?这些指标的非光滑性会带来新的技术挑战。(扎根于结论第 6 节"extending the bounds to measures other than the IBS")


提示:若要确认上述开放问题是否为真 gap,建议检索 2024–2026 年关于"dependent censoring + partial identification"的最新文献(如 Biometrika、JRSS-B、Annals of Statistics 的相关文章),以及 Willems et al. (2025) 和 Lillelund et al. (2026) 的后续工作。特别关注是否有研究将部分识别框架推广到离散时间或非 Brier 指标。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论