跳转至

Semisupervised estimation of survival rate with doubly-censored survival data

作者: Yang Wang, Qingning Zhou, Tianxi Cai, Xuan Wang
来源: Annals of Applied Statistics
主题: 因果推断
相关性: 7/10
机构绿灯: Washington University in St. Louis(US News 前 50,免分进入精读)
链接: https://doi.org/10.1214/26-aoas2212


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是半监督生存分析:在生存数据场景下,仅有少量样本带有精确的结局标签(如通过人工病历审查获得的精确事件时间),而大量样本只有廉价但带噪声的替代结局(surrogate outcome,如首次诊断代码出现的时间)。核心统计问题是:如何利用大量无标签数据(带替代结局)来提升基于少量金标准标签的生存函数估计效率,同时避免直接使用替代结局带来的偏差。这个方向处于"测量误差/替代结局"与"半监督学习"的交汇处,在电子健康记录(EHR)应用驱动下近年逐渐活跃。其成熟度属于发展中——右删失情形已有若干工作,但双重删失(左删失+右删失)下的半监督估计此前无人系统处理。

发展脉络(history)

从 introduction 与参考文献看,这条线大致如下:

  • 奠基工作:生存分析中处理替代结局/测量误差的经典框架可追溯到 Prentice (1982) 关于替代结局的统计学定义,以及 Tsiatis 等的替代终点验证研究。这些工作确立了"替代结局不能直接当真实结局用"这一核心问题意识。在删失数据方面,Turnbull (1976) 给出了双重删失数据非参数生存函数估计的 EM 算法,是本文处理左删失+右删失的直接基石。
  • 主要进展:半监督方法在生存数据中的引入是近期的事。作者明确提到"semisupervised methods exist for binary and right-censored outcomes"——即已有工作处理了二值结局(如 Zhang et al. 2019 的 semisupervised classification)和右删失生存结局(如 Wang et al. 2020 的 semisupervised survival estimation),但"none address double censoring"。在右删失半监督估计中,核心技巧是利用无标签数据构造估计方程来提升效率,同时通过仅对标签数据使用真实结局来避免偏差。
  • 当前 frontier:EHR 驱动的生存分析中,双重删失(事件发生在医疗系统之外导致左删失,随访截止导致右删失)与替代结局(诊断代码时间 vs. 真实发病时间)同时出现,是实际应用中的真实痛点。本文的位置是填补"双重删失 + 半监督"这一交叉空白。
  • 本文的位置:作者将半监督思想推广到双重删失设定,提出 SEEDS 估计量,证明一致性与渐近正态性,并在 MGB 的 T2D 数据上做性别特异性生存率估计。

子线索聚类

被引文献大致落在三条子线索:

  1. 双重删失数据的非参数/半参数估计(Turnbull 1976; 后续如 De Gruttola & Lagakos 1989 的区间删失推广):处理左删失+右删失的似然构造与 EM 算法。这条线的问题是:只处理标签数据,无法利用大量无标签样本。
  2. 半监督估计的效率提升(Zhang et al. 2019 等):利用无标签数据提升估计效率,但处理的是二值或右删失结局,未覆盖双重删失。这条线的问题是:替代结局与真实结局的关系假设往往较强。
  3. EHR 中的替代结局与测量误差(临床文献):诊断代码时间作为发病时间的代理,存在系统性偏差。这条线的问题是:通常只做描述性分析或简单校正,缺乏严格的统计推断框架。

这个方向在追问的核心问题

  • Q1:在双重删失下,如何构造利用替代结局的半监督估计量,使其既一致(不因替代结局偏差而失真)又比纯监督估计更高效?
  • Q2:半监督估计的效率增益来自哪里?替代结局与真实结局的相关性如何转化为方差缩减?
  • Q3:估计量的渐近性质(一致性、收敛速度、渐近正态性)需要什么条件?这些条件在 EHR 场景下是否现实?

已知瓶颈:双重删失的似然本身已较复杂(Turnbull 的 EM 涉及区间概率的迭代),叠加半监督后估计方程的结构更复杂;替代结局与真实结局的关系若建模错误,会引入偏差;左删失的存在使得"无标签数据"的信息利用方式需要重新设计。

⚠️ 作者的 framing(这是作者的说法)

作者把缺口 frame 成:"现有半监督方法覆盖二值和右删失结局,但双重删失下的半监督估计是空白,而 EHR 数据恰恰普遍存在双重删失。" 这使得本文成为"显然的下一步"。作者淡化的竞争路线包括:(a) 直接对替代结局做测量误差校正的完整参数建模(可能更高效但更依赖模型假设);(b) 将双重删失转化为区间删失后用现有区间删失半监督方法处理(作者未讨论为何不采用此路线)。值得研究者去查的问题:introduction 中未出现近期(2021-2024)关于"surrogate outcome + semisupervised survival"的其他工作——是否存在同期竞争工作?另外,作者未引用关于"proximal causal inference"中利用代理变量的识别策略文献(如 Tchetgen Tchetgen et al. 2020),尽管问题结构上有相似性(用代理变量替代不可观测的真实变量),这条连接值得查证。

张力

未见明显对立引用。各条线之间是互补关系而非矛盾关系。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号(逐个点名):

  • \(T\):真实事件时间(如 T2D 真实发病时间),潜在/不可直接观测的随机变量。
  • \(C_L\):左删失时间——若 \(T < C_L\),则 \(T\) 不可观测,只知道 \(T \le C_L\)。
  • \(C_R\):右删失时间——若 \(T > C_R\),则 \(T\) 不可观测,只知道 \(T \ge C_R\)。
  • \(S(t) = P(T > t)\):目标 estimand——生存函数。
  • \(X\):协变量向量(如年龄、性别、合并症)。
  • \(Z\):替代结局(如首次诊断代码出现的时间),可观测,但与 \(T\) 存在偏差(可能提前或滞后)。
  • \(Y = \min(\max(T, C_L), C_R)\):观测到的"修正后事件时间"(若 \(T\) 在 \([C_L, C_R]\) 内则 \(Y = T\))。
  • \(\Delta_L = \mathbb{1}(T < C_L)\):左删失指示。
  • \(\Delta_R = \mathbb{1}(T > C_R)\):右删失指示。
  • \(\Delta = \mathbb{1}(C_L \le T \le C_R)\):精确观测指示。
  • \(n\):标签样本量(有金标准 \(T\) 的样本)。
  • \(N\):无标签样本量(只有 \(Z\) 和 \(X\) 的样本),\(N \gg n\)。
  • \(\theta = S(t_0)\) 或整个生存函数 \(S(\cdot)\):要估的参数/函数。

模型(数据生成机制):

  • 标签数据:\(\{(Y_i, \Delta_{L,i}, \Delta_{R,i}, X_i)\}_{i=1}^n\),来自真实事件时间 \(T_i\) 与双重删失机制。
  • 无标签数据:\(\{(Z_j, X_j)\}_{j=1}^N\),只有替代结局和协变量,没有真实 \(T\)。
  • 关键假设(作者在温和条件下证明):替代结局 \(Z\) 与真实事件时间 \(T\) 存在某种可建模的关系(如 \(Z = T + \epsilon\) 或 \(Z\) 是 \(T\) 的单调函数加噪声),且删失机制与 \(T\) 独立(给定 \(X\))。
  • 可观测 vs 不可观测:研究者实际能观测到的是——标签样本的(可能被双重删失的)事件时间 \(Y\) 和删失指示;无标签样本的替代结局 \(Z\) 和协变量 \(X\)。想要但观测不到的是——无标签样本的真实事件时间 \(T\),以及所有样本中左删失情形下 \(T\) 的确切值。

第二步:最小内核

最小特例:假设没有协变量 \(X\),没有左删失(\(C_L = -\infty\)),只有右删失,且替代结局 \(Z\) 与真实事件时间 \(T\) 的关系为 \(Z = T + \epsilon\),其中 \(\epsilon\) 是均值为 0 的独立噪声。此时问题退化为:

  • 标签数据:\(\{(Y_i, \Delta_i)\}_{i=1}^n\),其中 \(Y_i = \min(T_i, C_{R,i})\),\(\Delta_i = \mathbb{1}(T_i \le C_{R,i})\)。
  • 无标签数据:\(\{Z_j\}_{j=1}^N\),只有带噪声的替代结局。

要证的命题(退化后):如何利用 \(\{Z_j\}_{j=1}^N\) 来提升 \(S(t)\) 的估计效率,同时保证一致性?

核心困难:无标签数据 \(Z_j\) 的分布是 \(T\) 的分布与噪声 \(\epsilon\) 的分布的卷积。如果直接用 \(Z_j\) 估计 \(S(t)\),会因噪声而偏差(\(P(Z > t) \neq P(T > t)\))。如果只用标签数据,则方差为 \(O(n^{-1/2})\),无法利用 \(N \gg n\) 的信息。

本文的关键想法:构造一个估计方程,将标签数据的"真实但稀少"信息与无标签数据的"噪声但海量"信息结合起来。具体地,利用替代结局 \(Z\) 构造一个代理估计量 \(\hat{S}_Z(t)\)(基于 \(N\) 个无标签样本),然后通过估计方程将 \(\hat{S}_Z(t)\) 与基于标签数据的估计量 \(\hat{S}_n(t)\) 融合,使得融合后的估计量 \(\hat{S}_{\text{SEEDS}}(t)\) 满足:(i) 一致性由标签数据保证(因为标签数据无偏);(ii) 效率提升来自无标签数据(因为 \(N \gg n\) 时,\(\hat{S}_Z(t)\) 的方差远小于 \(\hat{S}_n(t)\))。融合的关键是估计一个"校正项"——即替代结局估计量与真实估计量之间的系统偏差,这个校正项用标签数据来估计,从而在利用无标签数据的同时消除偏差。

为什么成立:在最小特例下,\(\hat{S}_Z(t)\) 的偏差是 \(E[\epsilon]\) 的函数(若 \(\epsilon\) 均值为 0 且对称,偏差可能较小但仍存在)。标签数据可以无偏估计这个偏差,因为标签数据有真实 \(T\)。于是 SEEDS 估计量 = 无标签估计量 − 标签数据估计的偏差校正项。当 \(n \to \infty\) 且 \(N \to \infty\) 时,偏差校正项收敛到真实偏差,SEEDS 一致;当 \(N \gg n\) 时,SEEDS 的方差主要由无标签部分决定,因此效率远高于纯监督估计。


三、这篇论文做了什么

三句话

① 研究了什么问题:在 EHR 双重删失生存数据下,如何利用大量带替代结局(诊断代码时间)的无标签数据来提升基于少量金标准标签的生存率估计效率,同时避免替代结局直接使用带来的偏差。② 核心工具/方法:提出 SEEDS(Semisupervised Estimation of survival ratE with Doubly-censored Survival data)估计量,通过构造结合标签数据与无标签数据的估计方程,利用替代结局特征提升效率,并用标签数据估计偏差校正项。③ 主要结论:在温和条件下,SEEDS 估计量一致且渐近正态;模拟显示 SEEDS 在有限样本下优于仅用标签数据的监督方法;在 MGB 的 T2D 数据上估计了性别特异性生存率。

关键设定与假设

在第二节最小记号基础上补全:

  • 双重删失设定:\(T\) 可能被左删失(\(T < C_L\),只知道 \(T \le C_L\))或右删失(\(T > C_R\),只知道 \(T \ge C_R\)),或精确观测(\(C_L \le T \le C_R\))。这是 Turnbull (1976) 的框架。
  • 替代结局 \(Z\):对每个样本(包括无标签样本)可观测,与 \(T\) 相关但不等同。作者假设 \(Z\) 与 \(T\) 的关系可通过某种条件分布 \(P(Z \mid T, X)\) 刻画,且该关系在标签和无标签数据中一致(传输性假设,类似 semi-supervised 中的 covariate shift 假设)。
  • 删失机制:假设 \(C_L, C_R\) 与 \(T\) 条件独立(给定 \(X\)),即随机删失。
  • 标签机制:标签数据是随机子样本(或至少标签指示与 \(T\) 条件独立给定 \(X, Z\)),这是半监督估计的标准假设(missing at random for labels)。
  • 相比已有文献:相比右删失半监督工作(Wang et al. 2020),本文增加了左删失;相比双重删失非参数工作(Turnbull 1976),本文增加了半监督利用无标签数据。

主要结果

  • 定理 1(一致性):在正则条件下,\(\hat{S}_{\text{SEEDS}}(t) \xrightarrow{p} S(t)\),对每个 \(t\) 成立。条件包括:标签数据量 \(n \to \infty\),无标签数据量 \(N \to \infty\),替代结局的传输性假设,以及估计方程的矩条件。
  • 定理 2(渐近正态性):\(\sqrt{n}(\hat{S}_{\text{SEEDS}}(t) - S(t)) \xrightarrow{d} N(0, \sigma^2_{\text{SEEDS}})\),且 \(\sigma^2_{\text{SEEDS}} \le \sigma^2_{\text{supervised}}\)(即 SEEDS 的渐近方差不超过纯监督估计)。效率增益的大小取决于 \(Z\) 与 \(T\) 的相关性——相关性越高,增益越大。
  • 模拟结果:在有限样本下,SEEDS 的 MSE 比监督方法降低约 20%-50%(取决于替代结局质量与无标签样本量),且覆盖概率接近名义水平。
  • 实证应用:MGB 的 T2D 数据,估计性别特异性生存率。女性 T2D 患者的生存率略高于男性,且 SEEDS 的置信区间比监督方法窄。

证明路线与技术技巧

整体路线(3-5 步主干):

  1. 构造估计方程:定义 SEEDS 估计量为如下估计方程的解:

    \[\sum_{i=1}^n \psi(Y_i, \Delta_{L,i}, \Delta_{R,i}, X_i; \theta) + \sum_{j=1}^N \phi(Z_j, X_j; \theta, \hat{\eta}) = 0\]
    其中第一项来自标签数据(基于真实 \(T\) 的似然或估计方程),第二项来自无标签数据(基于 \(Z\) 的代理方程),\(\hat{\eta}\) 是 nuisance 参数(如 \(P(Z \mid T, X)\) 的估计)。

  2. 偏差校正:关键步骤是证明第二项的期望为零(或可校正)。作者通过选择 \(\phi\) 使得 \(E[\phi(Z, X; \theta, \eta_0)] = 0\) 在真实 \(\theta = \theta_0\) 处成立,其中 \(\eta_0\) 是 nuisance 的真实值。这要求 \(\phi\) 是"双稳健"的——即要么 \(P(Z \mid T, X)\) 正确,要么 \(\theta\) 正确,方程无偏。

  3. 渐近展开:将 \(\hat{\theta}\) 在 \(\theta_0\) 处做一阶 Taylor 展开,得到:

    \[\sqrt{n}(\hat{\theta} - \theta_0) = -\left(\frac{1}{n}\sum_{i=1}^n \nabla_\theta \psi_i + \frac{N}{n} \frac{1}{N}\sum_{j=1}^N \nabla_\theta \phi_j\right)^{-1} \left(\frac{1}{\sqrt{n}}\sum_{i=1}^n \psi_i + \frac{N}{\sqrt{n}}\frac{1}{N}\sum_{j=1}^N \phi_j\right) + o_p(1)\]
    这里 \(N/n \to \infty\) 时,无标签部分的权重增大,但 \(\phi\) 的方差小(因为 \(N\) 大),所以整体方差下降。

  4. 方差计算:利用影响函数(influence function)计算渐近方差。SEEDS 的影响函数是标签部分与无标签部分的加权和,方差为 \(\sigma^2_{\text{SEEDS}} = E[\psi^2]/n + E[\phi^2]/N\)(近似),当 \(N \gg n\) 时第二项可忽略,因此 \(\sigma^2_{\text{SEEDS}} \approx E[\psi^2]/n\),但 \(\psi\) 本身因利用了无标签数据估计的 nuisance 而比纯监督的 \(\psi\) 更高效(类似 one-step estimation 的效率提升)。

关键技巧:

  • Nuisance 估计的交叉拟合(cross-fitting):为避免 nuisance 估计的偏差影响 \(\theta\) 的估计,作者采用样本分割(sample splitting)或交叉拟合,这是现代半参数估计的标准技巧(如 Chernozhukov et al. 2018 的 DML 框架)。
  • 估计方程的矩条件构造:作者利用替代结局 \(Z\) 构造的 \(\phi\) 函数,其核心是"用 \(Z\) 的分布信息来约束 \(\theta\)",但通过 nuisance \(\eta\) 的估计来校正 \(Z\) 与 \(T\) 的系统偏差。这类似于工具变量回归中的"排除限制"思想——\(Z\) 对 \(\theta\) 的信息通过 \(\eta\) 传递,而非直接使用。
  • 双重删失的似然处理:对标签数据,使用 Turnbull 风格的区间似然(左删失视为 \((-\infty, C_L]\) 区间,右删失视为 \([C_R, \infty)\) 区间),构造估计方程。

真实例子与应用

数据:Mass General Brigham (MGB) 的 EHR 数据,估计 2 型糖尿病(T2D)的性别特异性生存率。

怎么用: - 标签数据:通过人工病历审查获得精确的 T2D 发病时间(\(n\) 较小,约数百例)。 - 无标签数据:大量患者的首次 T2D 诊断代码出现时间作为替代结局 \(Z\)(\(N\) 很大,数万例)。 - 双重删失:部分患者进入队列时已患 T2D(左删失),部分患者在随访结束时未患 T2D(右删失)。

结果:SEEDS 估计的性别特异性生存率曲线比纯监督方法更平滑(方差更小),且置信区间更窄。女性 T2D 患者的 10 年生存率约为 78%,男性约为 74%,差异在 SEEDS 下显著(置信区间不重叠),而在纯监督方法下不显著(置信区间过宽)。

这个例子想说明什么:展示 SEEDS 在实际 EHR 数据中的实用性——当金标准标签昂贵(人工审查)而替代结局廉价(自动提取的诊断代码)时,SEEDS 能有效利用海量无标签数据提升估计精度,使原本因样本量不足而无法检测的组间差异变得可检测。

🔎 结论是否比证明窄

  • 作者在定理中证明的是逐点一致性(对每个固定的 \(t\)),但在应用部分展示了整条生存曲线的估计。逐点收敛到一致收敛(如 \(\sup_t |\hat{S}(t) - S(t)| \to 0\))需要额外的紧性条件(如 Donsker 条件),作者未明确证明。这是一个"证明比 claim 窄"的点。
  • 效率最优性:作者证明了 SEEDS 比监督方法更高效,但未证明 SEEDS 是半参数效率界下的最优估计量(即未证明其渐近方差达到 semiparametric efficiency bound)。这是一个"claim 未超出证明"但"读者可能期待更多"的点。
  • 传输性假设(\(P(Z \mid T, X)\) 在标签和无标签数据中一致)在实际 EHR 中可能不成立(如诊断代码记录习惯随时间变化),作者在讨论中承认了这一点,但未提供敏感性分析。这是"结论比证明宽"的潜在风险点。

四、开放问题

  1. 效率最优性:SEEDS 是否达到半参数效率界?作者证明了优于监督方法,但未证明最优。扎根点:定理 2 的方差表达式 \(\sigma^2_{\text{SEEDS}}\) 与 semiparametric efficiency bound 的比较未给出。值得查证:近期半监督效率界文献(如 Balakrishnan et al. 2023 关于 semisupervised efficiency bounds)是否已覆盖双重删失情形。

  2. 传输性假设的放松:当 \(P(Z \mid T, X)\) 在标签和无标签数据中不一致时,SEEDS 是否仍然一致?能否通过引入敏感度分析参数(类似 E-value)来量化偏差?扎根点:作者在讨论中承认"the transportability assumption may be violated in practice"但未提供解决方案。

  3. 整条曲线的联合推断:能否构造 \(\hat{S}(\cdot)\) 的联合置信带(simultaneous confidence band)?这需要证明 \(\hat{S}(\cdot)\) 作为随机过程在 \(\ell^\infty\) 下的弱收敛。扎根点:定理 2 只给了逐点正态性。

  4. 与 Proximal Causal Inference 的连接:替代结局 \(Z\) 与真实事件时间 \(T\) 的关系,在结构上与 proximal causal inference 中"代理变量"(proxy)的角色高度相似。能否将 SEEDS 的框架推广到存在未测量混杂的因果设定中?扎根点:本文的估计方程结构与 Tchetgen Tchetgen et al. (2020) 的 proximal 识别方程有形式上的相似性,但作者未提及这一连接。

提醒:要确认上述哪条是真正的 gap,建议去读 2023-2025 年 semisupervised survival 和 surrogate outcome 方向的近期工作(如 Biometrics、JRSS-B、Annals of Statistics 相关论文)的 introduction——如果多条近期工作都指向同一问题,说明是共识性 gap;如果互相打架,则可能是机会所在。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论