跳转至

Model-assisted semi-supervised estimation of the Mann-Whitney probability under right censoring

作者: Hengyao Xu, Tao Tan
主题: 非参数 / 半参数
相关性: 7/10
链接: https://arxiv.org/abs/2611.11456


一、领域脉络与小综述

这个方向是什么

本文研究的核心问题是:在右删失(right censoring)生存数据下,如何利用大量"仅含协变量、无结局"的未标记样本(semi-supervised learning)来提高对两总体 Mann-Whitney 概率(即 \(P(T_1 < T_2)\),一个总体的事件时间早于另一个的概率)的估计效率。这是一个典型的半监督统计推断问题,其根本张力在于:未标记样本不携带直接的结局信息,但携带协变量分布信息,能否以及如何利用这些信息来改进一个非光滑(non-smooth)、非参数(nonparametric)的 U-统计量型目标参数的估计?该方向当前处于"方法发展期"——已有针对均值、回归参数等光滑泛函的半监督效率理论,但针对删失数据下两样本比较这类非光滑泛函的系统性半监督理论尚在形成中。

发展脉络

  • 奠基工作:半监督推断的效率理论。 作者在引言中明确将本文方法定位为"model-assisted"框架的延伸,其理论根基是 Zhang et al. (2019a) 和 Chakrabortty & Cai (2018) 建立的半监督估计一般理论。这些工作确立了核心原则:未标记数据通过估计协变量条件均值(或类似的可预测成分)来减少估计量的方差,其效率增益取决于"可预测成分"在总方差中的占比。作者引用 Song et al. (2024) 和 Xu et al. (2026) 将这一理论推广到一般估计方程(estimating equations)和更广泛的泛函,为本文处理 U-统计量提供了抽象框架。
  • 关键进展:半监督 U-统计量。 本文最直接的"近邻"是 Kim et al. (2025) 建立的"半监督 U-统计量"一般理论。作者在 Remark 2 中明确指出,本文的估计量"shares the residual-plus-transfer structure of semi-supervised U-statistics (Kim et al., 2025)"。Kim et al. 的工作解决了完全观测数据下 U-统计量的半监督效率问题,但未处理删失。本文的贡献在于将这一框架推进到右删失生存数据,并处理了由此产生的、估计删失分布所带来的额外不确定性。
  • 删失数据下的 U-统计量:IPCW 与 Kaplan-Meier 积分。 处理删失下两样本比较的经典工具是逆概率删失加权(IPCW)U-统计量,其理论由 Datta et al. (2010) 和 Chen & Datta (2019) 建立。作者在引言中引用了这些工作,并指出其局限:它们仅使用标记样本,未利用未标记的协变量信息。此外,Fernández & Rivera (2020) 发展的 Kaplan-Meier V- 和 U-统计量理论为处理删失下的事件时间分布估计提供了技术基础,本文的"四池影响函数表示"(four-pool influence representation)正是建立在这一类"估计删失分布"的贡献之上的。
  • 当前前沿:删失数据下的半监督与因果推断。 作者在引言中引用了 Zhang et al. (2020) 关于随机试验中删失 Mann-Whitney 效应协变量校正的工作,以及 Zhang et al. (2019b) 关于删失生存结果因果比较的工作。这些工作代表了将协变量信息用于删失比较的前沿,但它们的设定通常是"标记样本内部"的协变量调整(如回归校正或增强估计),而非利用独立的未标记样本。本文的独特之处在于:每个总体都有自己的未标记协变量样本池,且允许两个总体的协变量分布不同。

子线索聚类

  1. 半监督推断的效率理论:以 Zhang et al. (2019a)、Chakrabortty & Cai (2018)、Song et al. (2024)、Xu et al. (2026) 为代表。这条线索的核心问题是:给定未标记数据,一个估计量的渐近方差能降低多少?最优的"传输"(transfer)方式是什么?其已知瓶颈是:对于非光滑泛函(如本文的 Mann-Whitney 概率),可预测成分的刻画远复杂于光滑泛函。
  2. 删失数据下的 U-统计量与非参数比较:以 Datta et al. (2010)、Chen & Datta (2019)、Fernández & Rivera (2020) 为代表。这条线索的核心问题是:如何通过 IPCW 或 Kaplan-Meier 积分来修正删失造成的偏差,并刻画由此带来的方差贡献?其已知瓶颈是:这些方法通常只使用标记数据,效率受限于标记样本量。
  3. 协变量校正的删失比较:以 Zhang et al. (2020)、Zhang et al. (2019b) 为代表。这条线索的核心问题是:在随机试验或观察性研究中,如何利用协变量来提高删失结局比较的效率或进行因果调整?其已知瓶颈是:协变量信息通常来自标记样本本身,未标记样本的增量价值未被充分挖掘。

这个方向在追问的核心问题

  1. 效率增益的来源与极限:未标记样本究竟能带来多少效率提升?这个提升是否有一个清晰的、可解释的刻画(如与"投影比较信号" \(Var(p_k)\) 和辅助样本量 \(\lambda_k\) 的关系)?本文的 Corollary 1 和 Theorem 2 给出了部分回答。
  2. 非光滑泛函的半监督效率界:对于 Mann-Whitney 概率这类非光滑泛函,其半监督估计量的渐近方差下界是什么?本文通过"工作投影类"(working projection class)内的最优性,给出了一个"局部"的效率界,但并未声称达到全局半参数效率界(Theorem 2 明确刻画了与 \(V_{eff}\) 的差距)。
  3. 删失分布估计的"自举"效应:当删失分布与目标参数从同一标记样本中估计时,这种"同源估计"(same-source estimation)会如何影响影响函数和方差?本文的 Lemma 1 和 Theorem 1 的核心技术贡献之一就是精确刻画了这一效应(即 \(\psi_k\) 项)。

⚠️ 作者的 framing

作者将本文的贡献框定为"在右删失下,利用每个总体各自的未标记协变量样本,构造一个模型辅助的、具有显式影响函数表示的半监督估计量"。这个 framing 的巧妙之处在于: - 它把"半监督"和"删失"两个看似独立的问题统一到一个"四池"(两个标记池 + 两个未标记池)的框架下,使得方差分解变得清晰。 - 它通过"工作投影类"和"最优权重"(Corollary 1)将问题转化为一个可解的二次优化,从而绕开了对非光滑泛函直接求半参数效率界的困难。 - 被淡化或回避的竞争路线:作者在引言中提到了"trial augmentation"(Zhang et al., 2020),但将其限定在"common covariate distribution"的子模型中(见 Section 5.4 和 Remark 2)。作者回避了在协变量分布不同的一般情况下与 trial augmentation 的深入对比,而是通过 Proposition 1 在"common score"的框架下给出了一个理论比较。此外,作者没有讨论非参数回归(如随机森林、核回归)作为工作模型的可能性,而是将理论限制在"工作投影类"(线性模型)内,这回避了非参数估计带来的额外技术困难(如偏差-方差权衡)。

张力

  • 未见明显对立引用:作者引用的文献之间没有明显的矛盾。但存在一个微妙的张力:Zhang et al. (2019a) 和 Chakrabortty & Cai (2018) 的半监督理论强调"可预测成分"的估计精度,而本文的"工作投影类"假设(线性模型)可能无法捕捉真实的非线性条件期望。作者通过"工作投影类"这一概念,将"模型误设"的风险内化到了效率损失中(Theorem 2 中的 \(Var(b_k - p_k)\) 项),这是一种"承认局限但保持理论自洽"的处理方式。

二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据交代清楚

  • 总体与样本:有两个独立总体 \(k=1,2\)。每个总体 \(k\) 有一个标记样本 \(L_k = \{(Y_{ki}, \Delta_{ki}, X_{ki}) : i=1,\dots,n_k\}\) 和一个未标记样本 \(U_k = \{X^U_{kj} : j=1,\dots,M_k\}\)。标记样本包含观测到的随访时间 \(Y_k = \min(T_k, C_k)\)、事件指示 \(\Delta_k = \mathbf{1}(T_k \le C_k)\) 和协变量 \(X_k\);未标记样本只包含协变量 \(X_k\)。
  • 潜在变量:\(T_k\) 是 \(k\) 总体的事件时间(潜在结果),\(C_k\) 是删失时间。\(X_k\) 是协变量。
  • 目标参数(estimand):\(\theta = P(T_1 < T_2)\),即总体 1 的事件时间早于总体 2 的事件时间的概率。这是 Mann-Whitney 概率,一个非光滑的、两样本的非参数泛函。
  • 关键分布与函数:
  • \(G_k(t) = P(C_k \ge t)\):删失生存函数(已知或可估计)。
  • \(r_1(t) = P(T_2 > t)\),\(r_2(t) = P(T_1 < t)\):边际尾概率函数。
  • \(b_k(X_k) = E\{r_k(T_k) | X_k\} - \theta\):条件比较信号,即给定协变量时,个体对比较概率的贡献。
  • \(p_k(X_k) = \beta_k^\top \{u_k(X_k) - \mu_k\}\):投影比较信号,即 \(b_k\) 在由特征映射 \(u_k\) 张成的线性空间上的 \(L_2\) 投影。
  • \(\beta_k = \Gamma_k^{-1} E[\{u_k(X_k) - \mu_k\} b_k(X_k)]\):投影系数。
  • \(g_k(O_k) = \Delta_k r_k(Y_k) / G_k(Y_k) - \theta\):已知删失分布下的影响函数(IPCC 得分)。
  • \(\psi_k(O_k)\):估计删失分布所带来的影响函数修正项。
  • \(d_k = g_k + \psi_k\):完整的监督影响函数(考虑了删失估计)。
  • \(e_k\):监督规范梯度(canonical gradient),是 \(d_k\) 在观测数据切空间上的投影。
  • \(D_k = d_k - e_k\):监督影响函数与规范梯度之差,衡量"非效率"部分。

  • 可观测数据:研究者实际能观测到的是 \(\{L_1, U_1, L_2, U_2\}\) 四个独立样本池。关键点:未标记样本 \(U_k\) 只提供 \(X_k\) 的分布信息,不提供任何关于 \(T_k\) 或 \(C_k\) 的信息。因此,任何利用 \(U_k\) 的估计量,其效率增益完全来自于利用 \(X_k\) 与比较信号 \(b_k(X_k)\) 之间的相关性。

第二步:最小内核

核心问题:我们有一个"笨"但一致的监督估计量 \(\hat{\theta}_{sup}\)(即只用标记样本的 IPCW U-统计量),它忽略了未标记样本。我们能否构造一个"聪明"的估计量 \(\hat{\theta}_{SS}\),它利用了未标记样本,并且渐近方差更小?

最小内核(一个极简的、非删失的类比): 假设我们想估计 \(\theta = E[T]\),其中 \(T\) 是结局。我们有一个标记样本 \(\{(T_i, X_i)\}\) 和一个未标记样本 \(\{X_j\}\)。监督估计量是 \(\hat{\theta}_{sup} = \bar{T}\),其方差是 \(Var(T)/n\)。

现在,假设我们知道(或能估计)条件均值函数 \(m(x) = E[T|X=x]\)。我们可以构造一个"模型辅助"估计量:

\[\hat{\theta}_{SS} = \frac{1}{n} \sum_{i=1}^n \left[ T_i - m(X_i) \right] + \frac{1}{M} \sum_{j=1}^M m(X_j)\]
这个估计量的思想是: 1. 残差化:用标记样本计算"残差" \(T_i - m(X_i)\),其均值是 \(\theta\)(因为 \(E[T - m(X)] = \theta\)),但方差更小(如果 \(m\) 能解释 \(T\) 的部分变异)。 2. 传输:用未标记样本估计 \(E[m(X)]\),这比用标记样本估计更精确(因为 \(M\) 可能远大于 \(n\))。

这个估计量的方差大约是 \(Var(T - m(X))/n + Var(m(X))/M\)。如果 \(m\) 是好的(即 \(Var(T - m(X)) \ll Var(T)\)),并且 \(M\) 很大,那么 \(\hat{\theta}_{SS}\) 的方差会远小于 \(\hat{\theta}_{sup}\)。

本文的推广: 本文把这个思想推广到右删失下的 Mann-Whitney 概率。这里的"结局"不是单个 \(T\),而是两总体事件时间的比较 \(H(T_1, T_2) = \mathbf{1}(T_1 < T_2)\)。由于删失,我们无法直接观测 \(H(T_1, T_2)\),只能用 IPCW 加权来"修正"删失造成的缺失。因此: - 监督估计量 \(\hat{\theta}_{sup}\) 是 IPCW U-统计量,其影响函数是 \(d_k = g_k + \psi_k\)。 - 模型辅助的"可预测成分"是 \(p_k(X_k)\),即条件比较信号 \(b_k(X_k)\) 的线性投影。 - 半监督估计量 \(\hat{\theta}_{SS}\) 通过减去标记样本中的 \(p_k\) 并加上未标记样本中的 \(p_k\) 来"传输"信息,其影响函数是 \(d_k - c_k p_k\)(标记池)和 \(c_k p_k\)(未标记池)。

为什么这个内核是"最小"的: 这个内核抓住了本文的全部数学本质:如何为一个非光滑的、带删失的 U-统计量找到一个"可预测成分"(\(p_k\)),并证明用它来调整监督估计量不会引入偏差,且能降低方差。所有复杂的假设(A1-A5)、影响函数推导、效率分析,都是在为这个内核的"可行性"和"最优性"提供证明。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在右删失下,如何利用两总体各自的未标记协变量样本,构造 Mann-Whitney 概率 \(P(T_1<T_2)\) 的半监督估计量,并建立其渐近理论。
  2. 核心工具/方法:模型辅助估计(model-assisted estimation),结合 IPCW U-统计量、交叉拟合(cross-fitting)的线性回归、以及"四池影响函数表示"(four-pool influence function representation)来刻画估计量的一阶渐近性质。
  3. 主要结论:提出了一个加权(weighted)半监督估计量 \(\hat{\theta}_{SS}\),其最优权重 \(c_k = \lambda_k/(\pi_k + \lambda_k)\) 最小化一阶方差;建立了其渐近正态性并给出 Wald 置信区间;效率分析表明,方差缩减由投影比较信号 \(Var(p_k)\) 和辅助样本量 \(\lambda_k\) 决定,并显式刻画了与半参数效率界的差距(由监督得分非效率部分 \(Var(D_k)\) 和投影误差 \(Var(b_k - p_k)\) 组成)。

关键设定与假设

  • 数据生成机制:两个独立总体,每个总体有标记样本(含 \(Y, \Delta, X\))和未标记样本(仅含 \(X\))。标记与未标记样本的协变量分布相同(A1)。
  • 删失机制:联合独立删失(joint independent censoring),即 \(C_k \perp (T_k, X_k)\)。这是一个关键假设,它使得 IPCW 权重 \(1/G_k(Y_k)\) 是有效的,且删失分布可以仅用标记样本估计。相比一些允许协变量依赖删失的设定,这是一个简化。
  • 特征与矩条件:特征映射 \(u_k(X_k)\) 有有限二阶矩(A3),且总体 Gram 矩阵正定。这保证了线性回归的相合性和影响函数的有限方差。
  • 正则性条件:折叠比例、训练/评估比例有正极限(A4),极限方差为正(A5)。这些是标准的渐近理论正则条件。
  • 相比已有文献的放宽/强化:
  • 放宽:允许两总体的协变量分布不同(A1 只要求总体内标记/未标记分布相同),这比 Zhang et al. (2020) 的"common covariate distribution"更一般。
  • 强化:要求删失分布与协变量独立(A2),这比一些允许协变量依赖删失的半监督生存分析工作更强。作者在讨论部分(Section 7)将此列为未来工作。

主要结果

  • 定理 1(渐近线性表示):在 A1-A5 下,\(\hat{\theta}_{SS}\) 是 \(\sqrt{n}\)-相合的,且其影响函数由四部分组成:两个标记池的"残差化"得分 \(d_k - c_k p_k\),以及两个未标记池的"传输"得分 \(c_k p_k\)。这个表示是后续所有推断的基础。
  • 推论 1(最优权重):在"工作投影类"(即固定线性特征空间)内,最优权重 \(c_k = \lambda_k/(\pi_k + \lambda_k)\) 恰好是"标记样本占比"的极限。这个权重平衡了标记样本的残差方差和未标记样本的传输方差。
  • 定理 2(效率分解):将 \(\hat{\theta}_{SS}\) 的方差分解为三部分:
  • 监督规范梯度方差 \(V_{eff}\):这是使用最优(但未知)条件期望作为"可预测成分"时能达到的方差下界。
  • 监督得分非效率部分 \(Var(D_k)/\pi_k\):这是监督估计量 \(d_k\) 与规范梯度 \(e_k\) 之差带来的方差,它无法通过任何协变量调整来消除。
  • 投影误差 \((\pi_k^{-1} + \lambda_k^{-1}) c_k^2 Var(b_k - p_k)\):这是用线性投影 \(p_k\) 近似真实条件期望 \(b_k\) 所带来的效率损失。 这个分解清晰地揭示了半监督估计的效率来源和损失。
  • 定理 3(方差估计与推断):给出了基于四池样本方差的一致方差估计量,并证明了 Wald 置信区间的渐近有效性。
  • 定理 4(固定水平扩展):将上述理论推广到固定时间水平 \(\tau\) 的 capped 事件时间,处理了事件时间与删失时间在网格上重合的情况(事件优先),并给出了相应的影响函数和推断理论。

证明路线与技术技巧

  • 整体路线:
  • 建立监督估计量的渐近线性表示:首先证明 IPCW U-统计量 \(\hat{\theta}_{sup}\) 的影响函数是 \(d_k = g_k + \psi_k\),其中 \(g_k\) 是 IPCC 得分,\(\psi_k\) 是估计删失分布带来的贡献。这一步依赖于 Lemma A.1(Kaplan-Meier 影响函数展开)和 Lemma A.2(U-统计量投影)。
  • 刻画回归调整的影响:证明交叉拟合的线性回归系数 \(\hat{\beta}_k\) 是相合的,且其估计误差乘以特征均值差后是 \(o_p(n^{-1/2})\)。这一步是"模型辅助"的关键:只要回归是相合的,调整项就不会引入一阶偏差。
  • 组合四池影响函数:将标记池的"残差化"得分和未标记池的"传输"得分组合起来,得到完整的四池影响函数表示。这一步是定理 1 的核心。
  • 方差分解与优化:在影响函数表示的基础上,将方差写成关于权重 \(s_k\) 的二次函数,通过求导得到最优权重 \(c_k\),并分解出效率损失项。这是推论 1 和定理 2 的内容。
  • 方差估计:用四池样本方差直接估计影响函数的方差,证明其相合性。这是定理 3 的内容。
  • 关键技术技巧:
  • 交叉拟合(Cross-fitting):将标记样本分成 \(K\) 折,回归系数在训练折上估计,在评估折上计算残差。这避免了"自训练"(self-training)带来的高阶偏差,是半参数估计中的标准技巧。
  • 四池影响函数表示:将估计量的渐近方差分解为四个独立样本池的贡献之和,使得方差估计变得简单(只需分别估计四个池的样本方差)。
  • 工作投影类(Working projection class):不要求线性模型正确,而是将 \(p_k\) 定义为 \(b_k\) 在特征空间上的 \(L_2\) 投影。这样,即使模型误设,估计量依然一致,只是效率不是最优。这是一种"模型稳健"的设计。
  • Kaplan-Meier 影响函数展开:利用计数过程鞅理论,将 \(\hat{G}_k\) 的估计误差展开为 i.i.d. 影响函数的和,从而将删失估计的贡献纳入影响函数。

真实例子与应用

  • 数据:鹿特丹乳腺癌队列(Rotterdam tumor-bank cohort),包含 2,982 名患者(1,312 名绝经前,1,670 名绝经后)。
  • 场景:比较绝经前与绝经后乳腺癌患者的五年生存情况,目标参数是五年内死亡时间的 Mann-Whitney 概率 \(\theta_{1825}\)。
  • 方法应用:
  • 将患者随机分为标记样本(有完整随访记录)和未标记样本(仅保留基线协变量,如年龄、肿瘤大小、淋巴结状态等)。
  • 用标记样本拟合 IPCW U-统计量(监督估计)。
  • 用标记样本训练线性回归模型,预测"比较信号" \(b_k(X_k)\)。
  • 用未标记样本的协变量均值来"传输"信息,构造半监督估计量。
  • 结果:
  • 在 50% 标记样本分配下,加权半监督估计量相比监督估计量有约 7.15% 的方差缩减(fitted IF 比较)。
  • 在 25% 和 75% 标记样本分配下,加权估计量也保持正增益,但 75% 时增益较小(因为未标记样本较少)。
  • 未加权(unshrunk)估计量在 75% 标记样本时出现巨大方差膨胀(+139.14%),说明权重 \(c_k\) 在控制有限样本风险中的关键作用。
  • 特征消融显示,加入更多协变量(如肿瘤大小、淋巴结状态)能增加投影信号,从而提升增益。

🔎 结论是否比证明窄

  • 明确的窄结论:Theorem 1 和 3 的渐近理论是在联合独立删失(A2)下证明的。作者在 Section 7 中明确承认,扩展到协变量依赖删失(conditional censoring)需要新的影响函数推导,且"would change both identification and the influence function used for inference"。因此,论文的严格证明范围仅限于独立删失。
  • 被泛化的 claim:论文在摘要和引言中声称方法"improves precision"(提升精度),但 Theorem 2 的效率分解表明,这种提升依赖于投影信号 \(Var(p_k) > 0\)。在零信号的情况下(如协变量与比较结果完全无关),半监督估计量可能没有增益,甚至因估计回归系数而有有限样本损失(模拟中的零信号场景证实了这一点)。论文在结论中对此有讨论,但摘要中的表述略显乐观。
  • 未证明的 conjecture:论文在 Section 4 的固定水平扩展中,对事件时间与删失时间重合的情况采用了"事件优先"约定,并给出了相应的理论。但作者没有讨论删失优先约定的情况,也未证明两种约定下估计量的等价性或优劣。这是一个潜在的窄点。

四、开放问题

  1. 协变量依赖删失的扩展:论文的核心假设是 \(C_k \perp (T_k, X_k)\)。在更现实的场景中,删失可能依赖于协变量(如病情更重的患者更易失访)。此时,IPCW 权重需要估计条件删失概率 \(G_k(t | X_k)\),影响函数将更加复杂。扎根点:Section 7 明确提到 "extending the method to conditional censoring... would change both identification and the influence function used for inference"。
  2. 非线性工作模型:论文将"可预测成分"限制在线性投影 \(p_k = \beta_k^\top u_k\) 内。当真实的 \(b_k(X_k)\) 高度非线性时,线性投影的效率损失(Theorem 2 中的 \(Var(b_k - p_k)\))可能很大。使用非参数回归(如随机森林、核回归)作为工作模型,能否在更弱的条件下达到 \(V_{eff}\)?扎根点:Theorem 2 的效率分解明确将 \(Var(b_k - p_k)\) 列为损失项,但论文未讨论如何选择 \(u_k\) 来最小化这一项。
  3. 高阶影响与有限样本偏差:论文的交叉拟合策略消除了回归估计的一阶影响,但回归系数的估计误差仍可能通过高阶项影响有限样本性能(模拟中的零信号场景显示了这一点)。是否存在一个"二阶校正"(second-order correction)项,可以进一步减小有限样本偏差?扎根点:模拟中零信号场景的有限样本损失,以及 Remark 3 中关于"finite-sample cost"的讨论。
  4. 与 trial augmentation 的深入对比:论文在 Proposition 1 中给出了与 trial augmentation 在"common score"框架下的理论比较,但模拟和实证分析中 trial augmentation 的实现是"fixed-basis"的。当使用数据自适应的工作模型时,两者的相对优劣是否改变?扎根点:Section 5.4 和 Proposition 1 的设定。
  5. 最优折叠数与权重选择:论文使用交叉拟合,但未讨论折叠数 \(K\) 的选择对有限样本方差的影响。此外,权重 \(c_k\) 是在"工作投影类"内最优的,但在更一般的估计量类中是否仍然最优?扎根点:Algorithm 1 和 Corollary 1 的设定。

提示:要确认上述问题是否为真 gap,建议去读 semi-supervised inference 领域(如 Zhang et al. 2019a, Chakrabortty & Cai 2018, Kim et al. 2025)和删失数据 U-统计量领域(如 Datta et al. 2010, Chen & Datta 2019)近 5 年的论文引言和讨论部分。如果多个近期工作都指向"协变量依赖删失"或"非线性工作模型",那大概率是共识性 gap;如果各执一词,则可能是机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论