跳转至

Fitting the Cox proportional hazards model to big data

作者: Jianqiao Wang, Donglin Zeng, Dan-Yu Lin
主题: 效率理论 / Debiased ML
相关性: 8/10
链接: https://doi.org/10.1093/biomtc/ujae018


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是大规模数据下的半参数统计推断,具体聚焦于生存分析中最经典的 Cox 比例风险模型。其根本问题在于:当样本量达到数百万量级(如 UK Biobank 的约 50 万参与者)时,传统的牛顿-拉弗森迭代求解偏似然方程在计算上变得极其昂贵甚至不可行——每次迭代都需要遍历所有处于风险集中的个体,而风险集的大小随样本量线性增长。该方向的核心张力在于统计效率(希望利用全部数据达到半参数效率界)与计算可行性(希望在可接受的时间内完成估计)之间的权衡。当前该方向的成熟度处于"方法百花齐放但缺乏统一理论框架"的阶段,已有方法包括分治-合并(divide-and-conquer, DAC)策略、子抽样方法、以及本文提出的一步估计(one-step estimation)路线。

发展脉络

奠基工作:Cox (1972) 提出比例风险模型,Cox (1975) 引入偏似然原理,Anderson and Gill (1982) 建立了计数过程鞅理论框架,为后续所有理论分析提供了严格的概率工具。这些工作确立了 Cox 模型作为生存分析标准工具的统计基础。

主要进展:在大数据场景下,已有工作大致沿两条路线展开。第一条是分治-合并(DAC)路线:Wang et al. (2021) 提出线性化 DAC 方法,先在一个数据块上计算初始估计,然后利用每个子块的得分函数和信息矩阵进行迭代更新;Wang et al. (2022) 提出加权 DAC 方法,对各子块分别估计后加权合并。作者指出这类方法的缺陷在于"需要为每个数据子集单独估计基线风险函数,可能导致数值不稳定并降低统计效率"(原文:"requires separate estimation of the baseline hazard function for each subset of data, which may cause numerical instability and reduce statistical efficiency")。第二条是一步估计路线:本文的方法。其思想源于半参数效率理论中的经典结论——从 \(\sqrt{n}\)-相合的初始估计出发,通过一次得分函数修正即可达到渐近效率(Bickel et al., 1993 的系统阐述)。本文的创新在于将这一思想系统性地应用于 Cox 模型的大数据场景,并给出了完整的理论保证。

当前 frontier:该方向的前沿问题包括:如何处理时变协变量(使风险集计算更加复杂)、如何在高维协变量下保持计算效率、以及如何在分布式存储架构下最小化通信成本。本文的扩展讨论涉及边际模型和随机效应模型,但未给出完整理论。

本文的位置:本文处于"分治-合并 vs. 一步估计"这一方法竞争的中间地带。与 DAC 方法相比,本文的方法只需在第一个数据块上做完整的牛顿迭代,后续数据块仅需一次得分函数计算,避免了每个子块单独估计基线风险的问题。作者声称(这是作者的说法)"最终估计量与基于全数据的传统最大偏似然估计具有相同的渐近分布"(原文:"the final estimator has the same asymptotic distribution as the conventional maximum partial likelihood estimator using the whole dataset"),但计算时间大幅减少。

子线索聚类

  1. Cox 模型的理论基础(Anderson and Gill, 1982; Cox, 1972, 1975; Kalbfleisch and Prentice, 2002):计数过程鞅理论、偏似然原理、模型诊断方法。这是所有后续工作的理论地基。

  2. 大数据下的生存分析计算(Wang et al., 2021, 2022; Kawaguchi et al., 2021):DAC 方法、线性化更新、加权合并、前向后向扫描算法。这一簇关注的是如何在分布式或大规模数据下保持计算可行性。

  3. 半参数效率理论(Bickel et al., 1993):效率得分函数、一步估计的渐近理论。这一簇提供了本文方法的理论支撑——为什么从 \(\sqrt{n}\)-相合估计出发的一步修正即可达到效率界。

  4. 大规模生物库应用(Bycroft et al., 2018; Bi et al., 2020; Dey et al., 2022):UK Biobank 的数据结构、全基因组关联分析中的生存分析需求。这一簇是本文方法的实际驱动场景。

这个方向在追问的核心问题

  1. 如何在大数据下保持半参数效率? 即:能否构造一个估计量,其渐近方差等于全数据 MLE 的渐近方差(即达到 Cramér-Rao 下界),同时计算复杂度远低于全数据 MLE?本文的回答是肯定的——通过一步估计即可实现。

  2. 如何避免基线风险函数的重复估计? DAC 方法需要对每个子块估计基线风险,这在时变协变量或分层模型下尤其麻烦。本文通过只在第一个数据块上估计基线风险来回避这一问题。

  3. 计算复杂度与统计效率之间的最优权衡是什么? 已知的瓶颈在于:当协变量是时间的连续函数时,风险集计算无法通过简单的累积和技巧加速,此时本文方法的计算优势更加显著。

⚠️ 作者的 framing

作者将本文方法定位为"在保持统计效率的同时大幅降低计算时间"的解决方案。他们强调与 DAC 方法的对比——DAC 需要每个子块单独估计基线风险(作者认为这会导致数值不稳定和效率损失),而本文方法只需一次基线风险估计。作者淡化了以下竞争路线:(1)基于子抽样的方法(如仅用部分数据做完整分析),这类方法虽然计算更快但牺牲了统计效率;(2)随机梯度下降等优化方法,这类方法可能需要大量迭代才能收敛。值得去查的问题:作者没有讨论当第一个数据块本身过大、无法在单机上完成牛顿迭代时该怎么办;也没有讨论数据分布存储(各块在不同机器上)时的通信成本。这些是实际部署中可能遇到的瓶颈。

张力

未见明显对立引用。不过值得注意的是,Wang et al. (2022) 的加权 DAC 方法声称在特定条件下可以达到与全数据 MLE 相同的效率,这与本文"DAC 方法可能降低统计效率"的暗示存在微妙张力——但作者并未直接引用或反驳这一具体主张,而是笼统地批评 DAC 框架。这值得研究者去核实:加权 DAC 在什么条件下是效率最优的?本文的方法是否在这些条件下也优于 DAC?

二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号清单(逐个点名):

符号 含义 类型
\(T\) 事件发生时间 随机变量(潜在)
\(C\) 删失时间 随机变量(潜在)
\(\tilde{T} = \min(T, C)\) 观测到的随访时间 随机变量(可观测)
\(\Delta = I(T \leq C)\) 事件指示符 随机变量(可观测)
\(X(t)\) \(p\) 维协变量向量(可随时间变化) 随机变量(可观测)
\(O = (\tilde{T}, \Delta, X)\) 单个观测 可观测数据
\(\beta\) \(p\) 维回归参数 参数(待估)
\(\lambda_0(t)\) 基线风险函数 非参数 nuisance
\(\Lambda_0(t) = \int_0^t \lambda_0(s) ds\) 累积基线风险 非参数 nuisance
\(N(t) = \Delta I(\tilde{T} \leq t)\) 计数过程 可观测的随机过程
\(M(t)\) 鞅过程 由模型导出的潜在量
\(S(O; \beta, \Lambda_0)\) 单个观测的效率得分函数 估计方程中的项
\(U(\beta)\) 偏似然得分函数 估计方程
\(I(\beta)\) 偏似然信息矩阵 估计方程中的二阶量
\(\hat{\beta}^{(1)}\) 第一个数据块上的 MLE 初始估计
\(\hat{\beta}_f\) 最终一步估计 目标估计量
\(n\) 总样本量 标量
\(n_1\) 第一个数据块大小 标量
\(k = n_1/n\) 第一个数据块占比 标量
\(\tau\) 研究结束时间 常数

模型:Cox 比例风险模型假设给定协变量 \(X\) 时,事件时间 \(T\) 的风险函数为

\[\lambda(t; X) = \lambda_0(t) e^{\beta^T X(t)},\]
其中 \(\lambda_0(t)\) 是完全未指定的基线风险函数,\(\beta\) 是 \(p\) 维回归参数。可观测数据是 \(n\) 个独立同分布的观测 \(\{O_i = (\tilde{T}_i, \Delta_i, X_i)\}_{i=1}^n\),其中 \(\tilde{T}_i\) 是随访时间,\(\Delta_i\) 是事件指示符。要估的对象是 \(\beta\);\(\lambda_0\) 是 nuisance 参数,不需要显式估计但影响推断效率。关键假设:删失时间 \(C\) 在给定协变量 \(X\) 的条件下与事件时间 \(T\) 独立(条件独立删失)。

偏似然:Cox (1975) 提出的偏似然函数为

\[pl(\beta) = \prod_{i=1}^n \left\{ \frac{e^{\beta^T X_i(\tilde{T}_i)}}{\sum_{j: \tilde{T}_j \geq \tilde{T}_i} e^{\beta^T X_j(\tilde{T}_i)}} \right\}^{\Delta_i}.\]
对应的得分函数 \(U(\beta)\) 和信息矩阵 \(I(\beta)\) 如原文第 2.1 节所示。计算瓶颈:当协变量是时间的连续函数时,每个事件时间点的风险集求和无法通过累积和技巧加速,总计算复杂度为 \(O(mnp^2)\),其中 \(m\) 是不同事件时间的个数。

第二步:最小内核

剥掉所有一般性设定后,本文的核心数学问题可以归结为:

给定一个基于 \(n_1\) 个样本的 \(\sqrt{n}\)-相合初始估计 \(\hat{\beta}^{(1)}\)(即 \(\hat{\beta}^{(1)} - \beta_0 = O_p(n_1^{-1/2})\)),如何利用剩余的 \(n - n_1\) 个样本构造一个修正项,使得修正后的估计量 \(\hat{\beta}_f\) 与基于全部 \(n\) 个样本的 MLE \(\hat{\beta}\) 具有相同的渐近分布?

最小例子(一维参数、无删失、协变量时不变):

假设 \(p=1\),无删失,协变量 \(X_i\) 时不变。Cox 模型的偏似然得分函数为

\[U(\beta) = \sum_{i=1}^n \Delta_i \left\{ X_i - \frac{\sum_{j: \tilde{T}_j \geq \tilde{T}_i} e^{\beta X_j} X_j}{\sum_{j: \tilde{T}_j \geq \tilde{T}_i} e^{\beta X_j}} \right\}.\]

传统一步估计的思想:从初始估计 \(\hat{\beta}^{(1)}\) 出发,一步牛顿修正为

\[\hat{\beta}_{one-step} = \hat{\beta}^{(1)} + I^{-1}(\hat{\beta}^{(1)}) U(\hat{\beta}^{(1)}),\]
其中 \(U\) 和 \(I\) 基于全部数据计算。这个估计量在很弱的条件下与 MLE 渐近等价。但问题在于:计算 \(U(\hat{\beta}^{(1)})\) 和 \(I(\hat{\beta}^{(1)})\) 仍然需要遍历全部 \(n\) 个样本,计算复杂度没有降低。

本文的关键洞察:注意到 \(U(\beta)\) 可以分解为

\[U(\beta) = U^{(1)}(\beta) + U^{(2)}(\beta),\]
其中 \(U^{(1)}\) 和 \(U^{(2)}\) 分别是基于第一个数据块和第二个数据块的得分函数。如果我们在第一个数据块上已经计算了 \(U^{(1)}(\hat{\beta}^{(1)})\)(在求解 \(\hat{\beta}^{(1)}\) 时已经得到),那么只需要计算 \(U^{(2)}(\hat{\beta}^{(1)})\) 即可。但这里有一个微妙的问题:\(U^{(2)}(\hat{\beta}^{(1)})\) 中的风险集求和涉及第二个数据块中的所有个体,计算复杂度仍然是 \(O((n-n_1) \cdot m_2)\),其中 \(m_2\) 是第二个数据块中的事件时间数。

为什么仍然更快? 关键在于:不需要迭代。传统方法需要多次牛顿迭代(每次都要遍历全部数据),而本文方法只需要一次得分函数计算。对于时变协变量,传统方法的计算复杂度是 \(O(mnp^2 \times \text{迭代次数})\),而本文方法是 \(O(n_1 \log n_1 + n_1 p^2 + (n-n_1) \log(n-n_1) + np)\)(原文第 2.2 节)。当 \(p\) 很大且迭代次数很多时,本文方法的优势显著。

为什么渐近等价? 这是半参数效率理论的标准结论:如果 \(\hat{\beta}^{(1)}\) 是 \(\sqrt{n_1}\)-相合的,那么一步修正

\[\hat{\beta}_f = \hat{\beta}^{(1)} + \left(\frac{n \hat{I}^{(1)}}{n_1}\right)^{-1} \sum_{i \in J_2} \hat{S}(O_i; \hat{\beta}^{(1)}, \hat{\Lambda}^{(1)})\]
与全数据 MLE 的差是 \(o_p(n^{-1/2})\)。直觉上,\(\hat{\beta}^{(1)}\) 的估计误差是 \(O_p(n_1^{-1/2})\),而一步修正恰好消除了这个一阶误差项,使得最终估计量的方差由全部数据的信息量决定。必要条件是条件 5:\(n/n_1^2 \to 0\)(即 \(n_1\) 必须远大于 \(\sqrt{n}\)),这保证了初始估计的误差足够小,使得得分函数的泰勒展开只保留一阶项即可。

这个最小内核揭示了本文方法的本质:它不是一种新的统计推断范式,而是将经典的半参数一步估计思想与大数据分块计算相结合,利用 Cox 模型偏似然得分的可分解性,实现了"用小数据做迭代、用大数据做修正"的计算策略。

三、这篇论文做了什么

三句话

  1. 研究了什么问题:在大规模生存数据(数百万受试者)下,如何高效地拟合 Cox 比例风险模型,使得估计量在统计效率上与全数据 MLE 等价,但计算时间大幅降低。
  2. 核心工具/方法:将数据随机分为两个数据块,在第一个(较小的)数据块上计算最大偏似然估计作为初始估计,然后利用第二个(较大的)数据块通过一步估计(one-step estimation with estimated efficient score functions)修正初始估计。
  3. 主要结论:在正则条件下(条件 1-5),Cox-OSES 估计量与全数据 MLE 具有相同的渐近分布(即渐近等价),但计算复杂度从 \(O(mnp^2 \times \text{迭代})\) 降至 \(O(n_1 \log n_1 + n_1 p^2 + (n-n_1) \log(n-n_1) + np)\);模拟和 UK Biobank 应用验证了方法的实用性。

关键设定与假设

模型设定:标准 Cox 比例风险模型,允许时变协变量。观测数据为 \(\{(\tilde{T}_i, \Delta_i, X_i)\}_{i=1}^n\),其中 \(\tilde{T}_i = \min(T_i, C_i)\),\(\Delta_i = I(T_i \leq C_i)\),\(X_i\) 可以是时间的函数。

核心假设(原文条件 1-5): - 条件 1:协变量 \(X(t)\) 在 \([0, \tau]\) 上具有有限全变差。这是经验过程理论的标准条件,确保函数类具有足够的正则性。 - 条件 2:基线风险函数满足 \(\int_0^\tau \lambda_0(t) dt < \infty\)。这是生存分析的标准假设。 - 条件 3:\(P(\tilde{T} \geq \tau) > 0\)。确保研究结束时仍有风险集中的个体,避免尾部不稳定。 - 条件 4:信息矩阵 \(\Sigma\) 正定。这是参数可识别性的标准条件。 - 条件 5:\(n/n_1^2 \to 0\) 且 \(n_1/n \to 0\)。这是本文方法的关键条件:\(n_1\) 必须远大于 \(\sqrt{n}\)(保证初始估计足够精确),但又远小于 \(n\)(保证计算效率)。原文表述为 "the size of the first block \(n_1\) satisfies \(n/n_1^2 \to 0\)"。

相比已有工作的变化: - 相比 DAC 方法(Wang et al., 2021, 2022):本文不需要在每个数据块上单独估计基线风险函数,避免了由此带来的数值不稳定和效率损失。作者在引言中明确说 DAC 方法 "requires separate estimation of the baseline hazard function for each subset of data, which may cause numerical instability and reduce statistical efficiency"。 - 相比全数据 MLE:本文不需要迭代求解,只需一次得分函数计算。 - 相比朴素子抽样:本文利用了全部数据的信息(通过得分函数),不损失统计效率。

主要结果

定理 1(渐近等价性):在条件 1-5 下,\(\sqrt{n}(\hat{\beta}_f - \beta_0) \xrightarrow{d} N(0, \Sigma^{-1})\),其中 \(\Sigma\) 是偏似然的信息矩阵。这意味着 Cox-OSES 估计量与全数据 MLE 具有相同的渐近分布,即达到了半参数效率界。

协方差估计:\(\hat{\Sigma}_f = n \hat{I}_{(1)}^{-1}/n_1\),其中 \(\hat{I}_{(1)}\) 是第一个数据块的信息矩阵。这个估计量是一致的,且计算成本低。

计算复杂度: - 时不变协变量:\(O(n_1 \log n_1 + n_1 p^2 + (n-n_1) \log(n-n_1) + np)\) - 时变协变量:\(O(m_1 n_1 p^2 + m_1 (n-n_1) p)\),其中 \(m_1\) 是第一个数据块中的不同事件时间数。

模拟结果(原文第 3 节): - 设置 1(时不变协变量,\(p=100\),\(n=10^6\) 或 \(10^7\)):Cox-OSES 的平方误差与标准方法几乎相同(效率损失 < 0.1%),但计算时间仅为标准方法的 1/5 到 1/10。 - 设置 2(时变协变量,\(p=100\),\(n=10^7\)):标准方法需要约 2.04 小时,Cox-OSES 仅需约 26.91 分钟(\(k=0.2\)),效率损失仅 0.07%。 - 设置 3(稀有事件,约 98% 删失率):Cox-OSES 仍保持效率,但需要更大的 \(n_1\)(建议 \(k \geq 0.3\))。

UK Biobank 应用(原文第 4 节): - 数据:487,252 名参与者,39% 事件率,1100 个遗传变异。 - 结果:Cox-OSES 与标准方法在参数估计上几乎一致(最大差异 < 0.001),但计算时间从标准方法的 245 秒降至 30 秒(\(k=0.2\))。 - 额外发现:在检验比例风险假设时(含时变协变量交互项),标准方法因内存限制无法完成,而 Cox-OSES 可以轻松处理。

证明路线与技术技巧

整体路线(4 步):

  1. 建立初始估计的相合性:利用第一个数据块上的标准偏似然理论,证明 \(\hat{\beta}^{(1)}\) 是 \(\sqrt{n_1}\)-相合的。这一步直接引用 Anderson and Gill (1982) 的结果。

  2. 构造一步修正项:定义 \(\hat{\beta}_f = \hat{\beta}^{(1)} + (n\hat{I}_{(1)}/n_1)^{-1} \sum_{i \in J_2} \hat{S}(O_i; \hat{\beta}^{(1)}, \hat{\Lambda}^{(1)})\)。关键在于 \(\hat{S}\) 是估计的效率得分函数,其中 \(\hat{\Lambda}^{(1)}\) 是第一个数据块上的 Breslow 估计量。

  3. 泰勒展开与鞅表示:将 \(\sum_{i \in J_2} \hat{S}(O_i; \hat{\beta}^{(1)}, \hat{\Lambda}^{(1)})\) 在 \((\beta_0, \Lambda_0)\) 处泰勒展开,利用鞅表示将展开式分解为三部分:(a) 基于第二个数据块的鞅部分(贡献 \(\sqrt{n}\) 阶的渐近正态项);(b) 初始估计误差的线性项(被信息矩阵的缩放精确抵消);(c) 高阶余项(利用条件 5 证明为 \(o_p(n^{-1/2})\))。

  4. 验证渐近等价:证明 \(\sqrt{n}(\hat{\beta}_f - \hat{\beta}_{MLE}) = o_p(1)\),从而 \(\hat{\beta}_f\) 与全数据 MLE 渐近等价。

关键技巧: - 鞅中心极限定理:利用计数过程鞅表示,将得分函数的渐近分布转化为鞅的渐近正态性。这是生存分析的标准工具。 - 经验过程理论:处理 \(\hat{S}\) 中估计的 nuisance 参数(\(\hat{\Lambda}^{(1)}\) 和 \(\hat{E}(t)\))带来的额外变异性。作者使用现代经验过程理论(如 Donsker 类、Glivenko-Cantelli 类)来控制高阶项。 - 条件 5 的作用:\(n/n_1^2 \to 0\) 保证了初始估计的误差 \(O_p(n_1^{-1/2})\) 乘以得分函数的导数 \(O_p(n^{1/2})\) 后仍为 \(o_p(1)\)。这是整个证明中最精妙的一步——它确保了"小数据迭代 + 大数据修正"策略的可行性。

技术难点: - 时变协变量情形下,\(\hat{E}(t)\) 的估计涉及第一个数据块上的核平滑,其收敛速度可能慢于 \(\sqrt{n}\)。作者通过条件 1(有限全变差)和条件 5 的组合来克服这一困难。 - 效率得分函数 \(\hat{S}\) 中 \(\hat{\Lambda}^{(1)}\) 的估计误差需要精确控制。作者利用 Breslow 估计量的渐近性质,证明其影响在一步修正中被自动消除。

🔎 结论是否比证明窄

  • 多块扩展:原文第 5 节声称方法可以扩展到 \(K > 2\) 个数据块,且"数学上 \(\hat{\beta}_f\) 独立于 \(K\) 的选择"(原文:"\(\hat{\beta}_f\) is independent of the choice of \(K\)")。但定理 1 的证明仅针对 \(K=2\) 的情形。虽然这个声称在代数上显然成立(因为 \(\sum_{k=1}^K n_k \hat{\beta}^{(k)}/n\) 的加权平均与 \(K=2\) 时的表达式一致),但渐近性质的证明并未显式覆盖 \(K > 2\) 的情形。这是一个"证明窄于声称"的点。
  • 高维协变量:原文第 5 节提到"可以扩展到高维协变量的情形",但未给出任何理论结果。这是一个 conjecture 而非 theorem。
  • 随机删失的推广:原文假设删失时间 \(C\) 与 \(T\) 在给定 \(X\) 下条件独立,但未讨论删失机制依赖于协变量历史(即 informative censoring)的情形。这是一个明确的局限。
  • 效率损失的精确刻画:模拟显示效率损失很小(<0.1%),但原文没有给出效率损失的有限样本上界,只有渐近等价性。对于中等样本量,效率损失可能更大。

四、开放问题

  1. 多块扩展的严格证明(扎根于第 5 节第一段):原文声称 \(\hat{\beta}_f\) 独立于 \(K\),但定理 1 的证明仅覆盖 \(K=2\)。要确认这是否为真 gap,可去读 Wang et al. (2021, 2022) 的 DAC 方法在多块下的理论分析,看是否有可借鉴的证明框架。

  2. 高维协变量的理论保证(扎根于第 5 节第三段):原文仅说"可以扩展",但没有给出高维下的收敛速度、变量选择一致性或计算复杂度分析。这与您的高维统计兴趣直接相关——Cox 模型在高维下的惩罚似然估计已有大量工作(如 Tibshirani 的 lasso-Cox),但"分块 + 一步估计"在高维下的行为尚不清楚。

  3. 最优分块比例 \(k = n_1/n\) 的选择(扎根于条件 5 和模拟部分):原文只要求 \(n/n_1^2 \to 0\),但模拟中测试了 \(k = 0.1, 0.2, 0.3, 0.4\)。是否存在一个依赖于模型复杂度(如 \(p\)、事件率)的最优 \(k\)?这涉及到 bias-variance tradeoff 的精细刻画。

  4. 效率损失的有限样本界(扎根于模拟结果):模拟显示效率损失 <0.1%,但这是渐近结果。能否给出 \(\hat{\beta}_f\) 与 \(\hat{\beta}_{MLE}\) 之间差异的非渐近上界?这需要 Berry-Esseen 类型的界或 Edgeworth 展开,与您熟悉的经验过程理论有直接关联。

  5. 与其他半参数模型的推广(扎根于第 5 节最后一段):原文提到可以推广到边际模型和随机效应模型,但未给出效率得分函数的具体形式。对于有聚类结构的生存数据,一步估计的效率得分函数可能涉及更复杂的 nuisance 参数估计。


提示:要确认上述哪些是真正的 gap,建议去读近 5 年关于"大规模生存分析"的综述或方法论文(如 Biostatistics、Statistics in Medicine 上的相关文章),看是否已有后续工作填补了这些空白。特别是第 1 条(多块扩展),如果已有严格证明,那本文的贡献就主要是方法层面的;如果还没有,那是一个值得攻克的开放问题。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论