Efficient Poisson Subsampling for the Partially Linear Additive Cox Model¶
作者: Dongxiao Han, Liuquan Sun, Chunjie Wang, Dehui Wang, HaiYing Wang et al.
主题: 因果推断
相关性: 6/10
链接: https://arxiv.org/abs/2608.19599
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是大规模数据下的最优子抽样(optimal subsampling)理论。其根本的统计问题是:当全量数据 \(n\) 过大、无法在有限计算资源下直接拟合模型时,如何以非均匀概率抽取一个远小于 \(n\) 的子样本,使得基于子样本的估计量在统计效率上尽可能接近全量估计量,同时给出严格的不确定性量化。该方向的成熟度较高——从线性回归、广义线性模型到生存分析模型,最优子抽样的框架(基于渐近协方差矩阵的 A-/L-/V-最优性准则)已经相当系统化,但向含非参数分量的半参数模型的推广仍是开放前沿。
发展脉络(history)¶
- 奠基工作:Wang et al. (2018) 与 Wang & Ma (2021) 分别将 L-最优性准则引入 logistic 回归与分位数回归的子抽样问题,确立了"以渐近协方差矩阵的迹(或线性变换后的迹)为目标函数、推导最优抽样概率"这一基本范式。这两篇工作奠定了本文方法论的直接基础——本文的 Theorem 2 本质上是在 PLA-Cox 模型下对这一范式的重新推导。
- 主要进展:Yu et al. (2022) 将最优子抽样推广到拟似然估计框架,并解决了"最优概率依赖未知参数"的循环问题(用 pilot 样本估计);Yao et al. (2023) 将 Poisson 子抽样引入 softmax 回归;Liu et al. (2023) 处理了函数型广义线性模型。在生存分析方向,Zuo et al. (2021) 研究了加性风险模型(additive hazards model)的子抽样,Zhang et al. (2024) 则针对 Cox 模型提出了 L-最优性子抽样方法(本文的 "Oracle" 基线)。
- 当前 frontier:将子抽样从纯参数模型推广到半参数模型。关键难点在于:非参数分量(如本文的 \(g(Z)\))的引入使得"目标参数"与" nuisance 参数"耦合,简单的似然/得分函数不再正交,需要额外的去相关(decorrelation)技术。Shao et al. (2025) 在部分线性模型中用 Neyman-正交得分构造无偏估计方程,是这一思路的直接先驱。
- 本文的位置:本文是上述脉络的"自然下一步"——将最优 Poisson 子抽样从 Cox 模型(Zhang et al., 2024)推广到部分线性加性 Cox 模型(PLA-Cox; Huang, 1999),后者同时包含线性参数分量、加性非参数分量和非参数基准风险函数。本文的贡献在于:(i) 将去相关得分技术引入子抽样框架;(ii) 在 B-样条逼近下推导 L-最优抽样概率的显式表达式;(iii) 证明了两步自适应算法的渐近正态性。
子线索聚类¶
- 最优子抽样的准则与算法设计(Wang et al. 2018; Wang & Ma 2021; Yu et al. 2022; Yao et al. 2023):这条线索的核心问题是"给定目标函数(似然/拟似然/得分),如何定义并计算最优抽样概率"。方法上以 A-/L-/V-最优性为准则,以渐近协方差矩阵的某种标量函数为目标。
- 生存分析中的子抽样(Zuo et al. 2021; Zhang et al. 2024; 本文):将上述框架移植到删失数据场景。难点在于风险集(risk set)结构使得得分函数不再是独立同分布求和,需要处理计数过程鞅的渐近理论。
- 半参数模型中的去相关估计(Shao et al. 2025; 本文):当存在非参数 nuisance 分量时,朴素得分函数对 nuisance 参数敏感。去相关得分(或 Neyman 正交得分)通过投影消除 nuisance 影响,使得目标参数的估计达到半参数效率界。这条线索与因果推断中的双稳健估计、正交机器学习(DML)有深刻联系。
这个方向在追问的核心问题¶
- 最优抽样概率的显式形式:给定模型与最优性准则,能否得到 \(\pi_i\) 的闭式解?闭式解是否依赖未知参数(若是,如何用 pilot 估计近似)?
- 渐近性质的严格证明:子抽样引入的额外随机性如何与模型本身的估计误差叠加?条件于全量数据时估计量的条件分布是什么?无条件极限是否仍是正态?
- 半参数效率的保持:当模型含非参数分量时,子抽样估计量是否仍能达到全量估计量的效率(在 \(r \to \infty\) 的意义下)?去相关步骤是否会引入额外方差?
⚠️ 作者的 framing(这是作者的说法)¶
作者在引言中将缺口 frame 为:"现有子抽样方法仅适用于参数效应模型(Cox、additive hazards),而 PLA-Cox 模型——同时含参数与非参数效应——尚无对应的子抽样方法。" 作者强调其三大贡献:非参数分量的 B-样条逼近、去相关得分消除 nuisance 影响、Poisson 子抽样(无放回)区别于传统有放回抽样。被淡化的竞争路线包括:(i) 基于影响力得分(influence score)的自适应抽样(本文未与这类方法比较);(ii) 分布式计算(divide-and-conquer)方案——作者仅在引言中一笔带过,未讨论其与子抽样的相对优劣。
张力¶
未见明显对立引用。但值得注意的是:Yu et al. (2022) 的拟似然框架与 Wang & Ma (2021) 的分位数回归框架在"最优性准则的选择"上存在分歧(前者用 L-最优,后者同时考虑 A-与 L-最优),本文选择了 L-最优但未讨论 A-最优准则下的结果是否会有本质不同。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号清单(逐个点名):
| 记号 | 含义 | 类型 |
|---|---|---|
| \(T\) | 失效时间 | 随机变量(潜在) |
| \(C\) | 删失时间 | 随机变量(潜在) |
| \(Y = \min(T, C)\) | 观测时间 | 随机变量(可观测) |
| \(\Delta = I(T \le C)\) | 事件指示 | 随机变量(可观测) |
| \(X \in \mathbb{R}^p\) | 线性效应协变量 | 随机变量(可观测) |
| \(Z \in \mathbb{R}^q\) | 非参数效应协变量 | 随机变量(可观测) |
| \(\lambda_0(t)\) | 基准风险函数 | 无穷维 nuisance 参数 |
| \(\beta_0 \in \mathbb{R}^p\) | 线性回归系数 | 目标参数(estimand) |
| \(g(Z) = \sum_{j=1}^q g_j(Z_j)\) | 加性非参数分量 | 无穷维 nuisance 参数 |
| \(B(Z)\) | B-样条基函数向量 | 已知基函数(逼近工具) |
| \(\alpha\) | B-样条系数 | 有限维 nuisance 参数(逼近后) |
| \(\theta = (\beta', \alpha')'\) | 全部有限维参数 | 估计对象 |
| \(\pi_i\) | 第 \(i\) 个观测的抽样概率 | 设计量(待优化) |
| \(r\) | 期望子样本量 | 设计量 |
| \(D_n\) | 全量数据 | 可观测 |
| \(D_r^*\) | 子样本 | 可观测(经抽样) |
| \(\ell(\theta)\) | 全量负对数偏似然 | 目标函数 |
| \(\ell^*(\theta)\) | 加权子样本负对数偏似然 | 目标函数(抽样后) |
| \(U^*(\beta; \hat\alpha_0, \hat W_0)\) | 去相关得分 | 估计方程 |
| \(\Psi, \Gamma\) | 协方差矩阵(涉及) | 渐近量 |
模型(式 1):
可观测数据:\(\{(X_i, Z_i, \Delta_i, Y_i)\}_{i=1}^n\),i.i.d. 来自上述模型。注意:\(T\) 和 \(C\) 在给定 \((X,Z)\) 下独立(条件独立假设,文中未明确写出但为 Cox 模型标准假设)。
关键区分——可观测 vs 潜在: - 可观测:\(Y_i, \Delta_i, X_i, Z_i\)(以及由它们构造的计数过程 \(N_i(t)\) 和风险集指示 \(I(Y_j \ge t)\))。 - 潜在/不可观测:\(T_i\) 本身(若 \(\Delta_i = 0\) 则 \(T_i\) 被删失)、\(C_i\)(若 \(\Delta_i = 1\) 则 \(C_i\) 不可观测)、基准风险 \(\lambda_0(t)\)、非参数函数 \(g(\cdot)\)、以及全量估计量 \(\hat\theta_F\)(计算上不可得,否则无需子抽样)。
估计目标:\(\beta_0\)(参数分量)。\(\alpha\)(样条系数)、\(\lambda_0\)(基准风险)均为 nuisance。
第二步:最小内核¶
剥掉所有一般性假设后,本文的核心数学问题是:
给定全量数据 \(D_n\),如何设计抽样概率 \(\{\pi_i\}_{i=1}^n\)(满足 \(\sum_i \pi_i = 1\),\(0 < \pi_i \le r^{-1}\)),使得基于 Poisson 子抽样(每个观测独立地以概率 \(r\pi_i\) 被选中)构造的加权偏似然估计 \(\hat\beta\) 的渐近协方差矩阵(条件于 \(D_n\))尽可能小?
最小例子:考虑最简单的 Cox 模型(无 \(g(Z)\),即 \(q=0\)),全量偏似然得分函数为
其中 \(S^{(k)}(t, \beta) = n^{-1} \sum_j I(Y_j \ge t) X_j^{\otimes k} e^{\beta' X_j}\)。
子抽样后,加权得分函数为
其中 \(\xi_i \sim \text{Bernoulli}(r\pi_i)\) 独立,\(S^{*(k)}\) 是子样本上的加权版本。
核心困难:\(\hat\beta\) 的渐近方差形如 \(\Psi^{-1} \Gamma \Psi^{-1}\),其中 \(\Psi\) 是信息矩阵(与抽样无关),\(\Gamma\) 是得分函数的条件方差。由于 \(\xi_i\) 的独立性,\(\Gamma\) 可以分解为
其中 \(W\) 是去相关投影矩阵。最小化 \(\text{tr}(\Gamma)\) 的问题退化为一个逐点的优化:对每个 \(i\),最优概率 \(\pi_i\) 正比于该观测对 \(\Gamma\) 的贡献的范数。这就是 Theorem 2 的直觉——最优抽样概率应偏向"信息量大"的观测(即残差大的观测),而非均匀抽样。
为什么去相关是必要的:若直接用 \(\nabla_\beta \ell^*(\beta, \alpha)\) 而非去相关得分 \(U^*\),则 \(\hat\beta\) 的渐近方差中会混入 \(\hat\alpha\) 的估计误差(因为 \(\alpha\) 的维数随样条节点数增长)。去相关得分通过减去 \(W \nabla_\alpha \ell^*\) 项,将 \(\alpha\) 方向上的扰动投影掉,从而保证 \(\hat\beta\) 的推断不受 nuisance 估计精度影响。这是本文区别于 Zhang et al. (2024) 的关键技术点——后者仅处理纯参数 Cox 模型,无需去相关。
证明的最小骨架(Theorem 1 的路线): 1. 条件于 \(D_n\),子样本的随机性仅来自 \(\{\xi_i\}\)。利用 \(\xi_i\) 的独立性,直接计算 \(U^*(\beta_0; \hat\alpha_0, \hat W_0)\) 的条件均值和条件方差。 2. 证明条件均值(经 \(n^{-1}\) 归一化后)以 \(O_P((r/n)^{1/2})\) 的速度收敛到全量得分,条件方差收敛到 \(\Gamma\)。 3. 对 \(U^*\) 在 \(\beta_0\) 处做 Taylor 展开,结合 \(\Psi\) 的可逆性(条件 C3),得到 \(\hat\beta - \hat\beta_F = O_P((r/n)^{1/2})\) 且条件渐近正态。 4. 去相关步骤保证 \(\hat\alpha_0\) 的估计误差不进入 \(\hat\beta\) 的一阶渐近分布——这是通过 \(W\) 的定义(\(\Psi_{\beta\alpha} - W \Psi_{\alpha\alpha} = 0\))实现的。
一句话总结本文的数学贡献:在 PLA-Cox 模型下,证明了存在显式的最优 Poisson 子抽样概率(L-最优准则),使得基于 \(r\) 个观测的子样本估计量 \(\hat\beta\) 满足 \(\Sigma^{-1/2}(\hat\beta - \hat\beta_F) \xrightarrow{d} N(0, I)\),且 \(\Sigma\) 在迹的意义下被最小化。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在大规模生存数据场景下,如何对部分线性加性 Cox 模型(PLA-Cox)进行最优子抽样,使得仅用 \(r\) 个观测即可获得对线性参数 \(\beta_0\) 渐近正态且高效的估计。
- 核心工具/方法:B-样条逼近非参数分量 + 去相关得分(decorrelated score)构造子抽样估计方程 + L-最优性准则推导最优 Poisson 抽样概率 + 两步自适应算法(pilot 均匀抽样估计 nuisance,再用最优概率抽最终样本)。
- 主要结论:在正则条件下,两步 Poisson 子抽样估计量 \(\hat\beta\) 条件于全量数据满足渐近正态性 \(\Sigma^{-1/2}(\hat\beta - \hat\beta_F) \xrightarrow{d} N(0, I)\);最优概率 \(\pi_i^{\text{Lopt}} \propto \|\Gamma_i(\hat W_F, \hat\theta_F)\|\)(截断后归一化);模拟与真实数据(SEER 淋巴瘤)验证了 Lopt 相对均匀抽样的效率优势。
关键设定与假设¶
- 模型:PLA-Cox,即 \(\lambda(t \mid X, Z) = \lambda_0(t) \exp\{\beta_0' X + g(Z)\}\),\(g(Z) = \sum_{j=1}^q g_j(Z_j)\) 为加性光滑函数。
- 抽样机制:Poisson 子抽样(无放回、独立 Bernoulli 决定每个观测是否入样),概率 \(\pi_i\) 满足 \(0 < \pi_i \le r^{-1}\),\(\sum_i \pi_i = 1\)。
- 假设 C1-C4:
- C1:\(\int_0^\tau \lambda_0(t) dt < \infty\),\(P(T \ge \tau) > 0\)(基准风险可积、随访终点有正概率存活)。
- C2:\(X\) 有界(技术性假设,保证指数项可控)。
- C3:\(\Psi\) 非奇异(信息矩阵可逆,保证估计量可识别)。
- C4:\(\max_i (n\pi_i)^{-1} = O_P(1)\),\(r_0 = o(n)\),\(r = o(n)\)(抽样概率不极端小;pilot 和最终子样本都远小于全量数据)。
- 与已有文献的对比:
- 放宽:允许非参数分量 \(g(Z)\)(Zhang et al. 2024 的 Cox 模型是本文 \(g \equiv 0\) 的特例);采用 Poisson 抽样(无放回)而非有放回抽样,避免重复观测。
- 强化:C4 中的 \(r_0 = o(n)\) 比某些文献允许 \(r_0\) 与 \(n\) 同阶更严格,但保证了 pilot 估计量的 \(\sqrt{r_0}\)-一致性。
主要结果¶
- Theorem 1(渐近正态性):条件于全量数据 \(D_n\)(在概率意义下),\(\Sigma^{-1/2}(\hat\beta - \hat\beta_F) \xrightarrow{d} N(0, I)\),其中 \(\Sigma = \Psi^{-1} \Gamma \Psi^{-1}\)。这保证了子抽样估计量围绕全量估计量波动,且波动幅度由 \(\Sigma\) 刻画。
- Theorem 2(最优概率):在 L-最优准则(最小化 \(\text{tr}(\Gamma)\))下,最优抽样概率为 \(\pi_i^{\text{Lopt}} = \|\Gamma_i(\hat W_F, \hat\theta_F)\| / \sum_j \|\Gamma_j(\hat W_F, \hat\theta_F)\|\)(含截断变体)。直觉:\(\|\Gamma_i\|\) 度量第 \(i\) 个观测对估计精度的边际贡献,贡献大的观测应被赋予更高抽样概率。
- Theorem 3(两步估计量的渐近性):用 pilot 子样本估计 \(\hat W_0, \hat\theta_0\) 后,代入最优概率公式再抽最终样本,所得 \(\hat\beta\) 仍满足渐近正态性,且与"已知 oracle 概率"的情形渐近等价(即 pilot 估计误差不进入一阶项)。
- 协方差估计:\(\hat\Psi, \hat\Gamma\) 仅用最终子样本构造,无需触碰全量数据。
证明路线与技术技巧¶
- 整体路线(4 步):
- 条件化:固定全量数据 \(D_n\),将子抽样估计量视为仅依赖 \(\{\xi_i\}\) 的随机量。这避免了处理全量数据的随机性,将问题转化为"给定数据,抽样引入的额外方差是多少"。
- 得分函数分解:将去相关得分 \(U^*(\beta; \hat\alpha_0, \hat W_0)\) 分解为"全量得分 + 抽样误差 + nuisance 估计误差"三项,分别控制。
- 鞅中心极限定理:利用计数过程的鞅表示,证明子样本得分函数的条件渐近正态性。关键是用 \(\xi_i\) 的独立性构造鞅差序列。
- 去相关论证:证明 \(W\) 的选取使得 nuisance 估计误差项在 \(\sqrt{r}\) 归一化后趋于零——这是通过 \(\Psi_{\beta\alpha} - W \Psi_{\alpha\alpha} = 0\) 的代数恒等式实现的。
- 关键技巧点名:
- B-样条逼近:将无穷维 \(g(\cdot)\) 化为有限维 \(\alpha\),但 \(\alpha\) 的维数随节点数增长。去相关得分正是为了处理这一"维数发散"问题。
- 截断(truncation):最优概率 \(\pi_i \propto \|\Gamma_i\| \wedge H\) 中的 \(H\) 截断防止极端概率导致数值不稳定;Remark 1 指出 \(H = \infty\) 在实践中可用。
- L-最优 vs A-最优:本文选择最小化 \(\text{tr}(\Gamma)\)(L-最优),而非 \(\text{tr}(\Psi^{-1}\Gamma\Psi^{-1})\)(A-最优),因为前者不依赖 \(\Psi\),计算更简单且闭式解更干净。
真实例子与应用¶
- 数据:SEER 项目 1975–2007 年淋巴瘤患者数据,\(N = 111{,}283\) 例,删失率 58.6%,随访截断 60 个月。
- 变量:\(X\) = 性别(二值),\(Z\) = 年龄(标准化后作为非参数分量)。
- 分析流程:全量数据拟合作为金标准(\(\hat\beta = 0.1956\));分别用 Lopt、UNIF 子抽样(\(r = 600, 800, 1000, 1200\))重复 1000 次,比较偏差、SE、ESE、CP。
- 结果:Lopt 的 SE 比 UNIF 低 14–18%(\(r=1000\) 时),且 ESE 与 SE 吻合良好(相对差异 <7%),CP 接近 0.95。Lopt 的估计值随 \(r\) 增大单调趋近全量估计值。
- 例子想说明什么:验证了 Lopt 在真实删失数据上的效率优势,且证明协方差估计 \(\hat\Omega\) 可靠(ESE ≈ SE),支持实际使用。
🔎 结论是否比证明窄¶
- 明确窄的地方:
- Theorem 1 和 3 的渐近正态性是条件于全量数据的,即"给定 \(D_n\),子抽样估计量围绕 \(\hat\beta_F\) 波动"。但论文在摘要和引言中多次使用"efficient"、"asymptotically normal"等表述,未始终强调这是条件分布而非无条件分布。读者可能误以为 \(\hat\beta\) 的边际分布(同时考虑 \(D_n\) 和子抽样的随机性)也被证明了——实际上没有,边际分布需要额外处理 \(\hat\beta_F\) 本身的收敛速度。
- 最优性(Theorem 2)是在 L-最优准则下证明的,即最小化 \(\text{tr}(\Gamma)\)。论文未讨论 A-最优(最小化 \(\text{tr}(\Psi^{-1}\Gamma\Psi^{-1})\))或 D-最优准则下的结果。作者在引言中将 L-最优称为"widely adopted",但未证明 L-最优在统计意义上优于其他准则。
- 模拟中仅报告了 \(\beta_1\)(性别效应)的结果,未展示 \(\beta_2, \dots, \beta_5\) 的表现。虽然作者声称"结果类似",但正文未给出证据。
- 论文声称"无需处理全量数据即可进行高效统计推断",但最优概率公式(式 2)中的 \(\Gamma_i\) 依赖全量数据的 nuisance 估计 \(\hat\theta_F, \hat W_F\)。虽然两步法用 pilot 子样本近似,但 pilot 子样本仍需从全量数据中抽取(需要访问全量数据以进行均匀抽样)。论文未讨论"完全无法访问全量数据"的场景。
- 结论部分提到"extending to high-dimensional settings"作为未来方向,但未给出任何具体猜想或部分结果。
四、开放问题¶
-
无条件渐近分布:论文仅证明了条件于 \(D_n\) 的渐近正态性。能否建立 \(\hat\beta\) 的无条件极限分布(同时积分掉 \(D_n\) 的随机性)?这需要将 \(\hat\beta_F - \beta_0\) 的收敛速度与子抽样误差结合,可能需要 Edgeworth 展开或高阶项分析。扎根于 Theorem 1 的陈述方式("conditional on \(D_n\) in probability")。
-
A-最优准则下的最优概率:本文仅推导了 L-最优(最小化 \(\text{tr}(\Gamma)\))的闭式解。在 A-最优(最小化 \(\text{tr}(\Psi^{-1}\Gamma\Psi^{-1})\))下,最优概率是否仍有闭式形式?由于 \(\Psi\) 的介入,优化问题可能不再逐点可分解。扎根于 Theorem 2 的证明结构(逐点优化依赖于 \(\Gamma\) 的逐点可加性)。
-
数据自适应节点选择:B-样条节点数 \(J\) 和位置的选择目前是预设的(模拟中固定为 \(\{0.2, 0.3, 0.5, 0.6, 0.8\}\))。是否存在数据自适应的节点选择准则,使得 \(\hat\beta\) 的渐近方差最小?这涉及样条逼近偏差与方差的权衡。扎根于第 2 节 B-样条逼近的设置和模拟中的固定节点。
-
高维扩展:当 \(p\)(线性协变量维数)随 \(n\) 增长时,最优子抽样概率的计算本身可能成为瓶颈(\(\Gamma_i\) 涉及 \(p \times p\) 矩阵运算)。能否结合稀疏性(如 Lasso 预处理)设计高效算法?论文结论部分仅一句带过,未给出任何具体方向。
-
依赖数据的推广:当前框架假设观测 i.i.d.。对于聚类生存数据或纵向生存数据(结论部分提及),Poisson 子抽样的独立性假设不再成立,最优概率的推导需要重新考虑簇内相关性。扎根于结论部分第二段。
提示:若要确认上述开放问题是否为真 gap,建议去读 Zhang et al. (2024)、Yu et al. (2022) 和 Yao et al. (2023) 的结论部分——若它们也未处理无条件分布或 A-最优准则,则这些方向确实是领域共识性的空白;若其中某篇已部分解决,则本文的"开放问题"可能只是作者未引用的已有结果。
Maintained by 陈星宇 · Homepage · Source on GitHub