Orthogonal Validation-Augmented Cox Regression with Internally Validated Failure Indicators Cross-Fitted Estimation, Risk-Set Linearization, and Validation Design¶

作者: Subir Hait
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2608.28839

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向解决的根本问题是：在生存分析中，当金标准的事件指示变量（failure indicator） 仅在部分样本（内部验证样本）中可得，而其余样本只有有误差的事件指示变量时，如何对Cox比例风险模型的回归系数进行一致且高效的估计与推断。核心挑战在于，直接使用有误差的指示变量会导致偏倚，而仅用验证样本（complete-case analysis）则效率低下且可能因验证机制非随机而产生偏倚。该方向融合了缺失数据、测量误差、两阶段抽样和半参数效率理论。

发展脉络¶

奠基工作：缺失事件指示变量的半参数估计
- van der Laan & McKeague (1998)：为右删失数据中缺失事件指示变量问题建立了有效估计的理论框架。
- Gijbels, Lin & Ying (2007)：针对Cox回归中缺失事件指示变量，引入了一类估计函数，并构造了在该类中达到最小方差协方差界的自适应估计量。这是本文直接对标的核心工作之一。
- McKeague & Subramanian (1998)：研究了缺失失败原因信息下的乘积限估计和Cox回归。
主要进展：不完全终点判定与验证子集方法
- Cook & Kosorok (2004)：分析了不完全事件判定下的时间-事件数据，利用未判定事件为真实事件的估计概率。
- Magaret (2008)：针对有测量误差的结局，开发了离散比例风险模型的验证子集方法。
- Liu & Wang (2010)：开发了Cox回归的回归插补和增强逆概率加权（AIPW） 估计量，用于处理随机缺失的事件指示变量。其增强事件因子 m(V) + R/π(V) * (Δ - m(V)) 与本文的增强伪事件在代数上完全相同。本文明确声明，不将增强伪事件本身视为新贡献。
- Brownstein et al. (2015)：在OPPERA研究中比较了Cox回归中缺失事件指示变量的多种方法，包括多重插补。
当前Frontier：交叉拟合、Neyman正交性与机器学习兼容的推断
- Chernozhukov et al. (2018)：提出了双重/去偏机器学习（DML） 框架，利用交叉拟合和Neyman正交得分，允许灵活使用机器学习估计 nuisance 函数，同时保证对目标参数进行根号n一致的推断。本文的交叉拟合和正交性论证直接继承自此框架。
- Kennedy (2016)：系统阐述了半参数理论和经验过程在因果推断中的应用，为理解有效影响函数和正交性提供了基础。
- Tao et al. (2021)：针对两阶段研究中结局和协变量均有测量误差的问题，提出了基于非参数似然的半参数方法，并涉及自适应验证设计。本文的验证设计部分借鉴了其影响函数思路。

子线索聚类¶

缺失/误分类事件指示变量的直接方法：这是本文的核心比较对象。包括 Gijbels et al. (2007), Liu & Wang (2010), Cook & Kosorok (2004), Magaret (2008), Brownstein et al. (2015), Ni et al. (2017)。这些工作直接处理事件标签的缺失或误分类，通常假设随访时间和协变量准确。
更广泛的生存分析测量误差：处理更复杂的问题，如事件时间、协变量、失败原因均有误差。包括 Oh et al. (2018, 2021a,b) 的SIMEX、回归校准、广义raking；Boe et al. (2021) 的拟似然方法；Zucker et al. (2019) 的协变量误差校正；Van Rompaye et al. (2012) 的误分类失败原因分析。本文明确将自己限定在更窄的设定内，不声称解决这些更广泛的问题。
两阶段抽样与验证设计：为加权和增强半参数估计提供理论基础，并指导如何高效选择验证样本。包括 Breslow & Wellner (2007), Saegusa & Wellner (2013) 的加权经验过程理论；Robins et al. (1994) 的AIPW框架；Han et al. (2021), Shepherd et al. (2023) 的自适应多波验证设计。本文的验证设计定理是这一线索的直接应用。

核心问题与瓶颈¶

核心问题1：如何利用有误差的辅助信息（如误差事件指示符、诊断代码）来校正Cox回归的偏倚？
核心问题2：如何设计验证抽样方案，以在固定预算下最小化目标系数的渐近方差？
核心问题3：如何在使用灵活机器学习估计nuisance函数（如事件概率、验证概率）时，仍能保证对Cox系数的根号n一致推断？
当前瓶颈：现有方法要么需要参数化假设（如SIMEX），要么在处理灵活nuisance估计时缺乏严格的渐近理论（如多重插补），要么在效率上不如AIPW类方法。Liu & Wang (2010) 的AIPW估计量虽好，但未提供交叉拟合和Neyman正交性的现代理论框架，也未显式处理经验风险集均值估计的一阶贡献。

⚠️ 作者的Framing¶

作者的缺口定位：作者将缺口 frame 为“对交叉拟合伪事件Cox评分的一阶理论和实现”。具体而言，作者声称其贡献不是新的增强事件因子，而是：(1) 显式保留并线性化了Cox风险集均值估计的一阶贡献（G0项）；(2) 证明了群体漂移的精确乘积形式，从而提供了透明的双重稳健性和Neyman正交性论证；(3) 结合交叉拟合建立了根号n推断理论；(4) 识别了观测数据有效影响函数；(5) 将影响函数设计理论专门化到终点验证，得到了一个简洁的最优分配规则。
被淡化或回避的竞争路线：
- 多重插补（MI）：作者在引言中提到了MI（Brownstein et al., 2015; Ni et al., 2017），但未将其作为主要比较对象。MI在理论上通常需要正确的插补模型，且其方差估计在灵活模型下可能复杂。作者通过强调Neyman正交性和双重稳健性，将OVAC定位为比MI更稳健的替代方案。
- 广义Raking：作者在引言中提到了广义raking（Oh et al., 2021b），但指出其在失败时间结局中可能效率不高。OVAC通过使用增强伪事件，理论上能更有效地利用非验证样本的信息。
值得研究者去查的问题：作者在引言中引用了大量关于协变量测量误差的工作（如Zucker et al., 2019; Wang & Chen, 2001），但本文的核心设定是事件指示变量有误差，而协变量准确。一个明显的、但未被作者深入讨论的问题是：当协变量和事件指示变量同时存在误差时，如何将OVAC的思路与协变量误差校正方法（如回归校准、SIMEX）结合起来？ 这似乎是该领域一个自然的、但尚未被充分探索的交叉点。作者在8.4节提到“如果U本身有误差，则需要新的理论”，但未讨论协变量误差。

张力¶

未见明显对立引用。所有被引工作基本在各自的设定下成立，彼此之间是互补或递进关系。例如，Liu & Wang (2010) 的AIPW估计量是OVAC的代数基础，而Chernozhukov et al. (2018) 的DML框架为OVAC提供了现代推断工具。

二、最核心、最简单的例子 / 数学问题¶

第一步：符号、模型、可观测数据交代清楚¶

符号：
- i = 1, ..., n: 样本索引。
- T_i^0: 第i个受试者的真实事件时间（潜在变量）。
- C_i: 第i个受试者的删失时间。
- U_i = min(T_i^0, C_i): 观测到的随访时间（可观测）。
- Δ_i = I(T_i^0 ≤ C_i): 真实的事件指示变量（金标准，部分可观测）。
- X_i: p维、时间固定的协变量向量（可观测）。
- β_0: p维目标回归系数（待估参数）。
- λ(t|X) = λ_0(t) exp(β_0^T X): Cox比例风险模型。
- λ_0(t): 未指定的基准风险函数（无穷维 nuisance 参数）。
- Y_i(t) = I(U_i ≥ t): 风险过程（可观测）。
- N_i(t) = I(U_i ≤ t, Δ_i = 1): 计数过程（依赖于Δ_i，部分可观测）。
- ˜Δ_i: 有误差的事件指示变量（可观测）。
- A_i: 其他辅助变量（如诊断代码、置信度分数）（可观测）。
- V_i = (U_i, X_i, ˜Δ_i, A_i): 第一阶段（Phase I）信息（全部可观测）。
- R_i: 是否被选入验证样本的指示变量（可观测）。
- π_0(V) = Pr(R=1|V): 真实验证概率（已知或可估）。
- p_0(V) = Pr(Δ=1|V): 真实事件分类桥（待估 nuisance 函数）。
- O_i = (V_i, R_i, R_i Δ_i): 完整观测数据。
- D(p, π) = p(V) + R/π(V) * (Δ - p(V)): 增强伪事件（构造的伪结局）。
- c_β(U, X) = X - \bar{X}(U, β): Cox评分中的风险集对比函数。
- \bar{X}(t, β) = E[Y(t) exp(β^T X) X] / E[Y(t) exp(β^T X)]: 总体风险集均值。
- G_0(U, X) = exp(β_0^T X) ∫_0^U c_0(t, X) dΛ_0(t): 补偿器项，来自全数据影响函数。
模型：
- 目标模型：Cox比例风险模型 λ(t|X) = λ_0(t) exp(β_0^T X)。β_0 是目标参数，λ_0 是无穷维 nuisance。
- 缺失机制：验证是随机缺失（MAR） 的，即 R ⊥ Δ | V。这意味着给定第一阶段信息V，是否被选入验证样本与真实事件状态无关。
- 正性：验证概率有正的下界，即 π_0(V) ≥ ε > 0。
可观测数据：
- 所有受试者：U_i, X_i, ˜Δ_i, A_i, R_i。
- 验证子集（R_i=1）：额外观测到 Δ_i。
- 不可观测：非验证子集的真实事件指示变量 Δ_i。目标 β_0 是由全数据Cox模型定义的，因此是一个反事实量。

第二步：讲最小内核¶

最简特例：d=1（只有一个协变量X），且验证概率π_0(V)已知。

在这个特例下，Cox模型为 λ(t|X) = λ_0(t) exp(β_0 X)。风险集均值 \bar{X}(t, β) 退化为一个标量函数。全数据Cox评分方程为 Ψ_F(β) = E[Δ (X - \bar{X}(U, β))] = 0。

核心思路：我们无法观测到所有受试者的 Δ，因此无法直接计算 Ψ_F(β)。OVAC的核心是用一个增强伪事件 D(p, π_0) 来替代缺失的 Δ，构造一个可计算的评分方程 Ψ(β; p, π_0) = E[D(p, π_0) (X - \bar{X}(U, β))] = 0。

为什么这个替代是有效的？

双重稳健识别：根据Proposition 1，当 π_0 已知时，有： Ψ(β; p, π_0) - Ψ_F(β) = E[ (X - \bar{X}(U, β)) * (1 - π_0(V)/π_0(V)) * (p(V) - p_0(V)) ] = 0。因为 1 - π_0/π_0 = 0。所以，只要验证概率已知，无论事件桥 p(V) 是否正确，Ψ(β; p, π_0) 都等于 Ψ_F(β)。这保证了 β_0 是 Ψ(β; p, π_0) 的唯一根。
Neyman正交性：即使 π_0 是估计的，Proposition 1 也显示评分函数的偏差是 p 和 π 估计误差的乘积。这意味着，如果 p 和 π 都以 o_p(n^{-1/4}) 的速率收敛，那么它们的乘积就是 o_p(n^{-1/2})，从而对 β 的根号n推断没有一阶影响。这就是Neyman正交性的核心优势。

OVAC的估计步骤（在d=1特例下）：

估计事件桥 p(V)：使用验证子集（R_i=1）的数据，拟合一个模型（如逻辑回归）来预测 Pr(Δ=1|V)。得到 \hat{p}(V)。
构造增强伪事件：对于每个受试者 i，计算： \tilde{D}_i = \hat{p}(V_i) + R_i / π_0(V_i) * (Δ_i - \hat{p}(V_i))。
- 如果 R_i=0（非验证），\tilde{D}_i = \hat{p}(V_i)，即用模型预测值。
- 如果 R_i=1（验证），\tilde{D}_i = \hat{p}(V_i) + (Δ_i - \hat{p}(V_i))/π_0(V_i)，即用逆概率加权的残差进行校正。
求解OVAC评分方程：求解 U_n(β) = 1/n * Σ_i \tilde{D}_i (X_i - \bar{X}_n(U_i, β)) = 0，其中 \bar{X}_n 是经验风险集均值。这可以通过标准的Newton-Raphson算法完成，只需将Cox偏似然评分中的 Δ_i 替换为 \tilde{D}_i。

这个最小内核揭示了什么？

OVAC本质上是一个插补-加权两步法。它先用模型插补缺失的事件状态，然后用逆概率加权对插补误差进行校正。其巧妙之处在于，通过将插补和加权结合成一个增强伪事件，它获得了双重稳健性：只要插补模型或加权模型（验证概率）有一个是正确的，估计就是一致的。而Neyman正交性则允许两个模型都是灵活的、有偏的，只要它们的误差乘积足够小。

三、这篇论文做了什么¶

三句话¶

研究问题：在Cox回归中，当金标准事件指示变量仅在内部验证样本中可得时，如何对回归系数进行一致、高效且与机器学习兼容的估计与推断。
核心工具/方法：提出了正交验证增强Cox回归（OVAC），该方法结合了交叉拟合、增强伪事件、Neyman正交得分和风险集线性化，并推导了观测数据有效影响函数。
主要结论：OVAC估计量在乘积率条件下是双重稳健、Neyman正交且根号n一致的。其渐近方差等于半参数效率界。模拟实验验证了其方差估计的准确性（SE/SD ≈ 0.99，覆盖率 ≈ 0.95）和相对于逆概率加权（IPW）的效率提升（方差降低约38%）。

关键设定与假设¶

核心设定：随访时间 U 和协变量 X 对所有受试者准确观测；只有金标准事件指示变量 Δ 在验证子集中观测到。有误差的指示变量 ˜Δ 和其他辅助变量 A 对所有人可用。
关键假设：
- A1-A5：标准Cox模型正则条件（i.i.d.、有限研究时间、条件独立删失、协变量有界或指数矩、信息阵正定）。
- A6：验证是随机缺失（MAR），即 R ⊥ Δ | V，且验证概率有正下界 π_0(V) ≥ ε > 0。这比简单随机验证更宽松，允许验证依赖于第一阶段信息。
- A7：交叉拟合的nuisance估计量满足乘积率条件 ||\hat{p} - p_0||_2 * ||\hat{\pi} - \pi_0||_2 = o_p(n^{-1/2})。一个充分但不必要的条件是两者都以 o_p(n^{-1/4}) 收敛。相比已有文献，这个条件比要求某个nuisance估计量是 n^{-1/2} 一致的Donsker类条件要弱得多，允许使用更灵活的机器学习方法。
- A8：交叉拟合的折数K固定，每折样本量非零。

主要结果¶

定理1（一致性）：在联合模型（M_p ∪ M_π）下，即只要事件桥 p 或验证概率 π 中有一个被一致估计，OVAC估计量 \hat{β} 就是 β_0 的一致估计。
定理2（交叉拟合渐近线性性）：在交集模型（M_p ∩ M_π，即两者都被一致估计）和乘积率条件下，\hat{β} 是渐近线性的，其影响函数为 ϕ_eff(O) = I_0^{-1} [D_0 c_0(U, X) - G_0(U, X)]。这保证了根号n一致性和渐近正态性。
定理3（有效影响函数）：识别了观测数据有效影响函数 ϕ_eff。其形式为 I_0^{-1} 乘以（增强伪事件贡献 D_0 c_0 减去风险集补偿项 G_0）。关键点：G_0 项是线性化经验风险集均值时自然产生的，与通过粗化随机投影得到的项一致。这为方差估计提供了理论基础。
定理5（最优验证分配）：对于目标系数 θ = a^T β_0，最优验证概率 π_opt(V) 与 σ_a(V) = |a^T I_0^{-1} c_0(U, X)| * sqrt(p_0(V)(1-p_0(V))) 成正比。这给出了一个直观的分配规则：优先验证那些统计杠杆高（|a^T I_0^{-1} c_0| 大）且分类模糊（p_0 接近0.5）的记录。

证明路线与技术技巧¶

整体路线：
1. 评分分解：将OVAC评分 U_n(β) 分解为：真实nuisance下的评分 + 交叉拟合nuisance替换误差 + 风险集线性化误差。
2. 风险集线性化（Lemma A.2）：这是核心技巧。将经验风险集均值 \bar{X}_n 与总体均值 \bar{X}_0 的差，通过一个精确的代数恒等式（A.4）转化为一个二阶U-统计量。然后利用Hoeffding分解，将其一阶投影识别为 G_0 项，并证明剩余项是 o_p(n^{-1/2})。
3. 交叉拟合替换（Lemma A.1）：证明用交叉拟合的nuisance估计量 \hat{p}, \hat{\pi} 替换真实值 p_0, π_0 所产生的误差是 o_p(n^{-1/2})。这依赖于乘积率条件（A7）和交叉拟合的样本分割性质，避免了Donsker类条件。
4. 乘积率余项（Proposition 1）：证明nuisance估计误差对群体评分的影响是 p 和 π 误差的乘积，从而在乘积率条件下可忽略。
5. 影响函数识别（Theorem 3）：利用粗化随机投影引理（Lemma 4），将全数据Cox影响函数投影到观测数据空间，得到 ϕ_eff。这个投影过程自然产生了增强伪事件 D_0，而 G_0 项因为只依赖于 U, X（Phase I可观测）而保持不变。
关键跳跃点：
- Lemma A.2的证明：将 A_n = P_n[D_0 * (P_n f_U) / S_n^{(0)}] 转化为一个二阶U-统计量，并利用Hoeffding投影提取其主项 P_n G_0。这个技巧将看似复杂的风险集线性化问题，转化为一个标准的U-统计量渐近分析问题，是证明中最吃功夫的一步。
- Lemma 4的粗化随机投影：这是半参数缺失数据理论的标准工具，但作者将其巧妙地应用于当前设定，清晰地展示了 G_0 项为何会出现在观测数据有效影响函数中。
技术技巧点名：
- 经验过程理论：用于处理风险集均值 \bar{X}_n 和评分函数的一致收敛性。
- U-统计量Hoeffding分解：用于线性化风险集均值估计的误差（Lemma A.2）。
- 交叉拟合（Cross-fitting）：用于避免Donsker类条件，允许灵活nuisance估计。
- 乘积率论证（Product-rate argument）：基于Proposition 1的精确偏差分解，是Neyman正交性的核心。
- 粗化随机投影（Coarsening-at-random projection）：用于从全数据影响函数推导观测数据有效影响函数。

真实例子与应用¶

本文为纯理论/无实证例子。所有数值结果均基于蒙特卡洛模拟。模拟实验设计如下： * 数据：生成 n=2000 个受试者，协变量 X1 和 Z 独立标准正态。事件时间服从指数分布，速率 λ_T = 0.08 * exp(0.5 X1 - 0.3 Z)，因此真实 β_0 = (0.5, -0.3)^T。删失时间也服从指数分布，速率 λ_C = 0.06 * exp(0.25 Z)。 * 误差与验证：有误差的事件指示变量 ˜Δ 的敏感度为0.82，特异度为0.90。验证概率 π_0 依赖于 ˜Δ 和 X1，平均验证比例约为0.29。 * 方法应用：使用5折交叉拟合。事件桥 p(V) 使用逻辑回归，包含 ˜Δ, X1, Z。验证模型 π(V) 使用逻辑回归，包含 ˜Δ, X1。 * 结果： * 方差校准（表3）：在1000次重复中，全方差SE/SD比值为0.997（β1）和0.992（β2），95%覆盖率为0.955和0.948。这验证了基于有效影响函数的方差估计是准确的。 * 效率提升（表5）：在250次重复中，与IPW相比，OVAC将经验方差降低了38.8%（β1）和37.7%（β2）。这展示了利用非验证样本信息带来的效率增益。 * G0项诊断（表4）：在200次重复中，G_0 项单独的标准差约为全标准差的78-81%，但其与事件得分项的协方差几乎完全抵消了其方差贡献，导致删除 G_0 项对总方差影响极小（<0.3%）。这个例子旨在说明 G_0 项在理论上是必要的一阶项，但其实际影响取决于数据生成机制，不能因为其净效应小就忽略它。

🔎 结论是否比证明窄¶

效率声明：Theorem 4声称OVAC达到了半参数效率界。但这个结论依赖于交集模型，即 p 和 π 都必须被一致估计。在只有一侧正确（如 π 已知但 p 错误）的“双重稳健”情形下，OVAC仍然一致，但其渐近方差可能大于效率界。作者在5.2节和8.2节明确指出了这一点，并建议在这种情况下使用bootstrap进行推断。因此，“效率”声明比“一致性”声明更窄。
G0项的必要性：作者在引言和9.3节中反复强调 G_0 项是评分展开和有效影响函数所要求的，但其净方差影响可能很小。模拟结果（表4）显示，在特定DGP下，删除 G_0 项对标准误的影响不到0.3%。这似乎与“G_0 项是必要的”这一理论主张存在张力。作者的解释是，这是由该DGP下 ϕ_D 和 ϕ_G 的协方差抵消造成的，并非普遍现象，且理论要求保留它。因此，“G_0 项在数值上总是重要”这一隐含结论比证明窄，证明只保证了它是一阶项，但未保证其方差贡献不会被抵消。
扩展声明：作者在8.3节提到竞争风险扩展，但明确声明“this extension is not claimed as a new result here”。这表明论文的结论严格限定在单一事件、单一失败原因的场景。

四、开放问题¶

事件时间误差：本文的核心假设是随访时间 U 准确。如果 U 本身有测量误差，风险集也会被污染。如何将OVAC的思路扩展到同时校正事件指示变量和事件时间误差？这需要联合恢复风险过程和计数过程。扎根于：Section 1.2 “If event time itself is error-prone, the risk sets are also contaminated and the method developed here is insufficient.” 和 Section 8.4 “Why mismeasured event times require new theory”。
竞争风险：当存在多个竞争风险且原因标签有误时，如何将OVAC扩展到多项式的“原因桥”？需要推导跨原因联合影响函数，并处理单纯形约束。扎根于：Section 8.3 “For competing risks... a cause-specific OVAC score can therefore replace Δ_k by an augmented pseudo-cause. However, causes are multinomial rather than binary and the joint covariance across cause-specific estimators must account for the simplex constraint.”
高度自适应nuisance学习下的比较：本文的OVAC是一个“得分根（score-root）”估计量。在高度自适应nuisance学习（如深度神经网络）下，得分根估计量与“一步（one-step）”或“目标最小损失（targeted）”估计量在有限样本下的表现如何？哪种更稳定？扎根于：Section 11 “Highly adaptive nuisance learning also motivates comparison of the score-root estimator with one-step or targeted implementations.”
罕见事件设定：当真实事件概率 p_0(V) 对大多数记录都很小时，最优验证规则（Theorem 5）会变得高度集中。在这种设定下，OVAC的有限样本表现如何？是否需要特殊的正则化或稳定化技巧？扎根于：Section 11 “Finally, rare-event settings deserve dedicated study because the optimal validation rule can become highly concentrated when the true event probability is small for most records.”

Maintained by 陈星宇 · Homepage · Source on GitHub