A discrete-time survival model to handle interval-censored covariates, with applications to HIV cohort studies¶
作者: Avi Kenny, Stephen Olivier, Jianxuan Zang, Jeffrey W Imai-Eaton, James P Hughes et al.
来源: Journal of the Royal Statistical Society Series C
主题: 因果推断
相关性: 6/10
机构绿灯: Duke University(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是生存分析中协变量测量误差/不完整观测的处理,具体聚焦于:当影响生存结局的关键协变量(如HIV感染状态)本身是一个区间删失(interval-censored)的时变过程时,如何对结局的风险函数进行推断。这里的根本困难在于:协变量的真实取值时间未知,只知道它落在某个区间内(例如两次检测之间),且协变量的观测模式(检测时间、检测频率)往往与结局和协变量本身相关,即删失机制可能是信息性的(informative)。该方向处于"生存分析 + 缺失数据 + 因果推断"的交叉地带,成熟度属于"方法需求明确、但通用解决方案缺乏"的状态——已有工作多为特定设定下的特例处理,缺乏一个能同时容纳四种删失类型(有限区间、左删失、右删失、完全缺失)的统一框架。
发展脉络¶
- 奠基工作:Kaplan & Meier (1958) 和 Cox (1972) 奠定了生存分析的基本框架,但都假设协变量完全观测。这是所有后续工作的共同起点——一旦协变量出现删失,这些经典工具直接失效。
- 区间删失协变量的早期处理:Langohr et al. (2004) 首次将HIV感染状态作为区间删失协变量纳入参数生存模型,但其模型过于简单(对数线性参数形式),不允许协变量影响感染分布,也不支持时变协变量。Goggins et al. (1999) 提出EM算法处理类似问题,但计算上不可扩展,且同样不允许感染分布依赖个体协变量。
- 生存分析中区间删失结局的方法积累:Gómez et al. (2009) 的综述系统梳理了区间删失结局的各类方法,但处理的是"结局区间删失"而非"协变量区间删失",两者在似然结构上有本质区别。
- HIV流行病学中的实用主义处理:Reniers et al. (2014) 和 Vandormael et al. (2018, 2019) 代表了实际数据分析中的通行做法——要么在两次检测中点插值(midpoint imputation),要么在最后一次阴性检测后固定时间点删失。Vandormael et al. (2018) 明确证明了中点插值在检测率下降时会产生系统性偏差,这为本文的"联合建模"路线提供了直接动机。
- 本文的位置:Kenny et al. 将上述线索整合为一个离散时间参数生存模型,同时建模(1)感染(次要事件)的离散风险、(2)死亡的离散风险、(3)检测行为(删失机制),并通过全似然联合推断。相比 Langohr et al. (2004) 和 Goggins et al. (1999),本文的模型允许感染分布依赖个体协变量、允许时变协变量、计算上可扩展到大规模队列数据(通过似然分解避免对指数多个感染路径求和)。
子线索聚类¶
- 协变量删失的生存模型(方法线):Goggins et al. (1999)、Langohr et al. (2004)、Ahn et al. (2018)、Atem et al. (2019)、Sattar et al. (2012)。这条线直接处理"协变量不完整"的推断问题,但各自局限于特定删失类型(右删失、左删失、区间删失)和特定模型形式。
- 区间删失数据的通用方法(工具线):Lindsey & Ryan (1998)、Pan & Chappell (2002)、Gómez et al. (2009)。这条线提供了区间删失似然构造的一般框架,但主要针对结局而非协变量。
- HIV流行病学中的实际估计(应用线):Vandormael et al. (2018, 2019)、Reniers et al. (2014)、Risher et al. (2021)、Johnson et al. (2022)。这条线暴露了现有方法的不足——中点插值有偏、删失大量有效人时、无法处理检测行为与结局的相关性。
这个方向在追问的核心问题¶
- 可识别性:在什么条件下,区间删失协变量对结局的效应可以被非参数识别?需要什么样的检测机制假设(完全随机、可忽略、还是必须显式建模)?
- 效率:相比简单插值或删失,联合建模能带来多少效率提升?在什么数据特征下(检测频率、事件率)收益最大?
- 稳健性:当感染分布、删失机制或结局模型的参数形式被误设时,估计的偏差有多大?是否存在对模型误设更稳健的半参数替代方案?
- 计算可扩展性:当协变量过程是多状态(如HIV感染后进入治疗)或连续时间时,似然中的求和/积分维度如何控制?
⚠️ 作者的 framing¶
作者将缺口frame为:"现有方法要么只能处理部分删失类型,要么计算不可行,要么不允许协变量影响感染分布。本文提出一个统一的离散时间框架,能同时处理四种删失类型,且计算上可扩展到大规模队列数据。" 作者淡化的竞争路线包括:(1)半参数方法——本文坚持全参数似然,对基线风险函数施加了参数形式(如样条),而Cox模型的支持者会认为这牺牲了稳健性;(2)EM算法——作者在讨论中承认EM是替代方案,但强调其计算负担和指定条件分布的困难;(3)多重插补——作者未详细讨论将区间删失协变量视为缺失数据并用MI处理的路线。
值得研究者去查的问题:作者声称"据我们所知,这是唯一能同时处理四种删失类型的模型",但Ahn et al. (2018) 的设定与本文高度相似(区间删失的二值时变协变量 + Cox模型),作者对两者的差异(参数vs半参数、离散vs连续时间、似然vs EM)的讨论是否充分?另外,作者没有引用任何关于代理变量(surrogate)或测量误差模型的文献(如Carroll et al. 2006的经典著作),这些文献处理的是"协变量观测含噪声"而非"协变量观测时间不确定",但两者在方法论上可能有可借鉴之处。
张力¶
未见明显的、在略不同条件下得出相反结论的引用。但存在一个隐含张力:Vandormael et al. (2018) 表明中点插值在检测率下降时有偏,而Reniers et al. (2014) 的多国分析仍在使用类似插值方法——这说明"方法论的严谨性"与"实际可操作性"之间存在持续的拉扯,本文试图通过提供一个计算可行的全似然方案来弥合这一差距。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号清单(逐个点名):
| 符号 | 含义 | 类型 |
|---|---|---|
| \(i \in \{1,\dots,n\}\) | 个体索引 | 样本 |
| \(j \in \{1,\dots,J\}\) | 离散时间区间索引(如年) | 时间网格 |
| \(s_i, t_i\) | 个体 \(i\) 的观测窗口起点和终点 | 可观测 |
| \(Y_{i,j} \in \{0,1\}\) | 个体 \(i\) 在时间 \(j\) 是否发生主要事件(如死亡) | 可观测(右删失) |
| \(X_{i,j} \in \{0,1\}\) | 个体 \(i\) 在时间 \(j\) 是否已发生次要事件(如HIV感染) | 部分可观测(区间删失) |
| \(Z_{i,j}\) | 完全观测的协变量向量(如年龄、性别) | 可观测 |
| \(\Delta_{i,j} \in \{0,1\}\) | \(X_{i,j}\) 是否被观测到 | 可观测 |
| \(U_{i,j} = \Delta_{i,j} X_{i,j}\) | 观测到的 \(X\) 值(若 \(\Delta=0\) 则缺失) | 可观测 |
| \(p^*_x(\tilde{x}, z, j, s, \Omega)\) | 次要事件的离散风险(给定上一期状态 \(\tilde{x}\)、协变量 \(z\)、时间 \(j\)、是否首期 \(s\)) | 待估参数 |
| \(p^*_y(x, z, j, \Omega)\) | 主要事件的离散风险(给定当前 \(X_{i,j}=x\)、协变量 \(z\)、时间 \(j\)) | 待估参数 |
| \(\Omega\) | 全部模型参数 | 参数 |
| \(\mathcal{X}\) | \(X_i\) 的所有可能取值路径(\(k+1\) 个,因为 \(X\) 是0→1单调的) | 潜在路径空间 |
模型(两个马尔可夫假设):
-
次要事件(感染):\(P(X_{i,j}=1 \mid \bar{X}_{i,j-1}, \bar{Y}_{i,j-1}, \bar{Z}_{i,j}) = P(X_{i,j}=1 \mid Z_{i,j}, X_{i,j-1}=0)\)。即:给定当前协变量和上一期感染状态,感染风险与更早的历史无关。注意 \(X\) 是吸收状态(一旦感染,\(X_{i,j}=1\) 对所有后续 \(j\) 成立),所以 \(X_i\) 的路径空间只有 \(k+1\) 个元素(在第 \(0,1,\dots,k\) 期感染)。
-
主要事件(死亡):\(P(Y_{i,j}=1 \mid \bar{X}_{i,j}, \bar{Y}_{i,j-1}, \bar{Z}_{i,j}) = P(Y_{i,j}=1 \mid X_{i,j}, Y_{i,j-1}, Z_{i,j})\)。即:给定当前感染状态和协变量,死亡风险与更早历史无关。
可观测数据:对每个个体 \(i\),我们观测到 \((s_i, t_i, Y_i, U_i, \Delta_i, Z_i)\)。关键点是:\(X_i\) 的真实路径未知,但我们知道: - 若 \(\Delta_{i,j}=1\) 且 \(U_{i,j}=1\):\(X_{i,j}=1\)(已感染) - 若 \(\Delta_{i,j}=1\) 且 \(U_{i,j}=0\):\(X_{i,j}=0\)(未感染) - 若 \(\Delta_{i,j}=0\):\(X_{i,j}\) 未知
估计目标:\(\Omega\)(包括 \(p^*_x\) 和 \(p^*_y\) 中的所有参数),特别是 \(\beta\)——感染状态对死亡风险的(对数)风险比。
第二步:最小内核¶
最小设定:假设只有 \(J=2\) 个时间区间,每个个体 \(i\) 有 \(s_i=1\)(从第一期开始观测),\(t_i=2\)(观测两期)。\(X_{i,1}\) 完全观测(\(\Delta_{i,1}=1\)),\(X_{i,2}\) 可能缺失(若个体在第二期没有检测)。\(Y_{i,2}\) 是死亡指示(假设 \(Y_{i,1}=0\) 对所有个体成立,即第一期无人死亡)。协变量 \(Z\) 为常数(如性别)。
核心困难:对于 \(X_{i,2}\) 缺失的个体,我们不知道他们在第二期是否已感染。如果直接删掉这些个体(complete-case analysis),会损失大量信息;如果假设缺失即未感染,会系统性低估感染率;如果假设缺失即已感染,会高估。关键在于:检测行为(\(\Delta_{i,2}\))可能与 \(X_{i,2}\) 和 \(Y_{i,2}\) 都相关——例如,症状更重的人更可能去检测,而症状重也意味着死亡风险高。
本文的解法:写出完整数据的似然,然后对未知的 \(X\) 求和(积分掉):
完整数据似然(对个体 \(i\)):
关键观察:在最小例子中,\(\mathcal{X}\) 只有 3 个元素(\(X_i = (0,0)\)、\((0,1)\)、\((1,1)\))。对于 \(X_{i,2}\) 缺失的个体,似然是三项之和: - 若 \(X_{i,1}=0\)(第一期未感染),则 \(X_{i,2}\) 可能是 0 或 1,对应两种路径; - 若 \(X_{i,1}=1\)(第一期已感染),则 \(X_{i,2}=1\) 必然。
为什么这样能work:关键在于 \(f_\delta\) 的设定。本文假设检测行为(\(\Delta^*\))只依赖于已观测到的信息(协变量 \(Z\) 和过去的检测结果),而不直接依赖于当前未观测的 \(X_{i,j}\)。这相当于一个序贯可忽略性(sequential ignorability)假设——检测决策不依赖于当前感染状态的未观测值。在这个假设下,\(f_\delta\) 可以从似然中分解出来(或作为已知权重处理),而 \(X\) 的求和只涉及 \(f^*_x\) 和 \(f^*_y\) 的乘积。
这个最小内核揭示了本文的核心数学操作:对每个个体,将似然写成对 \(X_i\) 所有可能路径的求和(\(k+1\) 项),其中每项是感染路径概率与给定路径下结局概率的乘积。当 \(k\) 很大时(如20年随访),直接求和有 \(k+1\) 项,每项需要计算 \(O(k)\) 个概率的乘积,总复杂度 \(O(k^2)\)——对单个个体可行,但需要数值优化。本文的贡献在于将这一求和嵌入离散时间生存模型的似然框架,并展示了如何通过参数化 \(p^*_x\) 和 \(p^*_y\) 使得整个似然可以高效计算。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在生存分析中,当关键协变量(HIV感染状态)是区间删失的时变二值过程时,如何无偏且高效地估计该协变量对主要结局(全因死亡率)的风险比。
- 核心方法:提出一个离散时间参数生存模型,同时建模次要事件(感染)的离散风险、主要事件(死亡)的离散风险、以及检测行为(删失机制),通过全似然联合推断,对每个个体的感染路径求和(数据增广)来 marginalize 掉未观测的感染时间。
- 主要结论:模拟研究表明,在检测率下降的场景下,所提方法相比中点插值和固定时间删失等ad-hoc方法具有更小的偏差和更好的覆盖概率;应用于南非队列数据(2010-2022,102,784人,879,098人年)时,估计的HIV阳性 vs 阴性死亡风险比随年龄和日历时间变化,且与既往文献定性一致。
关键设定与假设¶
- 离散时间框架:时间被划分为等距区间(年),所有风险函数都是离散的。这避免了连续时间模型中对区间删失协变量的积分困难,但代价是需要指定基线风险的参数形式。
- 马尔可夫假设(公式1和2):感染风险只依赖当前协变量和上一期感染状态;死亡风险只依赖当前感染状态和协变量。这排除了感染时间与死亡风险之间的交互效应(即"近期感染"vs"长期感染"的区分),是本文最关键的简化假设。
- 删失机制建模:检测行为 \(\Delta^*\) 被显式建模(公式7),允许依赖协变量和时间。作者假设 \(\Delta^*\) 不依赖于未观测的当前感染状态(序贯可忽略性),但允许检测行为与感染状态相关(通过协变量间接相关)。这一假设比MCAR弱,但比MNAR强。
- 参数形式:所有风险函数都用互补log-log链接(离散Cox)建模,基线风险用样条或线性项近似。相比Cox部分似然,这是全参数方法——优点是似然可以直接写出并最大化,缺点是基线风险函数的形式可能误设。
- 相比已有文献:相比Langohr et al. (2004)(不允许协变量影响感染分布)、Goggins et al. (1999)(计算不可行)、Ahn et al. (2018)(仅处理有限区间删失),本文的模型更灵活、计算更高效、覆盖的删失类型更全。
主要结果¶
- 模拟:在1000次重复中,所提方法对 \(\beta\)(感染对死亡的对数风险比)的估计近似无偏(偏差约0.009,真值0.4),95%置信区间覆盖率为93.9%-96.6%。相比之下,中点插值在检测率下降时产生明显偏差(文中未给出具体数值,但指出"系统性偏差")。标准误估计准确(平均估计标准误0.149 vs 经验标准误0.143)。
- 实证:在AHRI队列中,HIV阳性个体的全因死亡率显著高于HIV阴性个体,风险比在年龄35岁组最高(约8-10倍),在年龄50岁组较低(约3-4倍),且随时间推移风险比下降。这些模式与既往文献一致(如Reniers et al. 2014)。
- 方法对比:作者指出,如果使用"最后一次阴性检测后删失"的ad-hoc方法,会损失大量HIV阴性个体的人年数据(文中提到"substantial proportion of observed person-time"被丢弃),而本文方法利用了所有可用人年。
证明路线与技术技巧¶
本文是方法+应用型论文,没有传统意义上的定理证明,其"证明"体现在似然推导和模拟验证上:
- 似然构造(核心步骤):
- 写出完整数据似然:\(L_i = \sum_{x \in \mathcal{X}} f^*_x(x \mid \cdot) \cdot f^*_y(y \mid x, \cdot) \cdot f_\delta(\delta \mid x, y, \cdot)\)
- 关键技巧:利用 \(X\) 的单调性(0→1吸收态),将 \(\mathcal{X}\) 限制为 \(k+1\) 个路径,避免 \(2^k\) 指数爆炸。
-
对 \(f_\delta\) 的分解:假设检测行为只依赖已观测信息,使得 \(f_\delta\) 不进入关于 \(\Omega\) 的得分函数(或作为已知权重)。
-
数值优化:
- 使用R的
optim()最大化似然,numDeriv包计算Hessian矩阵估计标准误。 -
模拟使用
SimEngine框架(Kenny & Wolock 2024)结构化。 -
技术技巧:
- 数据增广:将区间删失的 \(X\) 视为潜在变量,通过对所有可能路径求和来 marginalize,而非EM算法(作者明确讨论了EM的缺点:需要指定条件分布、计算慢)。
- 互补log-log链接:离散时间Cox模型的自然选择,保证风险在 \((0,1)\) 区间。
- 自然样条:用于建模年龄和日历时间的非线性效应,减少参数化风险。
🔎 结论是否比证明窄¶
- 明确承认的局限:作者在讨论中承认(1)模型假设 \(X\) 是吸收态(一旦感染永远感染),这在HIV背景下合理,但在其他应用中可能不成立;(2)删失机制假设(序贯可忽略性)不可检验;(3)参数形式可能误设。
- 未明确承认的gap:作者声称模型"处理所有四种删失类型",但模拟只验证了有限区间删失和右删失的组合,对左删失(进入队列时已感染但首次检测在之后)和完全缺失(从未检测)的场景没有专门的模拟验证。此外,作者没有讨论治愈模型(cure model)或竞争风险(competing risks)的扩展,而这些在HIV研究中很常见。
- 结论表述:作者在摘要和结论中使用"flexible"、"computationally tractable"等定性描述,没有给出具体的计算复杂度或运行时间数据。模拟中只报告了偏差和覆盖概率,没有报告均方误差(MSE)或与更高效估计器的效率对比。
四、开放问题¶
以下问题均扎根于本文的具体语句:
-
半参数化扩展(扎根于:"a drawback of our model (unlike the Cox model) is that the baseline hazard of the outcome has to be specified parametrically"):能否在保持离散时间框架的同时,允许基线风险函数非参数化(如通过惩罚似然或经验似然)?这将消除全参数模型对基线风险形式误设的担忧。
-
删失机制假设的放松(扎根于:"we assume that, conditional on covariates, individuals for whom we have no testing data have the same hazard of seroconversion as individuals for whom we do have testing data"):当检测行为直接依赖于未观测的感染状态(MNAR)时,模型是否可识别?需要什么样的额外假设或辅助数据(如检测试剂的灵敏度/特异度)?
-
多状态扩展(扎根于:"Exploration of the case involving multiple secondary events represents a worthwhile direction for future research"):当次要事件是多个(如HIV感染、开始抗逆转录病毒治疗、病毒抑制)且状态空间更复杂时,似然中的求和路径数如何控制?是否存在图模型/张量网络结构可以利用(这与研究者的高阶U统计量/张量收缩工作有潜在联系)?
-
因果解释(扎根于:"the hazard ratio of HIV-positive status relative to HIV-negative status"):本文估计的是条件风险比,但HIV感染状态是一个时变暴露,存在时间依赖混杂(如CD4计数既是感染的结果又影响死亡风险)。能否将本文的似然框架嵌入g-formula或边际结构模型的框架,估计边际因果效应?
-
效率界(扎根于模拟中"minor deviations from expected operating characteristic values"):本文没有给出估计量的半参数效率界。在给定检测频率和事件率下,联合建模估计量的方差下界是什么?与简单插值方法相比,效率增益的理论刻画是什么?
提醒:要确认上述问题是否为真gap,建议去读以下近期文献的intro(各约5篇):(a) 区间删失协变量的半参数方法(如基于EM的Cox模型扩展);(b) 时变暴露的因果推断(g-formula、参数边际结构模型);(c) 带测量误差的生存分析(regression calibration、SIMEX)。如果这些文献的intro都指向同一个未解决问题,那就是共识性gap;如果它们各说各话、互不引用,那可能是机会也可能是陷阱。
Maintained by 陈星宇 · Homepage · Source on GitHub