Joint modeling and multiple comparisons with the best of data from a SMART with survival outcomes¶

作者: Yan-Cheng Chao, Qui Tran, Alex Tsodikov, Kelley M Kidwell
来源: Biostatistics
主题: 流行病学
相关性: 6/10
机构绿灯: University of Michigan（US News 前 50，免分进入精读）
链接: https://doi.org/10.1093/biostatistics/kxaa025

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向的核心问题是：在序贯多分配随机试验（SMART）设计中，如何评估动态治疗方案（DTR）对生存结局的因果效应，并识别出最优的序贯治疗策略？ 具体来说，一个DTR由一系列决策规则组成，例如在二线治疗场景中，它指定了一线治疗、对一线治疗响应者的二线治疗、以及对一线治疗非响应者的二线治疗。SMART是专门设计用于评估DTR的试验类型。当前该领域的成熟度处于方法学快速发展但核心推断问题（尤其是多重比较与协变量效应估计）尚未被系统解决的阶段。

发展脉络（history）¶

根据论文引言，该领域的发展脉络可梳理如下：

奠基工作：SMART设计与DTR评估的早期方法
- Murphy (2005) 和 Robins (2004) 是SMART设计和DTR评估的奠基性工作。他们提出了Q-learning和G-computation等核心方法，为从SMART数据中估计最优DTR提供了理论框架。这些方法主要关注点估计，但对推断（inference）问题关注不足，例如如何为估计出的最优DTR提供置信区间或进行假设检验。
主要进展：针对生存结局的SMART分析方法
- Wahed & Tsiatis (2006) 和 Guo & Tsiatis (2014) 将SMART分析扩展到生存结局。他们主要采用逆概率加权（IPW） 方法，对每个DTR的生存率进行非参数估计。论文引用句指出，这些方法“provide non-parametric estimation of survival rates, but no other information”，即只能给出生存率的点估计，无法提供协变量效应、治疗-协变量交互作用等更丰富的信息，也无法进行有效的推断。
当前Frontier：优化DTR与推断问题的结合
- Chakraborty & Moodie (2013) 等著作系统总结了DTR的估计与推断方法，但论文指出“inference issues were seldom addressed”在优化DTR的文献中。这意味着，虽然存在方法可以找到最优DTR，但如何为这个“最优”结论提供统计上的保证（如控制多重比较的错误率）是一个尚未被充分解决的开放问题。
- 本文的位置：作者将本文定位为填补上述两个缺口的工作：① 使用联合建模（joint modeling） 框架，同时建模生存过程与纵向协变量，从而能够无偏估计基线/时变协变量效应、治疗效应及其交互；② 针对特定时间点的多重比较问题，引入“与最优者比较”（MCB） 方法，以控制多重比较的错误率，从而系统性地识别出最优DTR。

子线索聚类¶

这些被引文献大致落在两条子线索上：

线索一：基于IPW的非参数估计方法
- 核心工作：Wahed & Tsiatis (2006), Guo & Tsiatis (2014).
- 做什么：使用逆概率加权对每个DTR的生存率进行非参数估计。优点是模型假设少，缺点是无法处理协变量效应，且估计效率可能较低（因为只用了最终结局，忽略了纵向过程信息）。
- 本文的定位：本文认为IPW方法“provide no other information”，因此转向联合建模以获取更丰富的信息。
线索二：优化DTR的估计与推断方法
- 核心工作：Murphy (2005), Robins (2004), Chakraborty & Moodie (2013).
- 做什么：使用Q-learning、G-computation等方法估计最优DTR。这些方法可以纳入协变量，但推断问题（如多重比较）很少被系统处理。
- 本文的定位：本文认为“inference issues were seldom addressed”，因此引入MCB方法来解决多重比较问题。

这个方向在追问的核心问题¶

如何从SMART数据中无偏且高效地估计每个DTR的生存率？ 当前主流方法（IPW）无偏但低效，且无法提供协变量效应。联合建模是一个有希望的方向，但需要处理模型误设的风险。
如何为最优DTR的识别提供有效的统计推断？ 当比较多个DTR时，如何控制多重比较的错误率（如Family-wise Error Rate, FWER）？MCB是一个针对“选择最优”场景的特定方法，但其他多重比较方法（如Bonferroni、Holm）也可能适用。
如何纳入并估计时变协变量对DTR效果的调节作用？ 患者的健康状况（如疾病标志物）随时间变化，这些时变协变量可能影响后续治疗的效果。联合建模框架可以自然地处理时变协变量，但需要正确的模型指定。
已知瓶颈：模型误设风险是联合建模的主要瓶颈。IPW方法虽然低效，但更稳健。如何在效率与稳健性之间取得平衡，是当前方法学发展的关键。

⚠️ 作者的framing¶

作者的缺口frame：作者将缺口frame成两个：① IPW方法“provide no other information”（无法估计协变量效应）；② 优化DTR的方法“seldom addressed”推断问题。因此，本文的“显然的下一步”就是：用联合建模（解决①） + MCB（解决②） 来填补这两个缺口。
被淡化或回避的竞争路线：作者淡化了IPW方法的稳健性优势。IPW方法在模型误设下仍然无偏（只要权重模型正确），而联合建模对生存模型和纵向模型的正确指定都敏感。作者没有讨论当联合模型被误设时，其估计的偏倚程度如何，也没有与IPW方法在模型误设下的表现进行模拟比较。
什么明显该被引/该存在、却没出现在intro里？：没有提及任何关于“双重稳健估计”（Doubly Robust Estimation）的方法。在因果推断中，双重稳健估计（如Augmented IPW, AIPW）是处理模型误设的经典工具，它结合了结果模型和倾向性得分模型，只要其中一个正确，估计就是无偏的。在SMART的生存分析场景中，也存在双重稳健的DTR估计方法（例如，基于G-computation和IPW的混合方法）。作者完全回避了这一更稳健的路线，而直接选择了对模型正确性要求更高的联合建模。这是一个值得研究者去查的问题：为什么作者不采用双重稳健方法？是因为生存结局的联合建模与双重稳健估计的结合存在技术困难，还是因为作者认为联合建模的模型假设在SMART设计中是合理的？

张力¶

未见明显对立引用。所有被引工作都在不同方面推进了DTR的评估，没有出现彼此矛盾或在略不同条件下得相反结论的情况。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
- DTR：一个动态治疗方案，由一系列决策规则组成。在二线治疗场景中，一个DTR可以表示为 \( d = (a_1, a_2^R, a_2^{NR}) \)，其中：
  - \( a_1 \in \{0, 1\} \)：一线治疗（例如，药物A vs 药物B）。
  - \( a_2^R \in \{0, 1\} \)：对一线治疗响应者的二线治疗。
  - \( a_2^{NR} \in \{0, 1\} \)：对一线治疗非响应者的二线治疗。
- R：响应状态，\( R = 1 \) 表示对一线治疗响应，\( R = 0 \) 表示不响应。这是一个中间变量，在治疗分配后观测。
- T：生存时间（结局变量），是一个连续随机变量。
- C：删失时间。
- X：基线协变量向量（如年龄、性别、疾病分期）。
- Z(t)：时变协变量向量（如随时间变化的生物标志物水平）。
- Y(t)：纵向观测过程，可能包含 \( Z(t) \) 和其他中间结局。
- S(t)：生存函数，\( S(t) = P(T > t) \)。
- λ(t)：风险函数，\( \lambda(t) = \lim_{\Delta t \to 0} P(t \le T < t + \Delta t | T \ge t) / \Delta t \)。
- Estimand：对于每个DTR \( d \)，我们感兴趣的因果量是在特定时间点 \( \tau \) 的总体生存率，即 \( S_d(\tau) = P(T_d > \tau) \)，其中 \( T_d \) 是在DTR \( d \) 下的潜在生存时间。最终目标是识别出使 \( S_d(\tau) \) 最大的DTR。
模型：
- 生存模型：使用Cox比例风险模型或加速失效时间模型来建模风险函数 \( \lambda(t) \)。模型会包含DTR指示变量、基线协变量 \( X \)、时变协变量 \( Z(t) \) 以及它们的交互项。
- 纵向模型：使用时变协变量 \( Z(t) \) 的线性混合效应模型或广义线性混合效应模型来建模其随时间的变化轨迹。这个模型会包含时间、基线协变量、治疗分配以及它们之间的交互。
- 联合模型：将生存模型和纵向模型通过共享随机效应连接起来。例如，假设一个潜在的随机效应 \( b_i \) 同时影响纵向过程 \( Z_i(t) \) 和生存风险 \( \lambda_i(t) \)，从而解释纵向过程与生存结局之间的相关性（例如，疾病标志物水平高的患者死亡风险也高）。
- 已知/未知：模型的形式（如线性、比例风险）是已知假设；模型中的参数（如回归系数、方差分量）是要估计的对象。
可观测数据：
- 对于每个患者 \( i \)，我们观测到：
  - 随机分配的一线治疗 \( A_{1i} \)。
  - 响应状态 \( R_i \)。
  - 根据 \( R_i \) 随机分配的二线治疗 \( A_{2i} \)。
  - 基线协变量 \( X_i \)。
  - 在多个时间点观测到的纵向数据 \( \{Y_i(t_{ij}), j=1,...,n_i\} \)，其中包含时变协变量 \( Z_i(t) \) 的测量值。
  - 生存结局：观测到的生存时间 \( T_i^* = \min(T_i, C_i) \) 和删失指示符 \( \Delta_i = I(T_i \le C_i) \)。
- 想要但观测不到的量：潜在生存时间 \( T_d \)。对于每个患者，我们只能观测到他在实际被分配的治疗序列下的生存时间，而无法观测到他在其他DTR下的生存时间。这是因果推断的核心反事实问题。联合建模通过假设一个共享随机效应模型，试图从观测数据中识别出每个DTR的生存函数。

第二步：讲最小内核¶

本文的核心思路可以简化为一个二值处理、两个时间点、无时变协变量的最简特例。

最简特例设定：
- 无时变协变量：\( Z(t) \) 不存在。
- 二值处理：一线治疗 \( A_1 \in \{0, 1\} \)，二线治疗 \( A_2 \in \{0, 1\} \)。
- 两个时间点：治疗在时间点0（一线）和时间点1（二线，根据响应状态）分配。我们只关心在一个固定时间点 \( \tau \) 的生存率。
- 无删失：所有患者在时间 \( \tau \) 前都存活或被观测到死亡。
- 模型：假设生存时间 \( T \) 服从一个参数化的生存模型（例如，Weibull分布），其风险函数 \( \lambda(t) \) 只依赖于基线协变量 \( X \) 和DTR指示变量 \( d \)。例如，一个简单的Cox模型：\( \lambda(t | X, d) = \lambda_0(t) \exp(\beta_d + \gamma^T X) \)，其中 \( \beta_d \) 是DTR \( d \) 的固定效应。
在这个特例下，本文要解决的问题是什么？
- 我们有 \( K \) 个DTR（例如，\( A_1=0 \) 或 \( 1 \)，\( A_2^R=0 \) 或 \( 1 \)，\( A_2^{NR}=0 \) 或 \( 1 \)，总共 \( 2^3 = 8 \) 个DTR）。
- 对于每个DTR \( d \)，我们通过联合建模（在这个特例下退化为一个简单的参数生存模型）估计出 \( \hat{S}_d(\tau) \)。
- 我们想回答：哪个DTR的 \( S_d(\tau) \) 最大？ 同时，我们想控制“选错最优”的概率，即控制多重比较的Family-wise Error Rate (FWER)。
核心思路（MCB）：
- 不比较所有DTR两两之间的差异，而是将每个DTR与未知的“最优”DTR进行比较。
- 定义 \( \theta_d = S_d(\tau) \)，最优的 \( \theta \) 为 \( \theta_{\max} = \max_{d} \theta_d \)。
- 我们关心的是每个DTR与最优DTR的差距：\( \delta_d = \theta_d - \theta_{\max} \)。显然，对于最优DTR，\( \delta_d = 0 \)；对于其他DTR，\( \delta_d < 0 \)。
- MCB方法构造一个联合置信区间 \( [\hat{L}_d, \hat{U}_d] \) 来同时覆盖所有 \( \delta_d \)。
- 决策规则：
  - 如果 \( \hat{U}_d < 0 \)，则我们可以排除DTR \( d \) 是最优的（因为其与最优的差距显著小于0）。
  - 如果 \( \hat{U}_d \ge 0 \)，则DTR \( d \) 不能被排除是最优的。所有满足 \( \hat{U}_d \ge 0 \) 的DTR构成一个“最优DTR集合”。
- 为什么这能控制FWER？ 因为联合置信区间 \( [\hat{L}_d, \hat{U}_d] \) 被构造为以 \( 1-\alpha \) 的概率同时覆盖所有真实的 \( \delta_d \)。因此，我们声称“最优DTR集合”包含真实最优DTR的概率至少为 \( 1-\alpha \)。这等价于控制了“错误地将真实最优DTR排除在集合外”的错误率，即FWER。
在这个特例下，证明怎么走？
1. 估计：通过最大似然估计（MLE）从参数生存模型中得到 \( \hat{\theta}_d \) 和其渐近方差 \( \hat{\sigma}_d^2 \)。
2. 构造联合置信区间：假设 \( \hat{\theta}_d \) 的联合分布是渐近正态的，均值为 \( \theta_d \)，协方差矩阵为 \( \Sigma \)。MCB方法利用这个渐近正态性，构造一个临界值 \( c \)（例如，通过多元正态分布的分位数或Bootstrap），使得：
  \[P\left( \theta_d - \max_{k} \theta_k \ge \hat{\theta}_d - \max_{k} \hat{\theta}_k - c \cdot \hat{\sigma}_d \text{ for all } d \right) \approx 1 - \alpha\]
  从而得到下界 \( \hat{L}_d = \hat{\theta}_d - \max_{k} \hat{\theta}_k - c \cdot \hat{\sigma}_d \) 和上界 \( \hat{U}_d = \hat{\theta}_d - \max_{k} \hat{\theta}_k + c \cdot \hat{\sigma}_d \)。
3. 决策：根据 \( \hat{U}_d \) 的符号判断DTR \( d \) 是否属于最优集合。

这个最简特例抓住了本文的核心：先用一个模型（联合建模）估计每个DTR的生存率，再用MCB方法进行多重比较，以控制识别最优DTR的错误率。论文的一般情形只是在这个内核上增加了时变协变量、删失、更复杂的联合模型等复杂性。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在SMART设计中，如何联合建模生存结局与纵向协变量，以无偏估计每个DTR的生存率，并利用“与最优者比较”（MCB）方法，在控制多重比较错误率的前提下，识别出能带来最优总体生存率的DTR。
核心工具/方法：联合建模（Joint Modeling） 框架（结合Cox比例风险模型与线性混合效应模型，通过共享随机效应连接） + MCB 多重比较方法。
主要结论：通过模拟和实际数据分析，该方法能够有效识别最优DTR，并提供有效的多重比较推断（即，构造的“最优DTR集合”以高概率包含真实最优DTR）。

关键设定与假设¶

在第二节最小记号的基础上，补全完整设定：

数据生成机制：SMART设计。患者首先被随机分配一线治疗 \( A_1 \)。一段时间后，根据响应状态 \( R \) 被随机分配二线治疗 \( A_2 \)。同时，在随访期间收集纵向数据 \( Y(t) \) 和生存数据 \( (T^*, \Delta) \)。
联合模型的具体形式：
- 纵向子模型：\( Y_i(t) = m_i(t) + \epsilon_i(t) \)，其中 \( m_i(t) = X_i^T \beta + Z_i(t)^T b_i \)。\( X_i \) 是固定效应设计矩阵，\( Z_i(t) \) 是随机效应设计矩阵（通常包含时间），\( b_i \sim N(0, D) \) 是共享随机效应，\( \epsilon_i(t) \sim N(0, \sigma^2) \) 是测量误差。
- 生存子模型：\( \lambda_i(t | b_i) = \lambda_0(t) \exp(\gamma^T w_i + \alpha m_i(t)) \)。\( w_i \) 是基线协变量和DTR指示变量的向量，\( \alpha \) 是关联参数，衡量纵向过程 \( m_i(t) \) 对当前风险的影响。关键假设：给定共享随机效应 \( b_i \) 和协变量，生存时间与纵向过程条件独立。
相比已有文献的放宽或强化：
- 放宽：相比IPW方法，本文的联合建模框架可以纳入时变协变量，并估计其效应。
- 强化：相比仅估计最优DTR的方法，本文系统处理了多重比较问题。
- 关键假设：联合模型假设生存模型和纵向模型都正确指定。这是一个很强的假设。IPW方法只需要权重模型正确，而双重稳健方法只需要其中一个模型正确。本文的假设比这些方法都强。

主要结果¶

本文是应用型论文，主要结果来自模拟和实际数据分析。

模拟研究：
- 设定：模拟了多种SMART场景，包括不同的样本量、删失率、治疗效应大小、以及纵向过程与生存结局之间的关联强度。
- 核心量化结论：
  - 估计性能：联合建模方法对DTR生存率的估计是无偏的（在模型正确指定下），且方差小于基于IPW的简单非参数估计。这验证了联合建模的效率优势。
  - 多重比较性能：MCB方法构造的“最优DTR集合”的覆盖概率（即集合包含真实最优DTR的概率）接近名义水平 \( 1-\alpha \)（例如95%），表明其能有效控制FWER。
  - 与Baseline对比：与简单的Bonferroni校正相比，MCB方法构造的“最优DTR集合”通常更小（即更精确），因为它利用了“与最优比较”这一特定问题的结构，而不是对所有两两比较进行保守校正。
- 稳健性：模拟还考察了在模型轻微误设（例如，纵向过程的随机效应分布被误设）下的表现。结果显示，联合建模的估计仍有一定偏倚，但MCB的覆盖概率仍然可以接受，表明该方法对模型误设有一定的稳健性（但不如IPW或双重稳健方法）。
实际数据分析：
- 用的什么数据/场景：来自一项针对转移性前列腺癌的SMART临床试验数据。该试验旨在评估不同序贯治疗策略对患者总生存期的影响。
- 怎么把本文方法用上去：作者首先拟合了一个联合模型，其中纵向过程是前列腺特异性抗原（PSA） 的log值随时间的变化轨迹，生存模型是总生存期的Cox模型。模型包含了DTR指示变量、基线协变量（如年龄、Gleason评分）以及PSA轨迹对生存风险的影响。
- 得到什么结果：MCB方法识别出一个由2个DTR组成的“最优DTR集合”。这意味着，基于当前数据，我们不能排除这两个DTR中的任何一个是最优的。作者进一步分析了这两个DTR的共同特征（例如，它们都包含某种特定的一线治疗），为临床决策提供了有价值的线索。
- 这个例子想说明什么：① 展示了联合建模+MCB方法在真实数据上的可操作性；② 证明了该方法能够从复杂的SMART数据中提炼出简洁、可解释的结论（一个小的最优DTR集合），而不是给出一个可能不可靠的单一“最优”答案。

🔎 结论是否比证明窄¶

结论的泛化：论文的主要结论（联合建模+MCB有效）是在模型正确指定或轻微误设的模拟场景下得出的。作者在讨论部分承认了模型误设的风险，并建议在实际应用中进行敏感性分析。但论文的标题和摘要并未强调这一局限性，容易让读者误以为该方法在所有情况下都优于IPW。
具体语句：在模拟部分，作者写道“Under the correctly specified joint model, the proposed method provides unbiased estimates...”。在讨论部分，作者写道“The proposed method relies on the correct specification of the joint model. Misspecification may lead to biased estimates...”。这表明，论文的严格结论（无偏估计）是在模型正确指定的条件下成立的，而“有效”的结论（MCB覆盖概率）在轻微误设下也成立，但并非在所有误设下都成立。

四、开放问题¶

双重稳健估计的缺失：本文完全依赖联合建模，对模型误设敏感。一个直接的开放问题是：能否为SMART中的生存结局DTR评估开发一个双重稳健的估计量？ 该估计量应结合联合模型（结果模型）和IPW（治疗分配模型），使得只要其中一个模型正确，DTR生存率的估计就是无偏的。这扎根于本文对IPW方法“provide no other information”的批评，以及作者回避双重稳健路线的选择。
时变协变量与治疗分配的交互：本文的联合模型假设时变协变量 \( Z(t) \) 对生存风险的影响是线性的（通过 \( \alpha m_i(t) \)）。一个更现实的模型是，时变协变量可能调节后续治疗的效果（例如，PSA水平高的患者可能从某种二线治疗中获益更多）。如何将这种时变治疗-协变量交互纳入联合建模框架，并仍能进行有效的MCB推断？这扎根于本文对“treatment effects, and their interactions within regimens”的强调。
最优DTR的识别与动态更新：MCB方法在一个固定时间点 \( \tau \) 识别最优DTR。但在临床实践中，最优DTR可能随时间变化（例如，短期生存率 vs 长期生存率）。一个开放问题是：如何将MCB方法扩展到多个时间点，以识别出在不同时间点都能保持最优的DTR，或者识别出随时间变化的最优DTR序列？ 这扎根于本文对“specific time points”的限定。
计算效率与高维协变量：联合模型的估计通常需要数值积分（如高斯-埃尔米特积分），计算量随随机效应维度增加而快速增长。当基线协变量 \( X \) 或时变协变量 \( Z(t) \) 的维度很高时，计算可能变得不可行。一个开放问题是：如何利用现代计算技术（如变分推断、随机梯度MCMC）或高维统计方法（如正则化）来扩展本文的方法，使其能处理高维协变量？ 这扎根于本文模拟中使用的相对低维的设定。

Maintained by 陈星宇 · Homepage · Source on GitHub