跳转至

Estimating the effects of treatment regimes over the course of chronic disease: A multi-state causal framework with baseline confounding

作者: Ming Ding
来源: Statistical Methods in Medical Research
主题: 因果推断
相关性: 7/10
机构绿灯: University of North Carolina at Chapel Hill(US News 前 50,免分进入精读)
链接: https://doi.org/10.1177/09622802261445822


一、领域脉络与小综述

这个方向是什么:本文属于"因果推断 × 纵向多状态生存分析"的交叉地带。其根本科学问题是:当慢性病是一个多阶段、多终点的长期过程(如健康→代谢风险→冠心病→心衰→死亡)时,如何估计一个治疗策略(treatment regime)在整个病程上的因果效应,并识别最优策略。当前成熟度:方法学上已有单终点动态治疗策略的成熟框架(g-formula、MSM),但将"病程结构"本身作为结果维度纳入因果比较的工具仍然稀缺,本文试图填补这一缺口。

发展脉络(history):

  • 奠基工作:Robins, Hernán & Brumback (2000) 提出边际结构模型(MSM),用逆概率加权处理时变混杂下的动态治疗比较;Young et al. (2011) 将参数 g-formula 系统应用于动态治疗策略的效应估计。这两篇奠定了"治疗策略因果效应"的识别与估计范式——通过标准化或加权,将观测数据中的治疗-结局关联转化为因果参数。
  • 主要进展:多状态模型(multi-state models)在生存分析中已有成熟发展,Meira-Machado et al. (2009) 系统综述了多状态模型用于时依事件数据分析的方法,包括转移概率的估计。但这些工作主要聚焦于"描述"疾病进程,而非"比较"治疗策略的因果效应。
  • 当前 frontier:Ding 本人前期的 split-state 框架(Ding, Chen & Lin, 2025, BMC Med Res Methodol)解决了多状态过程的"记忆性"问题——通过按既往史细分状态,使转移过程同时满足马尔可夫性(可用 Aalen-Johansen 估计)又保留历史信息(状态本身编码了路径)。Ding, Lin & Meyer (2024, medRxiv) 进一步定义了 SSLY、MALY 等汇总指标。
  • 本文位置:在上述框架基础上,本文首次将因果推断(反事实治疗策略比较)注入 split-state 多状态框架,在"基线混杂恒定 + 干预瞬时效应"的假设下,定义并估计静态与动态治疗策略的因果 MALY 差异。

子线索聚类:

  1. 动态治疗策略的因果推断(Robins 2000; Young 2011):以 g-formula/MSM 为核心,处理时变混杂,以单一终点(如死亡、疾病发生)为结果。
  2. 多状态生存模型(Meira-Machado 2009; Aalen-Johansen 1978):描述疾病进程的转移结构,估计转移概率与状态占据概率,但不涉及反事实比较。
  3. split-state 框架与汇总指标(Ding 2025; Ding 2024):将多状态过程转化为马尔可夫链,定义 SSLY/MALY 等病程汇总指标,但此前未与因果推断结合。

这个方向在追问的核心问题:

  1. 识别问题:在多状态病程中,治疗策略的因果效应需要哪些假设才能从观测数据中识别?本文给出的是"基线混杂恒定 + 干预瞬时效应",这比一般动态治疗策略所需的序贯可忽略性(sequential ignorability)更强还是更弱?
  2. 估计问题:如何将转移率模型(Cox)与 g-formula 结合,得到因果 MALY 的一致估计?方差如何估计(本文用 bootstrap)?
  3. 最优策略识别:如何在多个候选策略(如不同戒烟时点)中识别使 MALY 最大化的策略?

⚠️ 作者的 framing(这是作者的说法):作者将缺口 frame 为"现有方法基于单一终点评估治疗策略,忽视了慢性病的多状态病程,可能导致最优策略的误判"。他声称自己的贡献是"首次在多状态框架下定义治疗策略的因果效应,并用 g-formula 实现估计"。被淡化或回避的竞争路线包括:(1) 基于 MSM 的时变处理效应方法——作者仅以"单一终点"为由一笔带过,未深入讨论 MSM 在多状态设定下的扩展可能性;(2) 强化学习/动态治疗策略优化(如 Q-learning)——完全未提及。值得研究者去查的问题:为什么 MSM 不能直接推广到多状态转移概率?需要什么额外假设?作者没有给出形式化论证。

张力:未见明显对立引用。但注意一个潜在张力:split-state 框架声称"同时具备无记忆和有记忆特性",这依赖于状态细分到足够细——但状态越细,每个转移的样本量越小,Cox 模型的估计方差越大。这种 bias-variance 权衡在文中未被讨论。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据交代清楚

  • 状态与状态空间:设疾病过程有 \(M+1\) 个原始状态 \(S_0, S_1, \ldots, S_M\)(本文 \(M=4\):健康、代谢风险、冠心病、心衰、死亡)。通过 split-state 框架,将原始状态按既往史细分为子状态,共 \(K=9\) 个子状态(含死亡吸收态)。
  • 时间:\(t\) 表示年龄(时间尺度),离散化到年。\(t_0\) 为随访起点,\(t_e\) 为终点。
  • 暴露/治疗:\(E_m\) 表示在状态 \(S_m\) 中的暴露(本文为吸烟状态),\(E = (E_0, E_1, E_{2|0}, E_{2|0\_1}, \ldots)\) 为各子状态的暴露向量。治疗策略 \(A = (A_0, A_1, A_{2|0}, \ldots)\) 是预设的暴露水平分配规则——静态策略中 \(A\) 恒定,动态策略中 \(A\) 可依赖个体特征(如年龄)。
  • 基线混杂:\(L\) 为基线协变量向量(年龄、性别、种族、教育、BMI 等),假设在随访期内恒定。
  • 转移强度:\(\lambda_{jk}(t | E_j, L)\) 表示从子状态 \(j\) 到子状态 \(k\) 的转移强度(离散时间转移概率),由 cause-specific Cox 模型估计。
  • 转移矩阵:\(Q(t|E, L)\) 为 \(9 \times 9\) 的条件转移强度矩阵,其元素为 \(\lambda_{jk}\)。
  • 状态占据概率:\(P(t|A, L)\) 为 \(1 \times 9\) 向量,表示在策略 \(A\) 下、给定 \(L\),个体在年龄 \(t\) 处于各子状态的概率。由 Aalen-Johansen 估计量计算:\(P(t|A, L) = P(t_0|A, L) \times \prod_{t'=t_0}^{t} (I_9 + Q(t'|A, L))\)。
  • 汇总指标:
  • SSLY(子状态特定生命年):\(SSLY(A, L)[k] = \sum_{t=t_0}^{t_e} P(t|A, L)[k]\),即在子状态 \(k\) 中存活的总年数。
  • MALY(多病调整生命年):\(MALY(A, L) = \sum_{k=1}^{8} DW_k \times SSLY(A, L)[k]\),其中 \(DW_k\) 是子状态 \(k\) 的残疾权重(0-1 之间,1 表示完全健康)。
  • 因果参数(estimand):\(MALY_A = \int MALY(A, L) f(L) dL\),即全体人群中在策略 \(A\) 下的期望多病调整生命年。两个策略 \(A_1, A_2\) 的因果效应为 \(MALY_{A_1} - MALY_{A_2}\)。
  • 可观测数据:\(N\) 个独立同分布个体的纵向数据。对每个个体 \(i\),观测到:基线协变量 \(L_i\);随访期间的状态轨迹(离散时间观测,记录每个年龄所处的子状态);各时点的暴露状态 \(E_i(t)\);删失时间(若在 \(t_e\) 前失访)。关键点:转移强度模型(Cox)是从观测数据中估计的——即用观测到的转移事件和风险集来拟合 \(\lambda_{jk}(t|E_j, L)\)。不可观测:个体在反事实策略下的状态轨迹——这是因果推断的核心缺口,需要通过 g-formula 填补。

第二步:最小内核

把论文的所有复杂设定剥掉,剩下的最小内核是:

问题:假设只有两个状态——"健康"(\(S_0\))和"死亡"(\(S_1\)),一个二元暴露 \(E\)(如吸烟/不吸烟),基线混杂 \(L\)(如年龄)。我们想比较两个静态策略:\(A=1\)(一直吸烟)和 \(A=0\)(一直不吸烟)对剩余寿命的因果效应。

数据生成机制:每个个体在年龄 \(t\) 的死亡风险由 Cox 模型决定:

\[\lambda(t | E, L) = \lambda_0(t) \exp(\beta E + \gamma L)\]

识别假设(本文的核心假设,在最小内核中清晰可见): 1. 基线混杂恒定:\(L\) 不随时间变化,且所有混杂都包含在 \(L\) 中(无未观测混杂)。 2. 干预瞬时效应:暴露 \(E\) 对转移强度的影响是瞬时的——即在时刻 \(t\) 的转移强度只依赖当前暴露 \(E(t)\),不依赖暴露历史。这排除了累积效应。 3. 一致性:观测到的状态轨迹等于在观测暴露策略下的反事实轨迹。

g-formula 的运作方式(最小内核中的核心步骤): 1. 从观测数据拟合 Cox 模型,得到 \(\hat{\beta}, \hat{\gamma}, \hat{\lambda}_0(t)\)。 2. 对每个个体 \(i\),固定 \(L_i\),设定反事实暴露 \(A=1\)(或 \(A=0\))。 3. 用拟合的模型计算反事实转移强度 \(\hat{\lambda}(t | A, L_i)\)。 4. 用 Aalen-Johansen(或离散时间的乘积限估计)递推计算反事实生存概率 \(\hat{S}_A(t|L_i)\)。 5. 对 \(L_i\) 取平均(经验分布),得到 \(\hat{S}_A(t) = \frac{1}{N} \sum_i \hat{S}_A(t|L_i)\)。 6. 剩余寿命的因果效应为 \(\int_0^\infty [\hat{S}_{A=1}(t) - \hat{S}_{A=0}(t)] dt\)。

为什么这个最小内核能撑起整篇论文:本文的所有复杂之处——多状态、子状态细分、动态策略、SSLY/MALY 分解——都是在上述两步(拟合转移模型 + g-formula 标准化)之上的"加壳"。核心识别逻辑在最小内核中已经完整:用观测数据拟合转移模型,然后在反事实策略下用该模型模拟状态轨迹,最后对混杂分布积分。多状态只是把单终点生存概率换成多状态占据概率向量,动态策略只是让 \(A\) 依赖时间或状态,SSLY/MALY 只是对占据概率的加权汇总。

这个最小内核暴露的软肋(对研究者有用):g-formula 的估计质量完全取决于转移模型(Cox)的正确设定。如果 \(\lambda(t|E, L)\) 的真实形式不是 Cox 比例风险,或者存在未观测的时变混杂,g-formula 估计就是有偏的。本文没有讨论模型误设的稳健性,也没有给出任何敏感性分析。


三、这篇论文做了什么

三句话: 1. 研究了什么问题:在慢性病多状态病程中,如何估计静态和动态治疗策略对多病调整生命年(MALY)的因果效应,并识别最优策略。 2. 核心工具/方法:将 split-state 多状态框架与 g-formula 结合——用 cause-specific Cox 模型估计子状态间转移强度,在反事实策略下用 Aalen-Johansen 估计器递推状态占据概率,汇总为 SSLY/MALY 并比较。 3. 主要结论:在 ARIC 数据中,与"全程吸烟"相比,"全程不吸烟"的 MALY 高 6.10 年(95% CI: 4.88, 7.19);"初始吸烟、确诊冠心病/心衰后戒烟"的 MALY 高 0.53 年(95% CI: 0.21, 0.96);"初始吸烟、65 岁后戒烟"的 MALY 高 4.34 年(95% CI: 3.02, 5.47)。最优策略是全程不吸烟。

关键设定与假设:

  • split-state 框架:将 5 个原始状态细分为 9 个子状态。例如,\(S_2\)(冠心病)细分为 \(S_{2|0}\)(从健康直接进入冠心病)和 \(S_{2|0\_1}\)(从健康→代谢风险→冠心病)。这样做的目的是:子状态编码了既往史,使得转移过程满足马尔可夫性——给定当前子状态,未来转移独立于更早的历史。统计含义:这是通过"状态空间扩充"来消除非马尔可夫性,代价是状态数从 5 增至 9,每个转移的样本量减少。
  • 假设 1:基线混杂恒定(\(L\) 不随时间变化)。这比一般 g-formula 要求的序贯可忽略性更强——后者允许时变混杂。作者承认这是局限,但未讨论如果违反会怎样。
  • 假设 2:干预瞬时效应。暴露只影响当前转移强度,不影响未来转移(除非通过改变状态本身)。这排除了累积暴露效应。作者在讨论中承认,若治疗有累积效应,需要追踪每个子状态的停留时间——但认为这超出本文范围。
  • 假设 3:无未观测混杂(给定 \(L\),暴露分配与潜在转移时间独立)。这是所有观测因果推断的共同假设,本文未做任何敏感性分析来检验其稳健性。
  • 模型设定:cause-specific Cox 模型,以年龄为时间尺度,暴露和基线协变量为预测因子。未讨论比例风险假设的检验或模型诊断。

主要结果:

  • 转移率关联(图 2):当前吸烟者从健康状态向代谢风险、冠心病、心衰、死亡转移的风险比分别为 0.84(95% CI: 0.75, 0.95)、4.08(95% CI: 2.06, 3.42)、2.49(95% CI: 2.06, 3.42)、2.65(95% CI: 2.06, 3.42)。注意:吸烟者从健康向代谢风险转移的风险比 <1,这看似矛盾,作者解释为"健康工人效应"或选择偏倚——即吸烟者在进入研究时可能已经通过了代谢风险筛查。
  • 因果效应(表 1):以"全程吸烟"为参照,全程不吸烟的 MALY 增益为 6.10 年(95% CI: 4.88, 7.19);确诊冠心病/心衰后戒烟的增益为 0.53 年(95% CI: 0.21, 0.96);65 岁后戒烟的增益为 4.34 年(95% CI: 3.02, 5.47)。
  • 机制分解(表 2、3):SSLY 分解显示,全程不吸烟的增益主要来自在健康状态和代谢风险状态中多存活的时间;疾病路径分析显示,全程不吸烟降低了"健康→直接死亡"路径的比例(22%→14%),增加了"健康→代谢风险→死亡"路径的比例(37%→46%)。

证明路线与技术技巧:

本文是应用型方法论文,没有形式化定理证明。其"证明"是论证性的,核心逻辑链如下:

  1. 马尔可夫化:通过 split-state 框架,将任意(可能非马尔可夫的)多状态过程转化为马尔可夫链。论证要点:子状态 \(S_{j|history}\) 的定义包含了所有影响未来转移的历史信息,因此给定子状态,过去独立于未来。
  2. g-formula 识别:在基线混杂恒定 + 干预瞬时效应 + 无未观测混杂的假设下,反事实状态占据概率等于对 \(L\) 标准化后的条件概率:
    \[P(t|A) = \int P(t|A, L) f(L) dL = \int \left[ P(t_0|L) \prod_{t'=t_0}^{t} (I + Q(t'|A, L)) \right] f(L) dL\]
    其中 \(Q(t'|A, L)\) 由 Cox 模型在策略 \(A\) 下计算。论证要点:因为 \(L\) 是唯一的混杂且恒定,标准化即可消除混杂。
  3. 估计:用观测数据拟合 Cox 模型(每对子状态转移一个模型),得到 \(\hat{Q}(t|E, L)\)。然后在策略 \(A\) 下,对每个个体 \(i\) 用 \(\hat{Q}(t|A, L_i)\) 递推计算 \(\hat{P}_i(t|A)\),最后取平均。
  4. 证明中的关键跳跃点:作者声称"在假设 1-4 下,公式 1 与公式 2 等价",并给出了一个基于分层论证的证明(将 \(L\) 分为 \(P\) 层,每层内 MALY 相同,然后加权平均)。这个证明假设了 \(L\) 是离散的且分层足够细——对连续 \(L\) 需要光滑化论证,作者未给出。
  5. 技术技巧:
  6. Aalen-Johansen 估计器:用于从转移强度矩阵计算状态占据概率,处理竞争风险。
  7. Bootstrap:用于估计 MALY 差异的置信区间。作者用百分位 bootstrap,未做偏差校正。
  8. Cox 模型 + 离散时间近似:将连续时间 Cox 模型离散化到年,用年转移概率近似转移强度。

真实例子与应用:

  • 数据:ARIC 研究(Atherosclerosis Risk in Communities),1987-2019,N=15,027。这是一个大型前瞻性队列,随访长达 32 年。
  • 疾病过程:5 状态(健康、代谢风险、冠心病、心衰、死亡),细分为 9 子状态。
  • 暴露:吸烟状态(当前/过去/从不),随访期间可变化。
  • 协变量:年龄、性别、种族、教育、BMI、家族史。
  • 分析流程:(1) 拟合 4 个 cause-specific Cox 模型(每个起始状态一个);(2) 定义 4 个吸烟策略(全程吸烟、全程不吸烟、确诊后戒烟、65 岁后戒烟);(3) 对每个个体、每个策略,用 g-formula 模拟状态轨迹至 95 岁;(4) 计算 SSLY、MALY、疾病路径;(5) Bootstrap 估计置信区间。
  • 结果解读:全程不吸烟的 MALY 增益 6.10 年,其中约 4 年来自健康状态的延长,约 2 年来自代谢风险状态的延长。65 岁后戒烟仍能获得 4.34 年增益,说明"晚戒烟也有益"。

🔎 结论是否比证明窄:

  • 作者在摘要和结论中声称方法"可以评估治疗策略在整个疾病过程中的因果效应",但证明仅覆盖了基线混杂恒定的情形。在讨论部分,作者承认"如果存在时变混杂,方法需要扩展",但未给出任何形式化结果。
  • 作者声称"干预效应是瞬时的",但在 ARIC 应用中,吸烟状态是时变的(个体可能在随访中戒烟),而 Cox 模型用的是当前吸烟状态作为时变协变量。这意味着模型隐含假设:戒烟后风险立即降至不吸烟者水平——这与"瞬时效应"假设一致,但与大量戒烟研究的发现矛盾(戒烟后风险是逐渐下降的)。作者未讨论这一矛盾。
  • 作者声称"可以识别最优策略",但只比较了 4 个预设策略,没有做真正的策略搜索或优化。这更像"预设策略比较"而非"最优策略识别"。
  • 最窄的地方:作者在证明公式 1 与公式 2 等价时,假设了 \(L\) 的离散分层。对连续 \(L\)(如 BMI),这个证明不直接适用,需要额外的光滑化论证。作者未提及这一点。

四、开放问题

  1. 时变混杂的扩展(扎根于 Discussion 段:"For time-varying confounders that can be influenced by treatment or disease states, we would need to track a person's past history..."):本文的核心假设是基线混杂恒定。如何将 split-state g-formula 扩展到有时变混杂的情形?这需要引入序贯可忽略性假设,并可能需要 IPTW 或 g-estimation。扎根点:Discussion 倒数第二段。

  2. 累积治疗效应的识别(扎根于 Discussion 段:"If treatments had cumulative effects, we would need to further identify the time spent in each past substate..."):作者承认,若治疗有累积效应,需要追踪每个子状态的停留时间。这本质上是一个"历史依赖"问题——如何在不爆炸状态空间的前提下建模累积效应?扎根点:Discussion 最后一段。

  3. 模型误设的稳健性(本文未讨论):g-formula 的估计质量完全取决于 Cox 模型的正确设定。如果比例风险假设不成立,或者存在未观测的混杂,估计会偏多少?能否用双重稳健估计(DR estimator)或半参数效率理论来改进?扎根点:本文方法部分未提及任何稳健性讨论。

  4. 最优策略的正式识别(扎根于摘要:"identify the optimal treatment regime"):本文只比较了 4 个预设策略,没有做策略优化。如何将动态治疗策略的强化学习/策略搜索方法(如 Q-learning、A-learning)与多状态框架结合?扎根点:摘要中的"identify the optimal treatment regime"与 Methods 中仅比较预设策略之间的落差。

  5. 不确定性量化(扎根于 Methods 的 bootstrap 部分):作者用 bootstrap 估计置信区间,但未讨论 bootstrap 在 g-formula 情境下的理论性质。对于多状态转移模型,bootstrap 是否一致?能否用影响函数(influence function)给出解析标准误?扎根点:Methods 2.6 节。


给研究者的提醒:若要确认上述某条是否是真 gap,建议去读以下文献的近期引用(约 5 篇的 intro):(1) g-formula 在时变处理中的应用(Young et al. 2011 的后续工作);(2) 多状态模型的因果推断(如 Gran et al. 2015, Biostatistics);(3) 动态治疗策略的强化学习(如 Tsiatis et al. 2019 的专著)。如果这些文献的 intro 都指向同一个缺口,那就是共识性 gap;如果互相打架,则说明问题尚未定型,机会更大。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论