跳转至

Bayesian Machine Learning for Estimating Optimal Dynamic Treatment Regimes With Ordinal Outcomes

作者: Xinru Wang, Tanujit Chakraborty, Bibhas Chakraborty
来源: Statistics in Medicine
主题: 因果推断
相关性: 6/10
机构绿灯: National University of Singapore(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是动态治疗策略(Dynamic Treatment Regimes, DTRs)的估计与推断,其根本科学问题是:在序贯决策框架下,如何根据患者不断更新的协变量历史,找到一组随时间变化的治疗分配规则,使得长期期望结局最优。该方向的核心统计挑战在于:(1) 决策是多阶段的,存在时序依赖;(2) 存在反事实结局,需要因果假设才能识别;(3) 最优规则对应的参数估计量往往涉及非光滑操作(如 argmax),导致推断困难。当前该领域已从早期的参数模型(如 Q-learning 的线性设定)发展到半参数、非参数和机器学习方法,但针对有序结局(ordinal outcomes)的 DTR 估计仍是一个相对未被充分开发的角落——这正是本文的切入点。

发展脉络(history)

  • 奠基工作:Q-learning 与潜在结局框架。本文的因果推断基础建立在 Rubin (1974) 的潜在结局框架之上(参考文献 [19]),而估计方法的核心是 Q-learning,即通过逆向递推拟合 Q 函数并取 argmax 得到最优决策规则。Chakraborty et al. (2013) [15] 是这一脉络中的关键节点,它系统研究了 Q-learning 中因 argmax 非光滑性导致的非正则(non-regular)推断问题,并提出自适应 m-out-of-n bootstrap 来构造置信区间。本文引用其语境是"Q-learning 对模型误设敏感且存在非正则问题",这为引入贝叶斯方法提供了动机。
  • 主要进展:从参数到灵活的机器学习模型。Wallace and Moodie (2015) [6] 提出 dWOLS(动态加权最小二乘),兼具 G-estimation 的双稳健性和 Q-learning 的易实现性;Simoneau et al. (2020) [9] 将其扩展到生存结局。与此同时,树方法进入该领域:Tao et al. (2018) [8] 提出基于树的强化学习(T-RL),用决策树直接处理多阶段多治疗比较问题,增强了可解释性。这些工作共同推动了 DTR 估计从线性模型向灵活非参数模型的转变。
  • 当前 frontier:贝叶斯非参数与不确定性量化。Murray et al. (2018) [7] 提出 BML 框架,将贝叶斯推断与动态规划结合,通过逆向递推拟合一系列贝叶斯回归模型,并利用后验分布自然量化参数不确定性,避免了 bootstrap 在非正则情形下的失效。这一工作为本文提供了直接的方法论基础。在此基础上,Li et al. (2024) [26] 将 BART 引入 DTR 估计,处理删失结局。本文的位置正是在这条线上:将 BML 框架从连续/二值结局推广到有序结局,并为此提出一个新的非参数回归模型 OBART。
  • 本文的位置:作者声称的贡献是双重的——(1) 方法上,提出 OBART,将 BART 的灵活性与有序 probit 模型的序数结构结合;(2) 应用上,将 BML 框架扩展到有序结局,填补了 DTR 文献中这一结局类型的空白。从引用结构看,本文是 Murray et al. (2018) 的直接延伸,同时借鉴了 Ghosh et al. (2018) [13] 对有序结局 DTR 的早期探索(该文提出了广义优势比 GOR 来比较 DTR,但未解决"如何估计最优 DTR"的问题)。

子线索聚类

这些被引文献大致落在三条子线索上:

  1. 频率学派 DTR 估计与推断(Chakraborty et al. 2013 [15]; Chakraborty et al. 2016 [17]; Moodie et al. 2012 [12]):以 Q-learning 和 dWOLS 为代表,关注估计量的相合性、渐近分布和非正则推断。核心瓶颈是非光滑 argmax 导致的推断困难,以及参数模型误设时的偏倚。
  2. 贝叶斯与机器学习 DTR 方法(Murray et al. 2018 [7]; Tao et al. 2018 [8]; Li et al. 2024 [26]):用贝叶斯非参数或树模型替代线性设定,以增强灵活性和不确定性量化能力。核心瓶颈是计算复杂度和先验选择。
  3. 有序结局的统计建模与 DTR 应用(Ghosh et al. 2018 [13]; Johnson & Albert 1999 [12]):处理有序结局的特殊结构(如类别间距离不等、比例优势假设),以及在 SMART 设计中的应用。核心瓶颈是缺乏一个统一的、可嵌入 DTR 框架的有序结局回归模型。

这个方向在追问的核心问题

  1. 如何在高维/非线性设定下一致地估计最优 DTR? 当前主流方法(Q-learning, dWOLS)依赖参数模型,误设时偏倚严重;树方法(T-RL)虽灵活但缺乏不确定性量化。
  2. 如何在非正则条件下进行有效的统计推断? 当最优决策边界处的治疗效应为零或很小时,argmax 的非光滑性导致 bootstrap 失效,m-out-of-n bootstrap 虽可修正但需选择调优参数。
  3. 如何将 DTR 方法推广到非标准结局类型(有序、计数、生存)? 现有方法大多针对连续或二值结局,有序结局的序数结构(如"轻度/中度/重度")尚未被充分利用。
  4. 如何量化 DTR 估计中的不确定性并传播到最终决策? 贝叶斯方法提供自然的后验推断,但先验选择对结果的影响尚不明确。

⚠️ 作者的 framing(这是作者的说法)

作者将缺口 frame 为:"现有 DTR 方法主要处理连续或二值结局,而有序结局在临床试验中极为常见,但缺乏专门的方法论支持。我们提出 OBART 并将其嵌入 BML 框架,以处理有序结局下的 DTR 估计与不确定性量化。" 这一 framing 将本文定位为"显然的下一步"——既然 BML 已成功处理连续结局,那么将其推广到有序结局是自然的延伸。被淡化或回避的竞争路线包括:(1) 频率学派的半参数方法(如将 dWOLS 扩展到有序结局),作者仅以"bootstrap 在非正则情形下失效"一笔带过;(2) 深度强化学习方法,完全未提及。值得研究者去查的问题:为什么有序结局的 DTR 估计在文献中如此稀少?是因为缺乏动机(有序结局可被近似为连续)还是缺乏工具(有序回归模型难以嵌入 Q-learning 的逆向递推)?另外,作者引用了 Ghosh et al. (2018) [13] 的 GOR 方法,但未讨论该方法与本文方法在效率上的比较——这是一个明显的空白。

张力

未见明显对立引用。但有一个值得注意的微妙差异:Chakraborty et al. (2013) [15] 强调非正则性是 Q-learning 推断的核心困难,而 Murray et al. (2018) [7] 的 BML 框架通过贝叶斯推断"绕过"了这一困难(后验分布不依赖渐近展开)。本文继承了后者的立场,但未正面回应前者提出的非正则性问题在贝叶斯框架下是否真正消失——这是一个潜在的张力点。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

在展开本文的技术细节之前,先建立统一的记号体系。本文考虑两阶段决策问题(文中明确限定为两阶段,但方法可推广):

记号 含义 类型
\(X_1\) 阶段 1 治疗前的基线协变量 可观测随机变量
\(A_1 \in \{-1, 1\}\) 阶段 1 的治疗分配 可观测随机变量
\(X_2\) 阶段 1 治疗后、阶段 2 治疗前的中间协变量 可观测随机变量
\(A_2 \in \{-1, 1\}\) 阶段 2 的治疗分配 可观测随机变量
\(Y_2 \in \{1, 2, \dots, K\}\) 最终有序结局(K 个类别,K≥3) 可观测随机变量
\(H_1 = X_1\) 阶段 1 的历史信息 可观测
\(H_2 = (X_1^T, A_1, X_2^T)\) 阶段 2 的历史信息 可观测
\(Z_j\) 阶段 j 的潜在连续变量(latent variable) 不可观测,建模辅助
\(\gamma_j = (\gamma_{j,0}, \dots, \gamma_{j,K})\) 阶段 j 的切点(cutoff),\(\gamma_{j,0}=-\infty, \gamma_{j,K}=\infty\) 待估参数
\(f_j(H_j, A_j)\) 阶段 j 的回归函数(均值函数) 待估对象
\(d_j(H_j)\) 阶段 j 的决策规则,\(d_j: \mathcal{H}_j \to \{-1, 1\}\) 待估对象
\(Q_j(H_j, A_j)\) 阶段 j 的 Q 函数,\(Q_j = E[Z_j \mid H_j, A_j]\) 待估对象
\(\psi_j(H_j)\) 阶段 j 的治疗对比函数(contrast),\(\psi_j(H_j) = f_j(H_j, 1) - f_j(H_j, -1)\) 待估对象
\(Y_2(a_1, a_2)\) 潜在结局(potential outcome) 不可观测,反事实量
\(d^* = (d_1^*, d_2^*)\) 最优 DTR 目标 estimand

模型设定(有序 probit 框架):

\[Z_j = f_j(H_j, A_j) + \epsilon_j, \quad \epsilon_j \sim N(0, 1)\]
\[Y_j = k \iff \gamma_{j,k-1} < Z_j \leq \gamma_{j,k}\]

可观测数据:\(O_n = \{(X_{1i}, A_{1i}, X_{2i}, A_{2i}, Y_{2i})\}_{i=1}^n\),即 n 个独立同分布的患者轨迹。

因果识别假设(文中隐含采用,但未系统列出): 1. 一致性(Consistency):观测到的 \(Y_2\) 等于潜在结局 \(Y_2(A_1, A_2)\); 2. 可交换性(Exchangeability):\(A_j \perp Y_2(a_1, a_2) \mid H_j\)(序贯可忽略性); 3. 正值性(Positivity):\(P(A_j = a_j \mid H_j) > 0\)。

目标 estimand:最优决策规则 \(d^* = (d_1^*, d_2^*)\),其中

\[d_j^*(h_j) = \arg\max_{a_j \in \{-1,1\}} Q_j(h_j, a_j) = \arg\max_{a_j \in \{-1,1\}} E[Z_j \mid h_j, a_j]\]

由于 \(Z_j\) 不可观测,实际通过有序 probit 模型估计 \(f_j\),进而得到 \(\hat{d}_j^*\)。

第二步:最小内核

最简特例:考虑单阶段(即 \(j=2\) 的阶段,或退化为单决策问题)、线性设定、无中间协变量的情形。此时问题简化为:

  • 可观测数据:\((X_1, A_1, Y_2)\),其中 \(Y_2 \in \{1, 2, 3\}\)(三分类有序结局)。
  • 模型:\(Z_2 = \beta^T X_1 + \zeta A_1 + \epsilon\),\(\epsilon \sim N(0,1)\),\(Y_2 = k \iff \gamma_{k-1} < Z_2 \leq \gamma_k\)。
  • 最优决策规则:\(d^*(x_1) = \arg\max_{a \in \{-1,1\}} (\beta^T x_1 + \zeta a) = \text{sign}(\zeta)\)(当 \(\zeta > 0\) 时取 \(a=1\),否则取 \(a=-1\))。

这个特例下的核心问题:如何估计 \(\zeta\) 并判断其符号?在频率派 Q-learning 中,\(\hat{\zeta}\) 的分布涉及 \(\arg\max\) 的非光滑性——当 \(\zeta\) 接近 0 时,\(\hat{d}^*\) 对 \(\hat{\zeta}\) 的微小扰动极其敏感,导致 bootstrap 失效。本文的 BML 方法通过后验分布 \(p(\zeta \mid O_n)\) 直接量化不确定性,并基于后验概率 \(P(\zeta > 0 \mid O_n)\) 做出决策,从而绕开了非光滑性问题。

为什么这是最小内核:本文的全部技术贡献——OBART 的树结构先验、BML 的逆向递推、BIG 采样器——本质上都是在回答"如何更灵活、更准确地估计 \(f_j(H_j, A_j)\) 并传播不确定性"。单阶段线性情形抓住了这个核心,而多阶段、非线性、树模型都是在这个内核上的"加壳"。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在有序结局下估计两阶段动态治疗策略(DTR),并量化估计不确定性。
  2. 核心工具/方法:提出 OBART(Ordinal Bayesian Additive Regression Trees),将潜在变量框架嵌入 BART,并纳入 BML(Bayesian Machine Learning)框架,通过逆向递推和贝叶斯后验推断估计最优 DTR。
  3. 主要结论:模拟研究表明,在非线性设定下,BML-OBART 在偏差、MSE 和最优治疗分配准确率(POT)方面优于或至少不劣于 Q-learning、dWOLS 和 BML-BP(参数贝叶斯有序 probit);在真实戒烟数据中,BML-OBART 给出了更窄的不确定性区间,且识别出与现有方法不同的患者亚组。

关键设定与假设

在第二节最小记号的基础上,本文的完整设定包括:

  • 两阶段决策:\(j = 1, 2\),每阶段两个治疗选项 \(A_j \in \{-1, 1\}\)。
  • 有序结局:\(Y_2 \in \{1, 2, 3\}\)(三分类),通过潜在变量 \(Z_2\) 和切点 \(\gamma\) 生成。
  • 模型灵活性:OBART 允许 \(f_j(H_j, A_j)\) 是非线性的,包含协变量与治疗的交互项。具体地,OBART 将 \(f_j\) 建模为 \(M\) 棵回归树的和:\(f_j(H_j, A_j) = \sum_{m=1}^M g((H_j, A_j); T_m, M_m)\),其中 \(T_m\) 是第 \(m\) 棵树的拓扑结构,\(M_m\) 是叶节点值。
  • 先验设定:树结构先验与 BART 一致(深度惩罚、叶节点值正态先验),切点 \(\gamma\) 使用无信息先验。
  • 因果假设:文中未系统列出,但隐含采用 Rubin 框架下的一致性、序贯可交换性和正值性。相比已有工作的强化/放宽:相比参数有序 probit(BML-BP),OBART 放宽了函数形式的线性假设;相比频率派 Q-learning,BML 框架无需处理非正则推断问题。

主要结果

理论层面:本文没有提供正式的渐近理论(如相合性、收敛速率、后验收缩率)。这是一个重要的局限——作者在模拟中展示了经验性能,但没有证明 OBART 后验的 theoretical guarantees。这与 Murray et al. (2018) 的 BML 框架一致,后者同样缺乏严格的渐近分析。

模拟层面(核心证据): - 设定:12 个场景,涵盖线性/非线性、正则/非正则(阶段 2 治疗效应为零或很小)、以及观测性研究(阶段 2 治疗分配依赖协变量)。样本量 \(n_{tr} = 1000, 1500, 2000\)。 - 对比方法:Q-learning(频率派线性)、dWOLS(双稳健加权)、BML-BP(参数贝叶斯有序 probit)、BML-OBART(本文方法)。 - 关键结果: - 在非线性场景(Sc.10–Sc.12)中,BML-OBART 的 MSE 比 Q-learning 和 dWOLS 降低约 50–70%(例如 Sc.10 阶段 1 的 MSE:BML-OBART 0.341 vs Q-learning 0.643),POT 提高约 10–20 个百分点(Sc.10 阶段 1:0.799 vs 0.442)。 - 在正则场景(Sc.1–Sc.9)中,BML-OBART 与 BML-BP 表现相近,但 BML-OBART 的置信区间更窄(例如 Sc.6 阶段 2 的区间宽度:BML-OBART 0.15 vs BML-BP 0.22)。 - 在非正则场景(Sc.2, Sc.4, Sc.9)中,Q-learning 和 dWOLS 的覆盖率严重偏低(低至 0.53–0.65),而 BML-OBART 的覆盖率为 0.87–0.99。 - 计算时间:BML-OBART 比 Q-learning 快约 3–5 倍(因为 Q-learning 需要 bootstrap),但比 BML-BP 慢约 2 倍。

真实数据:两阶段戒烟试验(Strecher et al. 2008),样本量 1,153(阶段 1),其中 215 人进入阶段 2。结局为 3 分类有序变量(戒烟月数:0、1–3、4–6 个月)。主要发现: - 阶段 2:BML-OBART 建议所有患者接受对照(不发送鼓励短信),而 Q-learning 和 BML-BP 建议部分患者接受干预。BML-OBART 的决策基于更窄的后验区间(例如,对 PQ6Quitstatus=1 的患者,BML-OBART 的 \(\psi_2\) 区间为 [-0.2, 0.3],而 Q-learning 为 [-0.8, 0.9])。 - 阶段 1:三种方法均建议大多数患者接受低度定制干预,但 BML-OBART 识别出年龄 > 50 且高动机的患者亚组应接受高度定制干预,而 Q-learning 未检测到这一交互。

证明路线与技术技巧

整体路线(算法层面,非理论证明): 1. 阶段 2 建模:用 OBART 拟合 \(Z_2 \mid H_2, A_2\),得到后验样本 \(\{f_2^{(r)}, \gamma_2^{(r)}\}_{r=1}^{R}\)。 2. 阶段 2 最优决策:对每个后验样本 \(r\),计算 \(\hat{d}_2^{*(r)}(h_2) = \arg\max_{a_2} f_2^{(r)}(h_2, a_2)\)。 3. 阶段 1 伪结局构造:对每个后验样本 \(r\),为每个患者构造伪结局 \(\hat{Y}_{1i}^{(r)} = \max_{a_2} f_2^{(r)}(H_{2i}, a_2)\)(即假设阶段 2 采取最优决策时的期望潜在结局)。 4. 阶段 1 建模:用 OBART 拟合 \(\hat{Y}_1^{(r)} \mid H_1, A_1\),得到后验样本 \(\{f_1^{(r)}, \gamma_1^{(r)}\}\)。 5. 阶段 1 最优决策:\(\hat{d}_1^{*(r)}(h_1) = \arg\max_{a_1} f_1^{(r)}(h_1, a_1)\)。 6. 不确定性量化:收集所有后验样本中的 \(\hat{d}_j^{*(r)}\),计算每个患者被分配各治疗的后验概率。

关键技巧: - 潜在变量数据增强:将有序 probit 转化为高斯潜变量模型,使得 BART 的连续回归框架可以直接应用。具体地,\(Z_{ji} \mid Y_{ji} = k \sim N(f_j(H_{ji}, A_{ji}), 1)\) 截断在 \((\gamma_{j,k-1}, \gamma_{j,k})\) 区间内。 - 混合 Metropolis-Hastings/Gibbs 采样器(Algorithm 3):切点 \(\gamma\) 的条件后验不是标准分布,作者使用 Metropolis-Hastings 步骤采样 \(\gamma\),而树结构和潜变量 \(Z\) 使用 Gibbs 步骤。MH 的提议方差 \(\sigma_{MH} = 0.5/K\) 根据接受率(0.25–0.5)调整。 - 逆向递推:这是 DTR 文献的标准技巧,但本文将其嵌入贝叶斯框架,使得阶段 1 的伪结局自然地携带了阶段 2 参数的不确定性(通过后验积分而非点估计)。 - BIG 采样器:与 Murray et al. (2018) 一致,通过在每个后验迭代中重新生成伪结局,避免了"插件估计"导致的不确定性低估。

技术难点与作者的解法: - 难点 1:有序结局的似然涉及切点 \(\gamma\),与树结构参数高度耦合。解法:潜变量数据增强 + 条件共轭性。 - 难点 2:阶段 1 的伪结局是阶段 2 后验的函数,直接采样计算量大。解法:BIG 采样器在每个 MCMC 迭代中只做一次阶段 2 预测,而非重新拟合。 - 难点 3:非正则性(阶段 2 治疗效应为零)导致 \(\arg\max\) 不唯一。解法:贝叶斯方法天然处理这一问题——后验分布会在多个最优决策之间分配概率,而非强迫选择单一决策。

🔎 结论是否比证明窄

是。具体表现: 1. 无渐近理论:作者在摘要和引言中声称 OBART 是"novel"和"flexible"的,但全文没有提供任何相合性、收敛速率或后验收缩率的理论结果。模拟和实证展示了经验性能,但缺乏 formal guarantees。作者在讨论部分承认"theoretical properties of OBART remain to be investigated"——这是一个明确的窄结论。 2. 因果假设未系统讨论:文中假设了序贯可交换性,但未讨论未观测混杂、依从性(noncompliance)或工具变量等更复杂的识别问题。在实证部分,作者直接假设戒烟试验中的随机化保证了可交换性,但未检验这一假设的合理性。 3. 两阶段限制:方法明确限定为两阶段,但引言中暗示可推广到多阶段。作者没有讨论推广到 \(J > 2\) 阶段时的计算复杂度和误差累积问题。 4. POT 指标的局限:作者用 POT(proportion of optimal treatment)作为主要评估指标,但未讨论该指标对决策边界附近患者的敏感性——在非正则场景中,POT 可能对微小估计误差不敏感,从而高估方法性能。


四、开放问题

以下开放问题均扎根于本文的具体语句或引用:

  1. OBART 的渐近理论:作者在讨论部分承认"theoretical properties of OBART remain to be investigated"。具体要证什么:OBART 后验的收缩率(contraction rate)?在 \(n \to \infty\) 时,后验是否以最优速率集中于真值 \(f_0\)?树结构先验的复杂度如何影响收敛速率?这与 BART 的已有理论(如 Rockova & van der Pas, 2020)有何异同?

  2. 非正则性在贝叶斯框架下的严格处理:本文继承了 Murray et al. (2018) 的立场,认为贝叶斯方法"绕过"了非正则推断问题。但这一论断缺乏严格论证——在阶段 2 治疗效应为零的边界情形,后验分布是否真的以正确的速率收缩?后验置信区间是否具有频率意义上的覆盖性质?这需要借用 Bernstein-von Mises 定理在非正则参数下的推广(如 Boos & Monahan, 1986)。

  3. 多阶段推广的误差累积:作者在引言中提到方法"can be extended to more than two stages",但未讨论误差累积问题。在 \(J\) 阶段问题中,阶段 1 的伪结局需要积分 \(J-1\) 层后验不确定性,计算复杂度和估计误差如何随 \(J\) 增长?是否存在类似"curse of horizon"的现象?

  4. 因果识别假设的敏感性分析:本文假设序贯可交换性,但未做任何敏感性分析。在观测性研究中,如果存在未观测混杂,OBART 的估计会偏倚多少?能否借鉴 DTR 文献中的工具变量方法(如 Cui & Tchetgen Tchetgen, 2021)或负控制方法进行稳健化?

  5. 有序结局的类别距离假设:OBART 假设潜在变量 \(Z_j\) 的切点 \(\gamma\) 是自由参数,这比等距假设(如将有序类别编码为 1,2,3)更灵活。但切点的可识别性依赖于模型设定——如果 \(f_j\) 的尺度与切点同时变化,是否会导致不可识别?作者未讨论这一问题。

  6. 计算效率的严格比较:作者报告 BML-OBART 比 Q-learning 快,但未与更现代的频率学方法(如基于高效影响函数的半参数估计)比较。在 \(n = 10^4\) 或更大规模时,MCMC 的计算负担是否成为瓶颈?能否用变分推断或拉普拉斯近似替代?

提示:要确认上述哪些是"真 gap"而非"伪 gap",建议去读以下子领域的近期综述和论文(各约 5 篇的 intro):(a) Bayesian nonparametrics for DTRs(看是否已有其他贝叶斯树模型处理有序结局);(b) nonregular inference in DTRs(看频率学派是否已解决有序结局情形);(c) ordinal regression with flexible machine learning(看 OBART 的 novelty 是否已被其他模型覆盖)。如果多个近期工作都指向同一缺口,那才是值得投入的真问题。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论