跳转至

Balancing utility and cost in dynamic treatment regimes

讲者: Yuqian Zhang (Renmin University of China)
会场: Advances in Causal Inference and Machine Learning for Complex Data
报告题目: Balancing Utility and Cost in Dynamic Treatment Regimes
链接: arXiv
来源: JCSDS 2026 · 返回会议总览

一、领域脉络与小综述

这个方向是什么

动态治疗策略（Dynamic Treatment Regimes, DTRs）是一类统计方法，用于在多个决策阶段根据个体不断变化的状态（如生物标志物、治疗反应）自适应地分配治疗。传统DTR的目标是最大化某个效用函数（如期望健康结局）。然而，在临床实践中，收集协变量信息（如基因表达谱、MRI扫描）和分配治疗本身都会产生成本。本文所处理的子方向是：在DTR的估计与优化中，同时考虑效用与成本（包括治疗分配成本和协变量评估成本），并学习一个在两者之间取得平衡的最优策略。该方向当前处于方法开发阶段，已有工作主要关注治疗分配成本，而对协变量评估成本的处理尚不成熟。

发展脉络（history）

根据论文引言（Section 1）及其参考文献，该方向的发展脉络可梳理如下：

  1. 奠基工作：标准DTR估计方法。Q-learning（Clifton and Laber, 2020; Zhu et al., 2019）、A-learning（Murphy, 2003; Shi et al., 2018）、双重稳健方法（Ertefaie et al., 2021; Zhang et al., 2012）以及基于分类的方法（Zhao et al., 2015; Liu et al., 2018）建立了估计最优DTR的基本框架。这些方法只关注最大化效用，完全忽略成本。

  2. 引入治疗分配成本。Athey and Wager (2021); Kitagawa and Tetenov (2018); Xu et al. (2024) 考虑了已知的非随机成本函数；Huang and Xu (2020); Laber et al. (2014); Liu et al. (2024); Lizotte et al. (2012); Luckett et al. (2021); Wang et al. (2018) 则将成本或风险建模为未知过程生成的随机变量。这些工作主要聚焦于治疗分配的成本，而对协变量评估成本关注不足。

  3. 协变量评估成本的初步探索。论文指出，通过正则化（如Q-learning和A-learning中的稀疏化，Shi et al., 2018; Zhu et al., 2019）可以排除冗余变量，从而间接降低协变量评估成本。但作者批评说：“these methods focus exclusively on the contribution of covariates to improving utility and do not incorporate cost information into the learning process”（引言第3段）。另一条相关线索是协变量监测（covariate monitoring）研究（Caniglia et al., 2016; Kreif et al., 2021; Neugebauer et al., 2017），它们关注在给定监测频率下评估DTR，但“do not address the question of which specific covariates should be collected”（引言第4段）。

  4. 本文的位置：作者将缺口frame为“需要一种方法，能够基于个体不断变化的状态，在不同阶段提供关于应该收集哪些具体协变量的个性化指导，并在效用与成本之间取得平衡”。本文提出的Balanced Q-learning（BQL）是第一个将协变量评估决策（选择哪些协变量子集）直接纳入DTR优化框架的方法，并给出了理论保证（渐近正态性和遗憾界）。

子线索聚类

被引文献大致落在以下三条子线索上：

  • 线索A：标准DTR估计（无成本）。包括Q-learning、A-learning、双重稳健方法、outcome-weighted learning等。这些方法为本文提供了基础框架（如Q函数、后向递推、R-learner）。
  • 线索B：带治疗分配成本的DTR。包括Athey and Wager (2021) 等。本文在处理治疗分配成本时直接借鉴了Athey and Wager (2021) 的方法（将常数阈值加入决策边界）。
  • 线索C：协变量监测与稀疏化。包括Shi et al. (2018); Zhu et al. (2019) 的正则化方法，以及Caniglia et al. (2016) 等的监测策略评估。本文与这些工作的关键区别在于：本文直接优化协变量评估决策（选择哪个子集），而不是通过稀疏化间接降低成本，也不是在预设的有限策略集中选择。

这个方向在追问的核心问题

  1. 如何将协变量评估成本纳入DTR的优化目标？ 成本函数如何定义？效用与成本如何权衡？
  2. 在协变量信息不完全可得的情况下，如何识别最优DTR？ 因为成本限制，新个体可能只收集了部分协变量，标准Q-learning需要完整协变量。
  3. 如何估计最优的协变量评估规则？ 即决定在每一阶段应该收集哪些协变量。
  4. 估计量的统计性质如何？ 包括一致性、渐近正态性、遗憾界等。

当前主流方法（如Q-learning）无法处理协变量评估成本，因为它们在估计时假设所有协变量都可观测。稀疏化方法（如HDQ）虽然能选择变量，但不直接考虑成本，因此可能保留昂贵但效用边际的变量。协变量监测方法则只能评估有限个预设策略，无法在连续策略空间中优化。

⚠️ 作者的 framing

作者将缺口frame为：“a major limitation of the aforementioned methods in practical applications is their exclusive focus on maximizing utility while overlooking the associated costs”（引言第2段），并特别强调“the costs associated with covariate assessment have been relatively underexplored”（引言第2段）。作者通过指出正则化方法“do not incorporate cost information”和监测方法“does not address the question of which specific covariates should be collected”，将自己的工作定位为“显然的下一步”——即直接优化协变量评估决策。

被淡化或回避的竞争路线：作者没有深入讨论将成本直接作为惩罚项加入Q-learning目标函数的可能性（例如在Q函数中减去成本项，然后直接优化）。实际上，本文的方法正是通过定义包含成本的利润函数（Profit）来实现的，但作者强调协变量评估决策的离散性（选择子集）使得标准方法不适用。此外，作者没有讨论贝叶斯优化或强化学习中的探索-利用方法，尽管这些方法也可能处理成本问题。

什么明显该被引/该存在、却没出现在intro里？ 论文没有引用任何关于“成本敏感学习”或“特征获取成本”的机器学习文献（例如，在分类中考虑特征获取成本的工作）。这些文献可能提供了类似的思想（如逐步获取特征以平衡信息与成本），但本文专注于DTR的序贯决策结构，可能认为这些工作不直接相关。此外，没有引用关于“变量选择与成本”的因果推断文献（如基于工具变量的成本效益分析）。这可能是值得研究者去查的问题。

张力

被引工作之间未见明显对立引用。各条线索基本是互补的：标准方法提供基础，治疗成本方法提供处理成本的技术，稀疏化方法提供变量选择思路，但都未直接处理协变量评估成本。本文填补了这一空白。

二、最核心、最简单的例子 / 数学问题

第一步：符号、模型、可观测数据交代清楚

符号： - \( S_1 \in \mathbb{R}^{d_1} \)：第一阶段治疗前的协变量（基线协变量）。 - \( A_1 \in \{0,1\} \)：第一阶段治疗分配（二元）。 - \( S_2 \in \mathbb{R}^{d_2} \)：第二阶段治疗前的协变量。 - \( A_2 \in \{0,1\} \)：第二阶段治疗分配。 - \( Y \in \mathbb{R} \)：最终结局（越大越好）。 - \( l_1 \subseteq [d_1] \)：第一阶段可免费获得的基线协变量索引集（如人口统计信息）。 - \( l_2 \subseteq [d_2] \)：第二阶段可免费获得的基线协变量索引集。 - \( \mathcal{J}_1 \)：第一阶段候选协变量子集集合（每个元素是 \([d_1]\setminus l_1\) 的子集）。 - \( \mathcal{J}_2 \)：第二阶段候选协变量子集集合。 - \( J_1 = \pi_{1c}(S_{l_1}) \in \mathcal{J}_1 \)：第一阶段协变量评估规则，根据免费基线协变量决定收集哪些额外协变量。 - \( S_{J_1} \)：根据 \( J_1 \) 收集的额外协变量。 - \( \bar{S}_{J_1} := (S_{l_1}, S_{J_1}) \)：第一阶段治疗前可用的全部协变量。 - \( A_1 = \pi_{1t}(\bar{S}_{J_1}, J_1) \in \{0,1\} \)：第一阶段治疗分配规则。 - 类似地，第二阶段：\( \bar{S}_{L_2} := (\bar{S}_{J_1}, S_{l_2}) \)，\( J_2 = \pi_{2c}(\bar{S}_{L_2}, J_1, A_1) \in \mathcal{J}_2 \)，\( \bar{S}_{J_2} := (\bar{S}_{L_2}, S_{J_2}) \)，\( A_2 = \pi_{2t}(\bar{S}_{J_2}, J_1, A_1, J_2) \)。 - 成本函数：\( C_{1c}(j_1) \)、\( C_{1t}(a_1) \)、\( C_{2c}(j_2) \)、\( C_{2t}(a_2) \)，均为用户指定。 - 利润：\( \text{Profit}(\pi_{1c},\pi_{1t},\pi_{2c},\pi_{2t}) = \mathbb{E}[Y(A_1,A_2) - C_{1c}(J_1) - C_{1t}(A_1) - C_{2c}(J_2) - C_{2t}(A_2)] \)。

模型： - 数据生成机制：观测数据 \( (S_{1i}, A_{1i}, S_{2i}, A_{2i}, Y_i) \) 来自 \( n \) 个独立同分布的个体。 - 假设存在潜在结果 \( S_2(a_1) \) 和 \( Y(a_1,a_2) \)，满足一致性、序贯可忽略性、正性（Assumption 1）。 - 协变量评估决策 \( J_1, J_2 \) 仅通过影响治疗分配间接影响结局，不直接影响结局（即“no direct effect”假设，见第2节）。 - 观测数据中所有协变量均可观测（即训练数据有完整协变量），成本仅在新个体（测试集）上产生。

可观测数据： - 观测到的：\( S_{1i}, A_{1i}, S_{2i}, A_{2i}, Y_i \)（完整协变量）。 - 潜在但不可观测的：\( S_2(a_1) \)（当 \( a_1 \neq A_{1i} \) 时），\( Y(a_1,a_2) \)（当 \( (a_1,a_2) \neq (A_{1i},A_{2i}) \) 时）。 - 对于新个体，我们只能观测到根据规则选择的协变量子集，而不是全部协变量。这是核心困难：标准Q-learning需要完整协变量来估计Q函数，但新个体可能只收集了部分协变量。

第二步：最小内核

最简特例：考虑单阶段（即只有第一阶段，没有第二阶段），且假设基线协变量 \( S_{l_1} \) 为空（即没有免费协变量），候选集合 \( \mathcal{J}_1 \) 只有两个选项：\( j_1 = \emptyset \)（不收集任何额外协变量）和 \( j_1 = \{1\} \)（收集一个协变量 \( S_1 \)）。成本：\( C_{1c}(\emptyset)=0 \)，\( C_{1c}(\{1\})=c>0 \)。治疗分配成本忽略（\( C_{1t}=0 \)）。结局 \( Y \) 是标量，我们希望最大化 \( \mathbb{E}[Y(A_1)] - C_{1c}(J_1) \)。

在这个特例下，问题退化为：是否值得花成本 \( c \) 去观测 \( S_1 \) 来指导治疗分配？如果不观测，则只能基于空信息随机分配治疗（或固定一个治疗）；如果观测，则可以根据 \( S_1 \) 的值分配治疗。

核心思路：定义Q函数。如果不收集协变量（\( J_1=\emptyset \)），则治疗分配只能基于空信息，最优治疗规则是 \( \pi_{1t}(\emptyset) = \arg\max_{a_1} \mathbb{E}[Y(a_1)] \)，对应的利润为 \( \max_{a_1} \mathbb{E}[Y(a_1)] \)。如果收集协变量（\( J_1=\{1\} \)），则可以根据 \( S_1 \) 分配治疗：\( \pi_{1t}(s_1) = \arg\max_{a_1} \mathbb{E}[Y(a_1) \mid S_1=s_1] \)，对应的利润为 \( \mathbb{E}[\max_{a_1} \mathbb{E}[Y(a_1) \mid S_1]] - c \)。最优协变量评估规则就是比较这两个利润：如果 \( \mathbb{E}[\max_{a_1} \mathbb{E}[Y(a_1) \mid S_1]] - c > \max_{a_1} \mathbb{E}[Y(a_1)] \)，则收集协变量；否则不收集。

推广到多阶段：本文的核心就是把这个思想推广到两阶段（以及多阶段），其中每一阶段都要决定收集哪些协变量，并且后续阶段的决策依赖于之前收集的信息。关键数学困难在于：后向递推时，Q函数依赖于已收集的协变量子集，而子集的选择本身又是决策的一部分。本文通过定义“受限Q函数”（restricted Q-function）和“非受限Q函数”（unrestricted Q-function）来解决：非受限Q函数假设完整协变量可用（用于从观测数据中估计），受限Q函数则只使用已收集的协变量（用于新个体的决策）。然后通过嵌套回归（nested regression）将非受限Q函数投影到受限协变量空间上。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在动态治疗策略中，同时考虑治疗分配成本和协变量评估成本，学习一个最大化利润（效用减去成本）的最优策略。
  2. 核心工具/方法：提出Balanced Q-learning（BQL）方法，通过后向递推定义包含协变量评估决策的Q函数，利用R-learner和嵌套回归估计对比函数（contrast functions），并采用交叉拟合（cross-fitting）控制偏差。
  3. 主要结论：在正则条件下，BQL的线性对比函数估计量是 \( \sqrt{n} \)-相合且渐近正态的；估计策略的遗憾界为 \( O_p((1/\sqrt{n})^{r+1} + \epsilon_n^{r+1}) \)，其中 \( r \) 由边际条件（margin condition）控制，\( \epsilon_n \) 是模型误设误差。

关键设定与假设

  • 设定：两阶段二元治疗，观测数据有完整协变量，新个体只能根据规则收集部分协变量。成本函数用户指定。
  • 假设：
  • Assumption 1（识别条件）：一致性、序贯可忽略性、正性。这是标准DTR识别假设。
  • Assumption 2（有界性）：对比函数和协变量有界。
  • Assumption 3（ nuisance 估计误差）：要求 nuisance 函数（如 \( f_2, g_2 \)）的估计误差满足 \( o_p(1) \) 和 \( o_p(n^{-1/4}) \) 等，且乘积项为 \( o_p(n^{-1/2}) \)。这是R-learner框架的典型要求（Nie and Wager, 2021）。
  • Assumption 4（下界）：条件方差矩阵的最小特征值有正下界，确保OLS良定义。
  • Assumption 5（边际条件）：决策边界附近的概率密度以 \( t^r \) 速度衰减。\( r \) 越大，决策越容易。用于控制遗憾界和渐近正态性。
  • Assumption 6（模型误设误差）：线性工作模型与真实对比函数之间的误差有界 \( \epsilon_n \)。允许模型误设，但要求误差趋于0才能保证策略收敛到全局最优。

相比已有文献：本文的假设与Ertefaie et al. (2021) 的Robust Q-learning类似，但额外引入了边际条件（Assumption 5）和模型误设误差（Assumption 6）。边际条件在分类和决策问题中常见（Mammen and Tsybakov, 1999），本文将其用于遗憾界分析。

主要结果

  • Theorem 4.1（渐近正态性）：在 \( r>1 \) 下，所有线性对比函数估计量（\( \hat{\alpha}, \hat{\beta}, \hat{\gamma}, \hat{\delta} \)）都是 \( \sqrt{n} \)-相合且渐近正态的，协方差矩阵可一致估计。这使得可以进行统计推断（如置信区间、假设检验）。
  • Theorem 4.2（遗憾界）：在 \( r \ge 1 \) 下，估计策略与最优策略的利润差为 \( O_p((1/\sqrt{n})^{r+1} + \epsilon_n^{r+1}) \)。当模型正确（\( \epsilon_n=0 \)）且 \( r=1 \) 时，遗憾界为 \( O_p(1/n) \)，与Hu et al. (2025) 的线性Fitted Q-Iteration结果一致。这比通常的 \( O_p(1/\sqrt{n}) \) 更快，得益于边际条件。

证明路线与技术技巧（理论型）

整体路线（以第二阶段的治疗分配对比函数 \( \bar{\Delta}_{2t} \) 为例）： 1. 识别：利用R-learner表示：\( Y - f_2(\bar{S}_2, A_1) = \{A_2 - g_2(\bar{S}_2, A_1)\}\{\bar{\Delta}_{2t}(\bar{S}_2, A_1) + C_{2t}(1)-C_{2t}(0)\} + \varepsilon_{2t} \)，其中 \( \mathbb{E}[\varepsilon_{2t} \mid \bar{S}_2, A_1]=0 \)。 2. 估计：先用交叉拟合估计 nuisance \( f_2, g_2 \)，然后通过残差对残差的回归（R-learner）得到 \( \bar{\Delta}_{2t} \) 的线性估计 \( (\bar{S}_2, A_1)^\top \hat{\alpha} \)。 3. 嵌套回归：为了得到受限对比函数 \( \Delta_{2t}(s_{\bar{j}_2}, j_1, a_1, j_2) = \mathbb{E}[\bar{\Delta}_{2t}(\bar{S}_2, a_1) \mid \bar{S}_{\bar{j}_2}=s_{\bar{j}_2}] \)，将 \( \bar{\Delta}_{2t} \) 的估计投影到 \( \bar{S}_{\bar{j}_2} \) 上，得到 \( s_{\bar{j}_2}^\top \hat{\alpha}_{j_1 a_1 j_2} \)。 4. 后续阶段：类似地，利用已估计的对比函数构造伪结局（pseudo-outcomes），再应用R-learner和嵌套回归，依次估计第二阶段的协变量评估对比、第一阶段的治疗对比、第一阶段的协变量评估对比。 5. 渐近正态性证明：通过分解估计误差为若干项，证明高阶项为 \( o_p(n^{-1/2}) \)（利用交叉拟合和边际条件），主导项为i.i.d.平均，从而应用CLT。

关键跳跃点： - 处理离散决策（协变量子集选择）带来的非光滑性：对比函数中包含指示函数（如 \( I(S_{\bar{j}_2}^\top \alpha_{j_1 a_1 j_2} > 0) \)），导致估计量不是光滑函数。作者利用边际条件（Assumption 5） 控制指示函数变化带来的误差：当参数估计误差为 \( O_p(n^{-1/2}) \) 时，指示函数变化只发生在边界附近，而边界附近的概率密度以 \( t^r \) 衰减，因此指示函数变化带来的误差为 \( O_p(n^{-(r+1)/2}) \)，当 \( r>1 \) 时足够小以保证渐近正态性。 - 处理嵌套回归中的误差传播：后一阶段的估计依赖于前一阶段的估计，误差会传播。作者通过交叉拟合和细致的误差分解，证明传播误差仍为 \( o_p(n^{-1/2}) \)。具体地，在证明 \( \hat{\gamma} \) 的渐近正态性时，需要处理来自 \( \hat{\alpha} \) 和 \( \hat{\beta} \) 的误差，这些误差被吸收到影响函数中（见Theorem S4.1中的 \( Q_{\bar{\gamma}} \) 表达式）。

技术技巧点名： - R-learner（Robinson, 1988; Nie and Wager, 2021）：用于估计治疗分配对比函数，通过残差化去除主效应。 - 交叉拟合（Chernozhukov et al., 2018）：用于控制 nuisance 估计带来的偏差，使得估计量可以 \( \sqrt{n} \)-相合。 - 嵌套回归：将非受限对比函数投影到受限协变量空间，得到受限对比函数。 - 边际条件（Mammen and Tsybakov, 1999）：用于处理离散决策的非光滑性，获得快速遗憾界。 - 影响函数展开：在渐近正态性证明中，将估计量表示为i.i.d.平均加上高阶余项，并利用Donsker类或经验过程理论（但本文主要用交叉拟合避免Donsker条件）。

真实例子与应用

模拟实验（Section 5.1）： - 数据：生成两阶段数据，协变量维度 \( p=3 \) 或 \( 5 \)，样本量 \( n=500 \)。结局由线性模型生成，包含异质性处理效应。 - 方法：比较BQL与HDQ（Zhu et al., 2019）和RQL（Ertefaie et al., 2021）。HDQ通过正则化选择变量，RQL使用完整协变量。所有方法都调整了治疗分配成本（通过阈值）。 - 结果：BQL能根据成本参数 \( \lambda \) 自适应地选择协变量子集：当成本权重低时，选择信息更丰富的昂贵子集；当成本权重高时，选择便宜但仍有信息的子集。相比之下，HDQ和RQL的选择频率不随成本变化，导致利润随成本增加线性下降。BQL在中等成本权重下利润显著高于对比方法。

真实数据应用（Section 5.2）： - 数据：MIMIC-III数据库中的脓毒症患者队列（17,914人），两阶段（每阶段24小时）。结局为90天生存状态。治疗为静脉输液量（二元）。协变量包括20个基线变量和24个实验室变量（分为四类：生化、血常规、凝血、血气），每类有成本。候选协变量子集为6种测试组合（从无测试到全部测试）。 - 方法：用BQL、RQL、HDQ估计策略，在测试集上评估利润（考虑测试成本和治疗成本）。 - 结果：当成本权重变化时，BQL能选择成本效益更高的测试组合（如当成本中等时，选择血常规+凝血，而非昂贵的血气分析），从而获得比RQL和HDQ更高的利润。具体地，BQL在 \( \tau \) 较小时（成本权重高）利润显著优于对比方法（见表2）。

🔎 结论是否比证明窄

  • Theorem 4.1 的渐近正态性要求 \( r>1 \)（边际条件参数），但Theorem 4.2的遗憾界只要求 \( r\ge 1 \)。这意味着当 \( r=1 \) 时，估计量可能不是 \( \sqrt{n} \)-渐近正态的（可能收敛速度更慢），但遗憾界仍成立。作者在Theorem 4.1的陈述中明确写了“with some \( r>1 \)”，这是诚实的。
  • 线性工作模型假设（对比函数为线性）是较强的。作者在Assumption 6中允许模型误设，但要求误设误差 \( \epsilon_n \to 0 \) 才能保证策略收敛到全局最优。如果线性模型严重误设，估计策略可能远非最优。作者在算法描述中提到“can be readily extended to accommodate non-parametric estimators for the contrast functions”，但理论结果只针对线性模型。
  • 遗憾界 \( O_p((1/\sqrt{n})^{r+1} + \epsilon_n^{r+1}) \) 中的 \( \epsilon_n \) 是模型误设误差，但作者没有给出 \( \epsilon_n \) 的具体形式或如何保证它趋于0。在实际应用中，线性模型可能无法完美逼近真实对比函数，因此遗憾界可能无法达到 \( O_p(1/n) \)。

四、开放问题

  1. 高维设定：当协变量维度很高时，候选子集集合 \( \mathcal{J}_1, \mathcal{J}_2 \) 可能指数级大，计算所有组合的对比函数变得不可行。作者在Discussion中明确提到“A key extension involves high-dimensional settings, where estimating contrast functions between Q-functions for all covariate assessment combinations becomes computationally prohibitive.” 如何设计高效算法（如利用稀疏性、贪婪搜索或凸松弛）是开放问题。

  2. 缺失数据：观测数据本身可能存在缺失（如患者未完成某些检查），而本文假设观测数据有完整协变量。作者提到“addressing settings where observed data suffers from missingness – an issue common in dynamic studies – warrants further exploration.” 这需要结合缺失数据机制和因果推断。

  3. 无限时域与强化学习：本文只考虑有限阶段（两阶段）。扩展到无限时域（如马尔可夫决策过程）下的成本-效用平衡，以及与其他强化学习方法的结合，是自然延伸。作者在Discussion中提到了这一点。

  4. 非线性对比函数：本文的理论只覆盖线性工作模型。虽然算法可以扩展到非参数估计，但理论性质（渐近正态性、遗憾界）需要重新建立。特别是，非参数估计的收敛速度可能更慢，且需要更复杂的工具（如经验过程、局部多项式）。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论