Optimal sequential decision-making with initiation regimes¶
作者: Julien D. Laurendeau, Leora Sarvet, Mats J. Stensrud
主题: 因果推断
相关性: 8/10
链接: https://arxiv.org/abs/2609.29844
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是动态治疗策略(dynamic treatment regimes)的因果推断与最优决策。其根本科学问题是:在序贯决策环境下,如何利用数据(随机试验或观察性数据)估计并选择一个随患者历史状态变化的治疗策略,以最大化期望累积收益(如健康结局)。该领域已相当成熟,核心方法包括 Q-learning(Murphy, 2003)、A-learning(Robins, 2004; Schulte et al., 2014)、以及基于半参数效率理论的估计方法(van der Laan and Luedtke, 2015; Luedtke and van der Laan, 2016b)。本文的独特切入点是:当人类决策者拥有未记录在案的信息时,如何设计一个保证优于纯人类和纯算法策略的决策规则。这触及了算法辅助决策(algorithm-assisted decision-making)中一个核心但常被回避的问题——数据中未编码的专家知识。
发展脉络¶
- 奠基工作:Murphy (2003) 和 Robins (2004) 建立了最优动态治疗策略的统计框架,将序贯决策问题转化为动态规划(Bellman 方程)求解,并给出了在序贯随机化条件下的识别条件。这是整个领域的基石。
- 主要进展:后续工作沿着两条线推进。一是估计方法:从 Q-learning 到基于效率影响函数(efficient influence function)的倍稳健估计(van der Laan and Luedtke, 2015; Luedtke and van der Laan, 2016b),实现了在非参数模型下的 √n 收敛。二是识别条件的放宽:从完全随机化到观察性数据,引入序贯可忽略性(sequential ignorability)、工具变量(Chen and Zhang, 2023)、以及近端因果推断(Ying et al., 2023)等工具。
- 当前 frontier:本文引用的最新工作(Stensrud et al., 2024; Laurendeau et al., 2024; Sarvet and Stensrud, 2025)开始关注自然治疗值(natural treatment value)——即个体在无干预情况下会采取的治疗选择。Stensrud et al. (2024) 在单点治疗(point treatment)设定下证明了利用自然治疗值可以构造"超最优"(superoptimal)策略,即同时优于传统最优策略和观察到的决策。本文作者将此推广到序贯(sequential)设定,提出了"启动策略"(initiation regimes)这一新概念。
- 本文的位置:本文是 Stensrud et al. (2024) 的纵向推广,但并非简单套用。作者明确指出,从单点到序贯的推广并非平凡("The extension from the point treatment setting is not straightforward"),因为记录自然治疗值在序贯试验中面临新的操作困难(个体一旦进入随机化试验,其自然选择就不再可观测)。本文的核心贡献是:(i) 定义了启动策略类并证明其最优性;(ii) 给出了识别启动策略所需的试验设计(序贯进入试验、数据融合);(iii) 提供了基于影响函数的估计与推断方法。
子线索聚类¶
被引文献大致落在三条子线索上:
- 最优动态治疗策略的估计与推断(Murphy, 2003; Robins, 2004; Chakraborty and Murphy, 2014; Tsiatis et al., 2019; Clifton and Laber, 2020; Kosorok et al., 2020):这条线关注如何在给定识别条件下高效估计最优策略,核心工具是 Q-learning、A-learning 和半参数效率理论。本文的估计部分(Proposition 6, 7)直接建立在这条线上。
- 利用自然治疗值改进决策(Stensrud et al., 2024; Laurendeau et al., 2024; Sarvet and Stensrud, 2025):这是本文的直接前驱。单点设定下已证明自然治疗值携带关于未测量混杂因子的信息,可用于构造超最优策略。本文将此推广到序贯设定。
- 数据融合与试验设计(Batorsky et al., 2024; Graham et al., 2026; Dahabreh et al., 2019a,b):本文的识别策略依赖于将随机试验数据与观察性数据结合(Data Structure 1),或设计新的试验(Data Structures 2-4)。这条线关注如何在不同数据源之间进行有效融合,以及试验设计如何影响可识别性。
核心问题¶
这个方向在追问的核心问题是:
- 识别:在何种数据与假设下,最优策略(包括利用自然治疗值的策略)是可识别的?
- 估计:如何构造 √n 一致且渐近正态的估计量?需要什么样的收敛速率条件(如 Proposition 6 中的 o_P(n^{-1/4}) 条件)?
- 最优性:在什么意义上一个策略是"最优"的?本文的关键创新在于扩展了策略类(从仅依赖记录历史的策略扩展到依赖自然治疗值的策略),从而在更广的类中寻找最优。
已知瓶颈:识别启动策略需要自然治疗值数据,而常规随机试验不记录这些值;观察性数据虽记录自然选择,但存在未测量混杂。数据融合(Data Structure 1)需要额外的同总体假设(Graham et al., 2026)。此外,估计启动策略需要估计"反事实自然治疗值"的条件分布,这比传统 Q-learning 更复杂。
⚠️ 作者的 framing(这是作者的说法)¶
作者将缺口 frame 成:"即使从完美随机试验中正确识别出最优动态治疗策略,它也不一定优于人类决策者,因为人类可能掌握试验未记录的信息。" 因此,他们提出启动策略作为"显然的下一步"——一个同时利用人类早期决策(自然治疗值)和算法后期优化的混合策略。作者淡化的竞争路线包括:(1) 直接建模未测量混杂因子的结构(如潜变量模型),这需要更强的分布假设;(2) 将人类决策视为一个可学习的策略并直接模仿(imitation learning),这忽略了人类决策可能并非最优的事实。作者选择了一条"中间道路":不完全信任人类(不像模仿学习),也不完全信任算法(不像传统最优策略),而是在人类决策与算法优化之间寻找最优切换点。
值得注意的张力:作者声称启动策略"保证"优于纯人类和纯算法策略(Proposition 1),但这一保证依赖于一个关键假设——自然治疗值在试验中可被准确记录且不改变人类决策行为。如果记录行为本身改变了医生的决策(霍桑效应),这一保证可能失效。作者在文中未充分讨论这一威胁。
张力¶
被引文献之间未见明显对立结论。但存在一个微妙的张力:Stensrud et al. (2024) 的单点结果依赖于"自然治疗值在干预前后均可观测"的假设,而本文的序贯设定中,一旦个体进入随机化试验,其自然治疗值就不再可观测(除非额外记录)。作者通过设计 Data Structures 2-4 来规避这一问题,但这增加了试验的复杂性。这一张力是本文方法论的出发点,而非未解决的矛盾。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型与可观测数据¶
符号(按类别列出):
- 时间与样本:\(K\) 为决策总期数(有限);\(n\) 为样本量;\(i = 1, \dots, n\) 为个体索引。
- 可观测变量:
- \(L_k\):第 \(k\) 期的协变量向量(如年龄、疼痛评分),可观测。
- \(A_k \in \{0,1\}\):第 \(k\) 期的治疗分配(如是否使用度洛西汀),可观测。
- \(R_k\):第 \(k\) 期的即时收益(如 PEG 评分),可观测。
- \(H_k := (L_1, A_1, R_1, \dots, L_k)\):第 \(k\) 期开始前的历史(协变量与收益),可观测。
- 潜在 / 反事实量:
- \(A_k^g\):在策略 \(g\) 下第 \(k\) 期的治疗值(潜在,除非 \(g\) 恰好等于实际执行的策略)。
- \(R_k^{a_k}\):给定治疗序列 \(a_k\) 时的潜在收益(潜在)。
- \(A_k^{g}\)(自然治疗值):在无干预情况下个体在第 \(k\) 期会采取的治疗选择(潜在,是本文的核心创新概念)。
- \(U_k\):未观测混杂因子(如医生的直觉、患者未言明的偏好),不可观测。
- 参数 / 估计目标:
- \(g = (g_1, \dots, g_K)\):策略,每个 \(g_k\) 是从历史 \(H_k\) 到治疗 \(\{0,1\}\) 的映射。
- \(V^g := E[R^g] = E[\sum_{k=1}^K R_k^g]\):策略 \(g\) 的价值函数(期望总收益),估计目标。
- \(g^{\text{opt}}\):传统 H-最优策略,\(\arg\max_{g \in G} V^g\),其中 \(G\) 是仅依赖 \(H_k\) 的策略类。
- \(g^{\text{init}}\):最优启动策略,\(\arg\max_{g \in G^{\text{init}}} V^g\),其中 \(G^{\text{init}}\) 是允许在某个时间点后利用自然治疗值的策略类。
- \(Q_k(h_k, a_k)\):Q-函数,\(E[R_k^{a_k} + V_{k+1}^{\text{opt}}(H_{k+1}) | H_k = h_k]\)。
- \(\pi_k(a_k | h_k) = P(A_k = a_k | H_k = h_k)\):倾向得分(观察性数据中治疗分配的概率)。
模型(数据生成机制):
- 潜在结果框架:每个个体有一组潜在变量 \(\{L_k^{a_{k-1}}, A_k^{a_{k-1}}, R_k^{a_k}\}\),其中 \(a_{k-1}\) 表示前 \(k-1\) 期的治疗序列。观测数据是潜在变量在实际执行策略下的实现。
- 序贯一致性(sequential consistency):若实际治疗序列等于 \(a_k\),则观测到的 \((L_k, A_k, R_k)\) 等于潜在值 \((L_k^{a_{k-1}}, A_k^{a_{k-1}}, R_k^{a_k})\)。
- 自然治疗值:\(A_k^g\) 定义为在策略 \(g\) 下、但个体保持其"自然选择"时的治疗值。形式上,\(A_k^g = A_k^{g_{k-1}, \text{natural}}\),其中"natural"表示个体在没有试验干预时会采取的选择。关键:\(A_k^g\) 是 \(U_k\) 的函数,因此携带 \(U_k\) 的信息。
- 可观测数据:
- Data Structure 1:观察性数据(记录 \(L_k, A_k, R_k\),其中 \(A_k\) 是自然治疗值)+ 随机试验数据(记录 \(L_k, A_k^g, R_k\),但不记录自然治疗值)。
- Data Structure 2(序贯进入试验):个体先接受观察(记录自然治疗值 \(A_1, \dots, A_{j-1}\)),然后在随机时间点 \(j\) 进入随机试验,此后接受随机化治疗。
- Data Structure 3:随机试验中在每个时间点额外记录自然治疗值(个体被询问"如果没有试验,你会选择什么?")。
- Data Structure 4:三臂随机试验(治疗、对照、自然选择)。
第二步:最小内核¶
核心命题(单点情形,\(K=1\)):假设我们有一个完美的随机试验,识别出了传统最优策略 \(g^{\text{opt}}(L_1) = \arg\max_a E[R^a | L_1]\)。同时,我们观察到个体的自然治疗值 \(A_1\)。那么,存在一个策略 \(g^{\text{super}}\),它同时优于 \(g^{\text{opt}}\) 和观察到的决策 \(A_1\):
为什么这成立? 因为 \(A_1\) 携带了关于未观测混杂因子 \(U_1\) 的信息。条件于 \(L_1\) 和 \(A_1\) 后,我们对 \(U_1\) 的后验分布有了更精确的认识,因此可以做出更好的决策。形式上,\(E[R^a | L_1, A_1]\) 是对 \(E[R^a | L_1, U_1]\) 的更好逼近(在均方误差意义下),因为 \(A_1\) 与 \(U_1\) 相关。
关键识别条件:\(E[R^a | L_1, A_1]\) 可以从观察性数据中识别,因为:
序贯推广(\(K=2\)):启动策略 \(g^{\text{init}}\) 定义为:
- 在 \(k=1\):遵循观察到的自然治疗值 \(A_1\)(即 \(g^{\text{init}}_1 = A_1\))。
- 在 \(k=2\):给定历史 \(H_2 = (L_1, A_1, R_1, L_2)\),选择 \(g^{\text{init}}_2(H_2, A_2) = \arg\max_{a_2} E[R_2^{a_2} + V_3^{\text{opt}} | H_2, A_2]\)。
为什么序贯推广不平凡? 因为一旦个体在 \(k=1\) 接受了干预(\(A_1^g \neq A_1\)),其自然治疗值 \(A_2\) 就不再可观测(个体已经偏离了自然轨迹)。因此,\(g^{\text{init}}\) 只能在 \(k=1\) 处利用自然治疗值,之后必须切换到传统最优策略。这正是 Data Structures 2-4 设计的动机:通过序贯进入试验或记录自然选择,使得 \(A_2\) 在部分个体中可观测。
数学上要证明的核心命题:
命题(非正式陈述):在 Data Structure 2(序贯进入试验)下,最优启动策略 \(g^{\text{init}}\) 是可识别的,且 \(E[R^{g^{\text{init}}}] \geq \max(E[R^{g^{\text{opt}}}], E[R^{g^{\text{obs}}}])\),其中 \(g^{\text{obs}}\) 是观察到的决策策略。
证明思路(对应 Proposition 1 和 5): 1. 包含性:\(G^{\text{init}}\) 包含 \(g^{\text{opt}}\)(取 \(j=1\),即一开始就切换到最优策略)和 \(g^{\text{obs}}\)(取 \(j=K+1\),即从不切换)。因此 \(g^{\text{init}}\) 至少不差于两者。 2. 严格改进:构造一个数据生成机制(如 Proposition 1 的证明),其中 \(A_1\) 携带关于 \(U_1\) 的信息,使得在 \(k=1\) 时利用 \(A_1\) 能严格提高期望收益。 3. 识别:通过 Data Structure 2 的序贯进入设计,\(A_1\) 在进入试验前被记录,\(A_2\) 在进入试验后被记录(如果个体在 \(k=2\) 才进入试验),因此所有需要的条件期望都可以从数据中估计。
这个最小内核的要点:本文的核心数学贡献不是新的估计技巧,而是重新定义了策略类——从"仅依赖记录历史"扩展到"先跟随人类决策,再切换到算法最优"。这个扩展使得策略能够利用未记录信息(通过自然治疗值间接获取),从而在理论上保证优于纯人类和纯算法。识别和估计的难点在于:自然治疗值在干预后不可观测,需要特殊的试验设计(Data Structures 2-4)来弥补。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在序贯决策环境下,当人类决策者拥有未记录在案的信息时,如何构造一个保证同时优于纯人类决策和传统最优算法策略的决策规则。
- 核心工具 / 方法:提出了"启动策略"(initiation regimes)——先遵循人类决策直到某个时间点,然后切换到传统 H-最优策略;利用自然治疗值(natural treatment values)作为未测量混杂因子的代理,通过 Bellman 方程求解最优切换时间。
- 主要结论:启动策略在理论上保证不差于纯人类和纯算法策略(Proposition 1),在 Data Structure 2(序贯进入试验)下可识别(Proposition 4),且存在数据生成机制使其严格优于两者;作者给出了基于影响函数的 √n 渐近正态估计方法(Proposition 6, 7),并在慢性下背痛治疗案例中展示了实际效用。
关键设定与假设¶
- 设定:有限期 \(K\) 的序贯决策问题,治疗二值(\(A_k \in \{0,1\}\)),收益可加(\(R = \sum_{k=1}^K R_k\))。
- 假设:
- 一致性(Consistency, Assumption 1):观测到的治疗和收益等于潜在值。这是所有因果推断的标准假设。
- 积极性(Positivity, Assumption 2):\(P(A_k = 1 | H_k, A_{k-1}) \in (0,1)\),保证所有治疗序列都有正概率被观察到。
- 无序贯可忽略性(No sequential ignorability):作者不假设无未测量混杂。相反,他们假设存在未测量混杂因子 \(U_k\),且 \(U_k\) 影响自然治疗值 \(A_k\) 和收益 \(R_k\)。这是与标准最优策略文献的关键区别。
- 自然治疗值的可观测性:在 Data Structure 2 中,个体在进入试验前的自然治疗值被记录;在 Data Structure 3 中,个体在每个时间点被询问其自然选择。
- 同总体假设(Data Structure 1):观察性数据与试验数据来自同一超总体(Graham et al., 2026)。
- 估计条件(Proposition 6):倾向评分和结果回归的估计误差满足 \(o_P(n^{-1/4})\) 的 \(L_2\) 速率,且估计函数属于 Donsker 类。
相比已有文献的放宽/强化: - 放宽:不要求无未测量混杂(相比 Murphy 2003; Robins 2004 的标准设定)。 - 强化:要求自然治疗值在特定时间点可观测(标准文献不涉及此概念);要求数据融合假设(Data Structure 1)。
主要结果¶
理论结果: - Proposition 1:\(g^{\text{init}}\) 至少不差于 \(g^{\text{obs}}\) 和 \(g^{\text{opt}}\),且存在严格改进的数据生成机制。证明通过构造一个两期例子,其中 \(A_1\) 携带关于 \(U_1\) 的信息,使得在 \(k=1\) 时利用 \(A_1\) 能严格提高期望收益。 - Proposition 3:Data Structure 1(观察性数据 + 常规随机试验)不能识别 \(g^{\text{init}}\),因为试验中不记录自然治疗值。这是一个负结果,说明需要新的试验设计。 - Proposition 4:Data Structure 2(序贯进入试验)能识别 \(g^{\text{init}}\)。证明基于:进入试验前的自然治疗值可观测,进入后的治疗由随机化决定,因此所有需要的条件期望都可以从数据中识别。 - Proposition 5:给出了 \(g^{\text{init}}\) 识别的充分条件——需要识别一系列"反事实自然治疗值"的条件分布,这些分布可以通过 Data Structures 2-4 或 IV 方法识别。 - Proposition 6:在倾向评分和结果回归以 \(o_P(n^{-1/4})\) 速率收敛的条件下,基于影响函数的估计量 \(\hat{E}(R^{\hat{g}^{\text{init}}})\) 是 √n 渐近正态的。证明使用了一阶影响函数展开和 Donsker 条件。 - Proposition 7:给出了单步估计量(one-step estimator)的收敛性,条件与 Proposition 6 类似。
方法结果: - 算法:Algorithm S2(Bellman 方程求解 \(g^{\text{init}}\))、Algorithm S4(Q-learning 估计 \(g^{\text{init}}\))。 - 影响函数:Appendix K 给出了 \(E[R^g_k | H^g_k, A^g_j]\) 的完整影响函数表达式,包括倾向评分和结果回归的倍稳健修正。
实证结果: - 案例:慢性下背痛治疗(Data Structure 2-4),基于 Batorsky et al. (2024) 的数据生成机制。 - 结果:Table 1-2 显示 \(g^{\text{init}}\) 的期望收益(10.099-10.194)显著高于 \(g^{\text{obs}}\)(9.778-9.797)和 \(g^{\text{opt}}\)(9.875-9.867),且置信区间不重叠。Table S3 在 IV 设定下也显示 \(g^{\text{init}}\) 优于 \(g^{\text{opt}}\) 和 \(g^{\text{obs}}\)。 - 说明:这些结果是基于模拟数据,不是真实患者数据。
🔎 结论是否比证明窄¶
是,存在明显差距: 1. Proposition 1 的证明仅覆盖 \(K=2\) 且 \(L_k = \emptyset\) 的情形。作者在 Appendix M.1 中构造的例子没有协变量,且只有两期。对于一般 \(K\) 和一般协变量过程,严格改进的证明并未给出。作者在正文中声称"存在数据生成机制使不等式严格成立",但未说明这一机制是否在 \(K > 2\) 时仍然有效。 2. Proposition 6 的证明依赖于 Donsker 条件,但作者没有讨论当倾向评分或结果回归用高维/非参数方法估计时,Donsker 条件是否满足。对于现代机器学习方法(如随机森林、神经网络),Donsker 条件通常不成立,需要交叉拟合(cross-fitting)或其他去偏技术。作者在正文中提到了"或估计于独立样本",但没有给出交叉拟合的正式证明。 3. Proposition 7 的证明依赖于 Lemma M.1,而 Lemma M.1 假设了影响函数的二阶余项可忽略。作者没有给出这个余项的具体上界,也没有讨论当倾向评分接近 0 或 1 时(弱重叠)会发生什么。 4. 识别结果(Proposition 4)依赖于 Data Structure 2 的特定设计。作者没有讨论如果个体在进入试验前就接受了治疗(即自然治疗值本身被污染),识别是否仍然成立。这在现实中很常见(如患者先自行服药,然后才被招募入试验)。 5. 实证部分没有报告估计量的标准误或置信区间的覆盖概率。Table 1-2 只给出了点估计和基于正态近似的置信区间,但没有验证这些区间在有限样本下的覆盖性质。
四、开放问题¶
以下开放问题均扎根于本文的具体语句:
-
一般 \(K\) 下的严格改进条件(扎根于 Proposition 1 的证明,Appendix M.1):作者仅构造了 \(K=2\) 且无协变量的例子。对于 \(K > 2\),是否存在数据生成机制使 \(g^{\text{init}}\) 严格优于 \(g^{\text{opt}}\) 和 \(g^{\text{obs}}\)?如果存在,需要什么样的条件(如自然治疗值的持续性、未测量混杂的时间结构)?这是一个值得追问的理论问题,因为它决定了启动策略的适用范围。
-
弱重叠下的行为(扎根于 Proposition 6 的条件 (iv),\(\hat{\pi}_k \in (\epsilon, 1-\epsilon)\)):当倾向评分接近 0 或 1 时,影响函数的分母趋于 0,估计量的方差会爆炸。作者没有讨论在这种情况下如何修正估计量(如截断、正则化),也没有给出 \(\epsilon\) 的选择方法。对于实际应用(如罕见治疗),这是一个关键问题。
-
高维 / 非参数估计下的推断(扎根于 Proposition 6 的 Donsker 条件):当倾向评分和结果回归用机器学习方法估计时,Donsker 条件通常不成立。作者提到了"或估计于独立样本",但没有给出交叉拟合的正式证明。一个自然的后续问题是:在交叉拟合框架下,Proposition 6 的结论是否仍然成立?需要什么样的收敛速率条件?
-
自然治疗值的测量误差(扎根于 Data Structures 2-4 的设计):作者假设自然治疗值可以被准确记录。但如果个体在进入试验前已经接受了治疗(如自行服药),或者个体报告的自然选择与实际行为不一致,识别是否仍然成立?这需要建立测量误差模型,并分析其对 \(g^{\text{init}}\) 估计的影响。
-
最优切换时间的推断(扎根于 Algorithm S2 和 Proposition 5):\(g^{\text{init}}\) 的定义涉及一个随机停止时间 \(T^{g^{\text{init}}}\)(个体偏离自然轨迹的时间)。作者给出了 \(g^{\text{init}}\) 的识别条件,但没有讨论如何对 \(T^{g^{\text{init}}}\) 进行推断(如构造置信区间)。对于实际决策(如确定何时从医生决策切换到算法决策),这是一个重要问题。
-
与强化学习的衔接:作者在引言中提到强化学习方法(如 Q-learning)在实践中可能失败,因为人类决策者拥有未编码信息。但本文的启动策略本质上是一个"先模仿、后优化"的策略。一个自然的后续问题是:如何将启动策略嵌入到在线强化学习框架中,使得算法可以在线学习最优切换时间?这需要处理探索-利用权衡,以及非平稳环境下的推断问题。
提醒:要确认上述问题是否为真 gap,建议去读以下近期文献的引言部分(约 5 篇):Stensrud et al. (2024)、Laurendeau et al. (2024)、Sarvet and Stensrud (2025)、Chen and Zhang (2023)、以及 Batorsky et al. (2024)。如果这些文献的引言都指向同一个未解决问题,那就是共识性 gap;如果它们对同一问题的处理方式互相矛盾,那可能是更值得深挖的机会。
Maintained by 陈星宇 · Homepage · Source on GitHub