Robust estimation of optimal dynamic treatment regimes with nonignorable missing covariates¶
作者: Jian Sun, Bo Fu, Li Su
来源: Biostatistics
主题: 因果推断
相关性: 7/10
机构绿灯: Fudan University(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是带缺失数据的动态治疗策略(Dynamic Treatment Regimes, DTRs)估计。其根本科学问题是:在观测数据(如电子病历)中,协变量存在非随机缺失(nonignorable missingness,即缺失机制依赖于缺失值本身)时,如何稳健地估计最优的序贯治疗决策规则。该方向的成熟度处于"方法快速扩张但理论根基尚浅"的阶段——已有大量针对完全数据或可忽略缺失(ignorable missingness)的DTR估计方法,但非随机缺失场景下的理论保证和稳健估计仍是开放问题。
发展脉络¶
-
奠基工作:DTR估计的两大范式。Q-learning(回归范式)由 Schulte et al. (2014) 系统化,通过向后递推估计条件期望函数来隐式获得最优规则;直接搜索范式(direct-search)由 Zhao et al. (2012) 的 Outcome Weighted Learning (OWL) 开创,将最优规则估计转化为加权分类问题,其核心优势在于决策规则的形式与结局回归模型解耦。Zhao et al. (2015) 进一步提出 Backward OWL (BOWL) 和 Simultaneous OWL (SOWL),将直接搜索推广到多阶段。这两条路线的张力在于:Q-learning 依赖模型正确设定但统计效率高,直接搜索对模型误设更稳健但可能损失效率。
-
主要进展:从完全数据到缺失数据。Dong et al. (2020) 系统研究了单调缺失(monotone missingness)下加权估计方程在 DTR 估计中的应用,建立了逆概率加权(IPW)框架下的一致性。同期,Huang and Zhou (2020) 将增强逆概率加权(AIPW)引入单阶段最优治疗规则估计。这些工作处理的是可忽略缺失(缺失机制仅依赖于已观测变量),其核心工具是倾向得分或缺失倾向得分的逆概率加权。
-
关键转折:非随机缺失的识别与估计。Shao and Wang (2016) 提出利用非反应工具变量(nonresponse instrumental variables)识别非随机缺失下的缺失机制参数,这是本文方法论的直接基石。Miao et al. (2016) 和 Li et al. (2021) 进一步从理论上刻画了非随机缺失下均值泛函的可识别性条件——阴影变量(shadow variable)的存在性成为识别非随机缺失下目标参数的关键充分条件。Sun et al. (2025)(本文作者的前作)首次将这一识别策略引入 DTR 估计,提出加权 Q-learning 方法,但受限于参数化 Q 函数模型的误设风险。
-
当前 frontier 与本文位置:当前前沿是在非随机缺失下同时实现(i)对 Q 函数模型误设的稳健性、(ii)对缺失机制模型误设的稳健性、(iii)多阶段误差传播的控制。本文的直接搜索框架(CFBL/ACFBL/EE-ACFBL)正是针对这一前沿的推进:用协变量平衡权重替代倾向得分 IPW 权重以增强稳健性,用非参数 Q 函数估计替代参数模型以缓解误设传播,用非反应工具变量处理非随机缺失。
子线索聚类¶
- 直接搜索/分类范式:Zhao et al. (2012, 2015, 2019)、Liu et al. (2018)。核心是"估计治疗规则价值 → 加权分类"。已知瓶颈:权重估计不稳定、对强混淆敏感。
- 缺失数据处理:Shao and Wang (2016)、Miao et al. (2016)、Li et al. (2021)、Tang et al. (2014)。核心是"非随机缺失的识别与加权"。已知瓶颈:非反应工具变量的可得性、缺失机制模型的误设风险。
- 平衡权重方法:Chan et al. (2016)、Wong and Chan (2018)、Imai and Ratkovic (2014)、Tan (2020)、Chattopadhyay et al. (2020)。核心是"直接优化协变量平衡而非估计倾向得分"。已知瓶颈:高维下平衡条件的刻画、权重变异性控制。
- DTR 的缺失数据扩展:Dong et al. (2020)、Huang and Zhou (2020)、Shen et al. (2023)、Shortreed et al. (2014)。核心是"将缺失数据处理嵌入 DTR 估计"。已知瓶颈:多阶段缺失的累积效应、非随机缺失的识别。
这个方向在追问的核心问题¶
- 识别:非随机缺失下,最优 DTR 的价值函数何时可由观测数据识别?需要什么样的工具变量/阴影变量条件?
- 稳健估计:当 Q 函数、倾向得分、缺失机制三者中某些被误设时,如何构造对误设组合稳健的估计器?
- 效率与偏差的权衡:非参数方法(如 RKHS)在有限样本下是否真的优于参数方法?平衡权重与 IPW 的效率差距有多大?
- 多阶段误差传播:伪结局(pseudo-outcome)的估计误差如何跨阶段累积?非参数方法能否阻断这种传播?
⚠️ 作者的 framing(这是作者的说法)¶
作者将缺口 frame 为:"现有加权 Q-learning 方法(Sun et al., 2025)依赖参数化 Q 函数模型,其误设会通过伪结局向后传播并累积偏差;同时缺失倾向得分的估计偏差也会间接影响结果。" 因此本文的贡献被定位为"显然的下一步":用直接搜索 + 平衡权重 + 非参数 Q 函数来同时解决这两个稳健性问题。作者淡化的竞争路线包括:(1)多重插补(Shen et al., 2023)——作者仅一笔带过,未深入讨论其在非随机缺失下的失效机制;(2)AIPW 类增强估计(Huang and Zhou, 2020)——作者未将其作为主要比较基准;(3)深度强化学习方法——完全未提及。值得研究者去查的问题:为什么作者没有讨论双重稳健(double robustness)的增强估计器在非随机缺失下的表现?AIPW 类方法在 DTR 估计中是否已被证明优于纯 IPW 或平衡权重?另外,非反应工具变量的有效性条件在本文中是否被充分讨论——工具变量本身若与缺失机制相关会怎样?
张力¶
未见明显对立引用。但存在一个隐含张力:Zhao et al. (2019) 的 EARL 强调通过效率增强(augmentation)提升直接搜索的效率,而本文的 ACFBL 虽然也用了 augmentation,但核心是平衡权重而非效率增强。两者对"什么是最优权重"的哲学不同——EARL 追求半参数效率界,本文追求对误设的稳健性。这一张力未被作者明确讨论。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
设定:考虑单阶段场景(T=1)以传达核心思想,多阶段是它的递推扩展。
- 随机变量与样本:
- \(X_1 \in \mathbb{R}^p\):治疗前协变量(可能部分缺失)
- \(A_1 \in \{-1, 1\}\):二值治疗分配
- \(Y_1\):结局(越大越好)
- \(R_1\):\(X_1\) 的缺失指示(\(R_1=1\) 表示完全观测)
- \(Z_1 \subset X_1\):非反应工具变量(nonresponse IV),满足 \(Z_1 \perp R_1 \mid (U_1, Y_1^*)\),其中 \(U_1\) 是 \(X_1\) 中除 \(Z_1\) 外的可观测部分
-
样本:\(n\) 个独立同分布观测 \(\{(X_{1,i}, A_{1,i}, Y_{1,i}, R_{1,i})\}_{i=1}^n\)
-
参数 / 估计目标:
- 治疗规则:\(d_1: \mathcal{H}_1 \to \{-1, 1\}\),其中 \(\mathcal{H}_1\) 是 \(X_1\) 的支撑集
- 规则价值:\(V_1(d_1) = E[Y_1^*(d_1)]\),其中 \(Y_1^*(a_1)\) 是潜在结局
- 最优规则:\(d_1^{opt} = \arg\max_{d_1 \in \mathcal{D}} V_1(d_1)\)
- Q 函数:\(Q_1(h_1, a_1) = E[Y_1 \mid H_1 = h_1, A_1 = a_1]\)
- 倾向得分:\(e_1(h_1) = P(A_1 = 1 \mid H_1 = h_1)\)
-
缺失倾向:\(\pi_1(u_1, y_1) = P(R_1 = 1 \mid U_1 = u_1, Y_1 = y_1)\)
-
模型:
- 因果假设:一致性(Consistency)、序贯可忽略性(Sequential ignorability, Assumption 2)、积极性(Positivity, Assumption 3)
- 缺失机制:非随机缺失,即 \(\pi_1\) 依赖于 \(Y_1\) 本身(Assumption 6 的简化版)
-
函数空间假设:\(Q_1(\cdot, a_1) \in \mathcal{Q}_1\)(RKHS),\(\eta_1(\cdot)\) 为非参数函数
-
可观测数据 vs 不可观测量:
- 可观测:\((U_1, Z_1, A_1, Y_1, R_1)\),其中 \(Z_1\) 仅在 \(R_1=1\) 时被观测
- 不可观测:缺失的 \(Z_1\) 值;潜在结局 \(Y_1^*(a_1)\);缺失机制 \(\pi_1\)
第二步:最小内核¶
核心问题:我们想找到最优治疗规则 \(d_1^{opt}(h_1) = \arg\max_{a_1} Q_1(h_1, a_1)\)。但 \(X_1\) 有非随机缺失,直接只用完整样本(\(R_1=1\))估计 \(Q_1\) 会有偏。
最小内核(单阶段、一维、线性情形):
假设 \(X_1 = (U_1, Z_1)\),其中 \(U_1\) 总是被观测,\(Z_1\) 可能缺失。真实模型为:
朴素方法的问题:只用完整样本回归 \(Y_1 \sim A_1 + U_1 + Z_1\),估计 \(\hat{\beta}_3\) 有偏,因为 \(Z_1\) 的缺失与 \(Y_1\) 相关。
本文方法的思路(三步走):
-
用非反应工具变量识别缺失机制:假设 \(Z_1 \perp R_1 \mid (U_1, Y_1)\)(即给定 \(U_1\) 和 \(Y_1\),\(Z_1\) 不预测缺失)。这个假设允许我们通过估计方程(式 8)识别 \(\gamma\),即使缺失是非随机的。直觉:\(Z_1\) 是"工具"——它预测 \(Y_1\),但不直接影响缺失,所以可以用它在完整样本中的分布来推断缺失机制。
-
用平衡权重替代倾向得分 IPW:不直接估计 \(\pi_1\),而是构造权重 \(w_1\) 使得加权后的治疗组协变量分布与总体平衡。具体地,在 RKHS 中求解:
\[\min_{w_1} \sup_{q_1 \in \mathcal{Q}_1} \left\{ \frac{(\hat{E}_{S_1}[\{I(A_1=1)w_1 - 1\}q_1(H_1)])^2}{\|q_1\|^2_{n_1}} - \lambda \|q_1\|^2_{\mathcal{Q}_1} \right\}\]这比 IPW 更稳健,因为不依赖倾向得分模型的正确设定。 -
用非参数 Q 函数估计 + 加权分类:用平滑样条估计 \(\hat{Q}_1(h_1, a_1)\),然后通过加权分类(logistic loss)得到最优规则 \(\hat{d}_1^{opt}(h_1) = \text{sign}\{\hat{g}_1(h_1)\}\)。
为什么这个内核能 work:
- 非反应工具变量解决了识别问题——没有它,非随机缺失下的 \(\gamma\) 不可识别。
- 平衡权重解决了稳健性问题——不依赖倾向得分模型。
- 非参数 Q 函数解决了误设传播问题——多阶段时,参数模型的误设会通过伪结局累积。
多阶段扩展:从 \(T\) 阶段递推到 \(T-1\) 阶段。在阶段 \(t\),伪结局 \(Y_t^{pse} = \max_{a_{t+1}} \hat{Q}_{t+1}(H_{t+1}, a_{t+1})\) 本身可能因 \(X_{t+1}\) 缺失而缺失。本文用逆缺失概率加权(IPW with \(\hat{\pi}_t\))来处理伪结局的缺失,其中 \(\hat{\pi}_t\) 通过非反应工具变量估计。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在协变量非随机缺失(nonignorable missingness)的观测数据中,如何稳健地估计最优单阶段和多阶段动态治疗策略(DTRs)。
- 核心工具/方法:提出直接搜索框架下的三类估计器——CFBL(协变量函数平衡学习)、ACFBL(增强协变量函数平衡学习)和 EE-ACFBL(估计方程增强协变量函数平衡学习),其中平衡权重在 RKHS 中构造,缺失机制通过非反应工具变量和估计方程识别。
- 主要结论:在非随机缺失下,所提估计器比加权 Q-learning(Sun et al., 2025)对 Q 函数误设更稳健,比基于倾向得分 IPW 的直接搜索方法(OWL, EARL)权重更稳定;模拟和 MIMIC-III 数据应用均验证了其优势。
关键设定与假设¶
- 数据生成:\(n\) 个独立观测,\(T\) 个治疗阶段。协变量 \(X_t\) 部分缺失,缺失指示 \(R_t\)。治疗 \(A_t \in \{-1,1\}\),结局 \(Y_t\) 完全观测。
- 因果假设:一致性(Assumption 1)、序贯可忽略性(Assumption 2)、积极性(Assumption 3)。这些是 DTR 文献的标准假设。
- 缺失机制:未来无关缺失(Assumption 4),即 \(R_t \perp (Y_t, X_{t+1}, R_{t+1}, \ldots, X_T, R_T, A_T, Y_T) \mid (H_t, A_t)\)。这是本文的核心假设,比可忽略缺失弱,允许缺失依赖于当前结局。
- 非反应工具变量(Assumption 6):存在 \(Z_t \subset (H_t, A_t)\) 使得 \(Z_t \perp R_t^{pse} \mid (U_t, Y_t^{pse})\),其中 \(U_t = (H_t, A_t) \setminus Z_t\)。这是识别缺失机制的关键。
- 半参数缺失倾向模型(式 6):\(P(R_t^{pse} = 1 \mid u_t, y_t^{pse}) = [1 + \exp\{\eta_t(u_t) + \Gamma_{t,\gamma_t}(y_t^{pse})\}]^{-1}\),其中 \(\eta_t\) 非参数,\(\Gamma_{t,\gamma_t}\) 参数化。
- Q 函数空间:假设 \(Q_t(\cdot, a_t) \in \mathcal{Q}_t\)(RKHS),用平滑样条估计。
相比已有工作的变化: - 相比 Sun et al. (2025)(参数 Q 函数 + IPW),本文用非参数 Q 函数 + 平衡权重,放宽了 Q 函数模型设定。 - 相比 Zhao et al. (2012, 2015)(OWL/BOWL,完全数据),本文处理了非随机缺失。 - 相比 Dong et al. (2020)(可忽略缺失),本文允许非随机缺失。
主要结果¶
理论结果(附录 D、G):
-
CFBL 的一致性:在正则条件下,\(\hat{V}^{BW}_{1,S_1}(d_1) \xrightarrow{p} V_1(d_1)\),且 \(\hat{d}^{opt}_1 \xrightarrow{p} d^{opt}_1\)。证明路线:先证明平衡权重估计的一致性(利用 RKHS 的逼近性质),再证明价值函数估计的一致性,最后通过分类风险的经典论证得到规则的一致性。
-
ACFBL 的效率增益:augmentation 项 \(\hat{Q}_1(h_1, a_1)\) 的加入不改变一致性,但在 Q 函数估计一致时降低渐近方差。证明路线:将 ACFBL 的价值估计量分解为 CFBL 项 + augmentation 项,利用影响函数分析。
-
EE-ACFBL 的递推一致性:多阶段情形下,若阶段 \(t+1\) 的最优规则估计一致,则阶段 \(t\) 的伪结局估计一致,从而阶段 \(t\) 的规则估计一致。证明路线:数学归纳法 + 伪结局估计的收敛速率传递。
关键证明技巧: - RKHS 平衡权重的有限维表示:利用表示定理(Wahba, 1990),将无限维优化转化为有限维凸优化。 - 估计方程的两步估计:先用核回归估计 \(\eta_t(\cdot)\)(对固定 \(\gamma_t\)),再解估计方程(式 8)估计 \(\gamma_t\)。这是剖面似然(profile likelihood)思想的变体。 - 缺失机制估计的收敛速率:利用核回归的收敛速率 + 估计方程的渐近线性展开。
模拟结果:
- Simulation 1(单阶段):在 Q 函数误设时,CC-CFBL 和 CC-ACFBL 的价值估计和最优规则识别率显著优于 CC-QL(I) 和 CC-EARL(II);在 Q 函数正确设定时,CC-ACFBL 与 All-QL(C) 效率接近。n=500 时 CFBL 的优势比 n=2000 时更明显,说明平衡权重在小样本下更稳定。
- Simulation 2(两阶段):EE-ACFBL 在价值估计和规则识别率上优于 EE-QL(I),且伪结局的 MSE 显著更低(表 5 显示 EE-QL(I) 的伪结局 MSE 约为 EE-ACFBL 的 80 倍)。这验证了非参数 Q 函数对误差传播的阻断作用。
- Simulation 3(缺失机制误设):当 Assumption 6 轻微违反时,EE-ACFBL 的性能下降幅度小于 EE-QL(I),说明其对缺失机制误设也有一定稳健性。
MIMIC-III 数据应用:
- 数据:973 名脓毒症患者,两阶段液体复苏策略(<30 ml/kg vs ≥30 ml/kg),结局为 24 小时 SOFA 评分的负值。
- 方法应用:将 EE-ACFBL 与 EE-QL 应用于不同非反应工具变量组合(体重、性别、Elixhauser 评分)。
- 结果:EE-ACFBL 和 EE-QL 在价值估计上接近,但 EE-ACFBL 的估计值对工具变量选择更稳定(表 7 显示 EE-ACFBL 的标准误普遍小于 EE-QL)。包含血流动力学变量(有缺失)的模型比忽略这些变量的模型产生更高的估计价值,说明处理非随机缺失能改进策略估计。
🔎 结论是否比证明窄¶
- 明确窄的地方:论文声称"CFBL/ACFBL 对 Q 函数误设稳健",但一致性证明仅覆盖了 Q 函数属于 RKHS 的情形(附录 D 假设 5)。如果真实 Q 函数不在 RKHS 中,证明不成立。作者在模拟中只测试了线性 Q 函数误设为二次、或二次误设为线性的情况,未测试更严重的误设(如非光滑函数)。
- 未证明但被暗示:论文暗示 EE-ACFBL 在缺失机制误设下"稳健"(Simulation 3),但没有理论结果支持这一点——附录 G 的证明假设 Assumption 6 精确成立。Simulation 3 只测试了弱违反,且未给出理论解释。
- 效率声明:论文声称 ACFBL"维持效率增益",但没有推导半参数效率界,也没有证明 ACFBL 达到效率界。附录 D 只证明了渐近正态性,未计算渐近方差是否达到效率下界。
- 多阶段扩展的证明:附录 G 的递推一致性证明假设每阶段的 Q 函数都在 RKHS 中,且伪结局的估计误差足够小。但伪结局的收敛速率如何随阶段数衰减未被刻画——这是多阶段 DTR 估计的经典难题。
四、开放问题¶
-
非反应工具变量的有效性检验:Assumption 6 要求存在工具变量 \(Z_t\) 满足条件独立性,但如何从数据中检验这一假设?作者在 MIMIC-III 应用中仅凭领域知识选择候选工具变量,未提供统计检验。扎根于 Assumption 6 的讨论(第 4 节)。
-
高维协变量下的平衡权重:本文的 RKHS 平衡权重在 \(p\) 较大时计算复杂度高,且收敛速率随维度恶化。作者在讨论部分提到"维度灾难"(第 5 节),但未给出高维情形的理论或算法。扎根于第 5 节 "the dimension of the covariates is often high in practice"。
-
缺失机制的半参数效率:EE-ACFBL 的渐近方差是否达到半参数效率下界?作者未推导效率界,也未与现有半参数有效估计器(如 Li et al., 2021 的框架)进行效率比较。扎根于附录 D 的渐近正态性结果。
-
多阶段误差传播的精确刻画:伪结局估计误差随阶段数的累积速率是什么?在什么条件下,非参数 Q 函数能完全阻断误差传播?作者仅给出递推一致性,未给出收敛速率。扎根于附录 G 的递推证明。
-
非随机缺失下 DTR 的可识别性边界:Assumption 6 是否是识别非随机缺失下最优 DTR 的最小条件?是否存在更弱的条件(如部分工具变量)?扎根于 Assumption 6 的引入动机(第 2.4.2 节)。
给研究者的提示:若要确认上述某条是否为真 gap,建议去读以下近期文献的引言部分——(a) 关于非随机缺失下因果推断的识别条件(Li et al., 2021; Miao et al., 2016);(b) 关于 DTR 估计中平衡权重的理论性质(Wang et al., 2023; Kallus 2020);(c) 关于多阶段强化学习的误差传播分析(Jiang et al., 2023)。若这些文献的引言都指向同一缺口,则为共识性 gap;若互相矛盾,则是机会所在。
Maintained by 陈星宇 · Homepage · Source on GitHub