Optimal regimes for algorithm-assisted human decision-making¶
作者: M J Stensrud, J D Laurendeau, A L Sarvet
主题: 因果推断
相关性: 7/10
链接: https://doi.org/10.1093/biomet/asae016
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是因果推断中的最优治疗策略(optimal treatment regimes),其根本科学问题是:在存在未测量混杂(unmeasured confounding)的情况下,如何利用观测数据制定一个决策规则,使得在该规则下的人群平均结果最优。该方向的成熟度较高——从经典的动态治疗策略(Robins, 1986, 2004)到近年来的个性化决策(precision medicine),已有大量理论与方法。但本文引入了一个新的视角:算法辅助人类决策,即决策规则不仅依赖可测量的协变量,还利用人类决策者的"自然治疗意图"(natural treatment values)作为输入,从而获得超越传统最优策略的保证。
发展脉络(history)¶
- 奠基工作:Robins (1986) 提出动态治疗策略的因果框架,定义了在序贯分配下的反事实结果与最优策略;Murphy (2003) 与 Robins (2004) 进一步将强化学习思想引入最优动态治疗策略的估计。这些工作奠定了"以协变量为输入的决策规则"的基本范式。
- 主要进展:在存在未测量混杂时,识别最优策略需要额外假设。Qiu et al. (2021) 与 Cui and Tchetgen Tchetgen (2021a,b) 提出了在工具变量(IV)设定下识别最优治疗策略的条件,并给出了估计方法。这些工作表明,即使存在未测量混杂,只要有一个有效的 IV,仍可识别出相对于可测协变量的最优策略。
- 当前 frontier:近年来的工作开始关注"人类决策者"的角色。例如,Imai et al. (2023) 研究了算法辅助人类决策的实证评估,但未从因果识别角度给出理论保证。Bareinboim et al. (2015) 在在线学习框架下考虑了利用自然治疗值,但未涉及非实验数据的识别问题。
- 本文的位置:Stensrud, Laurendeau & Sarvet (2024) 将"自然治疗值"引入最优策略框架,提出"超优策略"(superoptimal regimes),并证明其在未测量混杂下仍可识别(在 IV 假设下),且保证不劣于传统最优策略。本文的贡献在于统一并扩展了上述两条线索:既利用了 IV 识别技术,又引入了人类决策者的自然意图作为额外信息。
子线索聚类¶
- 最优治疗策略的识别与估计(Robins, 1986; Murphy, 2003; Tsiatis et al., 2020):在无未测量混杂(或可测混杂)下,如何从观测数据中学习最优策略。核心工具是 g-computation 与 inverse probability weighting。
- 未测量混杂下的策略识别(Qiu et al., 2021; Cui & Tchetgen Tchetgen, 2021a,b; Pu & Zhang, 2021; Han, 2021):利用 IV 或代理变量(proxies)在未测量混杂下识别最优策略。核心假设是 IV 的有效性(相关性、排他性、独立性)。
- 算法辅助人类决策(Imai et al., 2023; Laurendeau & Stensrud, 2023):研究算法输出如何影响人类决策,以及如何评估这种辅助系统的因果效应。本文将其与最优策略理论结合,提出超优策略。
这个方向在追问的核心问题¶
- 识别问题:在未测量混杂下,最优策略是否可识别?需要哪些额外假设(IV、代理、同质性)?
- 估计问题:给定识别条件,如何构造高效、稳健的估计量?半参数效率界是多少?
- 决策框架问题:当人类决策者拥有"特权信息"(未记录在数据中的信息)时,算法应如何与之协作?超优策略是否总能优于传统最优策略?
⚠️ 作者的 framing(这是作者的说法)¶
作者将缺口 frame 为:传统最优策略仅依赖可测协变量 L,忽略了人类决策者基于未记录信息(U)形成的自然治疗意图 A。作者声称,通过将 A 作为决策函数的输入,可以构造"超优策略",其期望结果保证不劣于传统最优策略,且在未测量混杂下(借助 IV)仍可识别。作者还强调,这一框架将"算法辅助人类决策"从实证评估(Imai et al.)提升到因果识别与最优性保证的理论层面。
张力¶
未见明显的对立引用。但存在一个潜在张力:Qiu et al. (2021) 与 Cui & Tchetgen Tchetgen (2021a) 的 IV 识别条件(如同质性假设)在本文中被继承,但作者并未讨论这些假设在"人类决策"场景下的合理性——例如,医生的自然治疗意图 A 是否真的满足"排他性"(即 Z 只通过 A 影响 Y)?这在 ICU 场景中可能存疑(床位紧张可能直接影响结果)。这是一个值得研究者去查证的点。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
- 符号:
- \(A \in \{0,1\}\):实际接受的治疗(observed treatment)。
- \(L\):可测量的协变量(pre-treatment covariates)。
- \(U\):未测量的混杂因素(unmeasured confounder),影响 \(A\) 和 \(Y\)。
- \(Y^a\):在治疗 \(A=a\) 下的潜在结果(potential outcome)。
- \(Y\):观测到的结果。
- \(Z \in \{0,1\}\):工具变量(instrumental variable),满足 IV 假设。
- \(A^g\):在策略 \(g\) 下分配的治疗值(treatment assigned under regime \(g\))。
- \(A^g_+\):在策略 \(g\) 下实际接受的治疗值(received treatment under regime \(g\)),可能因依从性(compliance)与分配值不同。
- \(g_{\text{opt}}(L)\):传统最优策略,仅依赖 \(L\)。
- \(g_{\text{sup}}(A, L)\):超优策略,依赖 \(A\) 和 \(L\)。
- \(Y^g\):在策略 \(g\) 下的潜在结果。
- \(\psi_1(a, l) = E(Y^a | L = l)\):条件平均潜在结果(conditional average potential outcome)。
-
\(V(a, l)\):定义在式 (9) 的辅助函数,用于估计超优策略的值函数。
-
模型:
- 数据生成机制:\((L, U, Z, A, Y)\) 服从某个联合分布,其中 \(Z\) 是随机分配的 IV(如床位紧张程度),\(A\) 是医生基于 \(L\) 和 \(U\) 做出的治疗决策,\(Y\) 是结果。
- 核心结构:\(A\) 是"自然治疗值"(natural treatment value),即人类决策者在无算法干预时的实际选择。在非实验数据中,\(A = A^g\)(自然值等于实际值)。
-
目标:找到一个决策规则 \(g\),使得 \(E(Y^g)\) 最大化。
-
可观测数据:\((L_i, Z_i, A_i, Y_i)\),\(i = 1, \dots, n\),i.i.d. 样本。不可观测:\(U\)。
第二步:最小内核¶
核心问题:在未测量混杂存在时,传统最优策略 \(g_{\text{opt}}(L) = \arg\max_a E(Y^a | L)\) 无法从观测数据中识别,因为 \(E(Y^a | L) \neq E(Y | A=a, L)\)(混杂偏差)。但如果我们额外利用医生的自然治疗意图 \(A\),是否可以构造一个更好的策略?
最小例子:假设 \(L\) 为空(无协变量),\(A \in \{0,1\}\) 是医生的自然治疗决策,\(Z\) 是随机化的 IV(如床位是否紧张),\(Y\) 是二元结果(生存/死亡)。我们想比较两个策略: - 传统最优策略:\(g_{\text{opt}} = \arg\max_a E(Y^a)\)(常数策略)。 - 超优策略:\(g_{\text{sup}}(A) = \arg\max_a E(Y^a | A)\),即根据医生的意图决定治疗。
关键数学事实(Proposition 1 的退化形式):
识别问题:\(E(Y^a | A = a')\) 在未测量混杂下不可直接观测。但借助 IV \(Z\),在假设 8-13 下,可以识别 \(\psi_1(a, l) = E(Y^a | L = l)\)(Cui & Tchetgen Tchetgen, 2021a),进而通过 Lemma 1 识别 \(E(Y^a | A = a', L = l)\)。这就是本文的核心识别策略:先用 IV 识别条件平均潜在结果,再用 Lemma 1 的代数恒等式反推出给定自然治疗值下的条件均值。
为什么这个例子是"最小内核":它剥离了所有技术细节(协变量、依从性、半参数估计),只保留了本文最核心的洞察——利用自然治疗值作为额外输入,可以构造一个保证不劣于传统最优策略的决策规则。整个论文的其余部分(IV 识别、影响函数、估计量)都是为这个核心洞察在更一般场景下提供严格的数学基础。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在算法辅助人类决策的场景下,如何利用人类决策者的自然治疗意图(\(A\))构造一个决策规则(超优策略 \(g_{\text{sup}}\)),使其期望结果保证不劣于传统最优策略 \(g_{\text{opt}}\),并在未测量混杂下(借助 IV)实现识别与估计。
- 核心工具/方法:将自然治疗值 \(A\) 作为决策函数的输入,利用 Lemma 1 的代数恒等式将 \(E(Y^a | A = a', L = l)\) 分解为可识别项;在 IV 假设(8-13)下,用 Cui & Tchetgen Tchetgen (2021a) 的识别结果估计 \(\psi_1(a, l)\),进而构造超优策略;推导其非参数影响函数,提出半参数估计量。
- 主要结论:超优策略在理论上总是优于或等于传统最优策略(Proposition 1);在 IV 假设下,超优策略的值函数可被识别(Proposition 2);进一步地,将 IV 作为额外输入可构造 \((L,Z)\)-超优策略,其效果可能进一步改善(Section 7.2);在 ICU 数据中,超优策略的估计值优于传统最优策略和观测策略(Table 1)。
关键设定与假设¶
- 设定:点治疗(point treatment),二元治疗 \(A \in \{0,1\}\),结果 \(Y\) 可为连续或二元。观测数据 \((L, Z, A, Y)\) 来自非实验研究。
- 核心假设:
- 一致性(Consistency, Assumption 1):\(Y = Y^A\)。在实验场景中需替换为 Assumption 4(\(Y = Y^{A^*}\),其中 \(A^*\) 是实际接受的治疗)。
- 积极性(Positivity, Assumption 2):\(P(A = a | L) > 0\),保证条件均值可估计。
- IV 假设(Assumptions 8-13):
- 潜在结果可忽略性(Latent unconfoundedness, Assumption 8):\(Y^{z,a} \perp\!\!\!\perp (Z, A) \mid L, U\)。
- IV 相关性(Assumption 9):\(Z \not\!\perp\!\!\!\perp A \mid L\)。
- 排他性(Assumption 10):\(Y^{z,a} = Y^a\)。
- IV 独立性(Assumption 11):\(Z \perp\!\!\!\perp U \mid L\)。
- IV 积极性(Assumption 12):\(0 < P(Z = 1 | L) < 1\)。
- 治疗同质性(Treatment homogeneity, Assumption 13):\(\delta(L) = \tilde{\delta}(L, U)\),即 IV 对治疗的影响在给定 \(L\) 后不随 \(U\) 变化。这是识别 \(E(Y^a | L)\) 的关键,也是本文与 Qiu et al. (2021) 共享的假设。
-
结果同质性(Outcome homogeneity, Assumption 14):仅在需要识别 \((L,Z)\)-超优策略时使用(见 Appendix A.2),它比 Assumption 13 更强。
-
相比已有工作的变化:本文不假设无未测量混杂(即不假设 \(Y^a \perp\!\!\!\perp A \mid L\)),而是用 IV 假设替代。相比 Qiu et al. (2021) 和 Cui & Tchetgen Tchetgen (2021a,b),本文的新意在于将识别目标从"传统最优策略"扩展到"超优策略",并证明了超优策略的识别条件不弱于传统最优策略。
主要结果¶
- Proposition 1(超优性):对任意 \(l\),\(E(Y^{g_{\text{sup}}} | L = l) \geq E(Y^{g_{\text{opt}}} | L = l)\)。证明基于条件期望的线性分解,不依赖任何识别假设——这是纯代数结果。
- Proposition 2(识别):在一致性、积极性、IV 假设(8-13)下,超优策略 \(g_{\text{sup}}(a', l)\) 及其值函数 \(E(Y^{g_{\text{sup}}})\) 由观测数据分布唯一确定。证明思路:先用 IV 识别 \(\psi_1(a, l)\),再用 Lemma 1 计算 \(E(Y^a | A = a', L = l)\),最后代入定义。
- Proposition 4(IV 识别公式):在假设 8-13 下,\(E(Y^a | A = a', L = l)\) 的显式表达式(式 7 + Lemma 1),其中 \(\psi_1(a, l)\) 由 IV 加权估计。
- Proposition 7(影响函数):给出 \(\Psi(a, l) = E(Y^a | A = 1-a, L = l)\) 的非参数影响函数,从而构造半参数估计量。
- Proposition 8(渐近正态性):在标准正则条件下(有界性、Donsker 类、正确设定的模型),所提估计量 \(\sqrt{n}\)-一致且渐近正态。
- 实证结果(Table 1):在 ICU 数据中,观测策略 \(E(Y) = 0.86\),传统最优策略 \(E(Y^{g_{\text{opt}}}) = 0.93\),超优策略 \(E(Y^{g_{\text{sup}}}) = 0.97\),\((L,Z)\)-超优策略 \(E(Y^{g_{z-\text{sup}}}) = 0.98\)。置信区间较宽(如 0.77–1.00),作者也提醒不要过度解读点估计。
证明路线与技术技巧¶
整体路线(以 Proposition 2 为例): 1. 识别:先证明在 IV 假设下 \(\psi_1(a, l) = E(Y^a | L = l)\) 可识别(引用 Cui & Tchetgen Tchetgen 2021a 的引理)。 2. 代数变换:利用 Lemma 1 将 \(E(Y^a | A = a', L = l)\) 表达为 \(\psi_1(a, l)\) 和观测条件分布的函数。 3. 策略定义:将超优策略定义为逐点最大化该条件期望,得到 \(g_{\text{sup}}(a', l)\)。 4. 值函数:将 \(E(Y^{g_{\text{sup}}})\) 表达为观测数据的泛函,完成识别。
关键技巧: - Lemma 1 的恒等式:这是全文的"引擎"。它将反事实条件期望 \(E(Y^a | A = a', L = l)\) 分解为可识别项(\(\psi_1(a, l)\))和观测项(\(E(Y | A = a, L = l)\)、\(P(A = a | L = l)\))。这个恒等式不依赖无混杂假设,只依赖一致性和积极性。 - 影响函数推导:利用 von Mises 展开和 Gateaux 导数,从 \(\Psi(a, l)\) 的表达式出发,逐项求导得到影响函数。技巧在于处理 \(\psi_1(a, l)\) 的估计误差与观测条件分布的估计误差之间的交叉项。 - 样本分割:在估计量构造中,作者建议使用样本分割(sample splitting)以避免过拟合偏差,这与 Chernozhukov et al. (2018) 的 double/debiased ML 框架一致。 - Donsker 条件:为了证明渐近正态性,作者假设所有估计的模型属于 Donsker 类且方差收敛到 0,这是半参数估计的标准技巧。
🔎 结论是否比证明窄¶
- Proposition 1 的证明是完备的:它不依赖任何识别假设,是纯代数结果,结论与证明匹配。
- Proposition 2 的证明依赖 IV 假设:作者在正文中明确列出了假设 8-13,但未讨论这些假设在"人类决策"场景下的可检验性。例如,治疗同质性(Assumption 13)在医生行为异质性较强时可能不成立。作者在 Appendix A.1 中承认这一点,但未提供敏感性分析。
- 实证部分的结论比证明窄:Table 1 的置信区间很宽(如 0.77–1.00),作者在 Section 8 中谨慎地指出"不应过度解读点估计",但摘要中"considerable benefit"的措辞可能过于乐观。这是结论与证据强度之间的一个张力。
- \((L,Z)\)-超优策略的识别:作者在 Section 7.2 中提出该策略,但识别条件(Assumption 14)比超优策略更强,且未在实证中验证。这是一个"conjecture-like"的扩展,值得研究者注意。
四、开放问题¶
-
纵向/动态场景的推广:本文仅考虑点治疗。作者在 Section 9 中提出将超优策略推广到时间变化治疗(time-varying treatments)是一个开放问题。扎根于 Section 9 第一段:"An interesting problem is generalizing the results to longitudinal settings with time-varying treatments." 具体要证明的命题是:在序贯分配下,超优策略是否仍具有"保证不劣于传统最优策略"的性质?这需要重新定义"自然治疗值"在动态场景下的含义。
-
非二元治疗的扩展:本文的识别公式(Lemma 1)依赖二元治疗。作者在 Section 9 中提到"Generalizations to non-binary treatments will also be of interest"。要证明的命题是:当 \(A\) 为多分类或连续时,超优策略的识别条件是什么?是否仍只需 IV 假设?
-
部分识别与敏感性分析:当 IV 假设(如同质性)不成立时,超优策略的值函数如何部分识别?作者在 Appendix C 中提出了一个检验未测量混杂的测试,但未给出部分识别界。扎根于 Appendix C 末尾:"...the test has zero power"——这说明在无 IV 时,超优策略的收益无法被检验,这是一个开放问题。
-
估计量的有限样本性质:Proposition 8 仅给出渐近正态性,未给出有限样本界或自适应(adaptive)性质。扎根于 Proposition 8 的条件 5(Donsker 类),一个开放问题是:能否用 empirical process 理论推导出非渐近的收敛速率,或在高维协变量下给出 Lasso 类的稀疏估计量?
-
人类决策者的行为模型:本文假设自然治疗值 \(A\) 是外生给定的。但在实际中,医生的决策可能受算法输出的影响(即"算法辅助"本身会改变 \(A\) 的分布)。这是一个因果推断中的"干扰"(interference)问题,本文未涉及。扎根于 Section 5 的讨论:"...any override of the original algorithm...will in general forgo the optimality guarantees"——这说明作者意识到了行为反馈,但未建模。
提醒:要确认上述问题是否为真 gap,建议去读近 5 年关于"optimal treatment regimes with unmeasured confounding"的文献(如 Qiu et al. 2021, Cui & Tchetgen Tchetgen 2021a,b, Pu & Zhang 2021, Han 2021)的引言部分,看它们是否已解决这些问题。如果多篇文献都指向同一个未解决问题,那就是共识性 gap;如果各文献的结论互相矛盾,那可能是更值得深挖的机会。
Maintained by 陈星宇 · Homepage · Source on GitHub