Russian roulette: the need for stochastic potential outcomes when utilities depend on counterfactuals¶
作者: Andrew Gelman, Jonas M Mikhaeil
主题: 因果推断
相关性: 7/10
链接: https://doi.org/10.1093/biomet/asaf062
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是因果推断中潜在结果框架(potential outcomes framework)的哲学与建模基础,具体而言是:当决策者的效用函数不仅依赖于已实现的结果,还依赖于未实现的反事实结果(counterfactual outcomes)时,传统潜在结果框架是否仍然适用、以及如何修正。这是一个介于因果推断、决策理论与统计哲学之间的交叉地带。该方向目前的成熟度较低——主流因果推断文献几乎完全聚焦于平均处理效应(ATE)或条件平均处理效应(CATE)的识别与估计,对"效用依赖反事实"这类非标准决策问题的形式化处理非常少见。
发展脉络(history)¶
- 奠基工作:Neyman (1923/1990) 和 Rubin (1974) 建立了潜在结果框架,将因果效应定义为同一单位在不同处理下的结果之差。这一框架的核心假设是 SUTVA(Rubin 1980),其中第二个组成部分——"无隐藏处理版本"——保证了潜在结果是良定义的确定性量。这是本文要挑战的基石。
- 主要进展:Imbens and Angrist (1994) 将潜在结果框架推广到工具变量设定,定义了局部平均处理效应(LATE);Frangakis and Rubin (2002) 提出主分层(principal stratification),将潜在结果用于处理中介分析和事后分层;Wager and Athey (2018) 和 Hill (2011) 将潜在结果框架与机器学习结合,估计异质性处理效应。这些工作都在"估计平均或条件平均因果效应"的范式内,没有触及效用函数本身的结构。
- 当前 frontier:Ben-Michael, Imai, and Jiang (2024) 和 Christy and Kowalski (2024) 开始考虑非对称效用函数——即"首先不伤害"原则——并将其纳入决策分析。Cui and Han (2024) 和 Guggenberger, Mehta, and Pavlov (2024) 也在政策学习框架中引入分布性福利或极小极大遗憾准则。这些工作共同的特点是:它们都假设潜在结果是确定性的,效用函数定义在已实现的结果上。
- 本文的位置:Gelman and Mikhaeil (2025) 指出上述工作的一个盲区——当效用函数直接依赖于未实现的反事实结果时(如"新治疗杀死了本可存活的患者"这一事件),确定性潜在结果框架会产生悖论性的决策建议。作者主张在这种情况下必须采用随机潜在结果(stochastic potential outcomes)框架,这一思想可追溯至 Greenland (1987) 和 VanderWeele and Robins (2012),但本文首次将其与决策理论中的非对称效用问题明确联系起来。
子线索聚类¶
- 潜在结果框架的扩展(Neyman 1990; Rubin 1974; Imbens and Angrist 1994; Frangakis and Rubin 2002):这条线索在经典框架内扩展因果效应的定义与识别条件,不触及效用函数。
- 异质性处理效应与机器学习(Hill 2011; Wager and Athey 2018; Ding, Feller, and Miratrix 2019):关注如何从观测数据中估计个体或子组水平的效应,仍然在"估计"范式内。
- 决策理论与非对称效用(Bell 1982; Ben-Michael, Imai, and Jiang 2024; Christy and Kowalski 2024; Cui and Han 2024; Guggenberger, Mehta, and Pavlov 2024):这条线索将因果推断与决策理论结合,考虑非对称损失或分布性福利,但都默认潜在结果是确定性的。
- 随机潜在结果(Greenland 1987; VanderWeele and Robins 2012):这条线索允许潜在结果本身是随机的,但此前主要应用于流行病学中的机制建模,未与决策理论结合。
这个方向在追问的核心问题¶
- 效用函数可以依赖反事实结果吗? 如果可以,潜在结果框架需要怎样修正?
- 确定性 vs. 随机潜在结果:在什么条件下两者给出相同的决策建议?在什么条件下不同?
- SUTVA 的第二个组成部分(无隐藏处理版本)在随机潜在结果下如何重新表述?
- 参数化的选择:将不确定性归因于单位内(随机潜在结果)还是单位间(确定性但未知),对决策有何实质影响?
⚠️ 作者的 framing(这是作者的说法)¶
作者将缺口 frame 成:"如果你关心'首先不伤害'这类非对称效用,那么确定性潜在结果框架会给出荒谬的决策建议;解决方案是放弃 SUTVA 的第二个组成部分,允许潜在结果是随机的。" 作者通过俄罗斯轮盘赌的例子展示,在确定性框架下,从 R1/6 切换到 R1/7 会被判定为"可能杀人"(因为存在 5/42 的概率新治疗杀死了本可存活的人),从而被非对称效用函数否决;而在随机框架下,效用函数作用于期望存活概率,决策建议恢复正常。作者淡化的竞争路线包括:直接放弃非对称效用(即回到经典期望效用)、或者将"伤害"重新定义为可观测结果的条件概率而非反事实比较。
张力¶
未见明显对立引用。但值得注意的是,Ben-Michael, Imai, and Jiang (2024) 和 Christy and Kowalski (2024) 的原始论文并未声称其框架适用于所有非对称效用——本文的批评是否击中其实际适用范围,需要读者自行判断。另外,VanderWeele and Robins (2012) 的随机反事实框架与本文的随机潜在结果在数学上是否等价,文中未作明确讨论。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号:
- \(z \in \{0, 1\}\):处理变量(treatment),\(z=0\) 为对照/现状,\(z=1\) 为新治疗。
- \(y \in \{0, 1\}\):结果变量(outcome),\(y=1\) 为存活,\(y=0\) 为死亡。
- \((y^0_i, y^1_i)\):单位 \(i\) 的潜在结果对(potential outcomes),即分别在 \(z=0\) 和 \(z=1\) 下的结果。在确定性框架下,这是两个固定的数;在随机框架下,这是两个随机变量。
- \(U(\cdot)\):结果效用函数,\(U(0)=0\),\(U(1)=1\)(归一化)。
- \(U(z=1 \text{ relative to } z=0 \mid y^0, y^1)\):相对效用函数,即从 \(z=0\) 切换到 \(z=1\) 的效用增量。本文采用的非对称形式为:当 \(y^1 > y^0\)(治疗救人)时,效用增量为 \(+0.5\);当 \(y^0 > y^1\)(治疗杀人)时,效用增量为 \(-1\);当 \(y^0 = y^1\) 时,效用增量为 \(0\)。即"杀人的代价是救人的两倍"。
- \(R_p\):俄罗斯轮盘赌,存活概率为 \(1-p\),死亡概率为 \(p\)。\(R_{1/6}\) 表示 6 发弹巢装 1 发子弹。
- \(\phi\):中间变量(弹巢中子弹的位置),\(\phi=1\) 表示子弹在待击发位置,\(\phi=0\) 表示不在。\(\phi \sim \text{Bernoulli}(p)\)。
- \(\mathbb{E}_{\phi,\phi'}\):对两个独立随机变量 \(\phi\)(对应 \(z=0\))和 \(\phi'\)(对应 \(z=1\))取期望。
模型:
- 确定性潜在结果模型:每个单位 \(i\) 有一对固定的潜在结果 \((y^0_i, y^1_i)\)。在俄罗斯轮盘赌中,\(y^0_i\) 和 \(y^1_i\) 由弹巢状态决定——但这里有一个微妙之处:如果 \(y^0_i\) 和 \(y^1_i\) 是固定的,那么"单位"必须被理解为"弹巢的特定状态",而不是"人"。
- 随机潜在结果模型:每个单位 \(i\) 的潜在结果 \((y^0_i, y^1_i)\) 是随机变量,其分布由处理机制决定。在俄罗斯轮盘赌中,\(y^0_i\) 和 \(y^1_i\) 的随机性来自弹巢的旋转。
可观测数据:
- 在俄罗斯轮盘赌例子中,可观测的是:选择 \(R_{1/6}\) 或 \(R_{1/7}\) 后,该轮的结果(存活或死亡)。每个"人"只玩一次,因此每个单位只能观测到一个潜在结果。
- 在医学例子中,可观测的是:患者接受治疗 \(z\) 后的结果 \(y\)。每个患者只能接受一种治疗。
关键区分:在确定性框架下,\((y^0_i, y^1_i)\) 是固定的但未知的;在随机框架下,\((y^0_i, y^1_i)\) 是随机的。这个区分在经典期望效用理论中无关紧要(因为期望会积分掉所有不确定性),但在非对称效用下至关重要——因为效用函数作用于 \((y^0_i, y^1_i)\) 的联合实现,而非仅作用于边缘分布。
第二步:最小内核¶
核心悖论:考虑从 \(R_{1/6}\)(现状)切换到 \(R_{1/7}\)(新治疗)。在确定性潜在结果框架下,每个"单位"(即弹巢的特定状态)有一对固定的 \((y^0, y^1)\):
- 如果 \(\phi=0\)(子弹不在待击发位置)且 \(\phi'=0\),则 \((y^0, y^1) = (1,1)\),效用增量为 \(0\)。
- 如果 \(\phi=0\) 且 \(\phi'=1\),则 \((y^0, y^1) = (1,0)\)——新治疗杀死了本可存活的人,效用增量为 \(-1\)。
- 如果 \(\phi=1\) 且 \(\phi'=0\),则 \((y^0, y^1) = (0,1)\)——新治疗救活了本会死亡的人,效用增量为 \(+0.5\)。
- 如果 \(\phi=1\) 且 \(\phi'=1\),则 \((y^0, y^1) = (0,0)\),效用增量为 \(0\)。
在确定性框架下,\(\phi\) 和 \(\phi'\) 是固定的但未知的,概率 \(\Pr(\phi=1, \phi'=0) = (1/6)(6/7) = 6/42\) 和 \(\Pr(\phi=0, \phi'=1) = (5/6)(1/7) = 5/42\) 被解释为我们对固定但未知状态的信念。期望相对效用为:
因此,非对称效用函数建议不要切换到 \(R_{1/7}\),尽管 \(R_{1/7}\) 的死亡概率(\(1/7\))严格低于 \(R_{1/6}\)(\(1/6\))。
悖论的本质:在确定性框架下,\(\phi\) 和 \(\phi'\) 被视为两个独立的固定状态,因此存在 \(5/42\) 的概率"新治疗杀死了本可存活的人"。但这个"人"在 \(R_{1/6}\) 下存活、在 \(R_{1/7}\) 下死亡——这只有在 \(\phi\) 和 \(\phi'\) 是同一个弹巢的两次独立旋转时才有意义。然而,在现实中,我们只会旋转一次弹巢并选择一种处理。如果选择 \(R_{1/7}\),那么 \(\phi\)(\(R_{1/6}\) 下的弹巢状态)是反事实的——它从未被实现。
随机潜在结果的解法:将潜在结果视为随机变量,效用函数作用于其分布而非实现。在随机框架下,\(y^0 \sim \text{Bernoulli}(5/6)\),\(y^1 \sim \text{Bernoulli}(6/7)\),效用函数为:
等等,这个计算不对。让我重新读原文。
原文中的随机框架计算是:
其中 \(\phi \sim \text{Bernoulli}(1/6)\),\(\phi' \sim \text{Bernoulli}(1/7)\)。这里 \(\phi\) 和 \(\phi'\) 是独立的随机变量,表示"如果选择 \(R_{1/6}\) 则弹巢状态为 \(\phi\),如果选择 \(R_{1/7}\) 则弹巢状态为 \(\phi'\)"。但 \(\phi\) 和 \(\phi'\) 是独立的,这意味着弹巢的两次旋转是独立的——这对应于同一个人的两次独立试验,而不是同一次试验中的两个选择。
在随机框架下,\(\Pr(\phi > \phi') = \Pr(\phi=1, \phi'=0) = (1/6)(6/7) = 6/42\),\(\Pr(\phi' > \phi) = \Pr(\phi=0, \phi'=1) = (5/6)(1/7) = 5/42\)。所以:
等等,这个结果和确定性框架一样! 那随机框架如何解决悖论?
让我重新读原文第 3 节。原文说:
"When evaluating R1/7 versus the status quo of R1/6, the utilities are U(y1) = 6/7 and U(y0) = 5/6 for everyone in the population, so the decision will certainly increase survival probability. The expected relative utility is 0.5(6/7 − 5/6) = 1/84, which is positive, as it should be."
所以随机框架的关键在于:先对每个潜在结果取期望(即 \(U(y^z) = \mathbb{E}[y^z]\)),再应用非对称效用函数。也就是说,效用函数作用于期望存活概率,而非作用于 \((y^0, y^1)\) 的联合实现。
在确定性框架下,效用函数作用于 \((y^0_i, y^1_i)\) 的联合实现——即先看"这个特定的人在新治疗下是否死亡、在旧治疗下是否存活",然后对"被杀死"的人施加惩罚。在随机框架下,效用函数作用于边缘期望——即先计算每种治疗的期望存活率,然后比较这两个数。
最小内核:本文的核心数学问题是——当效用函数依赖于未实现的反事实结果时,确定性潜在结果框架与随机潜在结果框架给出不同的决策建议;前者产生悖论(拒绝一个严格占优的选择),后者产生合理建议。 数学上,这等价于说:非对称效用函数与期望算子不可交换。即:
确定性框架计算左边(先对联合实现应用非对称效用,再取期望),随机框架计算右边(先对每个潜在结果取期望,再应用非对称效用)。当 \(U\) 是非线性的(如本文的分段线性非对称函数),两者不等。
为什么这个例子是"最小内核":俄罗斯轮盘赌剥离了所有协变量、混杂、个体异质性,只保留了一个二元处理、一个二元结果、一个非对称效用函数。悖论完全由"效用函数依赖反事实"这一特征驱动,与识别、估计、推断无关。这使得它成为检验潜在结果框架适用性的最简测试案例。
一般化:任何涉及"后悔"(regret)、"伤害"(harm)、"责任"(responsibility)的效用函数都可能依赖反事实结果。本文的框架建议是:在决策分析中,如果效用函数依赖反事实,应使用随机潜在结果框架,将不确定性归因于单位内而非单位间。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:当决策者的效用函数依赖于未实现的反事实结果(如"首先不伤害"原则对应的非对称效用)时,传统确定性潜在结果框架会产生悖论性的决策建议,本文分析这一悖论并提出解决方案。
- 核心工具/方法:通过一个俄罗斯轮盘赌的二元处理-二元结果的极简例子,对比确定性潜在结果框架与随机潜在结果框架下的决策建议,展示两者在非对称效用下不等价;主张在决策分析中采用随机潜在结果框架。
- 主要结论:如果效用函数依赖反事实结果,确定性潜在结果框架会错误地将单位间变异(不同人的固定潜在结果差异)当作单位内变异(同一个人面对随机弹巢状态),导致拒绝一个严格占优的治疗方案;随机潜在结果框架通过先取期望再应用效用函数,避免了这一悖论。
关键设定与假设¶
- 二元处理 \(z \in \{0,1\}\),二元结果 \(y \in \{0,1\}\):这是最简单的设定,剥离了所有协变量和混杂。
- 非对称效用函数(公式 1-2):\(U(z=1 \text{ relative to } z=0 \mid y^0, y^1)\) 在"治疗救人"(\(y^1 > y^0\))时给 \(+0.5\),在"治疗杀人"(\(y^0 > y^1\))时给 \(-1\)。这是对"首先不伤害"原则的操作化——杀人的代价是救人的两倍。
- 独立性假设:在俄罗斯轮盘赌中,\(\phi\)(\(R_{1/6}\) 的弹巢状态)和 \(\phi'\)(\(R_{1/7}\) 的弹巢状态)是独立的随机变量。这是随机潜在结果框架的关键——它假设两次"旋转"是独立的。
- SUTVA 的第二个组成部分被放弃:作者明确指出,随机潜在结果模型需要推广 SUTVA 的"无隐藏处理版本"假设。在俄罗斯轮盘赌中,处理 \(z\) 不是决定论性地产生结果,而是产生一个结果的分布。
相比已有文献的放宽/强化:相比 Ben-Michael, Imai, and Jiang (2024) 和 Christy and Kowalski (2024) 的确定性潜在结果框架,本文放宽了 SUTVA 的第二个组成部分,允许潜在结果是随机的。相比 Greenland (1987) 和 VanderWeele and Robins (2012) 的随机反事实框架,本文强化了决策理论的含义——明确指出在非对称效用下,随机与确定性框架的差异具有实质性的决策后果。
证明路线与技术技巧¶
本文不是传统意义上的定理-证明型论文,而是反例驱动的论证。其逻辑结构如下:
- 构造反例(第 2 节):俄罗斯轮盘赌 \(R_{1/6}\) vs \(R_{1/7}\)。计算确定性框架下的期望相对效用为 \(-1/21\),即拒绝 \(R_{1/7}\)。
- 指出悖论:\(R_{1/7}\) 的死亡概率严格低于 \(R_{1/6}\)(\(1/7 < 1/6\)),任何合理的决策准则都应偏好 \(R_{1/7}\)。非对称效用函数在确定性框架下给出相反建议。
- 诊断根源(第 3 节):悖论源于确定性框架将 \(\phi\) 和 \(\phi'\) 视为固定但未知的状态,从而允许"新治疗杀死本可存活的人"这一事件具有正概率。在随机框架下,\(\phi\) 和 \(\phi'\) 是独立的随机变量,效用函数先对每个潜在结果取期望,再比较。
- 重新计算:随机框架下,\(U(y^1) = \mathbb{E}[y^1] = 6/7\),\(U(y^0) = \mathbb{E}[y^0] = 5/6\),相对效用为 \(0.5(6/7 - 5/6) = 1/84 > 0\),建议切换到 \(R_{1/7}\)。
- 推广讨论(第 4-5 节):讨论随机潜在结果与 SUTVA 的关系,以及如何将这一框架应用于医学和商业决策。
关键技术点:本文的核心论证依赖于期望与非线性函数的不可交换性。在确定性框架下,计算 \(\mathbb{E}[U(y^0, y^1)]\)(先应用非对称效用,再取期望);在随机框架下,计算 \(U(\mathbb{E}[y^0], \mathbb{E}[y^1])\)(先取期望,再应用非对称效用)。由于 \(U\) 是分段线性的(斜率为 \(0.5\) 和 \(-1\)),两者不等价。这一观察虽然简单,但具有一般性——任何非线性的、依赖反事实的效用函数都会面临这一问题。
本文没有做的:没有给出随机潜在结果下的一般识别理论,没有讨论如何从观测数据估计随机潜在结果的分布,没有讨论多个处理、连续处理或协变量调整的情形。本文是一个"概念澄清"论文,而非"方法论开发"论文。
真实例子与应用¶
- 俄罗斯轮盘赌(第 2 节):纯假设例子,用于展示悖论。
- 蛇咬伤抗毒血清(第 5 节):假设某种抗毒血清对 1/6 的人群(有特定基因型)无效,替代方案对 1/7 的人群(有另一种独立基因型)无效。在确定性框架下,非对称效用可能拒绝替代方案;在随机框架下,替代方案被接受。这个例子将轮盘赌的抽象设定映射到医学决策。
- 商业决策(第 5 节):讨论客户流失场景,其中"失去现有客户"的代价高于"获得新客户"的收益,类似非对称效用。
这些例子的作用:它们不是实证分析(没有真实数据),而是思想实验,用于说明确定性 vs. 随机潜在结果框架的差异在现实决策中具有实质后果。作者用这些例子论证:如果你接受"首先不伤害"原则,你就必须接受随机潜在结果框架。
🔎 结论是否比证明窄¶
- 作者在第 3 节声称"问题被解决"("The problem is resolved if we abandon SUTVA and allow the potential outcomes to be random variables"),但严格来说,他们只展示了在一个二元处理-二元结果的极简例子中,随机框架给出了合理建议。他们没有证明随机框架在所有情况下都优于确定性框架,也没有给出随机框架下的一般决策准则。
- 作者在第 6 节承认"我们还没有给出一个完整的理论",并指出"参数化的选择"(即如何将不确定性归因于单位内 vs. 单位间)是一个需要进一步研究的问题。这实际上承认了他们的解决方案依赖于一个特定的参数化选择,而这个选择本身可能是有争议的。
- 作者在第 5 节讨论"连接数学与实质模型"时,提出"随机潜在结果模型的适用性取决于'伤害'的定义",这实际上是对他们自己主张的一个重要限定——如果"伤害"被定义为"可观测结果的条件概率差异"而非"反事实比较",那么确定性框架可能就足够了。
四、开放问题¶
-
随机潜在结果下的一般识别理论:本文没有讨论如何从观测数据中识别随机潜在结果的分布。在什么条件下,\(P(y^0, y^1)\) 是可识别的?这需要什么样的假设(如单调性、独立性)?(扎根于第 3 节"我们还没有给出一个完整的理论"的承认。)
-
参数化选择的敏感性:作者承认"参数化的选择"会影响决策建议,但没有给出选择参数化的准则。在什么条件下,随机框架的决策建议对参数化选择是稳健的?是否存在一个"最保守"的参数化?(扎根于第 6 节"我们讨论参数化选择的影响"。)
-
非对称效用的公理化基础:本文的非对称效用函数(公式 1-2)是直接假设的,没有从更基本的决策理论公理推导。什么样的偏好关系会导致这种非对称效用?它是否满足 Savage 或 Anscombe-Aumann 公理?(扎根于第 1.2 节对经典决策理论的讨论。)
-
与主分层的关系:Frangakis and Rubin (2002) 的主分层框架也涉及潜在结果的联合分布。随机潜在结果框架与主分层框架在数学上是否等价?如果不等价,差异在哪里?(扎根于第 1.1 节对主分层的引用。)
-
"伤害"的操作化:作者在第 5 节承认,"伤害"的定义取决于应用场景。是否存在一个统一的"伤害"定义,使得确定性框架和随机框架给出相同的决策建议?如果没有,如何在不同定义之间做出选择?(扎根于第 5 节对"伤害"概念的讨论。)
提示:要确认上述问题是否是真 gap,建议去读 Ben-Michael, Imai, and Jiang (2024)、Christy and Kowalski (2024)、Cui and Han (2024) 和 Guggenberger, Mehta, and Pavlov (2024) 的近期工作,看它们是否已经处理了随机潜在结果的情形。如果这些论文都假设确定性潜在结果,那么上述问题就是共识性的 gap;如果它们已经提出了替代方案,那么本文的贡献就需要重新评估。
Maintained by 陈星宇 · Homepage · Source on GitHub