跳转至

Policy Learning with Asymmetric Counterfactual Utilities

作者: Eli Ben-Michael, Kosuke Imai, Zhichao Jiang
来源: Journal of the American Statistical Association
主题: 因果推断
相关性: 9/10
链接: 期刊页 · arXiv

一、领域脉络与小综述

这个方向是什么

这个子方向是基于观测数据的策略学习（Policy Learning），其根本问题是：给定一个包含协变量、行动和结果的观测数据集，如何学习一个将协变量映射到行动的决策规则（策略），使得该策略在整个人群中最大化某个期望效用函数。当前该领域的主流设定是，效用函数仅依赖于观测到的结果（例如，治疗后的存活状态），因此期望效用是可识别的，可以直接从数据中估计。然而，本文挑战了这一设定，将效用函数推广到依赖于所有行动下的反事实联合分布（例如，同时考虑“治疗”和“不治疗”下的潜在结果），并处理由此产生的不可识别性问题。

发展脉络（history）

  1. 奠基工作：从最优治疗规则到策略学习

    • Qian & Murphy (2011) 和 Zhao et al. (2012) 是策略学习的奠基性工作。它们将问题形式化为学习一个从协变量到行动的映射，以最大化期望结果。Qian & Murphy 提出了基于 outcome regression 的 Q-learning 方法，而 Zhao et al. 则提出了直接最大化经逆概率加权（IPW）估计的期望结果的分类方法（outcome-weighted learning）。这些工作奠定了“将策略学习视为一个加权分类问题”的范式。
    • Athey & Imbens (2016) 和 Athey & Wager (2021) 进一步发展了基于决策树的策略学习方法（causal tree / causal forest），并提供了渐近性质的理论保证。这些方法在异质性处理效应估计和个性化策略学习方面非常流行。

  2. 主要进展：从可识别到稳健策略

    • Kallus (2022) 和 Manski (2004) 的工作将统计决策理论引入策略学习。Kallus 考虑了在部分识别（partial identification）下的 minimax 策略学习，但其设定是效用函数依赖于边际反事实分布（即每个行动下的潜在结果分布），而非联合分布。Manski 的经典工作则系统性地研究了在弱假设下（如单调性）对处理效应的部分识别。
    • Ben-Michael, Imai, & Jiang (2021) 是本文作者的前期工作，研究了在“不伤害”原则下，如何通过部分识别来学习最优策略。该工作与本文高度相关，但本文将其推广到了更一般的不对称反事实效用函数，并提供了更完整的理论框架（minimax 决策规则与分类遗憾界）。

  3. 当前 Frontier：反事实联合分布与不对称效用

    • 本文直接定位在 frontier 上。作者指出，现有策略学习文献几乎全部假设效用函数只依赖于观测结果，而忽略了决策者可能关心反事实对比（如“治疗导致本可存活的患者死亡” vs. “未治疗导致患者死亡”）这一现实。这种不对称性使得期望效用函数依赖于不可识别的反事实联合分布。
    • 本文的位置：作者通过引入部分识别和统计决策理论，为处理这种不对称反事实效用提供了第一个系统性的框架。他们证明了期望效用不可识别，然后推导了 minimax 决策规则，并证明了该规则可以通过求解一系列分类问题来学习，且其有限样本误差受这些分类器的遗憾界控制。

子线索聚类

这些被引文献大致落在以下 2-3 条子线索上：

  1. 基于结果回归的策略学习（Outcome Regression-based）：以 Qian & Murphy (2011) 的 Q-learning 为代表。这类方法首先估计条件期望结果函数 \( Q(a, x) = \mathbb{E}[Y | A=a, X=x] \)，然后学习策略 \( \pi(x) = \arg\max_a Q(a, x) \)。优点是简单直接，但依赖于对 \( Q \) 函数的正确建模。
  2. 基于加权分类的策略学习（Weighted Classification-based）：以 Zhao et al. (2012) 的 outcome-weighted learning (OWL) 为代表。这类方法将策略学习转化为一个加权分类问题，权重由 IPW 或 AIPW 估计的个体化处理效应决定。优点是无需直接建模结果，但权重估计可能不稳定。
  3. 部分识别与稳健决策（Partial Identification & Robust Decision）：以 Manski (2004) 和 Kallus (2022) 为代表。这类方法承认在某些设定下（如工具变量、缺失数据、或本文的反事实联合分布），目标量不可识别，因此转而寻求稳健的决策规则（如 minimax 规则）。本文属于这一线索，并首次将其应用于不对称反事实效用。

这个方向在追问的核心问题

  1. 如何定义和识别“最优”策略？ 当期望效用不可识别时，什么是最优的替代准则？本文的回答是：minimax 损失准则。
  2. 如何从有限样本中学习稳健策略？ 在部分识别下，如何设计算法来学习 minimax 决策规则，并保证其有限样本性能？本文的回答是：转化为分类问题，并用分类遗憾界来控制策略的遗憾。
  3. 不对称反事实效用函数的实际意义是什么？ 这种设定在哪些应用场景中至关重要？本文以右心导管术为例进行了说明。

⚠️ 作者的 framing

  • 作者的缺口 frame：作者将现有策略学习文献的缺口 frame 为“几乎全部假设效用函数只依赖于观测结果”，而忽略了“决策者效用函数更自然地由所有行动下的反事实联合分布刻画”这一事实。他们通过引入“不对称反事实效用”这一概念，将自己的工作定位为填补这一空白的“显然的下一步”。
  • 被淡化或回避的竞争路线：作者淡化了直接对反事实联合分布施加强假设（如单调性、或已知的 copula 结构）以恢复点识别的路线。他们选择在不施加任何识别假设的前提下，通过部分识别和 minimax 决策来解决问题。这既是优点（更稳健），也是代价（得到的决策规则可能过于保守）。
  • 什么明显该被引 / 该存在、却没出现在 intro 里？ 作者没有引用关于贝叶斯决策理论在部分识别下的应用（如 Chamberlain (2011) 或 Giacomini & Kitagawa (2021) 关于部分识别下的贝叶斯决策）。贝叶斯方法通过引入先验分布来得到点识别，与 minimax 方法形成鲜明对比。这是一个值得研究者去查的张力点：在不对称反事实效用设定下，贝叶斯决策规则会是什么样？它与 minimax 规则相比如何？

张力

未见明显对立引用。所有被引工作都承认标准策略学习假设的局限性，并朝着更稳健或更灵活的方向发展。本文与 Kallus (2022) 的差异在于效用函数依赖的分布类型（边际 vs. 联合），而非根本性对立。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：

    • \( X \in \mathcal{X} \)：协变量（随机变量），是决策的依据。
    • \( A \in \{0, 1\} \)：行动（随机变量），本文考虑二值行动（如治疗 vs. 不治疗）。
    • \( Y \in \mathcal{Y} \)：观测到的结果（随机变量），如存活状态（1=存活，0=死亡）。
    • \( Y(0), Y(1) \)：潜在结果（counterfactual outcomes）。\( Y(a) \) 是当行动被设为 \( a \) 时将会出现的结果。它们是不可观测的，因为对于每个个体，我们只能观测到 \( Y = Y(A) \)。
    • \( \pi: \mathcal{X} \to \{0, 1\} \)：一个策略（policy），是一个从协变量到行动的确定性映射。
    • \( u(y(0), y(1), a) \)：反事实效用函数（counterfactual utility function）。它依赖于联合潜在结果 \( (Y(0), Y(1)) \) 和实际采取的行动 \( a \)。这是本文的核心创新点。
    • \( U(\pi) = \mathbb{E}[u(Y(0), Y(1), \pi(X))] \)：策略 \( \pi \) 的期望效用。这是我们要最大化（或最小化其损失）的目标量。
    • \( \Pi \)：所有可能策略的集合。
    • \( \pi^* \)：最优策略，即 \( \pi^* = \arg\max_{\pi \in \Pi} U(\pi) \)。由于 \( U(\pi) \) 不可识别，\( \pi^* \) 也是不可识别的。

  • 模型：

    • 数据生成机制：我们假设观测数据 \( (X_i, A_i, Y_i)_{i=1}^n \) 是独立同分布地从某个联合分布 \( P \) 中抽取的。
    • 关键假设：无混淆性（Unconfoundedness）：\( (Y(0), Y(1)) \perp A \mid X \)。这意味着给定协变量 \( X \)，行动分配与潜在结果独立。这是从观测数据中推断因果效应的标准假设。
    • 目标量：我们要估计的“对象”是一个策略 \( \pi \)，它本身不是一个参数，而是一个函数。我们要学习的不是某个参数的值，而是如何做出最优决策。

  • 可观测数据：

    • 研究者能观测到的是：\( (X_i, A_i, Y_i) \) 三元组。
    • 研究者无法观测到的是：每个个体的联合潜在结果 \( (Y_i(0), Y_i(1)) \)。我们只能观测到 \( Y_i = Y_i(A_i) \)，即与实际行动对应的那个潜在结果。另一个潜在结果 \( Y_i(1-A_i) \) 是缺失的。因此，任何依赖于 \( (Y(0), Y(1)) \) 联合分布的期望都是不可识别的。

第二步：讲最小内核

本文的核心思路可以用一个最简特例来理解：二值结果（存活/死亡）、二值行动（治疗/不治疗）、且协变量 \( X \) 是离散的（或我们只关心一个子群）。

在这个特例下，每个个体有四种可能的潜在结果组合： * \( (Y(0)=1, Y(1)=1) \)：无论治疗与否都存活。 * \( (Y(0)=1, Y(1)=0) \)：不治疗存活，治疗导致死亡（伤害）。 * \( (Y(0)=0, Y(1)=1) \)：不治疗死亡，治疗使其存活（获益）。 * \( (Y(0)=0, Y(1)=0) \)：无论治疗与否都死亡。

现在，考虑一个体现“不伤害”原则的不对称反事实效用函数： * 如果采取行动 \( a=1 \)（治疗），效用为：\( u(y(0), y(1), 1) = y(1) - \lambda \cdot \mathbb{I}\{y(1)=0, y(0)=1\} \)。这里，\( y(1) \) 是治疗后的结果（1=存活），但若治疗导致了一个本可存活的患者死亡（\( y(1)=0, y(0)=1 \)），则施加一个额外的惩罚 \( \lambda > 0 \)。 * 如果采取行动 \( a=0 \)（不治疗），效用为：\( u(y(0), y(1), 0) = y(0) - \lambda \cdot \mathbb{I}\{y(0)=0, y(1)=1\} \)。类似地，若不治疗导致了一个本可因治疗而存活的患者死亡，则施加惩罚 \( \lambda \)。

核心问题：对于给定的协变量 \( X=x \)，我们应该选择治疗（\( \pi(x)=1 \)）还是不治疗（\( \pi(x)=0 \)）？

为什么标准方法失效？ 标准策略学习只关心观测结果 \( Y \)，其期望效用是 \( \mathbb{E}[Y | A=a, X=x] \)。这只能告诉我们治疗组和不治疗组的平均结果，但无法区分“伤害”和“获益”的个体。例如，如果治疗组的平均存活率是 50%，不治疗组也是 50%，标准方法会认为两者无差异。但在不对称效用下，如果治疗组中所有死亡都是“伤害”（即本可存活），而不治疗组中所有死亡都是“自然死亡”（即本就会死），那么治疗的效用实际上更低（因为每个死亡都伴随着惩罚）。

本文的关键想法： 1. 承认不可识别：由于我们无法观测到 \( (Y(0), Y(1)) \) 的联合分布，我们无法精确计算 \( U(\pi) \)。例如，我们无法知道在治疗组中，一个死亡的患者究竟是“伤害”还是“自然死亡”。 2. 部分识别：虽然不能点识别 \( U(\pi) \)，但我们可以利用观测数据和无混淆性假设，推导出 \( U(\pi) \) 的识别区间。这个区间给出了所有与观测数据一致的 \( U(\pi) \) 可能取值。 3. Minimax 决策：既然 \( U(\pi) \) 是一个区间，我们无法确定哪个策略最好。于是，我们转而寻找一个稳健的策略：最小化在最坏情况下的效用损失。具体来说，我们定义策略 \( \pi \) 相对于某个参考策略 \( \pi_0 \) 的最大遗憾（maximum regret）：

\[\text{Regret}_{\max}(\pi) = \max_{P \in \mathcal{P}} \left( U_P(\pi_0) - U_P(\pi) \right)\]
其中 \( \mathcal{P} \) 是所有与观测数据一致的分布集合（即所有可能的联合潜在结果分布）。然后，我们选择那个最小化最大遗憾的策略 \( \pi_{\text{MM}} = \arg\min_{\pi} \text{Regret}_{\max}(\pi) \)。

在这个特例下，minimax 规则是什么？ * 对于给定的 \( X=x \)，我们可以计算出治疗和不治疗的最大遗憾。 * 作者证明，minimax 决策规则等价于：当且仅当治疗的平均处理效应（ATE）超过某个依赖于惩罚 \( \lambda \) 和不确定性程度的阈值时，才选择治疗。这个阈值比标准策略学习中的阈值（ATE > 0）更保守，体现了对“伤害”的规避。 * 更具体地，学习这个 minimax 规则可以转化为一个加权分类问题：我们训练一个分类器来预测行动 \( a \)，但每个样本的权重取决于其观测结果和协变量，并且权重被调整以反映最坏情况下的不确定性。

小结：本文的最小内核是：在二值结果、二值行动、无混淆性的设定下，当效用函数不对称地惩罚“伤害”时，最优策略不可识别。作者通过部分识别和 minimax 决策，将问题转化为一个加权分类问题，从而学习到一个稳健的策略。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：当决策者的效用函数依赖于所有行动下的反事实联合分布（即不对称反事实效用）时，如何从观测数据中学习最优策略。
  2. 核心工具 / 方法：利用部分识别（partial identification）来处理期望效用的不可识别性，并基于统计决策理论推导出极小化极大（minimax）决策规则，该规则可以通过求解一系列加权分类问题来学习。
  3. 主要结论：证明了有限样本下，所提出的 minimax 策略的超额期望效用损失受中间分类器的遗憾界（regret bound）控制，从而建立了学习过程的统计保证。

关键设定与假设

  • 设定：二值行动 \( A \in \{0,1\} \)，一般结果空间 \( \mathcal{Y} \)（不限于二值）。协变量 \( X \) 可以是高维的。
  • 核心假设：
    1. 无混淆性（Unconfoundedness）：\( (Y(0), Y(1)) \perp A \mid X \)。这是从观测数据推断因果效应的基石。
    2. 重叠性（Overlap）：\( 0 < \mathbb{P}(A=1 | X=x) < 1 \) 对所有 \( x \) 成立。确保每个子群都有接受两种行动的可能性。
    3. 效用函数形式：作者考虑了一类特定的不对称反事实效用函数，其形式为：
      \[u(y(0), y(1), a) = \alpha_a(y(a)) + \beta_a(y(0), y(1))\]
      其中 \( \alpha_a \) 是仅依赖于观测结果 \( y(a) \) 的部分（标准部分），而 \( \beta_a \) 是依赖于联合潜在结果 \( (y(0), y(1)) \) 的部分（不对称部分）。\( \beta_a \) 被假设为可分解为 \( \beta_a(y(0), y(1)) = \gamma_a(y(a)) + \delta_a(y(0), y(1)) \)，其中 \( \delta_a \) 是不可识别的部分，且满足某种单调性或对称性条件（例如，\( \delta_1(y(0), y(1)) = -\delta_0(y(1), y(0)) \)）。这个假设是推导部分识别区间的关键。
  • 相比已有文献的放宽或强化：
    • 放宽：相比标准策略学习，本文放宽了效用函数只依赖于观测结果的假设，允许其依赖于反事实联合分布。
    • 强化：为了处理不可识别性，本文强化了对效用函数结构的假设（可分解性、单调性），以便推导出紧的识别区间。同时，本文没有像一些部分识别文献那样，对反事实联合分布施加参数化假设（如已知的 copula）。

主要结果

  • 定理 1（部分识别）：在无混淆性和效用函数的可分解性假设下，期望效用 \( U(\pi) \) 的识别区间可以被显式地刻画出来。这个区间的宽度取决于不可识别部分 \( \delta_a \) 的不确定性程度。具体地，\( U(\pi) \) 的下界和上界可以通过求解两个优化问题得到，这两个问题只依赖于观测数据的分布和 \( \delta_a \) 的极值。
  • 定理 2（Minimax 决策规则）：作者证明了，最小化最大遗憾的 minimax 决策规则 \( \pi_{\text{MM}} \) 可以通过求解一个加权分类问题得到。具体来说，存在一个依赖于观测数据分布的权重函数 \( w(x, a, y) \)，使得 \( \pi_{\text{MM}} \) 是使得加权分类误差最小的分类器。这个结果将复杂的 minimax 优化问题简化为一个标准的机器学习任务。
  • 定理 3（有限样本遗憾界）：假设我们使用一个遗憾界为 \( \mathcal{R}_n \) 的分类算法（例如，0-1 损失的 VC 界或 Rademacher 界）来学习中间分类器，那么所提出的 minimax 策略 \( \hat{\pi}_{\text{MM}} \) 的超额期望效用损失满足：
    \[\mathbb{E}[U(\pi_{\text{MM}}) - U(\hat{\pi}_{\text{MM}})] \leq C \cdot \mathcal{R}_n\]
    其中 \( C \) 是一个依赖于效用函数和识别区间宽度的常数。这个结果保证了，只要中间分类器学得好，最终的策略也会好。

证明路线与技术技巧

  • 整体路线：

    1. 识别区间推导：首先，利用无混淆性和效用函数的可分解性，将 \( U(\pi) \) 表示为可识别部分和不可识别部分之和。然后，通过最大化/最小化不可识别部分（在给定观测数据分布和 \( \delta_a \) 的约束下），得到 \( U(\pi) \) 的上下界。
    2. Minimax 问题转化：将 minimax 决策问题 \( \min_{\pi} \max_{P \in \mathcal{P}} (U_P(\pi_0) - U_P(\pi)) \) 重新表述。作者证明，这个 minimax 问题等价于一个零和博弈，其中决策者选择策略 \( \pi \)，而“自然”选择最坏的分布 \( P \)。通过交换 min 和 max（在某些条件下成立），问题转化为：对于每个个体，选择行动来最小化在最坏情况下的损失。
    3. 转化为加权分类：在个体层面，minimax 决策规则可以写成一个阈值规则：当某个“决策得分”超过阈值时选择行动 1，否则选择行动 0。作者证明，这个决策得分可以表示为观测结果 \( Y \) 和协变量 \( X \) 的某个函数。因此，学习这个阈值规则等价于学习一个分类器，其权重由该函数决定。
    4. 有限样本分析：使用标准经验过程理论（empirical process theory）来 bound 样本内估计的 minimax 策略与总体 minimax 策略之间的差距。关键步骤是将策略的遗憾分解为中间分类器的遗憾，并利用分类器的遗憾界来控制。

  • 关键跳跃点：

    • 从全局 minimax 到个体决策：将全局的 minimax 问题分解为每个协变量值 \( x \) 上的独立决策问题，这依赖于效用函数的可加性和无混淆性。这个分解是证明的核心，它使得问题从高维优化简化为一系列低维分类问题。
    • 识别区间与分类权重的联系：证明识别区间的端点可以表示为某个可识别量的函数，而这个函数恰好是加权分类问题中的权重。这个联系是技术上的关键，它将部分识别理论与机器学习算法桥接起来。

  • 技术技巧点名：

    • 经验过程理论（Empirical Process Theory）：用于推导有限样本遗憾界，控制经验风险最小化带来的误差。
    • 分类遗憾界（Classification Regret Bounds）：直接借用现成的分类学习理论结果（如 VC 维、Rademacher 复杂度），来 bound 策略学习的误差。这是本文方法实用性的关键。
    • 零和博弈与 minimax 定理（Zero-sum Game & Minimax Theorem）：用于将原问题转化为更易处理的形式。

真实例子与应用

  • 数据 / 场景：右心导管术（Right Heart Catheterization, RHC） 对疑似肺动脉高压患者的决策问题。RHC 是一种侵入性诊断手段，有风险，但能提供关键信息。决策者需要在“进行 RHC”和“不进行 RHC”之间选择。
  • 如何应用：作者将“不伤害”原则形式化为一个不对称反事实效用函数。具体地，他们假设：
    • \( u(\text{死亡}, \text{存活}, \text{RHC}) \)（RHC 导致本可存活的患者死亡）的效用极低。
    • \( u(\text{存活}, \text{死亡}, \text{不RHC}) \)（不 RHC 导致本可因 RHC 存活的患者死亡）的效用也低，但可能不如前者低（体现了对“主动伤害”的更大惩罚）。
    • 他们使用来自 SUPPORT 研究 的观测数据，该研究包含了患者的协变量、是否接受 RHC 以及 30 天死亡率。
  • 得到什么结果：作者比较了标准策略学习（仅基于观测结果）和本文提出的 minimax 策略学习。结果显示，标准策略倾向于更频繁地推荐 RHC，因为它只看到了 RHC 组的平均死亡率略低。而 minimax 策略则更保守，只在 RHC 能带来非常明确的生存获益时才推荐它，从而避免了潜在的“伤害”。作者还展示了不同惩罚参数 \( \lambda \) 下 minimax 策略的变化。
  • 这个例子想说明什么：这个例子生动地展示了，当决策者关心反事实对比（“伤害” vs. “获益”）时，标准策略学习可能会推荐一个在不对称效用下实际上很差的策略。本文的 minimax 方法提供了一个更稳健、更符合伦理直觉的替代方案。

🔎 结论是否比证明窄

  • 窄化之处：定理 3 的有限样本遗憾界依赖于中间分类器的遗憾界。然而，作者在证明中假设了分类算法能够达到 0-1 损失的遗憾界。在实际应用中，许多分类算法（如逻辑回归、支持向量机）优化的是替代损失（surrogate loss），其遗憾界与 0-1 损失的遗憾界之间的关系需要额外的假设（如分类校准性，classification calibration）。作者在文中提到了这一点，但并未在主要定理中明确处理这个 gap。因此，结论的严格性在应用到具体算法时可能比证明中声称的要窄。
  • 泛化 claim：作者在引言和结论中声称该方法适用于“高 stakes settings like medicine and public policy”。然而，证明中的有限样本界依赖于无混淆性和重叠性假设，这些假设在高维协变量或复杂观测研究中可能不成立。作者没有讨论当这些假设被违反时方法的稳健性，这是一个比证明更宽的 claim。

四、开放问题

  1. 高维协变量下的 minimax 策略学习：本文的有限样本界依赖于分类器的遗憾界，而高维协变量下分类器的遗憾界通常很差（维数灾难）。如何将本文的框架与高维统计方法（如 Lasso、正则化）结合，以在高维设定下获得更好的策略学习保证？这扎根于定理 3 对分类器遗憾界的依赖。
  2. 连续行动或连续结果：本文主要关注二值行动和二值/离散结果。如何将 minimax 框架推广到连续行动（如药物剂量）或连续结果（如血压）？这需要重新定义不对称反事实效用函数和识别区间，可能涉及更复杂的优化问题。这扎根于本文的设定（二值行动）。
  3. 与贝叶斯决策规则的比较：本文采用了 minimax 准则，这是一种“悲观”的稳健决策方法。在部分识别下，贝叶斯决策规则（通过引入先验分布来得到点识别）会是什么样？两种方法在什么条件下会给出相似的策略？在什么条件下会有显著差异？这扎根于作者在 framing 中淡化的竞争路线（贝叶斯方法）。
  4. 工具变量或中介分析中的不对称效用：本文的框架建立在无混淆性假设上。在更复杂的因果结构（如存在未观测混杂因素的工具变量设定，或存在中介变量的中介分析）中，如何定义和识别不对称反事实效用？这直接连接研究者的 IV 和 mediation 兴趣，是一个自然的推广方向。这扎根于本文的假设（无混淆性）和研究者兴趣。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论