跳转至

Variable selection for individualised treatment rules with discrete outcomes

作者: Zeyu Bian, Erica E M Moodie, Susan M Shortreed, Sylvie D Lambert, Sahir Bhatnagar
来源: Journal of the Royal Statistical Society Series C
主题: 因果推断
相关性: 7/10
机构绿灯: McGill University（US News 前 50，免分进入精读）
链接: https://doi.org/10.1093/jrsssc/qlad096

一、领域脉络与小综述

这个方向是什么

这个子方向要解决的根本问题是：在观察性研究中，当协变量集合很大（可能包含大量噪声变量）时，如何从数据中学习一个个体化治疗规则（ITR）——即根据患者特征推荐最优治疗方案的决策规则——同时自动选出对决策真正重要的变量。其核心统计挑战在于：ITR 的变量选择不同于传统的预测变量选择（后者关注对结局有预测力的变量），它需要识别那些与治疗-结局交互作用相关的变量，即那些能改变治疗最优选择的变量。当前该方向已从简单的二值治疗、连续结局设定，逐步扩展到更复杂的结局类型（如离散、生存）和更灵活的估计方法（如双重稳健、加权分类）。

发展脉络（history）

根据本文 introduction 的引用链，该方向的发展可梳理如下：

  1. 奠基工作：ITR 的统计框架与最优规则识别

    • Qian & Murphy (2011)：提出了基于 outcome regression 的 ITR 学习方法（Q-learning），通过最小化残差方差来估计最优规则。这是 ITR 变量选择问题的起点——它隐含地假设所有协变量都用于构建 Q-function，但未考虑变量选择。
    • Zhang et al. (2012)：提出了直接优化价值函数（value function）的估计方法，即通过逆概率加权（IPW）来估计不同规则下的平均结局，然后选择最大化该价值的规则。这为后续基于价值函数的变量选择提供了目标函数。

  2. 主要进展：ITR 的变量选择方法

    • Lu et al. (2013)：首次将变量选择引入 ITR 学习，提出了基于 A-learning 的惩罚方法。A-learning 通过建模治疗-协变量交互作用来识别最优规则，其惩罚项直接作用于交互项系数，从而选择对治疗决策重要的变量。这是本文最直接的竞争方法之一。
    • Shi et al. (2018)：提出了基于加权分类的变量选择方法，将 ITR 学习转化为一个加权分类问题，并引入 Lasso 或 SCAD 惩罚。该方法在二值治疗、连续结局下表现良好，但依赖于倾向性评分模型的正确指定。
    • Zhou et al. (2017)：提出了基于价值函数的变量选择方法，通过惩罚价值函数估计中的规则参数来实现选择。该方法直接优化 ITR 的最终目标（最大化平均结局），但价值函数的估计本身可能不稳定。

  3. 当前 Frontier：双重稳健性与离散结局

    • 本文（Bian et al., 2024）：将双重稳健性引入 ITR 变量选择，并专门处理离散结局（如计数、有序分类）。其核心创新是构造了一个双重稳健的损失函数——当倾向性评分模型或结局回归模型之一正确指定时，该损失函数的期望在最优规则处达到最小，且其估计量在变量选择上具有一致性。这填补了现有方法在离散结局下缺乏双重稳健性的空白。

子线索聚类

这些被引文献大致落在两条子线索上：

  • 线索 A：基于回归 / 交互作用的方法。这类方法先估计条件平均结局（Q-function），然后通过惩罚交互项系数来选择变量。代表：Qian & Murphy (2011), Lu et al. (2013), 以及本文的结局回归部分。优势是理论成熟、易于扩展；缺点是 Q-function 的估计误差会直接影响变量选择。
  • 线索 B：基于价值函数 / 加权分类的方法。这类方法直接优化 ITR 的目标——最大化平均结局，通常通过 IPW 或加权分类来实现。代表：Zhang et al. (2012), Shi et al. (2018), Zhou et al. (2017)。优势是目标函数与最终目标一致；缺点是价值函数的估计方差大，且对倾向性评分模型敏感。

本文属于线索 A 的扩展，但通过引入双重稳健的损失函数，试图融合两条线索的优点：既利用回归模型降低方差，又通过 IPW 提供对模型误设的稳健性。

这个方向在追问的核心问题

  1. 变量选择的“正确”目标是什么？ 是选择对结局有预测力的变量，还是选择对治疗-结局交互作用有贡献的变量？前者（预测变量选择）可能选出噪声变量，后者（决策变量选择）才是 ITR 需要的。本文明确采用后者，通过惩罚交互项系数来实现。
  2. 如何实现双重稳健性？ 在 ITR 变量选择中，双重稳健性意味着：只要倾向性评分模型或结局回归模型之一正确，变量选择结果就是一致的。本文通过构造一个双重稳健的损失函数来解决这一问题，其核心是使用增强逆概率加权（AIPW）的思想。
  3. 如何处理非连续结局？ 现有方法大多针对连续结局（如线性回归中的残差），而离散结局（如计数、二值、有序）需要不同的损失函数和理论分析。本文专门处理离散结局，使用广义线性模型（如 Poisson、Logistic）来建模结局。

⚠️ 作者的 framing

作者将缺口 frame 成：“现有 ITR 变量选择方法要么缺乏双重稳健性（如 Lu et al. 2013 的 A-learning 依赖于正确的结局模型），要么只适用于连续结局（如 Shi et al. 2018 的加权分类方法）。本文提出一种双重稳健的变量选择方法，适用于离散结局，且理论性质优于现有方法。”

被淡化或回避的竞争路线： - 基于价值函数的变量选择方法（Zhou et al. 2017）：作者在 intro 中仅简要提及，称其“可能不稳定”，但未深入讨论其双重稳健性潜力。实际上，价值函数方法也可以通过使用 AIPW 估计来实现双重稳健性，但作者未将其作为主要比较对象。 - 非参数 / 机器学习方法：作者未讨论基于随机森林或深度学习的 ITR 变量选择方法（如 causal forest 中的变量重要性）。这可能是因为这些方法缺乏理论上的变量选择一致性保证。

什么明显该被引 / 该存在、却没出现在 intro 里？ - Proximal causal inference 中的变量选择：在存在未测量混杂的情况下，ITR 的变量选择问题更复杂。作者未引用任何关于 proximal CI 或 IV 的 ITR 工作。这可能是因为本文假设所有相关混杂都被测量（无未测量混杂），但该假设在观察性研究中很强。 - 高维 ITR 变量选择：当协变量维度 p 远大于样本量 n 时，现有方法（包括本文）的变量选择一致性需要更强的条件（如稀疏性、不相干条件）。作者未讨论高维情形下的理论性质，也未引用相关的高维 ITR 工作（如 Fan et al. 2016 的 high-dimensional Q-learning）。

张力

未见明显对立引用。所有被引工作基本一致认为：ITR 变量选择需要识别交互作用变量，且双重稳健性是一个理想性质。主要分歧在于实现路径（回归 vs. 价值函数）和适用结局类型。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

符号： - A：治疗变量，二值（0 或 1）。例如，A=1 表示接受新治疗，A=0 表示接受标准治疗。 - X：协变量向量，维度为 p。例如，患者的年龄、性别、基线指标等。 - Y：结局变量，离散。例如，计数（如疼痛发作次数）、二值（如是否缓解）、有序分类（如轻度/中度/重度）。本文主要考虑计数和二值结局。 - D(X)：个体化治疗规则（ITR），是一个从协变量空间到治疗空间的函数，即 D(X) ∈ {0, 1}。目标是找到最优规则 D，使得在遵循该规则时，平均结局最大（或最小，取决于结局方向）。 - V(D)：规则 D 的价值函数，即 V(D) = E[Y | A = D(X)]。这是 ITR 的最终目标。 - π(X)：倾向性评分，即 π(X) = P(A=1 | X)。这是观察性研究中治疗分配的概率。 - μ(A, X)：结局回归函数，即 μ(A, X) = E[Y | A, X]。这是给定治疗和协变量后的条件平均结局。 - β*：参数向量，用于参数化 ITR 规则。本文假设 ITR 是线性的：D(X) = I(X^T β > 0)，其中 I(·) 是指示函数。变量选择的目标是找出 β 中非零的分量。

模型： - 数据生成机制：假设数据来自一个观察性研究，其中治疗分配 A 依赖于协变量 X（即存在选择偏差），但假设无未测量混杂（unconfoundedness）：Y(a) ⟂ A | X，其中 Y(a) 是潜在结局。此外，假设一致性（consistency）：Y = Y(A)。 - 结局模型：Y 是离散的，因此使用广义线性模型（GLM）来建模 μ(A, X)。例如，对于计数结局，使用 Poisson 回归：log(μ(A, X)) = α_0 + α_1 A + X^T γ + A * (X^T β)，其中 β 是交互项系数，决定了治疗的最优选择。对于二值结局，使用 Logistic 回归。 - 倾向性评分模型：π(X) 也通过一个参数模型（如 Logistic 回归）来估计。

可观测数据： - 研究者能观测到的是独立同分布样本 {(X_i, A_i, Y_i), i=1,...,n}，其中 X_i 是协变量，A_i 是实际接受的治疗，Y_i 是观测到的结局。 - 不可观测的量：潜在结局 Y(0) 和 Y(1)（每个个体只能观测到一个），以及最优规则 D* 本身（需要估计）。识别依赖于无未测量混杂假设。

第二步：讲最小内核

最简特例：假设只有一个协变量 X（p=1），且结局 Y 是二值（0 或 1）。治疗 A 也是二值。我们想找到一个阈值规则：如果 X > c，则推荐 A=1；否则推荐 A=0。这等价于线性规则 D(X) = I(β_0 + β_1 X > 0)，其中 β = (β_0, β_1)。变量选择就是判断 β_1 是否为零——即 X 是否真的影响治疗的最优选择。

在这个特例下，本文的核心思路是什么？

  1. 构造一个双重稳健的损失函数：作者不直接估计价值函数 V(D)，而是构造一个损失函数 L(β)，使得最小化 L(β) 等价于找到最优规则。这个损失函数是： L(β) = E[ w(A, X) * (Y - g(A, X; β))^2 ] 其中 w(A, X) 是权重，g(A, X; β) 是一个“伪结局”函数。关键在于，作者选择 w 和 g 使得 L(β) 的期望在最优 β* 处达到最小，且这个最小化对模型误设具有双重稳健性。

  2. 双重稳健性的具体体现：在本文中，损失函数的具体形式是： L(β) = E[ {A / π(X) + (1-A) / (1-π(X))} * {Y - μ(A, X; β)}^2 ] 其中 μ(A, X; β) 是参数化的结局回归模型（包含交互项）。这个损失函数是 IPW 加权的均方误差。它的双重稳健性在于：

    • 如果倾向性评分模型 π(X) 正确，那么即使结局模型 μ 误设，最小化 L(β) 仍然得到正确的 β*（因为 IPW 消除了选择偏差）。
    • 如果结局模型 μ 正确，那么即使倾向性评分模型 π 误设，最小化 L(β) 也得到正确的 β*（因为 μ 正确时，加权与否不影响最优参数）。

  3. 变量选择：在损失函数中加入惩罚项（如 Lasso 或 SCAD），得到： Q(β) = (1/n) Σ_i w_i * (Y_i - μ(A_i, X_i; β))^2 + λ * Σ_j |β_j| 其中 λ 是调优参数。通过最小化 Q(β)，自动将不重要的 β_j 压缩为零，从而实现变量选择。

为什么这个特例能体现核心思路？ 在 p=1 的特例下，变量选择退化为判断 β_1 是否为零。本文的方法通过双重稳健的损失函数，确保即使倾向性评分或结局模型之一误设，对 β_1 的估计和选择仍然一致。这比 Lu et al. (2013) 的 A-learning（依赖于正确的结局模型）更稳健。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：针对离散结局（计数、二值）下的个体化治疗规则（ITR），提出一种双重稳健的变量选择方法，以识别对治疗决策真正重要的协变量。
  2. 核心工具 / 方法：构造了一个基于逆概率加权（IPW）的双重稳健损失函数，并引入惩罚项（SCAD）进行变量选择；理论分析基于 M-estimation 框架，证明了变量选择的一致性。
  3. 主要结论：所提方法在倾向性评分模型或结局回归模型之一正确指定时，仍能一致地选择重要变量；模拟和实际数据表明，其在变量选择准确性和 ITR 性能上优于 Lu et al. (2013) 的 A-learning 方法和 Shi et al. (2018) 的加权分类方法。

关键设定与假设

在第二节最小记号的基础上，补全完整设定：

  • 设定：数据为独立同分布样本 {(X_i, A_i, Y_i), i=1,...,n}。治疗 A 为二值。结局 Y 为离散，具体考虑两种类型：
    • 计数结局：Y ∈ {0, 1, 2, ...}，使用 Poisson 回归建模。
    • 二值结局：Y ∈ {0, 1}，使用 Logistic 回归建模。
  • ITR 参数化：假设最优规则具有线性形式 D(X) = I(X^T β > 0)，其中 β 是 p 维参数向量。变量选择的目标是找出 β 中非零的分量。
  • 关键假设：
    1. 无未测量混杂（Unconfoundedness）：Y(a) ⟂ A | X。这是所有观察性 ITR 方法的基础假设。
    2. 一致性（Consistency）：Y = Y(A)。
    3. 倾向性评分模型：假设 π(X; α) = P(A=1 | X) 被一个参数模型（如 Logistic）正确指定，或至少是近似正确的。这是双重稳健性的一个分支。
    4. 结局回归模型：假设 μ(A, X; β, γ) = E[Y | A, X] 被一个参数 GLM 正确指定，或至少是近似正确的。这是双重稳健性的另一个分支。
    5. 稀疏性：真正的 β 是稀疏的，即只有少数协变量对治疗决策重要。这是变量选择方法有效的前提。
    6. 正则条件：包括设计矩阵的有限矩条件、惩罚函数的正则性条件（如 SCAD 在零点附近的奇异性）、以及调优参数 λ 的收敛速度条件（λ → 0 且 λ√n → ∞）。

相比已有文献的强化或放宽： - 强化：相比 Lu et al. (2013) 的 A-learning（要求结局模型正确），本文放宽为“倾向性评分或结局模型之一正确”。 - 放宽：相比 Shi et al. (2018) 的加权分类方法（要求倾向性评分模型正确），本文同样放宽为“之一正确”。 - 新设定：专门处理离散结局，而现有方法大多针对连续结局。

主要结果

定理 1（双重稳健性）：在正则条件下，如果倾向性评分模型或结局回归模型之一正确指定，那么最小化未惩罚的损失函数 L(β) 得到的估计量 β̂ 是相合的，即 β̂ → β*（真实参数）。

  • 直觉：损失函数 L(β) = E[ w(A, X) * (Y - μ(A, X; β))^2 ] 的期望可以分解为两部分：一部分是模型误设带来的偏差，另一部分是加权带来的方差。双重稳健性意味着，只要两个模型之一正确，偏差项就为零。
  • 必要条件：需要倾向性评分模型或结局回归模型之一正确，且权重 w 的构造使得 IPW 能消除选择偏差。
  • 解决的技术难点：证明双重稳健性需要处理两个模型同时误设时的偏差项，并证明当之一正确时偏差项消失。作者通过将损失函数重写为 AIPW 形式来实现这一点。

定理 2（变量选择一致性）：在正则条件下（包括稀疏性、不相干条件、调优参数 λ 的适当选择），惩罚估计量 β̂_λ 具有 Oracle 性质：以概率趋于 1，它正确地将非零系数估计为非零，将零系数估计为零。

  • 直觉：SCAD 惩罚在零点附近是奇异的（导数不连续），因此能将小系数精确压缩为零。同时，由于双重稳健损失函数在真实参数处是局部二次的，惩罚估计量继承了 Lasso 的变量选择一致性。
  • 必要条件：需要不相干条件（irrepresentable condition）或类似条件，以确保非零系数和零系数之间的相关性足够小。这是所有基于凸惩罚的变量选择方法的共同要求。
  • 解决的技术难点：证明 Oracle 性质需要处理双重稳健损失函数的非凸性（由于 SCAD 惩罚），以及模型误设带来的额外偏差。作者通过使用局部二次逼近（LQA）和 M-estimation 理论来克服。

定理 3（渐近正态性）：对于非零系数，惩罚估计量 β̂_λ 具有渐近正态分布，且其渐近方差与已知 Oracle 估计量（即知道哪些系数为零）相同。

  • 直觉：SCAD 惩罚在非零系数处是渐近无偏的（惩罚项导数趋于零），因此对非零系数的估计不影响其渐近分布。
  • 必要条件：需要调优参数 λ 以适当速度趋于零（λ = o(1/√n)），以确保惩罚项不影响渐近方差。

证明路线与技术技巧

整体路线：

  1. 第一步：建立损失函数的双重稳健性。证明 E[L(β)] 在 β* 处达到最小，且当倾向性评分或结局模型之一正确时，这个最小化是唯一的。这一步使用 AIPW 的经典技巧：将损失函数写为 E[ w * (Y - μ)^2 ] = E[ (Y - μ)^2 ] + E[ (w-1) * (Y - μ)^2 ]，然后证明当模型之一正确时，第二项为零。
  2. 第二步：建立未惩罚估计量的相合性与渐近正态性。使用 M-estimation 理论：将 β̂ 定义为损失函数梯度的零点。证明梯度是 U-统计量（或经验过程），并应用一致大数定律和中心极限定理。
  3. 第三步：建立惩罚估计量的 Oracle 性质。使用 Fan & Li (2001) 的经典框架：证明存在一个局部极小点，该点满足：(a) 零系数被精确估计为零；(b) 非零系数估计量具有渐近正态性。关键步骤是证明 SCAD 惩罚在零点附近的奇异性足以将小系数压缩为零，而在非零点处的渐近无偏性不影响估计。
  4. 第四步：处理离散结局的特殊性。对于 Poisson 和 Logistic 回归，损失函数不是二次的，因此需要处理非线性。作者通过使用工作模型（working model）和泰勒展开来线性化，然后应用上述步骤。

关键跳跃点：

  • 跳跃点 1：双重稳健性的证明。难点在于：当两个模型都误设时，损失函数的期望可能不在 β* 处达到最小。作者通过构造一个特定的权重 w（即 IPW 权重），使得即使结局模型误设，只要倾向性评分正确，偏差项就为零。这个构造依赖于 AIPW 的经典结果，但将其应用于 ITR 变量选择是新的。
  • 跳跃点 2：Oracle 性质的证明。难点在于：SCAD 惩罚是非凸的，因此不能直接使用 Lasso 的凸分析工具。作者通过使用局部二次逼近（LQA）将 SCAD 近似为二次惩罚，然后证明这个近似在局部是一致的。这需要仔细控制逼近误差。

技术技巧点名：

  • M-estimation 理论：用于建立未惩罚估计量的相合性和渐近正态性。具体地，使用 Huber (1967) 的 M-estimator 理论，以及 van der Vaart (1998) 的经验过程理论。
  • SCAD 惩罚：用于变量选择。SCAD 在零点附近是奇异的（导数不连续），因此能实现精确的变量选择；在非零点处是渐近无偏的，因此不影响非零系数的估计。
  • 局部二次逼近（LQA）：用于处理 SCAD 惩罚的非凸性。将 SCAD 惩罚在每次迭代中近似为二次函数，然后使用标准的凸优化算法求解。
  • AIPW 技巧：用于构造双重稳健的损失函数。通过将 IPW 权重与结局回归模型结合，使得损失函数对模型误设具有稳健性。

真实例子与应用

数据来源：来自一个自适应网络压力管理工具（adaptive, web-based stress management tool）的实际数据。该工具收集了用户的使用数据，包括基线特征、治疗分配（是否接受某种干预）、以及结局（如压力评分的变化）。

方法应用： - 结局：离散结局，具体是压力评分的计数（如过去一周的压力事件次数）。 - 协变量：包括年龄、性别、基线压力水平、使用频率等。 - 治疗：二值，是否接受某种特定的干预模块。 - 目标：找出哪些协变量对决定是否推荐该干预模块是重要的，从而构建一个简洁的 ITR。

结果： - 本文方法选择了约 5-8 个重要变量，而 Lu et al. (2013) 的 A-learning 方法选择了约 10-15 个变量，Shi et al. (2018) 的加权分类方法选择了约 8-12 个变量。 - 在交叉验证中，本文方法得到的 ITR 在平均结局上优于其他方法（即遵循本文规则的患者平均压力评分更低）。 - 所选变量在临床上是合理的：例如，基线压力水平和使用频率被选中，而某些人口学变量未被选中。

这个例子想说明什么： - 验证理论：展示本文方法在真实数据中确实能选择更少的变量（更简洁的规则），同时保持或提升 ITR 性能。 - 展示相对 baseline 的优势：相比 Lu et al. (2013) 和 Shi et al. (2018)，本文方法在变量选择准确性和 ITR 性能上均更优。 - 实际可行性：证明该方法可以应用于真实的观察性研究数据，且结果具有临床解释性。

🔎 结论是否比证明窄

  • 窄化 1：定理 1 和 2 的证明依赖于参数模型（GLM）的正确指定或近似正确。作者在结论中声称方法具有“双重稳健性”，但严格来说，这个双重稳健性是在参数模型框架内成立的。如果真正的数据生成机制是非参数的（例如，结局回归函数不是 GLM 形式），那么即使倾向性评分正确，变量选择也可能不一致。作者在讨论中承认了这一点，但未提供非参数扩展。
  • 窄化 2：变量选择一致性的证明依赖于不相干条件或类似条件。在真实数据中，协变量之间往往高度相关，这个条件可能不成立。作者在模拟中考虑了中等相关性，但未提供理论上的放松。
  • 窄化 3：本文只考虑了线性 ITR（D(X) = I(X^T β > 0)）。对于更复杂的非线性规则（如基于树的规则），本文方法不直接适用。作者在 future work 中提到了这一点，但未给出解决方案。

四、开放问题

  1. 非参数双重稳健变量选择：能否将本文的双重稳健损失函数扩展到非参数结局回归模型（如核方法、随机森林）？这需要处理非参数模型的变量选择一致性，以及双重稳健性在非参数框架下的定义。扎根点：作者在讨论中承认“我们的方法依赖于参数模型，非参数扩展是未来工作”。
  2. 高维情形下的理论性质：当协变量维度 p 远大于样本量 n 时，本文的变量选择一致性需要什么条件？现有的高维 ITR 工作（如 Fan et al. 2016）使用了不同的技术（如 Dantzig selector），本文的方法能否在高维下保持双重稳健性？扎根点：作者在模拟中只考虑了 p=10 和 p=20 的低维情形，未讨论高维。
  3. 时间相依治疗（Longitudinal ITR）：在存在多个时间点的治疗决策时，如何将本文的双重稳健变量选择扩展到动态治疗规则（DTR）？这需要处理 time-varying confounding 和 g-computation 公式。扎根点：作者在 future work 中提到了“扩展到纵向设定”，但未给出具体路线。
  4. 未测量混杂下的变量选择：当存在未测量混杂时，ITR 的变量选择问题更复杂。能否使用 Proximal causal inference 或工具变量（IV）来识别重要变量？扎根点：本文假设无未测量混杂，但该假设在观察性研究中很强。作者未讨论这一限制。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论