跳转至

Successive Classification Learning for Estimating Quantile Optimal Treatment Regimes

讲者: Dehan Kong
会场: Statistical Innovation for Trustworthy AI
报告题目: A Successive Classification Learning for Estimating Quantile Optimal Treatment Regimes
链接: arXiv
来源: JCSDS 2026 · 返回会议总览

一、领域脉络与小综述

这个方向是什么

这个子方向是分位数最优治疗方案（Quantile Optimal Treatment Regimes, QOTR）的估计。根本的统计问题是：给定患者的基线协变量 \(X\)，如何找到一个将 \(X\) 映射到二元治疗 \(A \in \{0,1\}\) 的规则 \(d(X)\)，使得在该规则下患者反事实结果 \(Y(d)\) 的指定分位数（例如中位数或下四分位数）最大化。与传统的均值最优治疗方案（mean OTR）不同，分位数准则对异常值和重尾分布更稳健，并且当选择较低分位数时，它旨在改善弱势患者（结果分布中靠下的群体）的结局，从而促进公平性。当前该方向的成熟度中等：已有若干奠基性工作，但方法在优化、灵活性和对离散结果的处理上仍存在明显瓶颈。

发展脉络（history）

奠基工作： - Linn et al. (2017) 提出了一个估计分位数OTR的通用框架，基于模型依赖的交互式Q学习（interactive Q-learning）。该方法高度依赖于结果条件分布模型的正确设定。 - Wang et al. (2018) 是本文的核心对标工作。他们通过价值搜索方法（value search）来估计分位数OTR，建立了一个对反事实分位数的一致估计量，并通过最大化它来推导最优方案。该方法具有双稳健性（doubly robust），即只要倾向性得分模型或条件分位数函数模型之一正确，估计就是一致的。

主要进展： - Jiang et al. (2017) 和 Zhou et al. (2023) 将分位数OTR的研究扩展到生存数据（右删失结局）。 - 在均值OTR领域，分类学习方法（如 Zhang et al., 2012a; Zhao et al., 2012）已被证明具有显著优势：它们可以利用机器学习技术加速计算、避免局部最优解问题，并能灵活地处理非线性治疗方案。这些工作为本文提供了核心灵感。

当前frontier与本文位置： - 当前frontier是克服Wang et al. (2018)方法的三重挑战：非凸优化（目标函数非凹，遗传算法可能陷入局部最优）、线性方案假设（无法捕捉非线性分位数OTR）、以及离散结果的不一致性和无效性（直接应用会导致分位数估计不一致，且无法选出在期望结局上最优的方案）。 - 本文的位置：作者声称，他们通过将分位数OTR估计重新表述为一个逐次分类学习（Successive Classification Learning, SCL） 问题，来填补上述缺口。该方法通过训练一系列分类器（每个分类器建立在前一个的输出之上，并由二分搜索引导）来规避非凸性。对于离散结果，他们引入平滑技术将离散结果映射为连续替代变量，从而在统一框架下处理连续和离散结果。

子线索聚类

这些被引文献大致落在以下子线索上：

  1. 均值OTR的分类学习方法：Zhang et al. (2012a), Zhao et al. (2012), Zhou et al. (2017)。这一簇的核心是将OTR估计转化为加权分类问题，利用凸损失函数（如hinge loss）进行高效优化，并常与核方法结合处理非线性。本文的SCL方法直接借鉴了这一思路。
  2. 分位数OTR的价值搜索方法：Wang et al. (2018), Jiang et al. (2017), Zhou et al. (2023)。这一簇的工作通过估计反事实分位数函数并直接最大化它来寻找最优方案。Wang et al. (2018)是本文的直接竞争者和改进对象。
  3. 分位数OTR的模型依赖方法：Linn et al. (2017)。这一簇依赖于对条件分布的正确建模，灵活性较差，但若模型正确，效率可能更高。
  4. 离散数据的分位数估计：Machado and Silva (2005), Chen and Lazar (2010)。这一簇处理离散结果时分位数估计的固有问题（如分位数函数是阶梯函数），为本文的平滑技术提供了理论背景和动机。

这个方向在追问的核心问题

  1. 如何克服非凸优化问题？ Wang et al. (2018)的目标函数非凹，导致全局最优解无法保证。这是方法应用的主要障碍。
  2. 如何估计非线性分位数OTR？ 线性方案假设过于严格，而实际中即使简单的线性异方差模型也可能产生非线性分位数OTR（作者在Section S1.2中给出了推导）。
  3. 如何处理离散结果？ 直接应用连续结果的方法会导致分位数估计不一致（inconsistency）和方案无效（ineffectiveness，即无法选出在期望结局上最优的方案）。
  4. 如何建立二分搜索过程的渐近理论？ 本文的SCL方法依赖于一个递归的二分搜索过程，其渐近性质在文献中尚未被探索。

⚠️ 作者的 framing（必须明确标注成"这是作者的说法"）

  • 作者把缺口 frame 成什么：作者将缺口框架为“现有方法（Wang et al., 2018）面临非凸性、线性假设和离散结果三大挑战”，而他们的SCL方法通过“将问题重新表述为逐次分类任务”和“引入平滑技术”来“优雅地”解决这些挑战。他们强调，分类学习在均值OTR中的成功（计算效率、避免局部最优、处理非线性）是将其扩展到分位数OTR的“自然”动机。
  • 哪些竞争路线被他淡化或回避了：作者淡化了模型依赖方法（Linn et al., 2017）在模型正确时的潜在效率优势。在模拟中，当条件生存函数模型正确时（Case 1），QIQ-learning（Linn et al., 2017的变体）表现最佳，但作者将此归因于“预期之中”，并迅速转向强调其方法在非线性场景下的优势。作者也回避了与其他非线性OTR估计方法（如深度学习方法）的详细比较。
  • 什么明显该被引 / 该存在、却没出现在 intro 里？ 作者没有引用任何关于高效影响函数（Efficient Influence Function） 或半参数效率界的文献来讨论其方法的效率。虽然他们证明了双稳健性和收敛速率，但未声称其估计量是半参数有效的。对于一位对效率理论感兴趣的研究者（如陈星宇），这是一个值得追问的缺口：SCL估计量是否达到了半参数效率界？如果不是，差距有多大？此外，作者没有引用任何关于统计-计算权衡的文献，尽管他们提出的方法本质上是在用计算上更易处理的分类问题（凸优化）来替代一个计算上困难的问题（非凸优化）。这为从“信息-计算差距”角度分析该问题留下了空间。

张力

未见明显对立引用。所有被引工作基本在同一个框架下（潜在结果、双稳健性等）进行，彼此之间是渐进式的改进或不同设定下的扩展，没有根本性的矛盾结论。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：

    • \(X \in \mathbb{R}^d\)：\(d\)维基线协变量（随机变量）。
    • \(A \in \{0, 1\}\)：二元治疗分配（随机变量）。
    • \(Y \in \mathbb{R}\)：观测到的结局（随机变量），值越大表示临床结局越好。
    • \(Y(a)\)：在治疗 \(A=a\) 下的反事实结局（潜在变量，不可观测）。
    • \(d: \mathcal{X} \to \{0, 1\}\)：一个治疗方案（函数），将协变量空间映射到治疗空间。
    • \(Y(d) = Y(0)I\{d(X)=0\} + Y(1)I\{d(X)=1\}\)：在方案 \(d\) 下的反事实结局（潜在变量）。
    • \(\tau \in (0, 1)\)：感兴趣的分位数水平（参数/标量）。
    • \(Q_\tau\{Y(d)\}\)：方案 \(d\) 下反事实结局的 \(\tau\)-分位数（目标 estimand）。
    • \(S(q, d) = P(Y(d) > q)\)：方案 \(d\) 下反事实结局的生存函数（在 \(q\) 处）。
    • \(\pi^*(a|x) = P(A=a|X=x)\)：倾向性得分（已知或需估计的 nuisance 函数）。
    • \(g^*(q; x, a) = P(Y > q | X=x, A=a)\)：给定协变量和治疗的条件生存函数（需估计的 nuisance 函数）。
    • \(n\)：样本量。
    • \(\{(X_i, Y_i, A_i)\}_{i=1}^n\)：观测到的独立同分布样本。

  • 模型：

    • 数据生成机制：由潜在结果框架描述。观测数据 \((X, A, Y)\) 通过以下方式生成：\(X\) 来自某个分布；\(A\) 由倾向性得分 \(\pi^*(A|X)\) 生成；\(Y\) 由 \(Y = Y(1)A + Y(0)(1-A)\) 生成，其中 \(Y(0), Y(1)\) 是潜在结果。
    • 关键假设：
      • SUTVA (Assumption 1(i))：\(Y = Y(0)I(A=0) + Y(1)I(A=1)\)。一个人的结局只取决于其自身的治疗，且治疗版本唯一。
      • Ignorability (Assumption 1(ii))：\(Y(0), Y(1) \perp\!\!\!\perp A | X\)。给定协变量，治疗分配与潜在结果独立。
      • Positivity (Assumption 1(iii))：\(0 < \epsilon < P(A=1|X) < 1-\epsilon\)。每个子组都有正概率接受任一治疗。
    • 要估的对象：最优治疗方案 \(d^* = \arg\max_d Q_\tau\{Y(d)\}\)。

  • 可观测数据：

    • 研究者实际能观测到的是：\(\{(X_i, Y_i, A_i)\}_{i=1}^n\)。
    • 不可观测的是：每个个体的反事实结果 \(Y_i(0)\) 和 \(Y_i(1)\)。我们只能看到其中一个（\(Y_i = Y_i(A_i)\)）。识别依赖于上述假设。

第二步：讲最小内核

本文的核心思路可以浓缩为以下最简特例：连续结果、线性决策边界、且已知最优分位数 \(q^*\)。

在这个特例下，问题退化为：对于给定的 \(q^*\)，找到方案 \(d^*_{q^*} = \arg\max_d S(q^*, d)\)。而 \(S(q^*, d) = P(Y(d) > q^*)\) 可以看作是一个“成功”的概率（如果结局大于 \(q^*\) 视为成功）。那么，最大化 \(S(q^*, d)\) 就等价于找到一个方案，使得在该方案下，结局大于 \(q^*\) 的概率最大。

这正是均值OTR的经典设定，只不过将原始结局 \(Y\) 替换为了一个二值指标 \(Z = I(Y > q^*)\)。因此，我们可以直接应用分类学习的方法（如 Zhang et al., 2012a）来估计 \(d^*_{q^*}\)。

具体来说，对于固定的 \(q\)，定义： - \(C(X, q) = \psi(1, q) - \psi(0, q)\)，其中 \(\psi(a, q)\) 是双稳健的“伪结局”。 - \(Z^* = I\{C(X, q) > 0\}\) 是一个“最优治疗标签”。

那么，寻找 \(d^*_q\) 就等价于一个加权分类问题：

\[d^*_q = \arg\min_d E[|C(X, q)| \cdot I\{Z^* \neq d(X)\}]\]
这个问题的核心是：用权重 \(|C(X, q)|\) 来惩罚分类错误 \(I\{Z^* \neq d(X)\}\)。由于0-1损失非凸，我们将其替换为凸的hinge损失 \(\phi(u) = (1-u)_+\)，从而得到一个凸优化问题，可以高效求解（例如使用SVM）。

整个SCL算法就是对这个特例的推广：我们不知道最优分位数 \(q^*\)，所以需要通过二分搜索来逐次地猜测 \(q\)，并对每个猜测的 \(q\) 求解上述分类问题，直到找到那个使得 \(\max_d S(q, d)\) 最接近 \(1-\tau\) 的 \(q\)。因此，SCL的核心思想是：将分位数OTR估计问题，通过二分搜索，转化为一系列已知如何高效求解的均值OTR（或加权分类）子问题。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：本文研究了如何估计分位数最优治疗方案（QOTR），特别是针对现有方法（Wang et al., 2018）存在的非凸优化、线性方案限制以及离散结果导致的不一致和无效性问题。
  2. 核心工具/方法：提出了一种名为逐次分类学习（SCL） 的方法，通过二分搜索将QOTR估计转化为一系列加权分类任务（使用hinge loss和RKHS），并针对离散结果引入了一种平滑技术来构造连续的替代生存函数。
  3. 主要结论：在正则条件下，使用高斯核的SCL方法，其估计方案下的分位数与最优分位数之差的收敛速率在数据分离良好时接近 \(n^{-1/3}\)，且该速率与知道最优分位数的“神谕方法”相近。对于离散结果，该方法能实现分位数一致性（以概率趋于1达到最优分位数），并在同方差治疗效应假设下实现有效性（期望结局也趋于最优）。

关键设定与假设

在第二节最小记号的基础上，补全完整设定：

  • 核心记号：\(d^*_q = \arg\max_d S(q, d)\) 是给定阈值 \(q\) 下的最优方案。\(q^* = \max_d Q_\tau\{Y(d)\}\) 是最优分位数。\(\hat{d}\) 是SCL算法输出的估计方案。
  • 关键假设：
    • Assumption 2：反事实生存函数 \(S(q, 1)\) 和 \(S(q, 0)\) 是 \(q\) 的连续函数（用于连续结果）。
    • Assumption 3-5：这些假设保证了分类学习框架的双稳健性。Assumption 3要求nuisance函数估计量属于VC类。Assumption 4保证正性。Assumption 5是关键：它要求估计的倾向性得分 \(\hat{\pi}\) 和条件生存函数 \(\hat{g}\) 收敛到某个极限 \((\pi_0, g_0)\)，且只要其中之一正确（即 \(\pi_0 = \pi^*\) 或 \(g_0 = g^*\)），就能保证方法的双稳健性。\(\Delta_n\) 衡量了估计的误差。
    • Assumption 6 (几何噪声指数)：描述了在最优分位数 \(q^*\) 附近，数据点落在决策边界（即 \(2\eta(x, q)-1=0\)）附近的密度。指数 \(\beta\) 越大，数据分离越好，分类越容易。
    • Assumption 7：描述了 \(\tau(X, q) = g^*(q; X, 1) - g^*(q; X, 0)\) 在0附近的密度。指数 \(\eta\) 越大，\(\tau\) 远离0的概率越高，这有助于二分搜索的评估步骤。
    • Assumption 8：要求 \(S(q_0, d^*_q)\) 在 \(q_0 = q^*\) 附近关于 \(q_0\) 是Lipschitz连续的，且下界非零。这比要求密度函数存在更弱。
    • Assumption 9 (同方差治疗效应)：\(P(Y > q | X=x, A=1) - P(Y > q | X=x, A=0)\) 的符号对所有 \(q\) 不变。这是保证离散结果下方法“有效性”的关键。

主要结果

  • Theorem 3.1 (连续结果)：在Assumptions 1-8下，使用高斯核的SCL方法，其估计方案下的分位数与最优分位数之差满足：

    \[Q_\tau\{Y(\hat{d})\} - Q_\tau\{Y(d^*)\} = o_p(\varsigma_n \log n)\]
    其中 \(\varsigma_n\) 是一个复杂的速率项，由多个偏置-方差权衡项组成。当数据分离良好（\(\beta, \eta \to \infty\)）且nuisance函数以参数速率估计（\(\gamma=1/2\)）时，速率接近 \(n^{-1/3}\)。这个速率与“神谕方法”（已知最优分位数 \(q^*\)）的速率相同。直觉：速率由分类步骤（估计 \(d^*_q\)）和二分搜索步骤（估计 \(q^*\)）共同决定，\(n^{-1/3}\) 是许多非参数分类问题中常见的慢速率。

  • Theorem 3.2 (离散结果)：在离散结果下，使用平滑技术的SCL方法满足：

    • (i) 平滑分位数 \(Q^m_\tau\{Y(\hat{d})\}\) 收敛到最优平滑分位数 \(Q^m_\tau\{Y(\tilde{d}^*)\}\)，速率与Theorem 3.1相同。
    • (ii) 原始分位数 \(Q_\tau\{Y(\hat{d})\}\) 以概率趋于1等于最优分位数 \(\max_d Q_\tau\{Y(d)\}\)。直觉：由于离散结果的分位数是离散的，只要估计足够好，就能以高概率精确命中最优值，而不是仅仅接近它。

  • Corollary 3.1 (有效性)：在Theorem 3.2的假设和Assumption 9下，有 \(E\{Y(\hat{d})\} - \max_d E\{Y(d)\} = o_p(1)\)。直觉：在同方差治疗效应下，所有最优分位数方案中，只有一个在期望结局上也是最优的。平滑技术能帮助选出这个“有效”的方案。

证明路线与技术技巧

  • 整体路线：

    1. 分解误差：将 \(Q_\tau\{Y(\hat{d})\} - Q_\tau\{Y(d^*)\}\) 分解为两部分：一是由于估计最优分位数 \(\hat{q}\) 不准确带来的误差；二是在给定 \(\hat{q}\) 下，估计最优方案 \(\hat{d}_{\hat{q}}\) 不准确带来的误差。
    2. 处理分类误差：对于固定的 \(q\)，证明分类学习得到的 \(\hat{d}_q\) 在分位数意义下是一致的。这借鉴了Zhao et al. (2015)和Zhou et al. (2017)中关于均值OTR的证明框架，但需要将目标从期望 \(E[Y(d)]\) 替换为分位数 \(Q_\tau\{Y(d)\}\)。关键步骤是证明 \(\hat{S}(q, \hat{d}_q)\)（估计的生存函数）收敛到 \(S(q, d^*_q)\)（最优生存函数）。
    3. 处理二分搜索误差：证明二分搜索过程能一致地估计出最优分位数 \(q^*\)。这需要证明 \(\hat{S}(q, \hat{d}_q)\) 作为 \(q\) 的函数是连续的，并且其最大值点收敛到 \(q^*\)。作者利用Assumption 8（Lipschitz性质）和二分搜索的停止准则来建立这个收敛性。
    4. 结合误差：将上述两步的误差结合起来，得到最终的收敛速率。

  • 关键跳跃点：

    • 处理递归依赖：二分搜索过程使得 \(\hat{d}_q\) 的估计依赖于 \(q\)，而 \(q\) 的更新又依赖于 \(\hat{d}_q\)。这种递归依赖给渐近分析带来了巨大挑战。作者通过经验过程理论（empirical process techniques）来统一处理这种依赖结构，证明在整个搜索区间上，\(\hat{S}(q, \hat{d}_q)\) 一致地收敛到 \(S(q, d^*_q)\)。
    • 离散结果的平滑：直接处理离散结果时，\(S(q, d)\) 是阶梯函数，导致分位数估计不一致。作者的关键跳跃是证明：最大化平滑后的分位数 \(Q^m_\tau\{Y(d)\}\) 得到的方案集 \(\tilde{D}^*\) 是原始最优方案集 \(D^*\) 的子集（Theorem S2）。这意味着平滑不会“丢失”最优方案，反而可能排除掉一些“边界”上的次优方案，从而解决不一致和无效性问题。

  • 技术技巧点名：

    • 经验过程理论 (Empirical Process Theory)：用于证明 \(\hat{S}(q, \hat{d}_q)\) 在 \(q\) 上的一致收敛性，处理递归依赖。
    • 核方法 (Kernel Methods)：使用高斯核来构造非线性决策边界，并通过核技巧将问题转化为RKHS中的凸优化。
    • Hinge Loss 替代：用凸的hinge loss替代非凸的0-1损失，使优化问题可解。
    • 软决策边界 (Soft Decision Boundary)：使用正态CDF \(\Phi(\hat{f}_q(x)/h_n)\) 作为“软”方案，而不是硬阈值 \(I\{\hat{f}_q(x) > 0\}\)，以便于理论分析（避免指示函数的不连续性）。
    • 二分搜索 (Binary Search)：作为核心算法框架，将非凸优化问题转化为一系列凸优化子问题。
    • 双稳健估计 (Doubly Robust Estimation)：通过结合倾向性得分和条件生存函数，使方法对nuisance函数的误设有鲁棒性。

真实例子与应用

  • 数据：ACTG175 数据集，包含2139名HIV感染患者。结局是治疗后20周的CD4细胞计数。作者聚焦于比较AZT+ddI联合疗法与ddI单药疗法。
  • 方法应用：将SCL方法（线性核和高斯核）应用于该数据，估计 \(\tau = 0.25, 0.50, 0.75\) 的分位数OTR。与Wang's method和QIQ-learning进行比较。
  • 结果：
    • 表2：SCL-Gaussian在所有分位数水平上取得了最高的平均分位数价值（例如，\(\tau=0.5\)时，SCL-Gaussian为383.2，而Wang's method为368.1）。
    • 表3：SCL-Gaussian在所有分位数水平上取得了最高的Rand Index（衡量方案分配稳定性的指标），表明其估计更稳定。
  • 这个例子想说明什么：验证了SCL方法（特别是使用高斯核时）在真实数据中能够找到比现有方法更好的分位数OTR，并且其估计结果更稳定可靠。

🔎 结论是否比证明窄

  • Theorem 3.1的速率：定理声称的收敛速率 \(\varsigma_n\) 非常复杂，依赖于多个参数（\(\beta, \eta, \gamma, v, \zeta\)）。作者在讨论中将其简化为“接近 \(n^{-1/3}\)”，但这仅在数据分离良好（\(\beta, \eta\) 很大）且nuisance函数估计速率最优（\(\gamma=1/2\)）时才成立。在一般条件下，速率可能慢得多。作者在定理陈述中明确写出了这个复杂的速率，但在摘要和引言中强调的“接近 \(n^{-1/3}\)”是一个在特定条件下的特例。
  • 离散结果的“有效性”：Corollary 3.1（有效性）的成立依赖于Assumption 9（同方差治疗效应）。作者在正文中承认，这个假设对某些分布（如二元结果、条件泊松计数）成立，但并非普遍成立。因此，方法的“有效性”保证是有条件的，而非普适的。作者在定理陈述中明确指出了这个条件。

四、开放问题

  1. 半参数效率：SCL估计量是否达到了分位数OTR的半参数效率界？如果不是，差距有多大？能否通过调整权重或使用高效影响函数来构造一个半参数有效的估计量？扎根点：论文未讨论效率界，也未声称其估计量是有效的。这是Theorem 3.1和3.2中收敛速率的一个自然延伸问题。

  2. 更快的收敛速率：能否通过使用更复杂的分类器（如深度神经网络）或不同的损失函数来获得比 \(n^{-1/3}\) 更快的收敛速率？是否存在一个信息论下界，证明 \(n^{-1/3}\) 是此类问题（通过二分搜索和分类学习）的固有速率？扎根点：Theorem 3.1的速率讨论，以及作者在Section 6中提到的“可以结合LASSO或SCAD惩罚”进行变量选择，暗示了改进方向。

  3. 统计-计算权衡：本文的方法本质上是用一个计算上易处理的凸优化序列（分类问题）来逼近一个计算上困难（非凸）的原始问题。是否存在一个统计-计算权衡？即，为了获得计算上的可行性，是否牺牲了统计效率（例如，收敛速率比半参数有效速率慢）？能否用低度多项式（low-degree polynomial）或SQ（statistical query）下界来形式化这个权衡？扎根点：作者在引言中明确指出了Wang et al. (2018)方法的非凸性是其核心挑战之一，而SCL通过凸优化解决了这个问题。这为从“信息-计算差距”角度分析提供了一个天然的案例。

  4. 更弱的假设：Assumption 6（几何噪声指数）和Assumption 7（\(\tau\)的密度）是为了建立收敛速率而引入的。能否在更弱的假设下（例如，只要求决策边界是低维的）建立一致性或更慢的收敛速率？扎根点：这些假设在Theorem 3.1的证明中是关键的，作者也承认它们“比现有文献中的假设稍强”。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论