Semi-supervised Concordance Learning for Optimal Individual Treatment Regimes¶

作者: Mengjiao Peng, Yong Zhou, Wenbin Lu
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2608.13945

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向是最优个体化治疗规则（ITR）的估计，根本的统计问题是：如何从观测数据中学习一个将患者特征（协变量 X）映射到治疗分配（A）的决策规则 d(X)，使得遵循该规则时整个人群的平均潜在结局（价值函数）最大。当前成熟度较高，已有多种方法（Q-learning、A-learning、价值函数优化、分类加权学习等），但主要挑战在于：当结局变量 Y 昂贵或难以获取（如电子病历中需人工审核的临床表型），而协变量和治疗分配却大量可得时，如何利用这些“无结局标签”数据提升 ITR 估计的效率。

发展脉络（history）¶

奠基工作：Q-learning 与 A-learning。Q-learning（Wang et al., 2018 等）通过为结局建立回归模型来间接推断最优规则；A-learning（Robins et al., 2000）直接建模处理对比函数，并使用双重稳健估计方程。两者都是间接方法——它们优化的是结局预测精度，而非直接优化决策规则本身（Zhao et al., 2012 指出这一点）。
直接优化价值函数。Zhang et al. (2012, 2013) 提出通过直接最大化逆概率加权（IPSW）估计的价值函数来寻找最优规则，并发展了双重稳健版本。Zhou et al. (2017) 的残差加权学习（RWL）和 Mo et al. (2021) 的分布鲁棒 ITR 进一步改进了有限样本表现和泛化能力。
分类/机器学习视角。Zhao et al. (2012) 的 OWL 将 ITR 估计转化为加权分类问题，Qi & Liu (2018) 的 D-learning 则直接学习决策边界，无需模型或权重指定。Fan et al. (2017) 提出一致性辅助学习（CAL），基于“好的治疗规则应更可能将受益更大的患者分配到治疗组”这一直觉，先最大化一致性函数估计 β，再优化阈值 c。
半监督学习进入 ITR。Gunn et al. (2024) 首次在 ITR 中考虑半监督设定，利用无结局标签数据改进对比函数的估计，但其方法直接对协变量向量做核回归，受维数灾难困扰。Sonabend-W et al. (2023) 提出半监督离策略强化学习框架，但依赖结局替代变量（surrogate），而替代变量不一定存在或可得。Jiao et al. (2024) 和 Li et al. (2025) 则使用单指标核平滑进行插补，构建半监督价值函数。
本文的位置：本文提出一种不依赖替代变量、通过单指标核平滑进行非参数插补的半监督一致性学习方法，旨在利用大量无结局标签数据提升 ITR 估计效率，同时避免维数灾难。论文声称其方法在已知和未知倾向性评分下均有效，并发展了双重稳健版本。

子线索聚类¶

线索一：基于价值函数优化的方法（Zhang et al., 2012, 2013; Zhou et al., 2017; Mo et al., 2021）。核心是直接最大化或最小化某个价值函数估计量，通常需要处理非光滑目标函数的优化困难。
线索二：基于分类/机器学习的直接方法（Zhao et al., 2012; Qi & Liu, 2018; Qi et al., 2020; Fan et al., 2017）。将 ITR 估计转化为加权分类、排序或一致性最大化问题，通常更直接地针对决策边界。
线索三：半监督 ITR 方法（Gunn et al., 2024; Sonabend-W et al., 2023; Jiao et al., 2024; Li et al., 2025; 本文）。利用无结局标签数据提升效率，但不同方法在插补策略（核回归 vs. 替代变量 vs. 单指标降维）和假设强度上存在差异。

这个方向在追问的核心问题¶

如何有效利用无结局标签数据提升 ITR 估计效率？ 核心挑战是：无结局标签数据只提供 (X, A) 信息，如何从中提取关于最优规则的信息而不引入严重偏差？
如何在高维协变量下进行非参数插补？ 直接核回归受维数灾难，单指标降维是否足够？是否丢失了重要信息？
如何保证估计量对模型误设的稳健性？ 倾向性评分模型或结局回归模型可能误设，双重稳健性是否能在半监督框架下保持？
半监督框架下 ITR 的渐近效率界是什么？ 无结局标签数据能带来多少效率提升？是否存在一个“信息论下界”？

⚠️ 作者的 framing（必须明确标注成“这是作者的说法”）¶

作者将缺口 frame 为：“现有半监督 ITR 方法要么依赖替代变量（可能不存在或不可得），要么无法处理高维无结局标签数据带来的估计挑战”（Introduction 第 5 段）。因此，本文的“显然的下一步”是：提出一种无需替代变量、通过单指标降维处理高维协变量的半监督一致性学习方法。

被淡化或回避的竞争路线： - Gunn et al. (2024) 的方法虽然受维数灾难困扰，但其直接对协变量做核回归的思路在低维时可能更灵活。作者未讨论当 p 很小时，单指标假设是否必要。 - Sonabend-W et al. (2023) 的离策略强化学习框架虽然需要替代变量，但其双重稳健性更强（只需 Q 函数或倾向性评分之一正确），而本文的双重稳健版本（Theorem 5.2）需要单调指数模型假设 D(X) = Q(β*'X)，这是一个更强的结构假设。

什么明显该被引 / 该存在、却没出现在 intro 里？ - Chakrabortty & Cai (2018) 的 EASE 框架是半监督线性回归的效率基准，本文虽在 SS 学习综述中提及，但未讨论其与 ITR 问题的潜在联系——EASE 的“自适应效率”思想是否可迁移到 ITR 的对比函数估计？ - 关于“统计-计算权衡”的文献完全缺席。本文的优化问题（最大化非光滑的一致性函数）在计算上是 NP-hard 的，作者使用 Nelder-Mead 进行数值优化，但未讨论计算复杂度或近似保证。

张力¶

未见明显对立引用。不同方法在假设和适用场景上存在差异，但未出现“在相同条件下得相反结论”的情况。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号： - Y ∈ ℝ：连续结局变量，越大越好。 - X ∈ ℝ^p：p 维协变量向量。 - A ∈ {0, 1}：二元治疗指示变量。 - Y*(a)：潜在结局，即若接受治疗 a 会观测到的结局。 - d(X)：治疗规则，从 X 到 {0, 1} 的确定性函数。 - β ∈ ℝ^p：线性决策规则中的参数向量，满足 ‖β‖ = 1。 - c ∈ ℝ：线性决策规则中的阈值。 - π(X) = P(A=1|X)：倾向性评分。 - D(X) = E(Y|X, A=1) - E(Y|X, A=0)：条件平均处理效应（CATE）。 - V(X, Y, A, ν, π) = {Y - ν(X)}{A - π(X)} / [π(X){1-π(X)}]：一个关键变换函数，其条件期望等于 D(X)（见公式 (3)）。 - m_β(s, ν, π) = E{V(X, Y, A, ν, π) | β'X = s}：V 在单指标 β'X 上的条件期望。 - C(β)：一致性函数，C(β) = E[{D(X_i) - D(X_j)} I(β'X_i > β'X_j)]。 - n：标签数据样本量。 - N：无结局标签数据样本量。 - ρ = lim √n/N：控制标签与无标签数据相对规模的常数。

模型： - 潜在结局框架：假设一致性（Y = Y(1)A + Y(0)(1-A)）和无未测量混杂（A ⟂ {Y(0), Y(1)} | X）。 - 线性决策规则类：d(X) = I(β'X ≥ c)，其中 ‖β‖ = 1。 - 对于双重稳健版本，额外假设单调指数模型：D(X) = Q(β*'X)，其中 Q(·) 是非恒定递增函数。 - 标签数据 ℒ = {(Y_i, X_i, A_i): i=1,...,n} 来自联合分布 (Y, X, A)；无结局标签数据 𝒰 = {(X_i, A_i): i=n+1,...,n+N} 来自边际分布 (X, A)。假设 ℒ ⟂ 𝒰，且 (X, A) 在两者中同分布。

可观测数据： - 可观测：标签数据中观测到 (Y, X, A)；无结局标签数据中观测到 (X, A)。 - 想要但观测不到：无结局标签数据中的 Y；潜在结局 Y(0), Y(1)；CATE D(X)（即使有 Y 也需通过模型估计）。

第二步：讲最小内核¶

最简特例：p = 1（单协变量），且 D(X) = βX（线性单调指数模型，即 Q 为恒等函数）。此时： - 决策规则简化为 d(X) = I(βX ≥ c)，β 是标量，‖β‖ = 1 意味着 β = ±1。 - 一致性函数 C(β) = E[{βX_i - βX_j} I(βX_i > βX_j)]。 - 当 β = β 时，C(β) 最大化（因为此时排序与 CATE 排序完全一致）。

核心思路：在半监督设定下，我们无法直接计算无结局标签样本的 V 值（因为缺 Y），但可以估计其条件期望 m_β(β'X, ν, π) = E[V | β'X]。关键想法是：利用标签数据，通过核平滑估计 m_β(·)，然后对无标签数据插补 V 的期望值，从而构建一个同时使用标签和无标签数据的一致性函数估计量。

在这个特例下： 1. 用标签数据估计 ν(X)（如线性模型 E[Y|X, A=0] = θX）和 π(X)（已知或估计）。 2. 对每个无标签样本 X_l，计算其单指标值 s_l = βX_l。 3. 用 Nadaraya-Watson 核估计 m_β(s_l) = (1/n) Σ_i K_h(βX_i - s_l) V(X_i, Y_i, A_i, ν̂, π) / (1/n) Σ_i K_h(βX_i - s_l)。 4. 构建半监督一致性函数估计量 Ĉ_λ(β) = λ * (标签数据一致性) + (1-λ) * (基于插补值的无标签数据一致性)。 5. 最大化 Ĉ_λ(β) 得 β̂_λ，再优化阈值 ĉ_λ。

为什么成立：因为当 β = β 时，m_β(β'X) = E[D(X) | β'X] = β'X（在单调指数模型下），所以基于插补值的一致性函数在 β 处达到最大。核估计的偏差和方差通过 undersmoothing（nh^4 → 0）控制，使得插补误差不影响 β 估计的 √n 相合性。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在半监督数据框架下（少量标签数据含结局 Y，大量无结局标签数据仅含协变量 X 和治疗 A），如何估计最优个体化治疗规则（ITR）。
核心工具 / 方法：先通过单指标核平滑对无标签样本的 V 函数进行非参数插补，再基于一致性辅助学习（CAL）估计最优线性决策规则；对未知倾向性评分，发展了双重稳健版本。
主要结论：所提估计量（β̂_λ 和 β̂_pl）具有相合性和 √n 渐近正态性，且渐近方差小于完全监督估计量（Fan et al., 2017），效率提升随无标签数据规模 N 增大而增大。

关键设定与假设¶

线性决策规则：d(X) = I(β'X ≥ c)，‖β‖ = 1。这是 CAL 框架的标准设定，也是本文方法的核心——单指标降维正是利用了决策规则的线性结构。
已知倾向性评分（Section 3）：如随机试验中 π(X) = 0.5。此时方法相对简单，只需估计 ν(X) = E[Y|X, A=0]。
未知倾向性评分（Section 4）：需额外估计 π(X, α)（如 logistic 回归），并发展双重稳健版本。额外假设单调指数模型 D(X) = Q(β*'X) 以保证双重稳健性。
与已有文献的对比：
相比 Fan et al. (2017) 的完全监督 CAL：本文增加了半监督插补步骤，假设 (X, A) 在标签和无标签数据中同分布（Condition 1b）。
相比 Gunn et al. (2024)：本文使用单指标降维而非直接对 X 做核回归，理论上可处理更高维协变量。
相比 Sonabend-W et al. (2023)：本文不依赖替代变量，但需要单调指数模型假设来保证双重稳健性。

主要结果¶

定理 5.1（已知倾向性评分）： - (a)(c) 相合性：‖β̂_λ - β‖ → 0 a.s.，‖β̂_pl - β‖ → 0 a.s. - (b)(d) 渐近正态性：√n (β̂_λ - β) → N(0, Σ_λ)，√n (β̂_pl - β) → N(0, Σ_pl)。 - 渐近方差结构：Σ_λ = V^{-1} Ω_λ V^{-1}，其中 Ω_λ = {λ² + (1-λ)²ρ²}Δ + (1-λ)²Δ₂ + λ(1-λ)(Γ + Γ')。这里 V 是二阶导数矩阵，Δ 是完全监督估计的方差分量，Δ₂ 是核插补修正项的方差，Γ 是两者的交叉协方差。 - 效率提升来源：当 Γ = 0 且 Δ₂ = 0 时，最优权重 λ = n/(n+N)，此时 Σ_λ < V^{-1}ΔV^{-1}（完全监督方差），因为利用了更多数据。实际中交叉项 Γ 非零，需通过网格搜索选择 λ。

定理 5.2（未知倾向性评分，双重稳健）： - 类似相合性和渐近正态性，但渐近方差 Σ_λ^{DR} 额外包含来自倾向性评分和基线均值模型估计的贡献项 Ω_{η,λ}^{DR}。 - 双重稳健性：只要倾向性评分模型或基线均值模型之一正确指定，且 D(X) 满足单调指数模型，β̂_λ^{DR} 就是相合的。

数值实验（Section 6）： - 四种设定（p=4 和 p=8，线性/非线性 D(X)），n=200，N=200/400/1000。 - 主要发现：SS/PL 方法的效率提升（Efficiency）大多超过 20%，且随 N 增大而增大。PL（pool）方法通常优于 SS（加权）方法。PCD（正确决策百分比）从 FS 的 0.889 提升至 SS/PL 的 0.907-0.935。

证明路线与技术技巧¶

整体路线（以定理 5.1 为例）： 1. 第一步：建立一致性函数估计量的 U-统计量表示。将 Ĉ_λ(β) 写为标签部分（U-统计量）和无标签部分（基于核插补的 U-统计量）的加权和。 2. 第二步：控制核插补误差。证明 sup_{β, s} |m̂_β(s) - m_β(s)| = O_p(h² + √{log(1/h)/(nh)})，通过 undersmoothing (nh⁴ → 0) 使偏差项 h² 为 o_p(1/√n)。 3. 第三步：线性化。将 Ĉ_λ(β) 在 β 附近展开，分离出“Oracle 项”（若 V 已知）和“插补修正项”。关键引理：插补修正项可表示为独立同分布随机变量的和加上可忽略余项。 4. 第四步：应用 Sherman (1993) 的 M-估计量渐近理论。证明 Ĉ_λ(β) 在 β 处满足二阶可微、随机 equicontinuity 等条件，从而得到 √n 相合性和渐近正态性。 5. 第五步：计算渐近方差。通过计算 Oracle 项和插补修正项的协方差结构，得到 Σ_λ 的显式表达式。

关键跳跃点： - 核插补的“无偏性”证明：需要证明用标签数据估计的 m̂β(·) 对无标签数据插补后，一致性函数估计量的偏差是 o(1/√n)。这要求核估计的偏差（O(h²)）被 undersmoothing 消除，且方差被无标签数据的大样本量补偿。 - 交叉协方差项 Γ 的处理：Oracle 项和插补修正项并非独立，它们的协方差 Γ 出现在渐近方差中。作者通过 U-统计量的 Hoeffding 分解分离出这两项，并计算其协方差。 - 边界截断（trimming）：为避免核估计分母过小，使用截断版本 f̃{n,β} = max(f̂_{n,β}, w_n)。Condition 5(b) 确保截断区域的贡献可忽略（o(1/√n)）。

技术技巧点名： - U-统计量理论：一致性函数本质上是二阶 U-统计量，其渐近理论依赖 Hoeffding 分解和投影。 - 经验过程理论：用于处理核估计的 uniform convergence 和随机 equicontinuity。 - 单指标降维：将高维 X 投影到一维 β'X，避免维数灾难。 - Nadaraya-Watson 核估计：用于非参数插补，带宽选择需 undersmoothing。 - 双重稳健估计：通过构造 Λ_{ij}^{DR} 函数，使估计量在倾向性评分或基线均值模型之一正确时保持相合。 - 扰动重抽样（perturbation resampling）：用于估计渐近方差，避免直接计算复杂的协方差矩阵。

真实例子与应用¶

MIMIC-III 数据集（Section 7）： - 数据：4649 名 ICU 脓毒症患者，7 个基线变量（年龄、体重、体温、血糖、BUN、肌酐、WBC）。治疗 A：是否使用血管升压药。结局 Y：负的累积液体平衡绝对值（越大越好）。 - 方法应用：随机选取 1000 名患者作为标签数据，其余作为无结局标签数据。使用双重稳健版本（SS-DR）估计最优线性 ITR，并与完全监督版本（FS-DR）和全样本 Oracle 基准比较。 - 结果：SS-DR 的估计价值（-7380.80）远优于 FS-DR（-7420.38），且更接近 Oracle 基准（-7379.45）。SS-DR 的标准差（20.92）远小于 FS-DR（278.63），表明效率大幅提升。PCD 从 99.77% 提升至 99.92%。 - 这个例子想说明：在真实电子病历数据中，利用无结局标签数据可以显著提升 ITR 估计的稳定性和准确性，且方法可处理实际数据中的噪声和缺失模式。

ACTG175 数据集：在补充材料中报告，类似结论。

🔎 结论是否比证明窄¶

窄结论 1：定理 5.1 和 5.2 的渐近正态性依赖于标签和无标签数据同分布（Condition 1b）。但作者在 Discussion 中承认，实际中分布可能不同，需要校准。论文未证明在分布偏移下方法的有效性。
窄结论 2：双重稳健版本（定理 5.2）需要单调指数模型假设 D(X) = Q(β'X)。这个假设比 CAL 原始论文（Fan et al., 2017）更强*——后者只要求线性决策规则，不要求 CATE 是单指标函数。作者在 Section 4 开头明确声明了这一假设，但未讨论其合理性或检验方法。
窄结论 3：数值实验只考虑了 p=4 和 p=8，且协变量服从多元正态分布。高维（p >> n）情形未被探索，而单指标核平滑在高维时可能失效（即使投影到一维，核估计仍需 n 足够大）。
泛泛 claim：作者在 Abstract 中说“flexible nonparametric imputation via single-index kernel smoothing”，但单指标假设本身就是一个很强的结构假设——它假设 V 的条件期望只通过 β'X 依赖于 X，这等价于假设 D(X) 是 β'X 的函数。这不是“非参数”，而是“半参数”。

四、开放问题¶

扩展到非线性决策规则。本文只考虑线性决策规则 d(X) = I(β'X ≥ c)。作者在 Discussion 中提及“investigate non-linear treatment decisions”，但未给出具体方向。扎根于 Section 8 第一段：“we can explore the optimization of other types of objective functions, including value functions, and investigate non-linear treatment decisions”。
多治疗选项。本文只处理二元治疗。作者提到“real-world applications often involve decision-making scenarios with more than two treatment alternatives”。扎根于 Section 8 第二段：“it is crucial to develop a more generalized method that accommodates multiple treatment options or even continuous decision variables”。
动态治疗规则。本文只考虑单步决策。作者提出“extension to incorporate multiple decision time points”。扎根于 Section 8 第二段：“extension of our proposed SS methods to dynamic treatment regimes”。
处理分布偏移。本文假设标签和无标签数据同分布。作者在 Discussion 中列举了多种校准方法（Cai et al., 2022; Li et al., 2023; Mo et al., 2021; Chu et al., 2023），但未给出具体解决方案。扎根于 Section 8 第三段：“If the covariate or treatment-assignment distributions are different, some calibration is needed”。

Maintained by 陈星宇 · Homepage · Source on GitHub