Surrogate-guided sampling designs for classification of rare outcomes from electronic medical records data¶

作者: W Katherine Tan, Patrick J Heagerty
来源: Biostatistics
主题: 流行病学
相关性: 6/10
链接: 期刊页 · arXiv

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向解决的根本问题是：在电子病历（EMR）数据中，当目标临床结局（如椎体骨折）非常罕见（发生率 3-20%）时，如何以最低的人工标注成本，训练出高判别力的分类模型（如 NLP 模型从放射报告文本中识别骨折）。核心矛盾是：标注需要专家人工审阅，成本高、耗时长，而简单随机抽样（SRS）在罕见结局下几乎抽不到阳性样本，导致模型训练信息不足。当前成熟度属于“方法学已有若干独立尝试，但缺乏统一的理论框架来指导抽样设计”。

发展脉络¶

奠基工作：类别不平衡与重采样方法（2000s 初）
- Chawla et al. (2002) 提出 SMOTE（合成少数类过采样），通过插值生成合成阳性样本，是处理不平衡数据的经典方法。本文引用它作为“重采样”策略的代表。
- Batista et al. (2004) 系统比较了多种处理类别不平衡的方法，发现类别不平衡本身不一定是问题，真正的问题是“少数类样本太少 + 类别重叠”。本文引用它作为实证证据。
- Wei & Dunbrack (2013) 在生物信息学背景下证明，平衡训练集（50/50）能最大化平衡准确率和 AUC，无论测试集分布如何。本文引用它作为“训练集分布影响模型性能”的实证支持。
- Xue & Hall (2015) 首次从理论上解释了为什么重平衡能提升 LDA 的 AUC，给出了渐近分析。本文引用它作为理论支持。
主要进展：利用辅助变量（Surrogate）进行特征选择与标签生成（2010s 中）
- Yu et al. (2016) 提出 SAFE 方法，利用 ICD 代码和 NLP 计数作为“噪声替代变量”生成银标准标签，用于无监督特征选择。本文引用它作为“用替代变量替代真实标签”的代表。
- Agarwal et al. (2016) 直接用关键词生成的噪声标签训练 L1 正则化逻辑回归模型，在糖尿病和心梗上达到接近规则定义方法的精度。本文引用它作为“直接用噪声标签训练”的代表。
- Sinnott et al. (2014) 指出，用不完美的表型（如算法估计的病例状态）替代真实表型进行遗传关联检验，会因结局误分类而严重损害检验功效。本文引用它来强调“直接用替代变量替代真实标签可能不成立”。
当前 Frontier：两相抽样与富集设计（2010s 末至今）
- Zhao et al. (2009) 和 McIsaac & Cook (2014) 在效应估计（effect estimation）的语境下，证明了两相抽样（two-phase sampling）中，利用与结局高度相关的抽样变量进行分层，能比简单随机抽样获得更高的效率。本文引用它们作为“分层抽样能提升效率”的方法学基础。
- Gronsbell et al. (2019) 关注 EMR 中自动特征选择问题，但未涉及抽样设计。
- 本文（Tan & Heagerty, 2024） 的位置：将两相抽样思想从“效应估计”迁移到“分类模型训练”场景，并专门针对“罕见结局 + 高标注成本”这一具体约束，给出了抽样设计如何影响模型判别力（AUC）的数学推导和模拟验证。它填补了“如何为分类任务设计最优抽样策略”这一理论空白。

子线索聚类¶

重采样方法（Re-sampling）：关注在已有训练集上通过过采样/欠采样改变类别分布。代表：Chawla (2002), Batista (2004), Wei (2013), Xue & Hall (2015)。瓶颈：不解决“初始标注样本不足”的问题，只是对已有数据的再处理。
替代变量标签（Surrogate Labels）：用易获取的辅助变量（如 ICD 代码、关键词）直接作为噪声标签训练模型。代表：Yu (2016), Agarwal (2016)。瓶颈：Sinnott (2014) 指出，结局误分类会严重损害下游分析的效度，因此这种方法在需要高精度时不可靠。
两相抽样设计（Two-phase Sampling）：先基于廉价变量（第一相）对总体分层，再按层不等概率抽取子样本进行昂贵测量（第二相）。代表：Zhao (2009), McIsaac (2014)。瓶颈：现有理论主要针对“效应估计”（如回归系数），对“分类模型性能”（如 AUC）的直接影响缺乏系统分析。

这个方向在追问的核心问题¶

如何量化抽样设计对分类模型性能的影响？ 给定一个抽样方案（如按替代变量分层），它如何影响最终模型的 AUC、校准度、Brier 分数？
在固定标注预算下，什么是最优抽样策略？ 是按替代变量分层，还是简单随机抽样？分层时，替代变量的特异性（specificity）和敏感性（sensitivity）如何影响最优分配比？
如何利用替代变量（surrogate）来指导抽样，而不是直接替代标签？ 这是本文的核心立场：替代变量用于“选择谁被标注”，而不是“作为标签本身”。
抽样设计对模型验证（validation）有何影响？ 如果训练集是富集样本，那么在独立测试集上的性能评估是否仍然无偏？如何校正？

⚠️ 作者的 framing¶

作者把缺口 frame 成：“现有工作要么关注重采样（不解决初始标注问题），要么用替代变量直接当标签（有误分类风险），要么在效应估计中研究两相抽样（不直接针对分类模型性能）。因此，本文是第一个系统研究‘为分类任务设计基于替代变量的富集抽样策略’的工作。”

被淡化/回避的竞争路线：作者没有深入讨论“主动学习（active learning）”路线。主动学习也是通过策略性选择样本来降低标注成本，但其核心是“模型不确定性”，而非“替代变量相关性”。作者在引言中仅一笔带过，未做比较。
什么明显该被引/该存在、却没出现在 intro 里？ 作者没有引用任何关于“主动学习”或“成本敏感学习”的综述或经典论文（如 Settles (2009) 的主动学习综述）。这可能是作者有意将问题限定在“基于替代变量的分层抽样”框架内，而非更广泛的“主动学习”框架。值得研究者去查：主动学习文献中是否有类似“利用辅助信息指导初始标注”的方法？如果有，本文的贡献是否被高估？

张力¶

未见明显对立引用。所有被引工作基本都承认“类别不平衡是问题”、“替代变量有用但有风险”、“分层抽样能提升效率”。本文是在这些共识基础上，将后两者结合到分类场景。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
- \( Y \in \{0, 1\} \)：真实临床结局（如：椎体骨折 = 1，无骨折 = 0）。这是研究者想要但观测不到的潜在量（gold standard），需要专家人工审阅才能获得。
- \( X \)：预测变量（如：放射报告文本）。这是可观测的，但维度高、信息稀疏。
- \( S \in \{0, 1\} \)：替代变量（Surrogate），一个与 \( Y \) 相关的辅助变量（如：放射报告中是否出现“骨折”关键词）。这是可观测的，且获取成本极低（可用 NLP 自动提取）。
- \( R \in \{0, 1\} \)：标注指示变量。\( R=1 \) 表示该样本被选中进行专家人工审阅（即观测到 \( Y \)），\( R=0 \) 表示未被选中。这是设计变量，由研究者控制。
- \( n \)：总体样本量（第一相，所有 EMR 记录数）。很大，例如 LIRE 研究中的数万条。
- \( m \)：标注预算（第二相，能负担的人工审阅数）。很小，例如几百条。
- \( \pi = P(Y=1) \)：总体中真实结局的发生率。很小（罕见结局，如 3-20%）。
模型：
- 数据生成机制：总体由 \( (X, Y, S) \) 的联合分布 \( P \) 生成。研究者可以观测到所有样本的 \( X \) 和 \( S \)，但只有被选中的样本（\( R=1 \)）才能观测到 \( Y \)。
- 抽样模型：研究者基于 \( S \) 对总体进行分层（例如，\( S=1 \) 层和 \( S=0 \) 层），然后从每层中独立地、不等概率地抽取样本进行标注（\( R=1 \)）。这是一个基于设计的抽样（design-based sampling），而非基于模型的抽样。
- 目标模型：研究者希望训练一个分类器 \( f(X) \) 来预测 \( Y \)。性能指标是 AUC（Area Under the ROC Curve）。
可观测数据：
- 所有样本：\( (X_i, S_i) \)，\( i = 1, \dots, n \)。
- 标注子样本：\( (X_i, S_i, Y_i) \)，\( i \in \{j: R_j = 1\} \)，共 \( m \) 个样本。
- 不可观测：未标注样本的 \( Y_i \)。

第二步：讲最小内核¶

最简特例：假设 \( X \) 是一维的，且 \( Y \) 和 \( X \) 的关系是线性的逻辑回归模型。替代变量 \( S \) 是 \( Y \) 的一个完美但低分辨率的代理：\( S = 1 \) 当且仅当 \( X > c \)（某个阈值），且 \( P(Y=1 | S=1) \gg P(Y=1 | S=0) \)。换句话说，\( S \) 是一个高特异性的筛选器：所有 \( Y=1 \) 的样本几乎都在 \( S=1 \) 层，但 \( S=1 \) 层也包含很多 \( Y=0 \) 的样本。

核心思路：在固定标注预算 \( m \) 下，简单随机抽样（SRS）会从总体中随机抽取 \( m \) 个样本。由于 \( \pi \) 很小，抽到的 \( Y=1 \) 的样本数期望仅为 \( m\pi \)，非常少。这导致训练出的逻辑回归模型对少数类几乎没有判别力。

本文提出的富集抽样策略是： 1. 基于 \( S \) 将总体分为两层：\( S=1 \)（富集层）和 \( S=0 \)（贫瘠层）。 2. 从富集层中抽取 \( m_1 \) 个样本，从贫瘠层中抽取 \( m_0 \) 个样本，其中 \( m_1 + m_0 = m \)。 3. 关键设计：让 \( m_1 \) 远大于按总体比例分配的样本数。例如，如果 \( P(S=1) = 0.1 \)，SRS 会从该层抽 \( 0.1m \) 个样本，但富集抽样可能抽 \( 0.5m \) 甚至 \( 0.8m \) 个样本。

为什么这能提升 AUC？ - AUC 衡量的是模型对随机一对（一个阳性，一个阴性）样本正确排序的概率。 - 在罕见结局下，SRS 训练集里阳性样本极少，模型几乎没见过阳性样本，因此无法学习区分它们的特征。 - 富集抽样通过过采样富集层，使得训练集中阳性样本的比例大幅提升（例如从 5% 提升到 30%）。这给了模型更多“看到”阳性样本的机会，从而能更好地学习判别边界。 - 本文的核心数学贡献就是：量化了这种抽样设计如何改变训练集的“有效分布”，并推导出这种改变对 AUC 的影响。它证明了，在相同标注成本下，富集抽样训练出的模型，其 AUC 显著高于 SRS 训练出的模型。

一句话总结：这篇论文在数学上干的事就是：把“两相抽样”的方差公式应用到“分类模型 AUC”的估计上，证明了通过替代变量富集阳性样本，可以降低模型在罕见结局上的预测方差，从而提升判别力。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在电子病历数据中，当目标结局罕见且人工标注成本高昂时，如何设计基于替代变量（surrogate）的分层富集抽样策略，以最大化训练出的分类模型的判别性能（AUC）。
核心工具/方法：将抽样设计问题形式化为一个“缺失数据”问题，利用替代变量 \( S \) 对总体进行分层，然后按层不等概率抽样。核心分析工具是条件概率分解和AUC 的方差分解，将抽样设计的影响映射到模型性能上。
主要结论：在相同标注预算下，基于高特异性替代变量的分层富集抽样，相比简单随机抽样，能显著提升训练模型的 AUC。作者给出了 AUC 提升的数学表达式，并通过模拟和真实数据验证了这一结论。

关键设定与假设¶

设定：
- 总体 \( \mathcal{P} \) 包含 \( N \) 个样本，每个样本有 \( (X, Y, S) \)。\( Y \) 是罕见结局（\( \pi \) 小）。
- 第一相：所有样本的 \( X \) 和 \( S \) 可观测。
- 第二相：基于 \( S \) 将总体分为 \( K \) 层（本文主要考虑 \( K=2 \)：\( S=1 \) 和 \( S=0 \)）。从第 \( k \) 层中抽取 \( n_k \) 个样本进行标注（观测 \( Y \)）。总标注预算 \( m = \sum n_k \)。
- 目标：用标注数据训练一个分类器 \( \hat{f}(X) \)，并评估其在总体上的 AUC。
关键假设：
- SUTVA-like 假设：一个样本的 \( Y \) 值不受其他样本是否被选中的影响。这在观测性 EMR 数据中自然成立。
- 替代变量 \( S \) 的可获得性：\( S \) 可以从 EMR 中自动、低成本地提取（如通过 NLP 关键词搜索）。这是方法可行的前提。
- \( S \) 与 \( Y \) 的相关性：\( S \) 必须与 \( Y \) 相关，且最好是高特异性（即 \( P(S=1 | Y=1) \) 高，\( P(S=0 | Y=0) \) 也高）。如果 \( S \) 与 \( Y \) 无关，富集抽样退化为 SRS。
- 抽样机制是“忽略的”（ignorable）：给定 \( S \)，样本被选中的概率 \( P(R=1 | X, Y, S) = P(R=1 | S) \)，即抽样只依赖于 \( S \)，与 \( X, Y \) 条件独立。这是分层抽样的标准假设，保证了估计的无偏性（在加权后）。
- 模型假设：为了进行理论推导，作者假设分类器是线性判别分析（LDA） 或逻辑回归，且 \( X \) 在给定 \( Y \) 下服从高斯分布。这是为了得到 AUC 的解析表达式。在模拟和真实数据中，他们使用了更复杂的模型（如随机森林、NLP 模型）。

主要结果¶

定理 1（AUC 的抽样分布）：在 LDA 假设下，推导出了基于分层抽样训练出的模型，其 AUC 的期望和方差表达式。核心结论是：AUC 的期望是训练集中阳性样本比例 \( \tilde{\pi} \) 的增函数。由于富集抽样使得 \( \tilde{\pi} > \pi \)，因此期望 AUC 更高。
定理 2（最优分配比）：在固定预算 \( m \) 下，给出了使 AUC 期望最大化的各层抽样比例 \( n_k / m \) 的解析解。这个最优分配依赖于各层中 \( Y=1 \) 的条件概率 \( P(Y=1 | S=k) \) 和 \( X \) 的类条件方差。直观上，应该过采样那些 \( Y=1 \) 概率高且 \( X \) 方差大的层。
模拟结果：
- 场景：生成高斯数据，\( Y \) 发生率 5%，\( S \) 是 \( Y \) 的噪声版本（特异性 95%，敏感性 50%）。
- 对比：SRS vs. 富集抽样（从 \( S=1 \) 层抽 80% 的标注样本）。
- 结果：在标注预算 \( m=200 \) 时，SRS 训练出的 LDA 模型 AUC ≈ 0.65，而富集抽样模型 AUC ≈ 0.85。提升非常显著。随着预算增加，差距缩小，但富集抽样始终占优。
- 稳健性：当使用随机森林等非线性模型时，结论依然成立。当替代变量特异性降低时，富集抽样的优势减弱，但仍优于 SRS。

证明路线与技术技巧¶

整体路线：
1. 定义 AUC：将 AUC 表示为 \( P( \hat{f}(X_1) > \hat{f}(X_0) | Y_1=1, Y_0=0 ) \)，其中下标 1 和 0 分别代表阳性和阴性样本。
2. 连接抽样与模型：在 LDA 假设下，\( \hat{f}(X) \) 是线性函数，其系数由训练数据的类均值和协方差矩阵决定。因此，AUC 可以写成训练数据中阳性样本均值 \( \bar{X}_1 \) 和阴性样本均值 \( \bar{X}_0 \) 的函数。
3. 分析抽样对均值的影响：由于分层抽样，训练集中的 \( \bar{X}_1 \) 和 \( \bar{X}_0 \) 是加权平均。作者推导出，在富集抽样下，\( \bar{X}_1 \) 的方差减小（因为阳性样本更多），而 \( \bar{X}_0 \) 的方差可能增大（因为阴性样本来自不同层）。但总体效果是，判别距离 \( (\bar{X}_1 - \bar{X}_0)^T \Sigma^{-1} (\bar{X}_1 - \bar{X}_0) \) 的期望增大，从而 AUC 提升。
4. 方差分解：将 AUC 的方差分解为“层内方差”和“层间方差”，并证明富集抽样通过改变层间权重，降低了总方差。
关键跳跃点：
- 从“抽样设计”到“AUC 表达式”的跳跃：这是最核心的难点。作者巧妙地利用了 LDA 下 AUC 与马氏距离的单调关系，将复杂的抽样问题转化为对马氏距离期望的分析。这个技巧依赖于 LDA 假设，但为更一般的情况提供了洞察。
- 处理“训练集分布 ≠ 总体分布”：由于抽样，训练集中阳性样本的比例 \( \tilde{\pi} \) 远大于总体比例 \( \pi \)。作者需要证明，尽管存在这种分布偏移，但训练出的模型在总体上的 AUC 仍然可以用训练集上的统计量来近似表达。他们通过“逆概率加权”（IPW）的思想，在推导中隐含地使用了抽样权重。
技术技巧点名：
- 条件概率分解：将 AUC 的表达式分解为各层内的条件概率的加权和。
- 马氏距离与 AUC 的等价性：在 LDA 下，AUC = \( \Phi( \sqrt{ \Delta^2 } / 2 ) \)，其中 \( \Delta^2 \) 是马氏距离。这个经典结果被用来连接模型参数和性能指标。
- Delta 方法：用于推导 AUC 估计量的渐近方差。

真实例子与应用¶

数据：LIRE（Lumbar Imaging with Reporting of Epidemiology）研究数据。这是一个关于腰椎影像报告的实用型整群随机试验。数据包含数万份放射报告文本。
场景：目标是从放射报告文本中识别出“椎体骨折”（vertebral fracture）这一罕见结局（发生率约 5-10%）。
方法应用：
1. 构建替代变量 \( S \)：作者使用一个简单的 NLP 关键词搜索（如“fracture”、“compression”、“wedge”等），并配合一个否定词检测工具（如“no fracture”），构建了一个高特异性（>95%）但低敏感性（~50%）的替代变量。\( S=1 \) 表示报告“可能提到骨折”。
2. 抽样：从 \( S=1 \) 层中抽取了 80% 的标注样本，从 \( S=0 \) 层中抽取了 20% 的标注样本。总标注预算为 500 份报告。
3. 训练：使用标注好的报告训练一个 NLP 分类器（如基于词袋模型的逻辑回归或随机森林）。
4. 验证：在一个独立的、由 SRS 抽取的测试集上评估模型性能。
结果：
- 富集抽样 vs. SRS：在相同标注预算下，富集抽样训练出的 NLP 模型，其 AUC 为 0.92，而 SRS 训练出的模型 AUC 仅为 0.78。
- 校准度：富集抽样模型的预测概率存在系统性偏差（高估了阳性概率），但作者展示了如何通过“Platt scaling”或“逆概率加权”进行校准，使其与总体发生率一致。
这个例子想说明什么：验证了理论推导和模拟结果在真实世界复杂数据（非高斯、非线性）中的有效性。它展示了该方法在流行病学大规模 EMR 研究中的实用价值：用少量、策略性选择的标注样本，就能训练出高性能的 NLP 模型。

🔎 结论是否比证明窄¶

是。作者的主要理论结果（定理 1 和 2）是在 LDA 假设下严格证明的。然而，在摘要和结论中，作者泛泛地声称该方法能“提升分类模型的判别能力”，并适用于“各种机器学习模型”。模拟和真实例子虽然支持了这一泛化 claim，但并未提供严格的数学证明。作者在文中也承认了这一点（“While our theoretical results are derived under LDA, simulations suggest they hold more broadly...”）。
另一个窄化之处是：最优分配比的解析解依赖于知道各层中 \( P(Y=1 | S) \) 和 \( X \) 的类条件方差，而这些在实际中往往是未知的。作者在真实例子中使用了启发式的固定比例（80/20），而非理论最优解。因此，“最优性”的 claim 在实际应用中并未被严格兑现。

四、开放问题¶

非参数/非线性模型下的理论：本文的理论严格依赖于 LDA 假设。能否将结果推广到更一般的分类器（如核方法、神经网络）？需要什么样的新工具（如经验过程理论）？扎根点：作者在讨论中明确提到“Extending the theoretical framework to more complex classifiers... is an important area for future work.”
最优抽样比的在线/自适应估计：在实际应用中，\( P(Y=1 | S) \) 未知。能否设计一个两阶段或多阶段自适应抽样策略，先小批量标注来估计这些参数，再优化后续抽样？扎根点：作者在讨论中提到“In practice, the optimal sampling fractions are unknown... adaptive designs could be explored.”
替代变量的最优构建：本文假设替代变量 \( S \) 是给定的。如何自动地从高维 EMR 数据中学习或选择“最优”的替代变量（即最大化 AUC 提升的变量）？这与特征选择、降维问题有何联系？扎根点：作者在引言中提到了“creating highly specific surrogates”，但未深入探讨其自动化构建。
与主动学习的比较：本文的富集抽样是一种“无模型”的、基于先验知识的静态抽样。而主动学习是一种“有模型”的、迭代的动态抽样。在什么条件下，哪一种更优？能否将两者结合（例如，先用替代变量做初始富集，再用主动学习迭代优化）？扎根点：作者在引言中未引用主动学习文献，这是一个明显的空白，值得研究者去核实是否真的是 gap。

Maintained by 陈星宇 · Homepage · Source on GitHub