跳转至

Conformal Selective Prediction with General Risk Control

讲者: Ying Jin
会场: Recent Advances in Model Free Inference
报告题目: Conformal Selective Prediction with General Risk Control
链接: arXiv
来源: JCSDS 2026 · 返回会议总览

一、领域脉络与小综述

这个方向是什么

选择性预测（selective prediction）的核心问题是：给定一个黑箱模型 \(f\)、一组有标签的校准数据 \(\{(X_i, Y_i)\}_{i=1}^n\) 和一个新实例 \(X_{n+1}\)，能否做出一个二值信任决策 \(\psi_{n+1} \in \{0,1\}\)，使得在那些被信任（\(\psi=1\)）的实例上，某个未知风险 \(L_{n+1}\) 得到控制？该方向的目标是在保证风险控制的前提下，尽可能多地部署模型（高覆盖率）。当前该子方向已从早期的分类器二值风险控制（如 Chow, 2009; El-Yaniv et al., 2010; Geifman and El-Yaniv, 2017）发展到利用 conformal inference 提供有限样本、分布自由的保证（Vovk et al., 2005; Jin and Candès, 2023b,a），但大多数工作仍局限于二值风险（如分类错误指示函数）。本文试图将风险控制推广到任意有界连续风险，并区分两种不同的风险度量（MDR 和 SDR）。

发展脉络

  • 奠基工作：Chow (2009) 和 El-Yaniv et al. (2010) 提出了选择性分类的基本框架，即模型在不确定时可以选择弃权。Geifman and El-Yaniv (2017) 将其推广到深度神经网络，并提出了选择性风险（selective risk）的概念，但他们的保证通常是渐近的或基于均匀集中不等式。
  • Conformal inference 的引入：Vovk et al. (2005) 提出了 conformal prediction，为预测区间提供有限样本、分布自由的覆盖保证。Jin and Candès (2023b,a) 将 conformal p-values 用于选择性推断，控制二值风险（如 \(1\{Y \leq c\}\)）的 FDR 或 FWER，实现了有限样本、模型无关的选择性风险控制。Bai and Jin (2024) 进一步优化了分数函数的选择。
  • 连续风险控制的尝试：Angelopoulos et al. (2022) 提出了 conformal risk control (CRC)，通过校准一个参数 \(\lambda\) 来控制边际风险，但主要针对二值风险或单调风险函数。Angelopoulos et al. (2025) 的 learn-then-test (LTT) 也处理类似问题，但需要均匀集中。这些方法在处理连续风险时要么需要网格搜索，要么无法直接控制选择性风险（SDR）。
  • E-values 的兴起：Vovk and Wang (2021) 提出了 e-values 作为 p-values 的替代，其有效性基于期望而非尾部概率，特别适合处理依赖性和在线设置。Wang and Ramdas (2022) 提出了 e-BH 过程用于 FDR 控制。Gauthier et al. (2025a) 提出了 soft-rank e-values，与本文的构造有联系。
  • 本文的位置：本文提出 SCoRE，将 e-values 与 conformal inference 结合，构造“风险调整的 e-values”，使得 \(E[L_{n+j} E_{n+j}] \leq 1\)，然后通过简单的阈值（MDR）或 e-BH 过程（SDR）实现有限样本风险控制。本文统一了 MDR 和 SDR 两种度量，并推广到协变量偏移和双稳健校准。

子线索聚类

  1. 选择性预测与分类：Chow (2009), El-Yaniv et al. (2010), Geifman and El-Yaniv (2017), Mozannar and Sontag (2020)。主要处理分类问题，风险为二值，保证多为渐近或基于集中不等式。
  2. Conformal 选择性推断：Jin and Candès (2023b,a), Bai and Jin (2024), Huo et al. (2024), Lee and Ren (2025), Nair et al. (2025), Gui et al. (2025), Gazin et al. (2025), Liu et al. (2025), Huang et al. (2025)。使用 conformal p-values 控制二值风险（如 FDR），有限样本、分布自由。
  3. Conformal 风险控制：Angelopoulos et al. (2022, 2025)。通过校准参数控制边际风险，但通常需要单调风险或均匀集中。
  4. E-values 与假设检验：Vovk and Wang (2021), Wang and Ramdas (2022), Ramdas and Wang (2024), Xu and Ramdas (2024)。e-values 的期望性质使其适合控制期望风险，本文将其与 conformal 构造结合。

核心问题与瓶颈

  • 核心问题：如何对任意有界连续风险（如平方误差、开发成本）提供有限样本、分布自由的选择性风险控制？如何定义合适的风险度量（边际 vs. 选择性）？
  • 已知瓶颈：现有方法要么只处理二值风险（Jin and Candès, 2023b），要么需要均匀集中或单调性假设（Angelopoulos et al., 2022），要么只能控制边际风险而非选择性风险。对于连续风险，p-values 的尾部概率性质不再自然适用。

⚠️ 作者的 framing

作者将缺口 frame 为：“Many high-stakes applications demand control of continuously-valued risks, where a principled and powerful ‘trust’ mechanism remains underdeveloped”（引言第2段）。他们强调现有工作主要针对二值风险，而连续风险（如开发成本、语义距离）需要新的方法。作者淡化了 conformal risk control (CRC) 的适用性，指出 CRC 主要处理边际风险且需要单调性，而他们的 SDR 变体避免了均匀集中。作者也回避了直接使用 p-values 处理连续风险的困难，转而使用 e-values。

值得研究者去查的问题：作者在引言中提到了“conformal risk control (CRC) (Angelopoulos et al., 2022) and learn-then-test (LLT) (Angelopoulos et al., 2025)”，但未详细比较。CRC 是否可以通过某种变换处理连续风险？LLT 是否也能处理选择性风险？此外，作者未引用一些近期关于连续风险控制的 conformal 工作（如 Bates et al., 2021 的 conformal prediction for risk control?），这可能是一个遗漏。

张力

未见明显对立引用。各子线索之间互补多于冲突：选择性预测提供了问题框架，conformal 提供了工具，e-values 提供了新的技术手段。本文试图将它们统一。

二、最核心、最简单的例子 / 数学问题

第一步：符号、模型、可观测数据交代清楚

  • 符号：
  • \(X_i \in \mathcal{X}\)：特征（随机变量）。
  • \(Y_i \in \mathcal{Y}\)：标签（随机变量）。
  • \(f: \mathcal{X} \to \mathcal{Y}\)：预训练的预测模型（视为固定）。
  • \(L(f, X, Y) \in [0,1]\)：已知的有界风险函数，衡量模型在 \((X,Y)\) 上的损失。简记为 \(L_i = L(f, X_i, Y_i)\)。
  • \(s: \mathcal{X} \to [0,1]\)：预训练的分数函数，用于排序实例的“可信度”（较小分数表示更可信）。
  • \(\psi_{n+j} \in \{0,1\}\)：对测试实例 \(X_{n+j}\) 的信任决策（1=部署，0=弃权）。
  • \(n\)：校准样本量；\(m\)：测试样本量。
  • \(\alpha \in (0,1)\)：用户指定的风险控制水平。
  • \(r(f, X, Y) \in [0,1]\)：用户指定的奖励函数（可选）。
  • 模型：数据生成机制为 \((X_i, Y_i) \overset{\text{i.i.d.}}{\sim} P\)（或交换性假设）。模型 \(f\) 和分数 \(s\) 是独立于校准和测试数据预训练的。
  • 可观测数据：
  • 校准数据：\(\{(X_i, Y_i)\}_{i=1}^n\)，可观测到特征、标签、风险 \(L_i\)、分数 \(s(X_i)\)。
  • 测试数据：\(\{X_{n+j}\}_{j=1}^m\)，仅观测到特征和分数 \(s(X_{n+j})\)，标签 \(Y_{n+j}\) 和风险 \(L_{n+j}\) 未知。
  • 目标：基于校准数据和测试特征，做出决策 \(\psi_{n+j}\)，使得在部署的实例上风险受控。

第二步：最小内核

最简特例：二值风险 + 单测试点 MDR 控制

考虑最简单的设定：风险是二值的，即 \(L(f, X, Y) = 1\{Y \leq c\}\)（例如，药物发现中化合物活性低于阈值）。只有一个测试点 \(m=1\)，我们只关心 MDR 控制：\(E[L_{n+1} \psi_{n+1}] \leq \alpha\)。

在这个特例下，论文的核心思路退化为：

  1. 构造风险调整的 e-value：利用交换性，构造

    \[E_{n+1} = \frac{(n+1) \cdot 1\{s(X_{n+1}) \leq t\}}{ \sum_{i=1}^n L_i 1\{s(X_i) \leq t\} + L_{n+1} 1\{s(X_{n+1}) \leq t\} },\]
    其中 \(t\) 是某个阈值。由于 \(L_{n+1}\) 未知，论文通过取 infimum over \(\ell \in [0,1]\) 得到一个保守的 e-value（公式 (4.1)）。但在二值风险下，可以证明 \(E_{n+1}\) 退化为与 conformal p-value 等价的形式（Proposition 4.4 和 Remark 4.5）。

  2. 决策规则：设置 \(\psi_{n+1} = 1\{E_{n+1} \geq 1/\alpha\}\)。由 Theorem 3.2，这保证 \(E[L_{n+1} \psi_{n+1}] \leq \alpha\)。

  3. 证明核心：利用交换性，条件于所有数据的无序集，\(L_{n+1}\) 等概率地成为任何一个校准点的风险，从而期望被控制。

这个特例揭示了整篇论文的数学本质：通过构造满足 \(E[L E] \leq 1\) 的 e-value，然后阈值化得到风险控制。一般情形（连续风险、多测试点、SDR）只是在这个内核上增加复杂性（infimum over \(\ell\)、e-BH 过程、协变量偏移权重）。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：对于任意预训练的黑箱模型，如何对任意有界连续风险（如平方误差、开发成本）做出有限样本、分布自由的信任决策，控制两种风险度量——边际部署风险（MDR）和选择性部署风险（SDR）。
  2. 核心工具/方法：提出 SCoRE 框架，通过构造“风险调整的 e-values”（满足 \(E[L E] \leq 1\)），然后分别使用简单阈值（MDR）或 e-BH 过程（SDR）产生信任决策。e-values 的构造基于 conformal inference 和数据交换性，无需模型假设。
  3. 主要结论：SCoRE 在有限样本下严格控制 MDR 和 SDR；可自然扩展到协变量偏移；给出了渐近最优分数函数的选择（Neyman-Pearson 型）；在药物发现、ICU 预测、LLM 报告生成等真实数据上验证了有效性。

关键设定与假设

  • 设定：校准数据 \(\{(X_i, Y_i)\}_{i=1}^n\) 和测试数据 \(\{X_{n+j}\}_{j=1}^m\) 交换性（Section 2.1）。风险 \(L(f, X, Y) \in [0,1]\) 有界。分数函数 \(s(\cdot)\) 和模型 \(f\) 预训练且独立于校准/测试数据。
  • 假设：
  • 交换性（exchangeability）：\((X_i, Y_i)\) 在 \(i=1,\dots,n+m\) 中可交换。这是 conformal inference 的标准假设，比 i.i.d. 弱。
  • 对于协变量偏移（Section 6）：假设似然比 \(dQ/dP(x,y) = w(x)\) 已知或可估计。
  • 对于渐近最优性（Theorem 4.6, 5.8）：额外假设分数分布无原子、风险函数连续等正则条件。
  • 相比已有文献的放宽/强化：相比 Jin and Candès (2023b) 只处理二值风险，本文放宽到连续风险；相比 Angelopoulos et al. (2022) 的 CRC，本文的 SDR 控制避免了均匀集中，且 e-value 构造更灵活。

主要结果

  • Theorem 3.2 (MDR 控制)：若 \(E_{n+j}\) 是风险调整的 e-value（\(E[L_{n+j} E_{n+j}] \leq 1\)），则 \(\psi_{n+j} = 1\{E_{n+j} \geq 1/\alpha\}\) 给出 \(E[L_{n+j} \psi_{n+j}] \leq \alpha\)。证明简单：\(L \psi \leq L E \cdot \alpha\)，取期望即得。
  • Theorem 3.3 (SDR 控制)：若 \(\{E_{n+j}\}_{j=1}^m\) 是风险调整的 e-values，则应用 e-BH 过程（Wang and Ramdas, 2022）于这些 e-values 在水平 \(\alpha\) 上，得到的选择集 \(\mathcal{R}\) 满足 SDR \(\leq \alpha\)。证明利用了 e-BH 的 step-up 性质和 \(L_{n+j} 1\{E_{n+j} \geq m/(\alpha \hat{\tau})\} \leq L_{n+j} E_{n+j} \cdot \alpha \hat{\tau}/m\)。
  • Theorem 4.2 (MDR e-value 构造)：在交换性下，公式 (4.1) 定义的 \(E_{\gamma, n+1}\) 满足 \(E[L_{n+1} E_{\gamma, n+1}] \leq 1\)。证明通过条件于无序集，利用交换性将期望化为 1。
  • Theorem 5.1 (SDR e-value 构造)：类似地，公式 (5.1) 定义的 \(E_{\gamma, n+j}\) 满足 \(E[L_{n+j} E_{\gamma, n+j}] \leq 1\)。
  • Theorem 4.6 (MDR 渐近最优性)：在 i.i.d. 下，渐近最优的分数函数 \(s(x)\) 应单调于 \(l(x)/r(x)\)，其中 \(l(x)=E[L|X=x]\), \(r(x)=E[r|X=x]\)。这类似于 Neyman-Pearson 引理。
  • Theorem 5.8 (SDR 渐近最优性)：类似地，最优分数应单调于 \((l(x)-\alpha)/r(x)\)。
  • Theorem 6.2, 6.3 (协变量偏移)：加权版本的 e-value 构造仍满足 \(E_Q[L E] \leq 1\)，从而 MDR/SDR 控制成立。
  • Theorem 6.4, 6.5 (双稳健性)：当权重估计一致或风险模型一致时，渐近风险控制成立。

证明路线与技术技巧

整体路线（以 MDR 为例）：

  1. 构造 e-value：利用交换性，构造形如 \(E = \frac{(n+1) A_{n+1}}{\sum_{i=1}^n L_i A_i + L_{n+1} A_{n+1}}\) 的随机变量，其中 \(A_i = 1\{s(X_i) \leq T\}\)，\(T\) 是某个交换不变的阈值。由于 \(L_{n+1}\) 未知，取 infimum over \(\ell \in [0,1]\) 得到保守版本。
  2. 验证 e-value 性质：条件于无序集，\(L_{n+1}\) 等概率地成为任何一个校准点的风险，从而期望为 1。
  3. 阈值化：由 Theorem 3.2，\(\psi = 1\{E \geq 1/\alpha\}\) 控制 MDR。
  4. 计算捷径：Proposition 4.4 显示，当 \(\gamma \leq \alpha\) 时，决策等价于检查一个简单条件（公式 (B.1)），无需显式计算 infimum。

关键跳跃点：

  • 如何将未知风险 \(L_{n+1}\) 纳入 e-value 构造？论文通过 infimum over \(\ell\) 处理，这保证了保守性，但可能导致效率损失。Proposition 5.3 显示在二值风险下，该构造与 conformal selection 等价，说明保守性可接受。
  • SDR 的 e-value 构造中，阈值 \(t_{\gamma, n+j}(\ell)\) 依赖于其他测试点的分数，这引入了依赖关系。论文通过 e-BH 过程处理这种依赖，并证明 SDR 控制（Theorem 3.3）。
  • 计算复杂性：Algorithm 3 将连续 infimum 简化为有限集搜索，复杂度 \(O((n+m)m + (n+m)\log(n+m))\)。

技术技巧点名：

  • 交换性论证：核心技巧，用于证明 e-value 的期望性质（Theorem 4.2, 5.1 的证明）。
  • Infimum over \(\ell\)：处理未知风险 \(L_{n+1}\) 的保守构造。
  • e-BH 过程：用于 SDR 控制，利用 e-values 的期望性质。
  • Uniform law of large numbers：用于渐近分析（Theorem 4.6, 5.8）。
  • Neyman-Pearson 型论证：用于推导最优分数函数。
  • 加权交换性：用于协变量偏移扩展（Section 6）。
  • 双稳健校准：通过平衡条件实现权重或风险模型的一致性保护（Appendix A.4, A.5）。

真实例子与应用

论文包含三个真实数据应用（Section 7）：

  1. 药物发现（Section 7.1）：
  2. 数据：Therapeutic Data Commons 的四个数据集（caco2_wang, clearance_hepatocyte, clearance_microsome, ppbr_az）。
  3. 风险：\(L(X) \cdot 1\{Y \leq c\}\)，其中 \(L(X)\) 是合成可及性分数（SA score）作为开发成本代理。
  4. 奖励：多样性（基于 Tanimoto 系数）、活性（Y 值）、常数。
  5. 设置：存在协变量偏移（基于分子权重的拒绝采样），权重通过概率分类估计。

  6. 结果：SCoRE 实现了紧的 MDR/SDR 控制，同质 boosting 通常选择最多实例，风险预测分数和风险-奖励比分数在不同目标上各有优势（Figure 3）。

  7. ICU 住院时间预测（Section 7.2）：

  8. 数据：MIMIC-IV，预测 ICU 住院时间。
  9. 风险：平方误差 \((Y - f(X))^2\)。
  10. 奖励：常数或 Y（优先长住院患者）。

  11. 结果：SCoRE 控制风险，选择高精度预测，奖励感知分数在非恒定奖励下略有优势（Figure 4）。

  12. LLM 报告生成（Section 7.3）：

  13. 数据：MIMIC-CXR，放射学报告生成。
  14. 风险：基于 CheXbert 标签的加权错误（假阴性+0.5假阳性）。
  15. 奖励：常数或置信加权奖励（鼓励明确匹配）。
  16. 结果：SCoRE 在有限标签数据下实现风险控制，boosting 变体提高选择数量（Figure 5）。

此外，Section 8 有大量模拟实验，验证了不同 DGP、风险函数、样本量下的有效性，以及与基于集中不等式的基线方法的对比。

🔎 结论是否比证明窄

论文的主要结论（有限样本 MDR/SDR 控制）在 Theorem 3.2, 3.3, 4.2, 5.1 中严格证明。但一些声称需要谨慎：

  • “SCoRE avoids the need of uniform concentration”（引言）：对于 MDR，确实如此（直接阈值化）。但对于 SDR，e-BH 过程本身不依赖均匀集中，但 e-value 构造中的阈值 \(t_{\gamma,n+j}(\ell)\) 涉及其他测试点，其有效性依赖于交换性，而非均匀集中。所以该声称成立。
  • “SCoRE can be readily extended to settings with distribution shifts”（摘要）：Section 6 给出了加权版本，但 Theorem 6.2, 6.3 要求权重已知或可估计。对于估计权重，Theorem 6.4, 6.5 只给出渐近保证，且需要额外条件（如双稳健性）。因此“readily”可能过于乐观。
  • “Our methods provide both selective and marginal guarantees, work in finite sample, and address general, continuously-valued risks”（Section 2.3）：确实如此，但注意风险必须是有界且取值于 [0,1]（可通过缩放实现）。
  • 渐近最优性（Theorem 4.6, 5.8）是在 i.i.d. 和分数函数固定下证明的，实际中分数函数可能从数据学习，论文未提供有限样本保证。

四、开放问题

  1. 数据驱动的分数选择：论文的渐近最优分数依赖于未知条件风险 \(l(x)\) 和奖励 \(r(x)\)。如何在实际中从数据学习分数函数，同时保持有限样本风险控制？作者提到“maintaining validity with an unknown continuous test risk is substantially more challenging”（Section 9）。扎根于论文最后一段：“it is naturally desirable to use data to optimize the scores... However, compared with the binary setting, maintaining validity with an unknown continuous test risk is substantially more challenging.”

  2. 在线设置：测试实例顺序到达，需要实时决策。e-values 的 any-time 性质可能有用，但论文未涉及。扎根于：“the ideas of SCoRE may extend to richer scenarios such as online settings where test instances arrive sequentially and real-time decisions need to be made, where the e-values might be a useful tool (Xu and Ramdas, 2024).”

  3. 更丰富的风险结构：论文假设风险有界且已知映射。如果风险本身需要估计（如从有限样本学习风险函数），如何保证风险控制？这类似于双机器学习中的交叉拟合。论文未讨论。

  4. 与多重假设检验族的关系：作者提到与 Heller et al. (2009) 等多族假设检验的联系，但未深入。是否可以将 SCoRE 应用于选择多个假设族，控制族内平均风险？扎根于：“Another related line of work considers selecting multiple families of hypotheses... while we use quite different techniques, our methods may be applicable in their setting if knowledge of the risk is available in some ‘calibration’ families.”（Section 2.3）

提醒：要确认这些是否是真正的 gap，建议阅读近期约 5 篇相关论文的引言（如 Jin and Candès 2023b, Angelopoulos et al. 2022, Xu and Ramdas 2024, Gauthier et al. 2025a），看它们是否都指向类似方向。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论