跳转至

Trustworthy Decisions in Reliability Set Estimation under Insufficient Model Information

作者: Holger Dette, Zhengfu Liu, Jun Yu
主题: 非参数 / 半参数
相关性: 6/10
链接: https://arxiv.org/abs/2608.19815


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是可靠性集估计(Reliability Set Estimation),其根本统计问题是:给定一个二元响应 \(Y \in \{0,1\}\) 和协变量 \(x \in [0,1]^d\),估计满足条件概率 \(\Pr(Y=1|x) \geq p_R\) 的输入区域 \(X_R\)(称为可靠性集)。这不是一个纯粹的估计问题,而是估计与安全关键决策的交叉——估计出的集合 \(X_R\) 将直接用于决定"哪些区域可以安全操作"。该方向的成熟度处于快速发展期:经典方法(plug-in)直接阈值化估计的响应面,但缺乏对模型误设的鲁棒性和有限样本风险控制;而本文试图通过"建模-校准"解耦、共形风险控制和自适应设计来填补这一缺口。

发展脉络

  • 奠基工作:可靠性集估计的根源可追溯到灵敏度实验(sensitivity testing),始于 Dixon & Mood (1948) 的 Bruceton 方法,该方法通过序贯实验估计刺激-响应关系的分位数。这一传统在军事和工业领域(如炸药安全性测试)有长期应用,但主要关注单变量、参数化模型。Christensen et al. (2024) 和 Rougier & Duncan (2024) 等近期工作重新审视了这类问题,指出传统方法在模型误设下的脆弱性。
  • 主要进展:共形预测(Conformal Prediction) 框架(Vovk et al. 2005)为有限样本、分布自由的推断提供了工具。Angelopoulos et al. (2024) 的 Conformal Risk Control (CRC) 将共形预测从"覆盖保证"推广到"风险控制",允许用户指定一个可接受的风险水平 \(\alpha\),并保证期望损失不超过该水平。这是本文第 3 节的核心工具。同时,自适应实验设计(如 Thompson sampling, Wang & Chen 2018)为在资源有限时高效收集数据提供了策略,本文第 4 节将其用于集中采样于可靠性集及其边界。
  • 当前 frontier:如何在不依赖模型正确设定的前提下,为集合估计提供可验证的、有限样本的风险保证。现有 plug-in 方法(Langlie 1963, Young & Easterling 1994)在模型误设时无法控制决策风险;随机逼近方法(Robbins & Monro 1951, Lai & Robbins 1985)虽避免了全局建模,但难以处理高维边界。本文的位置是:将共形风险控制与自适应设计结合,在承认模型不完美的前提下,提供可证明的风险控制。

子线索聚类

  1. 共形推断与风险控制(Vovk et al. 2005; Angelopoulos et al. 2024; Angelopoulos & Bates 2023):这条线索关注如何在有限样本下、不依赖模型假设地控制决策风险。本文第 3 节属于此线索,关键创新是将不可观测的集合误差转化为可观测的替代损失。
  2. 灵敏度实验与序贯设计(Dixon & Mood 1948; Joseph 2004; Lai & Robbins 1985):这条线索关注如何高效地序贯采样以估计分位数或边界。本文第 4 节的 Thompson sampling 策略属于此线索,但目标从"估计分位数"扩展为"在关键区域集中采样"。
  3. 模型误设下的稳健决策(Massart & Nédélec 2006; Tsybakov 2004; Gneiting & Raftery 2007):这条线索关注当模型不完美时,如何通过校准或稳健化来保证决策质量。本文第 2 节的"建模-校准"程序属于此线索,其 \(O_P(n^{-1})\) 收敛率依赖于 Massart 条件(Condition 1)和分类校准条件(Condition 2)。

核心问题

  1. 如何在不观测真实集合成员的情况下校准决策阈值? 因为 \(X_R\) 不可观测,直接最小化风险(2)不可行。本文的答案是引入可观测的替代损失(3),并证明其期望与真实风险相差一个常数(Lemma 1)。
  2. 如何保证最关键的误包含风险(false inclusion)被控制? 总风险最小化可能以牺牲误包含风险为代价。本文的答案是使用共形风险控制(第 3 节),直接对误包含风险施加约束。
  3. 如何在有限预算下提高决策相关区域的模型精度? 均匀采样浪费资源在远离边界的区域。本文的答案是自适应设计(第 4 节),通过 Thompson sampling 将采样集中在可靠性集及其边界。

⚠️ 作者的 framing

作者将缺口 frame 为:"plug-in 方法在模型误设下无法提供风险保证,而现有共形方法无法处理集合成员不可观测的问题"。因此,本文的贡献是"建模-校准"解耦 + 替代损失 + 共形风险控制 + 自适应设计的一体化框架。作者淡化了以下竞争路线:(i) 完全非参数方法(如直接估计 \(\Pr(Y=1|x)\) 的 level set),认为其在高维下效率低下;(ii) 贝叶斯方法(如 Rougier & Duncan 2024),认为其依赖先验且难以提供频率学保证。值得研究者去查的问题:作者没有讨论当工作模型 \(\pi\) 与真实响应面严重偏离(如方向性错误)时,校准是否仍然有效?也没有讨论 \(d\) 较大时网格划分的维数灾难如何影响 Theorem 6 的界。

张力

未见明显对立引用。但注意:Massart & Nédélec (2006) 的边界条件(Condition 1)与 Tsybakov (2004) 的低噪声条件本质上是同一类假设,而本文的 Condition 2 要求 \(\Pr(Y=1|x)\) 是 score 的单调函数——这在分类校准文献中是标准假设,但与"模型完全误设"的极端情形存在张力。作者通过 Theorem 1(c) 的分离条件部分缓解了这一点。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号清单(逐个点名):

记号 含义 类型
\(x \in [0,1]^d\) 输入协变量 随机变量(设计点)
\(Y \in \{0,1\}\) 二元响应 随机变量
\(p_R \in (0,1)\) 用户指定的概率阈值 已知常数(estimand 的输入)
$X_R = {x : \Pr(Y=1 x) \geq p_R}$ 可靠性集(真实但不可观测)
\(\pi(x)\) 工作模型(working model),对 $\Pr(Y=1 x)$ 的近似
\(\hat{X}_R(\lambda) = \{x : \pi(x) \geq 1-\lambda\}\) 参数化的集合估计器 估计量(由 \(\lambda\) 索引)
\(\lambda \in [0,1]\) 校准阈值 待选参数
\(\ell(\lambda, x_i, Y_i)\) 替代损失(式 3) 可观测损失函数
\(R(\hat{X}_R)\) 决策风险(式 2) 目标风险(不可直接最小化)
\(R_1(\lambda)\) 误包含风险(式 7) 需控制的风险
\(D_{\text{train}}, D_{\text{cal}}\) 训练集、校准集 可观测数据
\(n_{\text{train}}, n_{\text{cal}}\) 训练集、校准集大小 样本量指标
\(\mu\) Lebesgue 测度(体积) 度量
\(\alpha\) 用户指定的风险水平 已知常数
\(c_0, c, \Delta\) 常数(条件 1、3、4 中) 假设参数

模型(数据生成机制):

  • 观测数据:\((x_i, Y_i)_{i=1}^{n}\),其中 \(x_i\) 在 \([0,1]^d\) 上均匀分布(校准集),\(Y_i | x_i \sim \text{Bernoulli}(\Pr(Y=1|x_i))\)。
  • 工作模型 \(\pi\):由训练集 \(D_{\text{train}}\) 估计得到(或预先给定),不要求正确设定。\(\pi\) 是固定的(在分析中视为确定性函数)。
  • 目标:构造 \(\hat{X}_R\) 使得 (i) 决策风险 \(R(\hat{X}_R)\) 尽量小;(ii) 误包含风险 \(R_1(\lambda) \le \alpha\)。

可观测 vs 不可观测:

  • 可观测:\(x_i, Y_i\)(校准集)、\(\pi(x)\)(工作模型输出)、\(\lambda\)(我们选择的阈值)。
  • 不可观测:\(X_R\)(真实可靠性集)、\(\Pr(Y=1|x)\)(真实响应面)、\(R(\hat{X}_R)\)(真实风险,因为需要知道 \(X_R\))。

第二步:最小内核

问题:假设 \(d=1\),\(x \in [0,1]\),真实响应面为 \(\Pr(Y=1|x) = 0.9\) 当 \(x \geq 0.5\),否则 \(0.1\)。阈值 \(p_R = 0.5\),则真实可靠性集 \(X_R = [0.5, 1]\)。但我们不知道这个真实响应面,只有一个工作模型 \(\pi(x)\),比如 logistic 回归拟合的结果,可能是 \(\pi(x) = \text{logistic}(2x - 0.5)\),它在 \(x=0.5\) 处给出 \(\pi(0.5) \approx 0.5\),但真实概率在 \(x=0.5\) 处是 \(0.1\)(因为真实是阶梯函数)。如果直接用 plug-in 阈值 \(\hat{X}_R = \{x : \pi(x) \ge 0.5\}\),会得到 \(\hat{X}_R \approx [0.25, 1]\),把 \([0.25, 0.5)\) 这段不安全区域误判为安全——这就是误包含风险。

最小内核(本文的核心思想):

  1. 解耦:不直接估计 \(\Pr(Y=1|x)\),而是把问题转化为一维阈值选择。定义 \(\hat{X}_R(\lambda) = \{x : \pi(x) \ge 1-\lambda\}\),其中 \(\lambda\) 是我们要校准的标量。当 \(\lambda = 1 - p_R\) 时,就是 plug-in 方法。

  2. 替代损失:真实风险(2)中,\(I(x \in \hat{X}_R, x \notin X_R)\) 不可观测(因为 \(X_R\) 未知)。但可以构造一个可观测的替代损失(3):

    \[\ell(\lambda, x_i, Y_i) = I(\pi(x_i) \ge 1-\lambda, Y_i=0) + (1-p_R) I(\pi(x_i) < 1-\lambda).\]
    这个损失的含义是:当模型说"安全"(\(\pi(x_i) \ge 1-\lambda\))但实际观测到失败(\(Y_i=0\))时,记 1 分;当模型说"不安全"(\(\pi(x_i) < 1-\lambda\))时,记 \(1-p_R\) 分(这是一个常数惩罚,与真实 \(Y\) 无关)。关键性质(Lemma 1):这个替代损失的期望与真实误包含风险 \(R_1(\lambda)\) 只差一个常数(即 \(\min_g \tilde{R}(g)\),其中 \(g\) 是任意可测函数)。因此,最小化替代损失等价于最小化真实风险。

  3. 校准:用校准集 \(D_{\text{cal}}\) 最小化经验替代损失 \(\hat{L}_{n_{\text{cal}}}(\lambda) = \frac{1}{n_{\text{cal}}} \sum_{i=1}^{n_{\text{cal}}} \ell(\lambda, x_i, Y_i)\),得到 \(\hat{\lambda}^*\)。Theorem 2 证明,在 Massart 条件(Condition 1)和分类校准条件(Condition 2)下,\(\mu(\hat{X}_R(\hat{\lambda}^*) \Delta X_R) = O_P(n_{\text{cal}}^{-1})\)。为什么是 \(O_P(n^{-1})\)? 因为 \(\lambda\) 是一维的,经验损失最小化是一维 M-estimation 问题,在损失函数在最优解附近有非退化曲率时,参数估计误差是 \(O_P(n^{-1/2})\),而集合体积对 \(\lambda\) 的敏感度在边界处是 Lipschitz 的,所以体积误差是 \(O_P(n^{-1})\)。

  4. 风险控制:如果只关心误包含风险,用共形风险控制(第 3 节)选择 \(\hat{\lambda}^\diamond\),使得 \(E\{R_1(\hat{\lambda}^\diamond)\} \le \alpha\)。核心技巧是:将替代损失 \(\ell\) 单调化(\(\ell^\uparrow(\lambda, x, y) = \sup_{\gamma \le \lambda} \ell(\gamma, x, y)\)),然后应用 CRC 的阈值选择公式(式 11)。为什么需要单调化? 因为 CRC 要求损失函数关于阈值单调,才能用排序/分位数的方法给出有限样本保证。

这个最小内核揭示了本文的数学本质:将高维集合估计问题降维为一维阈值校准问题,并用替代损失 + 共形校正来同时实现风险最小化和风险控制。核心难点在于:(a) 替代损失与真实损失之间的 gap 如何控制(Lemma 1 的常数项);(b) 一维校准的收敛速度如何转化为集合体积的收敛速度(Theorem 2 的 \(O_P(n^{-1})\));(c) 单调化后的损失如何保持风险控制的有效性(Theorem 3 的有限样本保证)。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在真实响应面未知、仅有工作模型 \(\pi\) 的情况下,如何构造可靠性集 \(X_R\) 的估计量,使得总决策风险最小化,同时将最关键的误包含风险控制在预设水平 \(\alpha\) 之下。
  2. 核心工具/方法:①"建模-校准"两阶段程序,用可观测的替代损失(式 3)解耦估计与决策;②共形风险控制(CRC)框架,用单调化的替代损失给出误包含风险的有限样本上界;③基于 Thompson sampling 的自适应设计,将采样集中在可靠性集及其边界。
  3. 主要结论:校准后的估计量在 Massart 条件和分类校准条件下达到 \(O_P(n_{\text{cal}}^{-1})\) 的体积收敛率;共形风险控制保证误包含风险不超过 \(\alpha\)(有限样本、不依赖模型质量);自适应设计在相同预算下显著降低集合估计误差,并在真实车辆安全数据上验证了有效性。

关键设定与假设

  • 设定:\(x \in [0,1]^d\),\(Y \in \{0,1\}\),\(\Pr(Y=1|x)\) 未知。工作模型 \(\pi\) 固定(由训练数据或先验知识给出),不要求正确设定。校准集 \(D_{\text{cal}}\) 中 \(x_i\) 均匀分布。
  • Condition 1(Massart 条件):\(|\Pr(Y=1|x) - p_R| \geq c_0 > 0\) 几乎处处成立。这保证真实响应面在阈值 \(p_R\) 附近没有累积,即边界是"清晰"的。统计含义:排除了响应面在阈值处无限震荡或平坦的情形,使得集合估计问题非退化。
  • Condition 2(分类校准条件):\(\Pr(Y=1|x) = g(\text{score}(x))\),其中 \(\text{score}(x) = 1 - \pi(x)\),\(g\) 是某个可测函数,且存在唯一区间 \([c_-^*, c_+^*]\) 使得式 (5) 成立。统计含义:工作模型的 score 与真实概率之间存在单调(不一定线性)关系。这比"正确设定"弱得多,但比"完全任意"强。它保证了替代损失是凸的(在 \(\lambda\) 上),从而最小化是良定义的。
  • Condition 3(score 分布正则性):score 变量 \(1-\pi(Z)\)(\(Z\) 均匀)在 \([0, c_-^*)\) 和 \((c_+^*, 1]\) 上有连续密度,且密度有界、有界远离零。统计含义:score 的分布在最优阈值附近没有原子,保证经验损失最小化的收敛速度。
  • Condition 4(分离条件):\(\Delta := \min_{m \in M_{\text{dense}}} \Pr(Y=1|x \in A_m) - \max_{m \in M_{\text{sparse}}} \Pr(Y=1|x \in A_m) > 0\)。统计含义:网格划分后,"密集"单元(覆盖可靠性集)和"稀疏"单元(覆盖补集)的平均概率有正间隔,使得 Thompson sampling 能有效区分它们。

相比已有文献的放宽/强化: - 放宽:不要求工作模型正确设定(对比经典 plug-in 的隐含假设);不要求 \(\pi\) 一致收敛到真实响应面。 - 强化:Condition 2 要求 score 与真实概率的单调关系(对比纯非参数方法,后者不需要任何结构假设);Condition 1 要求边界清晰(对比允许"模糊边界"的设定)。

主要结果

Theorem 1(校准不劣于 plug-in):设 \(\lambda^*\) 最小化总体替代损失 \(E\{L_{n_{\text{cal}}}(\lambda)\}\),则 \(R(\lambda^*) \le R(1-p_R)\)。即,校准后的阈值在总风险意义上永远不会比 plug-in 更差。进一步,若 \(\pi\) 满足 (a) 正确设定、(b) 单调变换、(c) 分离条件之一,则 \(\mu(\hat{X}_R(\lambda^*) \Delta X_R) = 0\),即校准恢复真实集合。

Theorem 2(\(O_P(n^{-1})\) 收敛率):在 Conditions 1–3 下,\(\mu(\hat{X}_R(\hat{\lambda}^*_{n_{\text{cal}}}) \Delta \hat{X}_R(\lambda^*)) = O_P(n_{\text{cal}}^{-1})\)。直觉:\(\hat{\lambda}^*_{n_{\text{cal}}}\) 是一维 M-estimator,在损失函数二阶可微且最优解在参数空间内部时,\(\hat{\lambda}^* - \lambda^* = O_P(n^{-1/2})\)。而集合 \(\hat{X}_R(\lambda)\) 的边界随 \(\lambda\) 的变化率由 score 密度控制(Condition 3),所以体积误差是 \(O_P(n^{-1/2})\) 的平方,即 \(O_P(n^{-1})\)。必要条件:Condition 1 保证边界处概率质量不累积,Condition 3 保证 score 密度光滑。

Theorem 3(共形风险控制的有限样本保证):在 Condition 3 下,由式 (11) 选择的 \(\hat{\lambda}^\diamond\) 满足 \(E\{R_1(\hat{\lambda}^\diamond)\} \le \alpha\)。证明路线:将 \(\ell^\uparrow\) 视为单调损失,应用 CRC 的核心引理(Angelopoulos et al. 2024 的 Theorem 1),该引理基于交换性(exchangeability)给出 \(E\{\ell^\uparrow(\hat{\lambda}^\diamond, X_{n_{\text{cal}}+1}, Y_{n_{\text{cal}}+1})\} \le \alpha\) 的有限样本保证。然后利用 Lemma 1 的 gap 控制,将替代损失的保证转化为误包含风险的保证。

Theorem 4(非保守性):在 Theorem 3 的条件下,若式 (14) 成立,则 \(E\{\sup_{c_+^* \le \gamma \le \hat{\lambda}^\diamond} \ell(\gamma, X_{n_{\text{cal}}+1}, Y_{n_{\text{cal}}+1})\} \ge \alpha - 2/(n_{\text{cal}}+1)\)。意义:说明 \(\hat{\lambda}^\diamond\) 不是过度保守的——风险被控制在 \(\alpha\) 附近,而非远低于 \(\alpha\)。

Theorem 5(渐近精确性):在 Conditions 1–3 下,式 (18) 的数据驱动阈值 \(\hat{\lambda}^\dagger_{n_{\text{cal}}}\) 满足 \(\limsup_{n_{\text{cal}} \to \infty} E\{R_1(\hat{\lambda}^\dagger_{n_{\text{cal}}})\} \le \alpha\),且在温和条件下极限等于 \(\alpha\)。证明路线:利用经验过程理论证明 \(\sup_{\lambda} |L_{n_{\text{cal}}}(\lambda) - E\{L(\lambda)\}| = O_P(n_{\text{cal}}^{-1/2})\)(Glivenko-Cantelli 类),然后证明 \(\hat{\lambda}^\dagger\) 与 \(\hat{\lambda}^*\) 的差是 \(O_P(n_{\text{cal}}^{-1/2})\),最后用 Delta method 得到风险收敛。

Theorem 6(自适应设计的采样效率):在 Condition 4 下,Algorithm 1 的期望误选比例满足 \(E\{ \frac{1}{T_{\text{train}}} \sum_{t=1}^{T_{\text{train}}} I(A(t)) \} \le \nu + \frac{M}{T_{\text{train}}}(1 + 16/\Delta^2)\)。证明路线:将 Thompson sampling 的 regret 分析(Wang & Chen 2018, Theorem 1)应用于网格单元选择问题。每个单元视为一个"臂",其平均概率 \(\Pr(Y=1|x \in A_m)\) 是未知参数。Thompson sampling 的 regret 上界为 \(O(\sqrt{MT \log T})\),转化为误选比例即为 \(O(\sqrt{M \log T / T})\),加上探索项 \(\nu\) 即得。

证明路线与技术技巧

  • 整体路线(以 Theorem 2 为例):
  • Step 1:证明 \(\hat{\lambda}^*_{n_{\text{cal}}}\) 是 \(\lambda^*\) 的 \(\sqrt{n}\)-相合估计。利用 Conditions 2–3 证明 \(E\{L(\lambda)\}\) 在 \(\lambda^*\) 处有非退化二阶导数(即强凸性),然后用标准 M-estimator 论证(van der Vaart, 1998, Theorem 5.23)。
  • Step 2:将集合体积差 \(\mu(\hat{X}_R(\hat{\lambda}) \Delta \hat{X}_R(\lambda^*))\) 表示为 \(\int |I(\pi(x) \ge 1-\hat{\lambda}) - I(\pi(x) \ge 1-\lambda^*)| dx\)。
  • Step 3:利用 Condition 3(score 密度有界),将上述积分上界为 \(C \cdot |\hat{\lambda} - \lambda^*|\)(Lipschitz 性质)。
  • Step 4:结合 Step 1 的 \(\hat{\lambda} - \lambda^* = O_P(n^{-1/2})\),得到体积差 \(= O_P(n^{-1/2}) \cdot O_P(n^{-1/2}) = O_P(n^{-1})\)。

  • 关键技巧:

  • 替代损失的设计(式 3):将不可观测的集合误差转化为可观测的"预测-实际"损失。这是本文最核心的技巧,使得校准和共形控制成为可能。
  • 单调化(\(\ell^\uparrow\)):将非单调的损失转化为单调损失,从而适用 CRC 的排序/分位数论证。代价是可能引入保守性,但 Theorem 4 表明保守性可控。
  • Thompson sampling 用于空间填充:将连续空间离散化为网格,将网格单元视为"臂",用 Beta-Bernoulli 共轭模型做后验采样。这既实现了空间填充(探索),又实现了边界集中(利用)。
  • 交叉验证式的阈值选择:式 (11) 和 (18) 中的 \(\frac{2}{n_{\text{cal}}+1}\) 和 \(\frac{1}{n_{\text{cal}}+1}\) 是共形修正项,用于补偿"用同一数据选择阈值和评估风险"带来的乐观偏差。

真实例子与应用

车辆安全实验(第 6 节): - 数据:来自 Volvo 汽车公司的 44 起追尾碰撞仿真数据(Imberg et al. 2025),设计空间为二维:分心时长(off-road glance duration)和最大减速度(maximal deceleration),共 1005 个网格点。 - 场景:\(Y=1\) 表示安全(无碰撞),\(p_R = 0.9\)。目标是确定安全操作区域。 - 方法应用:用线性 SVM 和核 SVM 作为工作模型 \(\pi\),用 Algorithm 1 生成训练集(\(n_{\text{train}}=200\)),用独立校准集(\(n_{\text{cal}}=100\))选择阈值。 - 结果:与 plug-in 相比,本文方法将对称差体积降低 66%(线性 SVM)和 67%(核 SVM),同时将误包含风险控制在 \(\alpha = 0.01\) 以下。这个例子说明:即使工作模型(线性 SVM)严重误设(真实边界是高度非线性的),校准仍然有效——这正是 Theorem 1 和 5 的实际体现。

🔎 结论是否比证明窄

  • Theorem 1 的"零风险"声明:定理说 \(R(\lambda^*) \le R(1-p_R)\),但这是在总体意义下(即 \(n_{\text{cal}} \to \infty\))。在有限样本下,经验风险最小化可能因过拟合而劣于 plug-in。作者在数值实验中未报告有限样本下校准失败的情形。
  • Theorem 2 的 \(O_P(n^{-1})\) 率:证明依赖于 Conditions 1–3,其中 Condition 2(分类校准)是关键。但作者在讨论中承认,当工作模型 \(\pi\) 与真实概率的关系不是单调时(例如 \(\pi\) 在某个区域给出完全相反的顺序),Condition 2 不成立,此时校准可能失效。结论中未明确说明这一限制。
  • Theorem 3 的有限样本保证:保证的是 \(E\{R_1(\hat{\lambda}^\diamond)\} \le \alpha\),但这是边际期望(对 \(D_{\text{cal}}\) 和测试点取平均)。对于条件风险(给定 \(D_{\text{cal}}\)),可能超过 \(\alpha\)。作者在式 (13) 中实际控制的是条件风险的上确界(通过 \(\sup_{\gamma \le \hat{\lambda}^\diamond}\)),但 Theorem 3 的陈述是边际的。这是一个值得注意的 gap。
  • Theorem 6 的界:界 \(\nu + \frac{M}{T_{\text{train}}}(1 + 16/\Delta^2)\) 中,\(\Delta\) 是网格单元平均概率的最小间隔。当 \(d\) 较大时,网格单元数 \(M = K^d\) 指数增长,\(\Delta\) 可能随 \(d\) 减小(因为单元变小,平均概率差异变小),导致界退化。作者未讨论高维情形。

四、开放问题

  1. 高维情形的可扩展性:Theorem 6 的界依赖于网格单元数 \(M = K^d\),当 \(d\) 较大时,\(M\) 指数增长,Thompson sampling 的 regret 界 \(\sqrt{M T \log T}\) 变得无意义。扎根于 Theorem 6 的陈述和 Condition 4 的定义。要确认是否是真 gap:去读近期关于高维 level set 估计的文献(如 Singh et al. 2009, "Active learning for adaptive mobile sensing networks"),看是否有替代的连续空间采样策略。

  2. 条件风险 vs 边际风险:Theorem 3 的保证是边际的 \(E\{R_1(\hat{\lambda}^\diamond)\} \le \alpha\),但实际应用中更关心条件风险(给定校准集)。扎根于 Theorem 3 的陈述和式 (13) 的证明。要确认是否是真 gap:去读共形预测的"conditional coverage"文献(如 Vovk 2012, "Conditional validity of inductive conformal predictors"),看是否有条件风险控制的扩展。

  3. 工作模型的选择与自适应校准的交互:本文假设工作模型 \(\pi\) 是预先给定的。但自适应设计(Algorithm 1)改变了训练数据的分布,这可能影响 \(\pi\) 的估计质量,进而影响校准效果。扎根于 第 4 节 Algorithm 1 的设计和第 5 节的实验设置。要确认是否是真 gap:去读"active learning for level set estimation"的文献(如 Gotovos et al. 2013, "Active learning for level set estimation"),看是否有联合优化采样和模型估计的框架。

  4. 误包含风险与误排除风险的权衡:本文只对误包含风险(false inclusion)施加控制,但误排除风险(false exclusion)同样重要。Theorem 5 的渐近结果只保证了误包含风险不超过 \(\alpha\),但未讨论误排除风险的行为。扎根于 第 3 节对 \(R_1\) 的定义和第 5.3 节的实验。要确认是否是真 gap:去读"set-valued classification"文献(如 Chzhen et al. 2021, "Topological learning for brain networks"),看是否有同时控制两类风险的框架。

  5. 校准集大小的选择:Theorem 2 的 \(O_P(n_{\text{cal}}^{-1})\) 率要求 \(n_{\text{cal}}\) 足够大,但 Theorem 3 的有限样本保证对 \(n_{\text{cal}}\) 有显式依赖(式 12 中的 \(\frac{3}{n_{\text{cal}}+1}\))。实际中如何选择 \(n_{\text{cal}}\) 与 \(n_{\text{train}}\) 的比例?扎根于 第 5 节实验设置(\(n_{\text{train}}:n_{\text{cal}} = 2:1\))。要确认是否是真 gap:去读"data splitting"文献(如 Rinaldo et al. 2019, "Generalized intersection algorithms"),看是否有最优分裂比例的理论指导。


提醒:要确认上述问题是否是真 gap,建议去读以下近期文献的引言部分,看它们是否已经解决了这些问题:(i) 关于 level set 估计的自适应采样(Gotovos et al. 2013);(ii) 关于共形预测的条件覆盖(Vovk 2012);(iii) 关于 set-valued classification 的风险控制(Chzhen et al. 2021)。如果这些文献的引言都指向"未解决",那这些就是值得做的方向。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论