Coverage and shape of conformal highest-density sets: A minimax theory¶
作者: Ilsang Ohn
主题: 非参数 / 半参数
相关性: 8/10
链接: https://arxiv.org/abs/2611.11909
一、领域脉络与小综述¶
-
这个方向是什么:本文研究的是共形预测(conformal prediction) 中一个核心的统计问题:如何构造条件覆盖(conditional coverage)有保证、且几何效率(体积)尽可能小的预测集。具体而言,给定协变量 \(X=x\),目标构造一个集合 \(\hat{C}(x) \subset \mathbb{R}^{d_Y}\),使得 \(\mathbb{P}(Y \in \hat{C}(x) \mid X=x) \ge 1-\alpha\)(条件覆盖),同时集合的体积 \(\lambda(\hat{C}(x))\) 尽量接近最优的 HPD 集(highest predictive density set)。该方向的根本张力在于:条件覆盖(对每个 \(x\) 都成立)与几何效率(体积小)之间存在不可调和的矛盾——前者要求集合适应 \(x\) 的局部结构,后者要求集合尽可能紧致。当前该领域的成熟度:共形预测的边际覆盖(marginal coverage)理论已非常成熟(Vovk et al., 2005; Lei et al., 2013),但条件覆盖的极小极大理论直到最近才被系统研究(Barber et al., 2021 证明条件覆盖在无分布假设下不可能),本文则是在光滑性假设下给出了条件覆盖与几何效率的联合极小极大理论。
-
发展脉络(history):
- 奠基工作:Vovk et al. (2005) 提出 split conformal prediction,以交换性(exchangeability)为唯一假设,给出边际覆盖保证(\(\mathbb{P}(Y \in \hat{C}(X)) \ge 1-\alpha\))。Lei et al. (2013) 将共形预测推广到密度水平集,证明其体积收敛到最优 HPD 集的体积。关键局限:这些方法只保证边际覆盖,不保证条件覆盖。
- 主要进展:Izbicki et al. (2022) 提出 HPD-split,用密度估计的 HPD 值作为 conformity score,通过单一阈值校准获得边际覆盖,并证明其条件覆盖在密度估计一致时渐近成立。关键局限:其条件覆盖误差的阶数由密度估计的 sup-norm 误差决定,而密度估计的 sup-norm 误差在 \(d_Y \ge 2\) 时远慢于 \(L_2\) 误差,导致条件覆盖误差无法达到回归速率。Sampson and Chan (2024) 提出 CHCDS,用条件密度估计构造集合,但同样受限于密度估计的 sup-norm 误差。
-
当前 frontier:Plassier et al. (2025b) 的 CP² 和 Hore & Barber (2025) 的 RLCP 通过局部化校准(localized calibration)改善条件覆盖,但它们的保证是平均意义下的(对校准样本平均),而非逐点条件覆盖。本文的位置:首次给出逐点条件覆盖的极小极大下界(\(\rho_n\),即回归速率),并证明标准 split conformal 无法达到该速率,而提出的两阶段校准(two-stage calibration)在温和条件下达到该速率,同时保持几何效率的极小最大阶(\(\zeta_n^2\))。
-
子线索聚类:
- 共形预测的覆盖保证(Vovk et al., 2005; Lei et al., 2013; Barber et al., 2021):研究不同覆盖概念(边际、条件、分组)下的可行性边界。Barber et al. (2021) 证明无条件覆盖在无分布假设下不可能,本文在光滑性假设下给出条件覆盖的可行速率。
- 基于密度估计的预测集(Izbicki et al., 2022; Sampson & Chan, 2024; Dai et al., 2025):用密度估计的 HPD 值或水平集构造集合,其几何效率由密度估计的 sup-norm 误差控制。关键瓶颈:sup-norm 误差在 \(d_Y \ge 2\) 时无法达到回归速率。
- 局部化校准(Guan, 2023; Hore & Barber, 2025; Plassier et al., 2025a; Zhou & Müller, 2025):通过加权或局部回归校准 conformity score,改善条件覆盖。关键局限:这些方法的保证是平均意义下的,且对 score 的光滑性有额外假设。
-
极小极大理论(Stone, 1982; Tsybakov, 1997; Fan et al., 1996):非参数回归和密度估计的极小极大速率。本文的贡献在于将这两个经典速率(\(\rho_n\) 和 \(\zeta_n\))联合嵌入到共形预测的覆盖-体积权衡中。
-
这个方向在追问的核心问题:
- 条件覆盖的极小极大速率是什么? 在 \(\beta\)-Hölder 光滑假设下,逐点条件覆盖误差能否达到回归速率 \(\rho_n = (n/\log n)^{-\beta/(2\beta+d_X)}\)?本文回答:能,但需要两阶段校准。
- 几何效率(体积)的极小极大速率是什么? 在密度估计的 sup-norm 误差为 \(\zeta_n = (n/\log n)^{-\beta/(2\beta+d)}\) 时,体积误差的极小极大阶是否为 \(\zeta_n^2\)?本文回答:是,且两阶段校准达到该阶。
- 覆盖与体积能否同时达到最优? 本文证明:两阶段校准同时达到覆盖的回归速率 \(\rho_n\) 和体积的密度速率 \(\zeta_n^2\),而标准 split conformal 的覆盖误差受限于密度速率 \(\zeta_n\)(更慢)。
-
密度估计的精度如何影响覆盖? 本文的关键洞察:覆盖误差由回归问题(估计固定集合的覆盖概率)决定,而非密度估计的 sup-norm 误差。这解释了为什么两阶段校准能超越密度估计的精度限制。
-
⚠️ 作者的 framing(必须明确标注成"这是作者的说法"):作者将缺口 frame 成"标准 split conformal 用单一阈值校准,只能平均校正密度估计的偏差,其覆盖误差可能达到较慢的密度估计速率",因此提出两阶段校准——先用回归估计密度估计的超水平集的覆盖概率,再以此作为 conformity score。作者声称这是"显然的下一步",因为"覆盖概率本身是协变量的回归函数,其光滑性与条件密度相同"。被淡化或回避的竞争路线:(1) 局部化校准方法(RLCP, CP²)虽然也改善条件覆盖,但它们的保证是平均意义下的,且需要 score 的光滑性假设——作者在 Section 6.4 将其与自己的逐点保证对比,但未讨论这些方法在计算复杂度上的优势;(2) 直接估计条件分位数(quantile regression)的方法(如 Romano et al., 2019 的 CQR)未被提及,尽管它们在低维 \(d_X\) 下可能更简单;(3) 作者回避了密度估计不一致的情形——两阶段校准的覆盖保证不依赖密度估计的精度,但体积保证仍依赖,这意味着如果密度估计很差,集合可能很大但覆盖正确。
-
张力:被引工作之间存在一个根本张力:覆盖的可行性(Barber et al., 2021 证明无假设下不可能)与光滑性假设下的可行性(本文证明 \(\beta\)-Hölder 下可能)之间的边界。Barber et al. (2021) 的不可行性结果基于无分布假设,而本文的可行性结果基于光滑性假设——这两者并不矛盾,但边界在哪里(即需要多强的光滑性才能保证条件覆盖)是开放的。另一个张力:密度估计的 sup-norm 精度(控制体积)与回归精度(控制覆盖)之间的权衡——本文证明覆盖不依赖密度估计的 sup-norm 精度,但体积依赖,这意味着一个差的密度估计可以给出好的覆盖但坏的体积,这是否符合实际需求值得商榷。未见明显对立引用。
二、最核心、最简单的例子 / 数学问题¶
第一步:把符号、模型、可观测数据交代清楚
- 符号:
- 参数 / estimand:
- \(\beta\):光滑性参数(Hölder 阶),\(\beta \ge 1\)。
- \(d_X, d_Y\):协变量和响应的维度。
- \(\alpha \in (0,1)\):目标覆盖水平(如 \(\alpha = 0.1\))。
- \(\gamma^* = 1-\alpha\):目标覆盖概率。
- \(p(y|x)\):条件密度(未知,要估计的对象)。
- \(C^*(x) = \{y: p(y|x) \ge t^*(x)\}\):最优 HPD 集,其中 \(t^*(x)\) 是使 \(\mathbb{P}(Y \in C^*(x) \mid X=x) = \gamma^*\) 的水平。
- \(\lambda(\cdot)\):Lebesgue 测度(体积)。
- \(\rho_n = (n/\log n)^{-\beta/(2\beta+d_X)}\):回归速率(覆盖误差的极小最大阶)。
- \(\zeta_n = (n/\log n)^{-\beta/(2\beta+d)}\):密度估计速率(体积误差的极小最大阶),其中 \(d = d_X + d_Y\)。
- 随机变量 / 样本:
- \((X, Y) \sim P\):联合分布,\(X \in \mathbb{R}^{d_X}\),\(Y \in \mathbb{R}^{d_Y}\)。
- \(\mathcal{D}_n = \{(X_i, Y_i)\}_{i=1}^n\):训练样本(i.i.d.)。
- \(\mathcal{D}_{\text{reg}}\)、\(\mathcal{D}_{\text{cal}}\):两阶段校准中的回归样本和校准样本(不相交)。
- \(X \sim \Pi\):协变量的边缘分布。
- \(Y \mid X=x \sim P_x\):条件分布。
-
潜在 / 不可观测量:
- \(p(y|x)\):条件密度(真实但未知)。
- \(t^*(x)\):最优水平(由 \(p\) 决定,不可直接观测)。
- \(Q_x(t) = P_x(\{y: p(y|x) \ge t\})\):超水平集的覆盖概率(回归目标)。
- \(V_x(\gamma) = \lambda(\{y: p(y|x) \ge t_\gamma(x)\})\):最优体积函数。
-
模型:
- 数据生成机制:\((X_i, Y_i) \overset{\text{i.i.d.}}{\sim} P\),其中 \(P\) 满足:
- (Assumption 2.2) 条件密度 \(p(y|x)\) 作为 \((x,y)\) 的函数属于 Hölder 类 \(H^\beta(L)\),即 \(\beta\) 阶光滑。
- (Assumption 2.3) 边际密度 \(f_X\) 在 \(X_0\) 上满足 \(f_X \ge f_{\min} > 0\),且 \(f_X \in H^1(L)\)。
- (Assumption 2.4) 设计密度 \(f_X\) 在 \(X_0\) 的邻域内有下界。
- 可观测数据:训练样本 \(\mathcal{D}_n\)(用于拟合密度估计 \(\hat{p}\) 和回归 \(\hat{Q}\)),校准样本 \(\mathcal{D}_{\text{cal}}\)(用于校准阈值 \(\hat{\tau}\))。
- 要估计的对象:预测集 \(\hat{C}(x)\),要求条件覆盖 \(\mathbb{P}(Y \in \hat{C}(X) \mid X=x) \ge \gamma^*\) 且体积 \(\lambda(\hat{C}(x))\) 接近 \(\lambda(C^*(x))\)。
第二步:讲最小内核
最小内核:覆盖误差是一个回归问题,而不是密度估计问题。
考虑最简单的例子:\(d_X = d_Y = 1\),\(\beta = 2\)(二阶光滑),\(n\) 个样本。假设我们有一个密度估计 \(\hat{p}(y|x)\)(例如局部多项式估计),其 sup-norm 误差为 \(\zeta_n = (n/\log n)^{-2/5}\)(在 \(d=2\) 时)。
标准 split conformal(HPD-split): 1. 用 \(\hat{p}\) 计算 HPD 值 \(\hat{s}(x,y) = \hat{p}(y|x)\)。 2. 在校准集上计算 HPD 值 \(\{\hat{s}(X_i, Y_i)\}\),取 \(\hat{\tau}\) 为其 \(\lceil \gamma^*(n_{\text{cal}}+1)\rceil\) 分位数。 3. 输出 \(\hat{C}(x) = \{y: \hat{s}(x,y) \ge \hat{\tau}\}\)。
问题:\(\hat{C}(x)\) 的覆盖概率是 \(\mathbb{P}(\hat{s}(X,Y) \ge \hat{\tau} \mid X=x)\)。由于 \(\hat{\tau}\) 是全局阈值,它只能保证平均覆盖 \(\mathbb{E}[\hat{\gamma}(X)] \approx \gamma^*\),但逐点覆盖 \(\hat{\gamma}(x)\) 的偏差由 \(\hat{s}\) 在 \(x\) 附近的误差决定。具体地,\(\hat{\gamma}(x) - \gamma^* \approx \int_{C^*(x)} (\hat{p} - p)(y|x) dy\),其阶数为 \(\zeta_n\)(密度估计的 sup-norm 误差)。在 \(d=2\) 时,\(\zeta_n = (n/\log n)^{-2/5}\),而回归速率 \(\rho_n = (n/\log n)^{-2/5}\)(因为 \(2\beta+d_X = 4+1 = 5\))。注意:这里 \(\zeta_n = \rho_n\),因为 \(d = d_X + d_Y = 2\),\(2\beta+d = 4+2 = 6\),\(\zeta_n = (n/\log n)^{-2/6} = (n/\log n)^{-1/3}\),而 \(\rho_n = (n/\log n)^{-2/5}\)。实际上 \(\zeta_n\) 比 \(\rho_n\) 慢(\(-1/3 < -2/5\)),所以标准 split conformal 的覆盖误差是 \(\zeta_n\),达不到 \(\rho_n\)。
两阶段校准(Algorithm 1): 1. 用 \(\hat{p}\) 固定超水平集 \(\{y: \hat{p}(y|x) \ge t\}\)。 2. 关键步骤:对每个 \(x\),用回归(如局部多项式)估计 \(\hat{Q}_x(t) = \frac{1}{n_{\text{reg}}}\sum_{i \in \mathcal{D}_{\text{reg}}} w_i(x) \mathbf{1}\{\hat{p}(Y_i|X_i) \ge t\}\),即超水平集的覆盖概率。 3. 对每个 \(x\),找到 \(\hat{t}(x)\) 使 \(\hat{Q}_x(\hat{t}(x)) = \gamma^*\)。 4. 输出 \(\hat{C}(x) = \{y: \hat{p}(y|x) \ge \hat{t}(x)\}\)。
为什么有效:\(\hat{Q}_x(t)\) 是回归函数 \(Q_x(t) = P_x(\{y: p(y|x) \ge t\})\) 的估计。由于 \(Q_x(t)\) 作为 \(x\) 的函数是 \(\beta\)-光滑的(因为 \(p\) 是 \(\beta\)-光滑的),回归估计的误差是 \(\rho_n\)(回归速率),而不是 \(\zeta_n\)(密度估计速率)。因此,两阶段校准的覆盖误差是 \(\rho_n\),达到了极小最大下界。
核心数学困难:\(\hat{Q}_x(t)\) 的估计涉及非光滑指标函数 \(\mathbf{1}\{\hat{p}(y|x) \ge t\}\),其方差和偏差的权衡需要精细处理。作者通过引入margin condition(Assumption 2.3)来控制超水平集边界的体积,从而将指标函数的误差转化为密度估计误差的平方(\(\zeta_n^2\)),最终得到覆盖误差 \(\rho_n\)。
一句话总结:本文的数学贡献在于将覆盖误差从密度估计的 sup-norm 误差(\(\zeta_n\))降为回归误差(\(\rho_n\)),通过两阶段校准实现,同时保持体积误差为 \(\zeta_n^2\)(密度估计误差的平方)。
三、这篇论文做了什么¶
三句话: 1. 研究了什么问题:在 \(\beta\)-Hölder 光滑假设下,构造条件覆盖有保证且体积接近最优的共形预测集,并确定覆盖误差和体积误差的极小最大速率。 2. 核心工具 / 方法:提出两阶段校准(two-stage calibration)——先用密度估计固定超水平集,再用回归估计其覆盖概率作为 conformity score,最后用 split conformal 校准阈值。 3. 主要结论:覆盖误差的极小最大下界为回归速率 \(\rho_n = (n/\log n)^{-\beta/(2\beta+d_X)}\),体积误差的极小最大下界为 \(\zeta_n^2\)(\(\zeta_n\) 为密度估计速率);两阶段校准同时达到这两个速率,而标准 split conformal 的覆盖误差只能达到密度估计速率 \(\zeta_n\)(更慢)。
关键设定与假设: - Assumption 2.2(光滑性):条件密度 \(p(y|x)\) 作为 \((x,y)\) 的函数属于 Hölder 类 \(H^\beta(L)\),\(\beta \ge 1\)。这保证了密度估计和回归估计的速率。 - Assumption 2.3(margin condition):存在常数 \(a, c_m > 0\),使得对所有 \(x \in X_0\) 和 \(t\) 接近 \(t^*(x)\),有 \(\lambda(\{y: |p(y|x) - t| \le \epsilon\}) \le c_m \epsilon^a\)。这控制了超水平集边界的体积,是获得 \(\zeta_n^2\) 速率的关键。 - Assumption 2.4(设计密度):\(f_X\) 在 \(X_0\) 上有下界,且 \(X_0\) 的邻域内 \(f_X\) 光滑。这保证回归估计的边界效应可控。 - 相比已有文献的放宽/强化: - 放宽:相比 Barber et al. (2021) 的无假设不可行性,本文引入光滑性假设,使得条件覆盖可行。 - 强化:相比 Izbicki et al. (2022) 的 HPD-split(只要求密度估计一致),本文要求密度估计的 sup-norm 误差达到极小最大速率(\(\zeta_n\)),且要求 margin condition(Assumption 2.3)来控制边界体积。 - 关键差异:本文的覆盖保证是逐点的(对每个 \(x \in X_0\)),而 CP²(Plassier et al., 2025b)和 RLCP(Hore & Barber, 2025)的保证是平均的(对校准样本平均)。
主要结果: - Theorem 4.2(极小最大下界): - (i) 覆盖误差的极小最大下界为 \(\rho_n\)(回归速率),体积误差的极小最大下界为 \(\zeta_n^2\)(密度估计速率的平方)。 - (ii) 在体积精度至多常数倍的类中,覆盖误差的极小最大下界仍为 \(\rho_n\)。 - (iii) 均匀覆盖误差的极小最大下界为 \(\rho_n\)。 - 证明思路:构造两个难以区分的分布,一个的 HPD 集边界在 \(x\) 附近移动,另一个的边界固定,迫使任何过程在覆盖误差和体积误差之间权衡。 - Theorem 5.2(两阶段校准的覆盖保证):在 Conditions (W)、(N)、(V) 下,两阶段校准的覆盖误差为 \(O(\rho_n)\),且不依赖密度估计的精度。 - Theorem 5.3(两阶段校准的体积保证):在 Conditions (W)、(N)、(V)、(A) 下,两阶段校准的体积误差为 \(O(\zeta_n^2)\)。 - Theorem 6.1(标准 split conformal 的覆盖误差):标准 split conformal 的覆盖误差为 \(O(r_n)\),其中 \(r_n\) 是密度估计的 sup-norm 误差(\(\zeta_n\)),比 \(\rho_n\) 慢。 - Theorem 6.3(标准 split conformal 的极小最大下界):标准 split conformal 的覆盖误差的极小最大下界为 \(\zeta_n\)(密度估计速率),证明其无法达到回归速率。 - Theorem 7.1(Lq 精度到形状损失的转化):若密度估计的 Lq 误差为 \(r^{(q)}\),则形状损失为 \(O((r^{(q)})^{2q/(q+1)})\)。这解释了为什么 sup-norm 精度(\(q=\infty\))给出 \(r^2\),而 L2 精度(\(q=2\))给出 \(r^{4/3}\),更差。
证明路线与技术技巧: 1. 整体路线: - 下界:使用 Assouad's lemma(Theorem C.4),构造两个分布族,通过扰动 HPD 集边界的位置,迫使任何过程在覆盖误差和体积误差之间权衡。关键技巧是边界扰动:在 \(x\) 附近移动 HPD 集的边界,使得覆盖误差和体积误差同时被检测。 - 上界:两阶段校准的证明分为三步: - Step 1:用密度估计 \(\hat{p}\) 固定超水平集,证明其覆盖概率 \(Q_x(t)\) 是 \(\beta\)-光滑的回归函数。 - Step 2:用局部多项式回归估计 \(Q_x(t)\),得到 uniform 误差 \(\rho_n\)。 - Step 3:用 split conformal 校准阈值,将回归误差转化为覆盖误差。 - 标准 split conformal 的下界:证明其覆盖误差由密度估计的 sup-norm 误差主导,通过构造密度估计在边界附近有系统性偏差的分布。 2. 关键技巧: - 边界扰动(Theorem 4.2 的证明):在 \(x\) 附近移动 HPD 集边界,使得覆盖误差和体积误差同时被检测。具体地,构造两个分布,其 HPD 集边界在 \(x\) 附近相差 \(\delta\),但密度函数在边界附近相差 \(\delta\) 的量级,从而迫使任何过程在覆盖误差和体积误差之间权衡。 - 回归的 uniform 界(Theorem D.4):利用局部多项式回归的 uniform 收敛速率,结合 margin condition 控制边界体积,得到 \(Q_x(t)\) 的 uniform 误差 \(\rho_n\)。 - Lq 到形状损失的转化(Theorem 7.1):利用 Hölder 不等式和 margin condition,将 Lq 误差转化为形状损失,得到 \(O(r^{2q/(q+1)})\) 的界。 - 线性化(Theorem D.9):将局部多项式拟合的误差分解为线性项和余项,利用 Bernstein 不等式和块结构控制随机误差。
真实例子与应用: - 模拟实验(Section 8):三个模型——高斯、多模态、流形。比较两阶段校准(Algorithm 1)与标准 split conformal(HPD-split)、CHCDS、RLCP、CP² 等。结果显示: - 两阶段校准的覆盖误差在硬区域(hard region)显著低于标准 split conformal,接近回归速率。 - 两阶段校准的体积与标准 split conformal 相当,但在多模态和流形模型中更小。 - 标准 split conformal 的覆盖误差在硬区域受限于密度估计的 sup-norm 误差,无法达到回归速率。 - 真实数据:Capital Bikeshare 共享单车数据(Fanaee-T & Gama, 2014),以小时、温度、湿度为协变量,预测租车数量的对数。结果显示两阶段校准在高峰时段(hard region)的覆盖误差显著低于标准 split conformal,且体积更小。
🔎 结论是否比证明窄: - Theorem 5.2 的覆盖保证:证明要求 Conditions (W)、(N)、(V),其中 Condition (V) 要求候选集合族的 VC 维有界。对于神经网络密度估计,VC 维可能随网络大小增长,但作者在 Proposition 5.4 中证明了对固定架构,VC 维有界。然而,证明中的常数依赖于 VC 维,而 VC 维可能随 \(n\) 增长(如果网络大小随 \(n\) 增长),这在实际中可能不成立。 - Theorem 5.3 的体积保证:证明要求 Condition (A)(sup-norm 精度),但只对局部多项式估计验证了该条件。对于神经网络密度估计,sup-norm 精度可能无法达到极小最大速率,因此体积保证可能不成立。 - Theorem 6.3 的标准 split conformal 下界:证明假设密度估计的 sup-norm 误差为 \(\zeta_n\),但未考虑自适应带宽选择——如果带宽选择依赖于 \(x\),标准 split conformal 的覆盖误差可能改善。作者在 Remark 6.4 中讨论了 undersmoothing,但未给出严格证明。 - 结论的适用范围:作者声称两阶段校准"达到极小最大速率",但下界(Theorem 4.2)是在体积精度至多常数倍的类中证明的,而上界(Theorem 5.3)要求 sup-norm 精度。这意味着上界和下界的条件不完全匹配——下界允许任意体积,上界要求体积精度。作者在 Theorem 4.2 的陈述中明确了这个限制,但未讨论是否可以在更弱的条件下证明下界。
四、开放问题¶
-
自适应带宽选择(扎根于 Remark 6.4):作者指出 undersmoothing 可以改善标准 split conformal 的覆盖误差,但未给出严格证明。开放问题:是否存在自适应带宽选择策略,使标准 split conformal 的覆盖误差达到回归速率? 这需要证明 undersmoothing 的偏差-方差权衡在 uniform 意义下可控。
-
神经网络密度估计的 sup-norm 精度(扎根于 Theorem 5.3 的条件):作者只对局部多项式估计验证了 Condition (A),但神经网络密度估计的 sup-norm 精度可能无法达到极小最大速率。开放问题:神经网络密度估计的 sup-norm 误差是否可以达到 \(\zeta_n\)? 如果不能,两阶段校准的体积保证是否仍然成立?
-
下界条件的匹配(扎根于 Theorem 4.2 的陈述):下界在体积精度至多常数倍的类中证明,但上界要求 sup-norm 精度。开放问题:是否可以在更弱的条件下证明覆盖误差的极小最大下界? 例如,是否可以在体积精度为 \(O(\zeta_n^2)\) 的类中证明下界?
-
高维协变量的 curse of dimensionality(扎根于 Theorem 4.2 的速率):回归速率 \(\rho_n\) 在 \(d_X\) 较大时退化。开放问题:是否存在利用低维结构的自适应方法,在 \(d_X\) 较大时仍能达到更快的速率? 例如,假设 \(p(y|x)\) 只依赖于 \(x\) 的少数坐标。
-
条件覆盖的置信区间(扎根于 Theorem 5.2 的 uniform 界):作者给出了覆盖误差的 uniform 界,但未构造覆盖误差的置信区间。开放问题:如何构造覆盖误差的置信区间,使得区间长度达到极小最大速率?
-
分布偏移下的鲁棒性(扎根于 Section 6.4 的比较):两阶段校准的保证依赖于训练和测试分布一致。开放问题:在协变量偏移(covariate shift)下,两阶段校准的覆盖误差如何变化? 是否需要重新校准?
提醒:要确认上述开放问题是否是真 gap,建议去读以下近期论文的引言部分(约 5 篇): - Barber et al. (2021) "The limits of distribution-free conditional predictive inference" - Gibbs et al. (2025) "Conformal prediction with conditional guarantees" - Hore & Barber (2025) "Conformal prediction with local weights" - Plassier et al. (2025b) "Probabilistic conformal prediction" - Zhou & Müller (2025) "Conformal inference for random objects"
如果这些论文的引言都指向同一个开放问题(例如自适应带宽),那就是共识(真 gap);如果互相矛盾(例如有的认为神经网络 sup-norm 误差可达到 \(\zeta_n\),有的认为不能),那就是机会。
Maintained by 陈星宇 · Homepage · Source on GitHub