跳转至

Generalized Hierarchical Conformal Prediction

作者: Soham Mallick, Eric Tchetgen Tchetgen, Edgar Dobriban, Yonghoon Lee
主题: 因果推断
相关性: 6/10
链接: https://arxiv.org/abs/2608.15500


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是分布自由的预测推断(distribution-free predictive inference),其根本目标是在对数据生成分布几乎不做假设的前提下,为新的观测构造具有有限样本覆盖保证的预测集合。该方向的成熟度较高——自 Vovk 等人(1999, 2005)提出 conformal prediction 以来,已发展出 split conformal、加权 conformal、以及针对 covariate shift 的扩展(Tibshirani et al., 2019; Podkopaev & Ramdas, 2021)。本文聚焦于其中更细的分支:分层数据(hierarchical/grouped data)下的 conformal prediction,即数据天然按组(如学校、医院、地理区域)聚集,组内观测相关而组间独立。

发展脉络

  • 奠基工作:Vovk et al. (1999, 2005) 提出 conformal prediction 框架,在可交换性(exchangeability)假设下给出有限样本有效的预测集合。这是整个领域的起点。
  • 计算可行化:Papadopoulos et al. (2002) 提出 split conformal prediction,将样本划分为训练集和校准集,避免了全量 conformal 的计算负担,使方法可扩展到现代机器学习模型。
  • 突破可交换性限制:Tibshirani et al. (2019) 将 conformal prediction 推广到 covariate shift 场景,通过加权(weighted)conformal 处理训练与测试分布不一致的问题;Podkopaev & Ramdas (2021) 进一步处理 label shift。
  • 分层数据的引入:Dunn et al. (2023) 首次系统研究两层分层模型下的分布自由预测集合,提出 CDF pooling、单次子采样和重复子采样三种方法。作者在文中将其定位为"预测新组首个观测"的场景。
  • HCP 的提出:Lee et al. (2026) 引入 hierarchical conformal prediction,在分层可交换性(hierarchical exchangeability)假设下,为"从未见过的新组的第一个观测"构造预测集合。其关键创新是加权秩论证(weighted rank argument),允许组内样本量不同。
  • 对称性推广:Dobriban & Yu (2025) 提出 SymmPI 框架,将预测推断推广到一般群对称性(group symmetry)场景,HCP 是其特例。
  • 多环境预测:Duchi et al. (2025) 研究多环境下的预测推断,提出 batch coverage 概念,与本文的场景有交叉但目标不同(他们关注多个测试环境,本文关注单个部分观测的测试组)。
  • 本文位置:本文填补的缺口是——当测试组已有少量观测(而非零观测)时,如何同时利用参考组信息和测试组内部信息。HCP 因对称性条件不满足而无法使用这些观测;标准 conformal 在测试组内单独使用又因样本太少而失效。

子线索聚类

  1. 可交换性假设的放松:从完全可交换(Vovk et al.)→ 加权可交换(Tibshirani et al. 处理 covariate shift)→ 分层可交换(Lee et al.)→ 群对称(Dobriban & Yu)→ 本文的部分观测测试组场景。这条线索的核心问题是:在何种对称性假设下,conformal 的秩论证仍然成立?
  2. 效率改进策略:从全量 conformal → split conformal → 本文的"借用参考组 + 利用测试组内部信息"。这条线索的核心问题是:如何在保证覆盖的前提下缩小预测集合?
  3. 覆盖概念的选择:边际覆盖(marginal coverage)→ 条件覆盖(conditional coverage)→ batch coverage(Duchi et al.)。本文沿用边际覆盖,但通过测试组内部校准试图改善条件覆盖行为。

这个方向在追问的核心问题

  1. 对称性条件与覆盖保证的权衡:HCP 的分层可交换性比完全可交换弱,但比"测试组部分观测"强。本文的核心问题是:当测试组已有观测时,如何通过"捐赠"策略恢复某种形式的对称性?
  2. 参考组信息的有效利用:在分层数据中,参考组提供了关于组间分布的信息,但组内样本量差异导致简单的 pooling 失效。HCP 的加权方案解决了"新组零观测"场景,本文将其推广到"新组少量观测"。
  3. 有限样本精确性 vs 渐近效率:conformal 方法的吸引力在于有限样本保证,但代价是保守性。本文的捐赠策略本质上是在有限样本保证和效率之间做权衡。

⚠️ 作者的 framing

作者将缺口 frame 为:"HCP 只能处理测试组零观测的场景,但实际中常有少量观测可用;这些观测既不能直接用于 HCP(破坏对称性),又太少不足以单独做 conformal。" 作者声称其贡献是"恢复对称性"的捐赠策略,以及利用测试组内部信息改进非一致性分数质量的机制。作者淡化的竞争路线包括:(i) 直接对测试组做标准 conformal(作者指出样本太少时预测集合平凡);(ii) 将测试组观测直接并入参考组(作者指出这破坏分层可交换性);(iii) Duchi et al. 的 batch coverage 框架(作者指出目标不同,他们不针对单个测试组的边际覆盖)。

张力

未见明显对立引用。但存在一个值得注意的张力:Dunn et al. (2023) 的 CDF pooling 方法在"预测新组首个观测"场景下与 HCP 竞争,而本文的 GHCP 在测试组有观测时优于两者。作者在实验中将 CDF pooling 作为 baseline,但未讨论其与 GHCP 在理论层面的关系——CDF pooling 是否可以被视为 GHCP 在某种捐赠策略下的特例?这是一个值得研究者去查的问题。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号清单(逐个点名):

记号 含义 类型
\(K\) 参考组数量 常数(已知)
\(N_j\) 第 \(j\) 组的样本量 随机变量(参考组)
\(o\) 测试组已观测样本量 常数(已知)
\(U_j\) 第 \(j\) 组的组级特征 随机变量
\(Z_{j,i} = (X_{j,i}, Y_{j,i})\) 第 \(j\) 组第 \(i\) 个观测的(特征, 响应)对 随机变量
\(W_{j,i} = (U_j, Z_{j,i})\) 含组级特征的完整观测 随机变量
\(\widetilde{W}_j = (W_{j,1}, \ldots, W_{j,N_j})\) 第 \(j\) 组的完整观测序列 随机变量(变长)
\(\mu_j\) 第 \(j\) 组的潜在分布(组级随机测度) 潜在量(不可观测)
\(s: \mathcal{W} \to \mathbb{R}\) 非一致性分数函数 已知(由训练数据构造)
\(\alpha\) 名义误差水平 常数(已知)
\(Q_\beta(\nu)\) 概率测度 \(\nu\) 的 \(\beta\) 分位数 泛函
\(\nu_{\text{donor}}\) GHCP 构造的校准测度 可观测数据的函数

模型(数据生成机制):

  1. 组级:存在 \(K+1\) 个组(\(K\) 个参考组 + 1 个测试组)。组级潜在量 \((U_j, \mu_j)\) 是 i.i.d. 的(Assumption A1)。
  2. 组内:给定 \((U_j, \mu_j)\),组内观测 \(Z_{j,1}, Z_{j,2}, \ldots\) 是 i.i.d. 的(Assumption A3)。
  3. 样本量:参考组样本量 \(N_j\) 与组内观测独立,且与组级潜在量独立(Assumption A2,即"组大小可忽略性")。
  4. 测试组:已有 \(o\) 个观测 \(W_{K+1,1}, \ldots, W_{K+1,o}\),目标是预测 \(Y_{K+1,o+1}\)(第 \(o+1\) 个观测的响应),其对应的特征 \(X_{K+1,o+1}\) 已知。

可观测数据: - 参考组完整数据:\(\{\widetilde{W}_j\}_{j=1}^K\)(含组级特征 \(U_j\) 和组内观测 \(Z_{j,i}\)) - 测试组部分数据:\(W_{K+1,1}, \ldots, W_{K+1,o}\)(含 \(U_{K+1}\) 和 \(o\) 个观测) - 测试组新观测的特征:\(X_{K+1,o+1}\)(或 \(U_{K+1}, X_{K+1,o+1}\))

关键区分: - 可观测:\(U_j, Z_{j,i}, N_j, o\)(所有数据) - 不可观测(潜在量):\(\mu_j\)(组级分布)、\(B_j\)(组级随机效应)、\(Y_{K+1,o+1}\)(待预测响应) - 要估计的:预测集合 \(\widehat{C}(U_{K+1}, X_{K+1,o+1}) \subseteq \mathcal{Y}\),使得 \(P\{Y_{K+1,o+1} \in \widehat{C}\} \geq 1 - \alpha\)

第二步:最小内核

核心困难:测试组已有 \(o\) 个观测,但这些观测不能直接用于校准——因为测试组的"完整大小" \(N_{K+1}\) 未知,且 \(o\) 与 \(N_{K+1}\) 的关系(是前缀?是随机子集?)未建模。HCP 的对称性论证要求测试组是"完整的新组",而这里测试组是"部分观测的组"。

最小例子(\(d=1\),单变量响应,无特征 \(X\),无组级特征 \(U\)):

设 \(K\) 个参考组,第 \(j\) 组有 \(N_j\) 个观测 \(Y_{j,1}, \ldots, Y_{j,N_j}\)。测试组已有 \(o\) 个观测 \(Y_{K+1,1}, \ldots, Y_{K+1,o}\),要预测 \(Y_{K+1,o+1}\)。

HCP 的做法(当 \(o=0\) 时):将每个参考组视为一个"块",计算组内均值 \(\bar{Y}_j\),然后对 \(\bar{Y}_j\) 做加权秩。权重为 \(1/(K+1)\) 分配给每个组,组内再均分。这保证了每个组(包括测试组)在秩论证中地位对称。

GHCP 的核心想法:当 \(o > 0\) 时,测试组不再"对称"——它已有 \(o\) 个观测,而参考组有 \(N_j\) 个。GHCP 通过随机捐赠恢复对称性:

  1. 捐赠:从参考组中随机选一个"捐赠者" \(J_0\),将其大小 \(N_{J_0}\) 赋给测试组,即令 \(N_{K+1} = N_{J_0}\)。
  2. 截断:如果 \(N_{J_0} < o\),则测试组"过大",无法处理;如果 \(N_{J_0} \geq o\),则测试组被视为"大小为 \(N_{J_0}\) 的组,但只观测了前 \(o\) 个"。
  3. 校准:对每个参考组 \(j\),计算组内均值 \(\bar{Y}_j\);对测试组,计算前 \(o\) 个观测的均值 \(\bar{Y}_{K+1,o}\)。然后构造加权经验分布:
    \[\nu_{\text{donor}} = \sum_{j \in \mathcal{S}_{\text{cal}}} \frac{1}{|\mathcal{S}_{\text{cal}}| N_j} \sum_{i=1}^{N_j} \delta_{s(Y_{j,i})} + \frac{1}{|\mathcal{S}_{\text{cal}}| N_{K+1}} \sum_{i=1}^{o} \delta_{s(Y_{K+1,i})} + \frac{N_{K+1} - o}{|\mathcal{S}_{\text{cal}}| N_{K+1}} \delta_{\infty}.\]

为什么成立:捐赠后,测试组被视为"大小为 \(N_{J_0}\) 的组,前 \(o\) 个观测已知,剩余 \(N_{J_0} - o\) 个未观测"。在分层可交换性下,这个"部分观测的测试组"与参考组(完整观测)在秩论证中地位对称——因为每个组都有"未观测部分"(参考组的未观测部分是组内尚未抽取的观测,测试组的未观测部分是 \(N_{J_0} - o\) 个虚拟观测)。将未观测分数设为 \(+\infty\) 保证了预测集合的保守性。

要证明的命题(退化形式):对任意 \(\alpha \in (0,1)\),

\[P\left\{Y_{K+1,o+1} \in \widehat{C}_{\text{GHCP}}(Y_{K+1,1}, \ldots, Y_{K+1,o})\right\} \geq 1 - \alpha.\]

证明的关键步骤: 1. 捐赠恢复对称性(Lemma E.1):捐赠后,参考组和测试组构成一个分层可交换的集合。 2. 加权秩论证(Lemma E.2):在分层可交换性下,测试组第 \(o+1\) 个观测的分数在加权经验分布中的秩是均匀的。 3. 处理部分观测:将未观测分数设为 \(+\infty\) 只会使分位数更保守,因此覆盖保证成立。

为什么这个例子是"最小内核":它剥离了所有特征 \(X\)、组级特征 \(U\)、以及非平凡分数函数的复杂性,直指本文的核心贡献——通过随机捐赠恢复对称性。一旦理解了捐赠策略如何恢复对称性,加上特征和复杂分数函数只是技术性的推广。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在分层数据中,当测试组已有少量观测(而非零观测)时,如何构造具有有限样本覆盖保证的预测集合。
  2. 核心工具/方法:提出 Generalized Hierarchical Conformal Prediction (GHCP),通过随机"捐赠"参考组大小给测试组来恢复分层可交换性,并利用测试组内部观测改进非一致性分数。
  3. 主要结论:GHCP 在分层可交换性(Assumptions A1–A3)下达到有限样本边际覆盖保证;当所有参考组大小相等且 \(o\) 足够大时,其覆盖上界优于 HCP;模拟和 ACS 数据实验验证了方法的有效性。

关键设定与假设

  • Assumption A1(组级可交换性):\((U_j, \mu_j)\) 在 \(j = 1, \ldots, K+1\) 上可交换。这比 HCP 的组级可交换性弱——HCP 要求整个组 \(\widetilde{W}_j\) 可交换,而这里只要求潜在量可交换。
  • Assumption A2(组大小可忽略性):参考组大小 \(N_j\) 与 \((U_j, \mu_j)\) 独立。这是本文的核心假设,也是与 HCP 的关键区别——HCP 允许 \(N_j\) 与 \(\mu_j\) 相关(只要组间可交换),而 GHCP 需要 \(N_j\) 不携带关于 \(\mu_j\) 的信息。
  • Assumption A3(组内 i.i.d.):给定 \((U_j, \mu_j)\),组内观测 i.i.d.。这是标准假设,与 HCP 一致。
  • Assumption A4(无并列):分数几乎必然无并列。这是技术性假设,用于简化秩论证。

相比已有工作的变化: - 相比 HCP:放宽了"测试组必须零观测"的限制,但引入了组大小可忽略性(A2)。 - 相比 Dunn et al. (2023):目标不同——他们预测新组的首个观测,本文预测新组的第 \(o+1\) 个观测。 - 相比 Duchi et al. (2025):他们关注 batch coverage(多个测试环境),本文关注单个测试组的边际覆盖。

主要结果

Theorem 2.1(有限样本覆盖):在 A1–A3 下,GHCP 预测集合满足 \(P\{Y_{K+1,o+1} \in \widehat{C}_{\text{GHCP}}\} \geq 1 - \alpha\)。证明路线: 1. Lemma E.1:捐赠后,参考组和测试组构成分层可交换集合。 2. Lemma E.2:在分层可交换性下,测试组第 \(o+1\) 个观测的分数在加权经验分布中的秩满足覆盖保证。 3. 组合:将 Lemma E.2 应用于捐赠后的集合,得到 Theorem 2.1。

Corollary 2.3(与 HCP 比较):当所有参考组大小相等且 \(o\) 足够大时,GHCP 的覆盖上界 \(\Delta_{\text{GHCP}}(o) < \Delta_{\text{HCP}}\)。直觉:GHCP 利用了测试组内部信息,校准更精确。

Corollary 2.4(充分条件):若 \(P\{N_1 > o\} \geq \sqrt{(K_1+1)/K}\),则 GHCP 的覆盖上界不差于 HCP。这给出了一个可操作的判据。

Theorem C.2(去随机化):通过算术平均合并(Vovk & Wang, 2020)消除捐赠的随机性,构造确定性预测集合,仍保持覆盖保证。

证明路线与技术技巧

整体路线(以 Theorem 2.1 为例): 1. 条件化:固定捐赠者 \(J_0\) 和捐赠大小 \(N_{J_0}\)。 2. 对称性论证:证明捐赠后,参考组和测试组在分层可交换性下对称。 3. 秩论证:利用加权秩论证,证明测试分数在加权经验分布中的秩是随机的。 4. 分位数比较:将 GHCP 的分位数与全数据分位数比较,得到覆盖保证。

关键跳跃点: - Lemma E.1 的证明:这是最吃功夫的部分。需要证明捐赠操作不破坏分层可交换性。关键在于 Assumption A2——组大小与组级潜在量独立,因此捐赠大小 \(N_{J_0}\) 不携带关于 \(\mu_{K+1}\) 的信息。 - Lemma E.2 的证明:需要处理"部分观测的测试组"与"完整观测的参考组"之间的不对称性。作者通过将未观测分数设为 \(+\infty\) 来恢复对称性,但需要证明这不会破坏覆盖保证。

技术技巧点名: - 加权秩论证(weighted rank argument):源自 Lee et al. (2026),本文将其推广到部分观测场景。 - 随机捐赠:核心创新,通过随机化恢复对称性。 - \(+\infty\) 占位:将未观测分数设为 \(+\infty\),保证保守性。 - 算术平均合并(Vovk & Wang, 2020):用于去随机化。 - 排列可交换性:利用组级排列不变性进行论证。

真实例子与应用

模拟实验(Section 3.1): - 数据生成:\(K=20\) 个参考组,\(N_j \equiv 21\)(固定)或 \(N_j \sim \text{Poisson}(25)\)(随机),组级潜在效应 \(B_j \sim N(0, \gamma^2)\),\(\gamma=5\),组内观测 \(Z_{j,i} \sim N(\mu(U_j) + B_j, \Sigma(U_j))\)。 - 比较对象:GHCP vs HCP vs 标准 conformal(测试组内)。 - 结果:GHCP 在 \(o \geq 14\) 时产生非平凡预测集合,而 HCP 始终平凡(无限宽);GHCP 的覆盖始终 \(\geq 1-\alpha\),宽度随 \(o\) 增大而减小。

ACS 数据应用(Section 3.2): - 数据:美国社区调查(ACS)2018 年加州 PUMA 数据,12,285 名外国出生的 25-54 岁成年人,265 个 PUMA,过滤后 212 个。 - 任务:预测年收入。 - 结果:GHCP 在 \(o=20\) 时宽度比 HCP 减少 67.08%,覆盖率为 0.938(名义 0.90),略保守但可接受。

实验想说明什么:GHCP 在测试组有少量观测时能显著提高效率,同时保持覆盖保证;对组大小可忽略性的适度偏离(如 Poisson 组大小)不破坏有效性。

🔎 结论是否比证明窄

  • Theorem 2.1 的证明要求 Assumption A2(组大小可忽略性),但实验(Appendix D.3)显示在 \(\xi=0.75\) 的强偏离下覆盖仍接近名义水平。作者在 Discussion 中承认"有限样本保证不再适用",但未给出定量刻画。
  • Corollary 2.3 的证明要求所有参考组大小相等,但实验中的 Poisson 组大小设计不满足此条件。作者未明确说明该结果是否在不等组大小下成立。
  • Theorem C.2(去随机化) 的证明中,算术平均合并的保守性(因子 2)被承认,但未讨论是否有更紧的合并方式。
  • 一个值得注意的 gap:作者在 Appendix D.1 中比较了随机森林与 Bayes 最优预测器,但未讨论分数函数的选择对 GHCP 效率的影响——这是一个被实验掩盖、但理论上未解决的问题。

四、开放问题

  1. 组大小可忽略性的放松:Assumption A2 是核心假设,但实验显示适度偏离不影响有效性。能否在"组大小与组级潜在量弱相关"的条件下给出定量覆盖界?(扎根于 Appendix D.3 的敏感性实验和 Discussion 中的承认)

  2. 最优捐赠策略:本文的捐赠策略是均匀随机选择,但直觉上应优先选择大小接近 \(o\) 的参考组。是否存在最优捐赠分布,在保持覆盖的同时最小化期望宽度?(扎根于 Section 2.3 的"限制合格捐赠者集合"的变体,但未讨论最优性)

  3. 分数函数的自适应选择:本文使用绝对残差分数,但 Appendix D.1 显示 Bayes 预测器能显著提高效率。如何自适应地选择分数函数以最小化预测集合宽度,同时保持覆盖?(扎根于 Appendix D.1 的 Bayes 最优预测器比较)

  4. 去随机化的紧致性:Theorem C.2 的算术平均合并引入因子 2 的保守性。是否存在更紧的合并方式,利用捐赠者之间的依赖结构?(扎根于 Remark C.3 的承认)

  5. 条件覆盖的改进:本文保证的是边际覆盖。能否在分层结构下构造具有条件覆盖(给定组特征 \(U\))的预测集合?(扎根于 Section 1.3 对条件覆盖的讨论,但未给出方法)

  6. 与因果推断的衔接:本文的框架适用于"新组部分观测"场景,这与因果推断中的"新站点外推"问题(如多中心试验中预测新中心的处理效应)有结构相似性。如何将 GHCP 的捐赠思想推广到潜在结果框架?(扎根于作者对纵向/分组数据应用的提及,但未展开)


提醒:要确认上述某条是否是真 gap,建议去读以下近期工作的 intro:(i) 关于 conformal prediction 在非可交换数据上的扩展(如 Barber 等人的近期工作);(ii) 关于分层贝叶斯预测区间的工作;(iii) 关于多环境外推的因果推断文献。如果多个近期工作都指向同一问题,那很可能是共识性 gap;如果互相打架,则可能是机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论