Conformal Bayes for Two-Sided Censored Gaussian Regression under Label Shift¶
作者: Seungjin Choi
主题: 因果推断
相关性: 6/10
链接: https://arxiv.org/abs/2607.02173
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是分布偏移下的预测不确定性量化,具体聚焦于"标签偏移(label shift)"与"删失响应(censored response)"的交汇处。其根本统计问题是:当训练与部署时的响应边际分布发生变化(标签偏移),且响应变量因检测限而在两侧被截断(如药代动力学中的浓度低于定量限、毒性试验中的饱和效应)时,如何构造对目标域具有边际覆盖保证的预测集。该方向的成熟度处于快速发展但尚未定型的阶段——共形预测(conformal prediction)的有限样本覆盖理论已成熟,标签偏移的加权校正方法也已建立,但二者的结合在混合分布(原子+连续)空间上的处理仍是开放问题。
发展脉络(history)¶
奠基工作:共形预测的有限样本保证由 Vovk et al. (2005) 建立,其核心思想是通过交换性假设构造无分布假设的预测集。Shafer and Vovk (2007) 的教程(被引文献[2])系统阐述了共形预测的在线学习框架,确立了"非符合度分数 + 分位数校准"的基本范式。这一阶段的工作假设训练与测试数据同分布,为后续扩展提供了基准。
主要进展——分布偏移下的共形预测:Tibshirani et al. (2019)(被引文献[3])将共形预测推广到协变量偏移(covariate shift)场景,通过似然比加权修正校准分位数,建立了加权共形预测的理论框架。Barber et al. (2023)(被引文献[5])进一步放宽交换性假设,处理更一般的非交换性数据,引入加权分位数和随机化技术。这两篇工作构成了本文方法论的直接基础——本文的加权校准步骤正是 Tibshirani et al. (2019) 框架在删失空间上的推广。
并行线索——标签偏移的估计与校正:Lipton et al. (2018)(被引文献[4])提出黑箱偏移估计(BBSE),利用混淆矩阵的矩匹配估计标签偏移量,其关键洞见是"预测器的混淆矩阵在偏移下保持稳定"。Garg et al. (2020)(被引文献[8])统一了 BBSE 与极大似然估计(MLLS)的视角,证明了二者的等价性条件。Azizzadenesheli et al. (2019)(被引文献[6])则将标签偏移校正嵌入正则化学习框架,给出泛化界。这条线索为本文提供了标签偏移的建模语言——但注意,这些工作都假设响应是离散类别或完全观测的连续变量,未涉及删失。
当前 frontier——贝叶斯共形与删失数据:Fong and Holmes (2021)(被引文献[11])提出共形贝叶斯计算,通过加一重要性采样从后验样本构造校准预测集,将贝叶斯不确定性量化与共形保证结合。Candès et al. (2023)(被引文献[9])将共形预测扩展到右删失的生存分析,但处理的是"事件时间缺失"而非"检测限截断"。本文作者的前作 Choi (2026)(被引文献[1])建立了无删失情形下标签偏移的共形贝叶斯框架,区分了"事后校准"与"训练中适应"两种策略。本文的位置:在上述工作的交汇处——将共形贝叶斯从连续空间推广到混合空间(原子+连续),并处理标签偏移在删失观测上的特殊表现。
子线索聚类¶
- 共形预测的分布偏移扩展(被引文献[2][3][5]):核心问题是"当交换性被破坏时,如何保持覆盖保证"。方法包括加权分位数、随机化、稳健化。这条线索为本文提供了校准工具。
- 标签偏移的估计与校正(被引文献[4][6][8]):核心问题是"如何从无标签目标数据估计偏移量"。方法包括矩匹配、极大似然、正则化。这条线索为本文提供了偏移建模工具。
- 贝叶斯共形与删失数据(被引文献[1][9][11]):核心问题是"如何将模型不确定性纳入共形校准"。方法包括后验倾斜、重要性采样、删失加权。这条线索是本文的直接对话对象。
这个方向在追问的核心问题¶
- 覆盖保证的适用边界:加权共形预测在何种偏移程度下仍保持有限样本覆盖?Tibshirani et al. (2019) 的答案是"已知似然比",但删失使得似然比在观测空间上不再是普通密度比——这是本文要解决的核心技术困难。
- 效率与有效性的权衡:在恢复覆盖的同时,如何最小化预测集的大小?本文的答案是"倾斜分数 + 加权校准"的双重校正,但作者也承认存在边际覆盖与分量行为之间的权衡。
- 删失机制的角色:删失究竟是"信息损失"还是"分布结构的额外约束"?本文的立场是后者——删失将连续问题转化为混合空间问题,反而提供了可解析处理的闭式结构。
⚠️ 作者的 framing(必须明确标注成"这是作者的说法")¶
作者将本文的贡献 frame 为"混合空间上的共形贝叶斯"(mixed-space conformal Bayes),其核心论点是:删失不是共形预测的障碍,而是需要重新定义"密度"概念的机会。作者声称,在删失观测下,标签偏移的似然比自然分解为"原子比 + 内部密度比"三部分,这比连续情形更丰富但也更复杂。作者淡化了以下竞争路线:(i) 直接对删失数据做插补后再用标准共形方法(如多重插补 + 共形),认为这会丢失原子信息;(ii) 使用生存分析框架(如 Candès et al. 2023),认为那是"事件时间缺失"而非"检测限截断",问题结构不同。作者还回避了估计误差的传播分析——即当权重 ŵ 从数据估计而非已知时,覆盖保证如何退化。
张力¶
未见明显对立引用。但存在一个值得注意的内部张力:作者在 Remark 2 中承认,实际算法用标量边际原子比代替输入依赖的条件原子比(式 35 → 式 23),这是一个近似。然而在 Proposition 3 的证明中,作者声称加权共形的有效性"不依赖 Tobit 似然或 Laplace 近似的正确性"——这意味着近似只影响效率不影响有效性。这个论断在合成实验中成立,但作者没有给出近似误差的显式界。另一个潜在张力是:作者强调"倾斜分数校正几何"与"加权校准校正测度"的正交性,但在删失空间中,几何(哪些点进入集合)与测度(如何加权)通过原子-内部边界耦合,这种正交性在强删失下可能失效。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号清单(逐个点名):
| 记号 | 含义 | 类型 |
|---|---|---|
| \(Y^*\) | 潜在(未被删失的)连续响应 | 潜在量(不可观测) |
| \(\tilde{Y}\) | 实际观测到的删失响应 | 可观测随机变量 |
| \(X\) | 协变量 / 输入特征 | 可观测随机变量 |
| \(L, U\) | 下、上检测限 | 已知常数 |
| \(T(\cdot)\) | 删失映射 \(T(y^*) = \max\{L, \min\{y^*, U\}\}\) | 确定性函数 |
| \(\pi_L(x), \pi_U(x)\) | 给定 \(x\) 时左、右删失概率 | 由模型导出的参数 |
| $f(y | x)$ | 内部区间 \((L,U)\) 上的条件密度 |
| \(\mu(x), \sigma^2(x)\) | 潜在高斯的条件均值与方差 | 参数(待估计) |
| \(\theta\) | 线性头权重(\(\mu(x) = \theta^\top \phi(x)\)) | 参数(待估计) |
| \(\sigma^2_\varepsilon\) | 潜在噪声方差 | 参数(待估计) |
| \(p^s, p^t\) | 源域(训练)与目标域(部署)分布 | 分布 |
| \(w(\tilde{y})\) | 观测空间上的重要性权重 \(dP^t_{\tilde{Y}}/dP^s_{\tilde{Y}}\) | 已知或估计的函数 |
| \(\beta\) | 标签偏移的指数倾斜参数 | 参数(待估计) |
| \(s^{UT}, s^{WS}, s^{WT}\) | 三种非符合度分数 | 分数函数 |
| \(\hat{q}\) | 加权分位数阈值 | 校准量 |
| \(\mu^t(x)\) | 倾斜后的目标均值 \(\mu(x) + \beta\sigma^2(x)\) | 导出量 |
| \(Z(x)\) | 混合归一化常数(三部分) | 导出量 |
| \(\mu_p, \sigma^2_p\) | 源域边际的均值与方差 | 参数 |
模型(数据生成机制):
- 潜在层:\(Y^*_i \mid x_i, \theta \sim N(\theta^\top \phi(x_i), \sigma^2_\varepsilon)\),其中 \(\theta \sim N(0, \tau^2 I_d)\) 为高斯先验。
- 删失层:\(\tilde{Y}_i = T(Y^*_i)\),即 \(Y^*_i \leq L\) 时记录为 \(L\),\(Y^*_i \geq U\) 时记录为 \(U\),否则记录精确值。
- 标签偏移层:目标域的潜在分布为 \(p^t(y^* \mid x) \propto p^s(y^* \mid x) \exp(\beta y^*)\),即指数倾斜。这等价于目标域的潜在均值偏移 \(\mu^t(x) = \mu(x) + \beta\sigma^2(x)\),方差不变。
可观测数据: - 训练集 \(\mathcal{D}_{\text{tr}} = \{(x_i, \tilde{y}_i)\}_{i=1}^n\):源域,含删失。 - 校准集 \(\mathcal{D}_{\text{cal}} = \{(x_i, \tilde{y}_i)\}_{i=1}^m\):源域,用于共形校准。 - 目标域输入 \(x_{\text{test}}\):无响应标签,仅用于构造预测集。
关键区分: - 可观测:\(\tilde{y}\)(含原子 \(L, U\) 和内部精确值)、\(x\)、\(L, U\)。 - 不可观测(潜在):\(Y^*\)(删失前的真实值)、\(\beta\)(偏移参数)、\(\theta\)(回归权重)。 - 估计目标:对新的 \(x_{\text{test}}\),构造 \(\hat{C}(x_{\text{test}}) \subseteq \{L\} \cup (L,U) \cup \{U\}\),使得 \(P^{t}(\tilde{Y}_{\text{test}} \in \hat{C}(x_{\text{test}})) \geq 1-\alpha\)(边际覆盖)。
第二步:最小内核¶
核心问题:在删失 + 标签偏移下,如何构造预测集?
最小设定(剥去所有一般性): - 潜在响应 \(Y^* \sim N(\mu, \sigma^2)\),无协变量(\(x\) 退化为常数)。 - 删失:\(L = 0, U = 1\)(标准化)。 - 标签偏移:目标域潜在分布 \(N(\mu + \beta\sigma^2, \sigma^2)\)。 - 已知 \(\mu, \sigma^2, \beta\)(先看 oracle 情形)。
可观测分布(源域):
目标域分布(倾斜后):
关键观察:在删失空间上,目标域与源域的似然比 \(w(\tilde{y}) = dP^t_{\tilde{Y}}/dP^s_{\tilde{Y}}\) 是三部分分段函数:
为什么这不是普通密度比:在连续情形下,\(w(y) = \exp(\beta y - \text{const})\) 是光滑函数。但在删失空间上,\(w\) 在原子处是概率比(而非密度比),在内部是密度比。这两者不可直接比较——原子处的 \(w\) 无量纲,内部处的 \(w\) 有 \(1/\text{单位}\) 的量纲。因此,加权共形校准中的权重 \(w(\tilde{y}_i)\) 必须按分量分别处理。
最小内核的数学命题:
命题(最小版):设 \((\tilde{Y}_1, \ldots, \tilde{Y}_n) \sim P^s\) i.i.d.,\((\tilde{Y}_{\text{test}}, X_{\text{test}}) \sim P^t\) 独立。定义分数 \(s(\tilde{y}) = -\log p^t(\tilde{y})\)(目标域负对数密度)。则加权共形校准的预测集 \(\hat{C}(x_{\text{test}}) = \{\tilde{y} : s(\tilde{y}) \leq \hat{q}\}\),其中 \(\hat{q}\) 是加权经验分布 \(\sum_i w(\tilde{y}_i) \delta_{s(\tilde{y}_i)}\) 的 \(\lceil(1-\alpha)(n+1)\rceil/n\) 分位数,满足 \(P^t(\tilde{Y}_{\text{test}} \in \hat{C}(X_{\text{test}})) \geq 1-\alpha\)。
证明思路(最小版):关键在于加权交换性——虽然 \((\tilde{Y}_i)\) 在 \(P^t\) 下不交换,但重要性权重 \(w(\tilde{y}_i)\) 使得加权秩统计量在 \(P^t\) 下具有均匀性。具体地,定义"伪分数" \(s_i = s(\tilde{y}_i)\) 和权重 \(w_i = w(\tilde{y}_i)\),则加权秩 \(\frac{\sum_j w_j \mathbf{1}\{s_j \leq s_i\}}{\sum_j w_j}\) 在 \(P^t\) 下近似均匀。这本质上是 Tibshirani et al. (2019) 的加权共形引理在混合空间上的应用——但需要验证 \(w\) 的三部分结构不破坏加权交换性。
这个最小内核揭示了什么: 1. 删失不是障碍而是结构:\(w\) 的三部分结构虽然复杂,但每一部分都有闭式表达式(高斯 CDF 和密度),这使得加权共形校准可以精确实现。 2. 效率的关键在分数选择:\(s^{WT} = -\log p^t\) 同时编码了目标域的几何(通过倾斜)和测度(通过权重),这是它比 \(s^{WS}\) 更高效的原因。 3. 近似误差的来源:当 \(w\) 被估计而非已知时(Remark 2 的标量近似),加权交换性被破坏,覆盖保证退化为近似保证——这正是作者在 Proposition 3 中区分"oracle 有效"与"校准近似"的原因。
三、这篇论文做了什么¶
三句话¶
① 研究了什么问题:在双侧删失高斯回归中,当训练与部署之间存在标签偏移时,如何构造对目标域具有边际覆盖保证且几何高效的预测集。
② 核心工具 / 方法:将贝叶斯后验预测倾斜(指数倾斜 \(\exp(\beta y)\))与加权共形校准(Tibshirani et al., 2019)结合,在混合观测空间(原子 \(L, U\) + 内部连续)上定义三部分重要性权重,并利用 Laplace 近似得到闭式的混合 HDR 预测集。
③ 主要结论:加权倾斜共形贝叶斯(WT)在恢复目标域边际覆盖的同时,比加权源分数(WS)产生更小的预测集;但覆盖保证是边际的而非分量条件的,且标量原子权重近似在强删失下会导致分量间覆盖不均。
关键设定与假设¶
在最小内核基础上,本文补全的设定包括:
-
贝叶斯预测头:\(\theta \sim N(0, \tau^2 I_d)\),似然为双侧删失高斯似然(式 5)。Laplace 近似给出 \(\theta \mid \mathcal{D}_{\text{tr}} \approx N(\hat{\theta}, \hat{\Sigma}_\theta)\),其中 \(\hat{\theta}\) 是 MAP,\(\hat{\Sigma}_\theta\) 是负 Hessian 逆。关键假设:后验充分集中,Laplace 近似误差可忽略。
-
标签偏移模型:目标域潜在分布 \(p^t(y^* \mid x) \propto p^s(y^* \mid x) \exp(\beta y^*)\)。关键假设:偏移仅通过潜在响应 \(Y^*\) 的指数倾斜发生,协变量分布不变(\(P^s_X = P^t_X\)),且 \(\beta\) 可从无标签目标数据估计(如通过矩匹配或极大似然)。
-
观测空间上的重要性权重(式 17):
\[w(\tilde{y}) = \begin{cases} \frac{\rho_{t,L}}{\rho_{s,L}}, & \tilde{y} = L, \\ \frac{g_t(y)}{g_s(y)}, & L < \tilde{y} < U, \\ \frac{\rho_{t,U}}{\rho_{s,U}}, & \tilde{y} = U. \end{cases}\]关键假设:权重有界(\(0 < w \leq W_{\max}\)),且分母不接近零(源域在每个分量上都有足够质量)。 -
分数选择(式 36):
- \(s^{UT} = -\log p^t(\tilde{y} \mid x)\):目标域负对数密度,无权重校准。
- \(s^{WS} = -\log p^s(\tilde{y} \mid x)\):源域负对数密度,有权重校准。
- \(s^{WT} = -\log p^t(\tilde{y} \mid x)\):目标域负对数密度,有权重校准。
相比已有文献的放宽/强化: - 放宽:不要求完全交换性,允许标签偏移;不要求响应完全观测,允许双侧删失。 - 强化:要求偏移形式为指数倾斜(参数化),而非一般似然比;要求贝叶斯后验可 Laplace 近似。
主要结果¶
理论结果:
-
命题 1(混合 HDR 结构):WT 预测集分解为原子决策 + 内部区间。原子 \(L\) 被包含当且仅当 \(\pi^t_L(x) \geq \lambda^*\),原子 \(U\) 同理;内部区间由高斯密度不等式 \(f^t(y \mid x) \geq \lambda^*\) 决定,由于 \(f^t\) 是单峰高斯,该区间是 \([\mu^t(x) - r(x), \mu^t(x) + r(x)]\) 与 \((L,U)\) 的交集。技术意义:将一般混合空间的 HDR 问题转化为三个独立的阈值决策,每个都有闭式解。
-
命题 3(校正层级):
- (i) UT 一般失准:覆盖误差受 \(d_{TV}(L^s(s^{UT}), L^t(s^{UT}))\) 控制,在强偏移下可能严重欠覆盖或过覆盖。
- (ii) WS 和 WT 在 oracle 权重下精确有效:\(P^t(\tilde{Y}_{\text{test}} \in C^r_{\text{exact}}) \geq 1-\alpha\),且证明不依赖 Tobit 似然或 Laplace 近似的正确性——这是加权共形引理的直接应用。
-
(iii) 固定阈值规则(式 37)与精确规则(式 38)的差异为 \(O_P(1/n)\),在权重有界且非退化时一致。
-
命题 2(伪标签偏差):点伪标签 \(\hat{Y} = \hat{\mu}(X)\) 压缩方差(从 \(a+b\) 到 \(a\)),导致斜率估计衰减为 \(\beta \cdot a/(a+b)\);源预测采样恢复方差但仍有衰减;倾斜预测采样在 oracle 初始化下无偏。
实验证据(合成数据):
- 实验 1(方法层级):在 \(\beta = 1.2\)、每侧 10% 删失下,WT 的集合大小比 WS 减少约 40%(2.894 → 1.740),同时两者都恢复约 90% 的边际覆盖。UT 严重过覆盖(约 99%)。
- 实验 2(近似差距):从精确规则到固定阈值规则的覆盖损失小于 0.5 个百分点(0.902 → 0.901),集合大小差异小于 2%。
- 实验 3(几何结构):随着删失率从 1% 增至 20%,WT 集合中原子-only 形式(如 \(\{U\}\))的频率从 0.9% 增至 57.3%,表明强删失下预测集从区间退化为原子。
- 实验 4(估计偏差):点伪标签估计的 \(\hat{\beta} \approx 0.6\beta\)(与命题 2 的 \(a/(a+b) = 1/2\) 一致),倾斜预测采样恢复 \(\hat{\beta} \approx \beta\)。
真实数据例子:本文没有真实数据应用。作者在结论中明确说"real data study with censored molecular endpoints remains an important next step"(第 7 节)。这是一个明显的局限——所有结论都基于 oracle 高斯模型的合成实验。
🔎 结论是否比证明窄¶
是,且有多处:
-
命题 3 的 oracle 有效性 vs. 实际算法的近似性:作者在命题 3(ii) 中证明了精确候选加权规则的有效性,但实际算法(算法 1)使用的是固定阈值规则(式 37),其有效性只被证明到 \(O_P(1/n)\)。作者没有给出 \(n\) 多大时近似误差可忽略的显式条件。
-
标量原子权重的近似:Remark 2 承认,实际算法用标量边际原子比 \(w(L) = \rho_{t,L}/\rho_{s,L}\) 代替输入依赖的条件原子比 \(w_x(L)\)。但命题 3 的有效性证明要求精确的候选权重 \(w(\tilde{y}_{\text{test}})\)。当 \(w_x(L) \neq w(L)\) 时,覆盖保证不成立。作者在实验 2 中显示这个近似在合成数据上误差很小,但没有理论保证。
-
Laplace 近似的误差:命题 1 和式 30 的闭式 \(Z(x)\) 依赖于 Laplace 近似的准确性。作者在附录 A 中证明了 MAP 目标函数的严格凹性,但没有给出后验非高斯性对覆盖的影响界。
-
"分量行为"的模糊性:作者在实验部分报告了"分量覆盖"(左原子、内部、右原子分别的覆盖),但理论部分只证明了边际覆盖。作者承认"pooled threshold 会向偏移方向重新分配覆盖",但没有量化这种再分配的程度。
-
\(\beta\) 的估计:作者假设 \(\beta\) 可从无标签目标数据估计(第 4.3 节),但没有给出估计量的收敛速度或对覆盖的影响。命题 2 只分析了伪标签偏差,没有分析 \(\hat{\beta}\) 的估计误差传播。
四、开放问题¶
-
估计权重的覆盖理论:当 \(w\) 从数据估计(而非已知)时,加权共形预测的覆盖保证如何退化?具体地,\(\hat{\beta}\) 的收敛速度如何影响覆盖误差?这需要将估计误差纳入加权交换性引理的分析框架。扎根于:命题 3 的 oracle 假设 vs. 算法 1 的 plug-in 实现之间的差距。
-
分量条件覆盖的刻画:在什么条件下,边际覆盖保证可以加强为分量条件覆盖?作者观察到强删失下覆盖向高概率原子再分配,但没有给出再分配的上界。扎根于:实验 3 中"分量行为"的观察 vs. 理论只证明边际覆盖。
-
非高斯预测头的扩展:Laplace 近似在强删失或小样本下可能失效。能否用变分推断或 MCMC 替代,同时保持闭式 HDR 结构?作者在附录 H 中讨论了 MCMC 的"censoring first"策略,但没有给出理论保证。扎根于:第 7 节"future work includes non-Gaussian censored likelihoods"。
-
\(\beta\) 的可识别性:在删失 + 标签偏移下,\(\beta\) 是否可从无标签目标数据一致估计?删失可能使尾部信息丢失,导致 \(\beta\) 的弱识别。扎根于:第 4.3 节"estimating \(\beta\) from target inputs requires pseudo-labels"的讨论。
-
与因果推断的接口:标签偏移的指数倾斜模型与因果推断中的"选择偏差"(selection bias)有形式上的联系。能否将本文的加权共形框架用于构造处理效应(CATE)的条件预测区间?扎根于:被引文献[10](Jin et al., 2021)将共形推断用于个体处理效应,但未处理删失。
验证建议:要确认这些是否真 gap,去读以下近期文献的 intro:(i) 加权共形预测在非交换性下的最新进展(如 Barber et al., 2023 的后续工作);(ii) 删失数据下的分布偏移推断;(iii) 贝叶斯共形计算的非高斯扩展。若这些文献都指向同一缺口,则值得做;若已有解法,则需重新定位。
Maintained by 陈星宇 · Homepage · Source on GitHub