跳转至

Model-free generalized fiducial inference

作者: Jonathan P Williams
来源: JMLR
主题: 数理统计 / 假设检验
相关性: 7/10
链接: 期刊页 · arXiv


一、领域脉络与小综述

这个方向是什么

本文所处的方向是无模型(model-free)推断,其根本目标是在不假设数据服从特定参数模型的前提下,对任意事件类提供具有有限样本保证的推断。该方向的核心张力在于:经典频率学派方法(如 Neyman-Pearson 检验)依赖模型假设,贝叶斯方法依赖先验,而 conformal prediction (CP) 虽然提供了分布自由的有限样本保证,却缺乏一个统一的推断框架来回答"数据在多大程度上支持某个任意事件"这一问题。本文试图通过 generalized fiducial inference (GFI) 的视角,将 CP 重新诠释为一种基于 imprecise probability 的推断方法,从而在保留 CP 有限样本保证的同时,获得后验式的、可对任意事件赋值的推断能力。该方向目前处于概念整合与理论奠基阶段——核心概念(CP、GFI、imprecise probability)各自成熟,但将它们统一起来的 formal framework 尚属新颖。

发展脉络

奠基工作:fiducial inference 的提出与争议。 Fisher (1930, 1935) 提出 fiducial inference,试图在没有先验的情况下从数据得到参数的分布。这一想法因多参数问题中的缺陷而受到批评,但为后续的广义化埋下伏笔。关键转折点是 Hannig et al. (2016) 的 generalized fiducial inference (GFI) 综述,该文系统化了"数据生成方程 + 切换原则"的框架,使 fiducial 思想可以应用于现代统计问题。本文的引用语境明确指出,作者"以频率学保证为出发点",通过连接 CP 与 GFI 来"规定如何量化数据对任意事件提供证据的程度"——这一定位表明 GFI 是本文的直接理论母体。

并行发展:conformal prediction 的兴起。 Vovk et al. (2005) 建立了 CP 的有限样本有效性理论,其核心洞见是:在可交换性假设下,非一致性得分(nonconformity score)的秩可以给出分布自由的预测集。Vovk et al. (2019) 进一步提出 conformal predictive distributions,试图将 CP 输出从集合扩展为分布,但正如本文所指出的,这一扩展依赖于非一致性得分的单调性,限制了其适用范围。Vovk (2024) 将 Dempster-Hill 程序命名为"conformal p-value function",为本文提供了直接的概念桥梁。

imprecise probability 与 DS 理论。 Shafer (1976) 的 DS 理论提供了 belief/plausibility 函数的数学语言,这是本文构造 imprecise GF 分布的核心工具。Martin (2019) 的 false confidence theorem 是一个关键的负面结果:它证明任何基于精确概率的推断方法(包括贝叶斯后验)都可能对某些假事件赋予任意高的置信度。这一结果直接推动了 imprecise probability 方法(如 inferential models, IM)的发展,因为非精确概率被证明是避免 false confidence 的必要条件。Cella and Martin (2022) 建立了 CP 与 IM 之间的联系,本文在此基础上进一步将其推广到 GFI 框架。

当前 frontier 与本文位置。 当前的前沿问题是:如何在保持有限样本有效性的同时,获得足够"丰富"的推断输出(而不仅仅是预测集)?本文的位置是将 CP、GFI、IM 三者统一在一个 imprecise probability 框架下,并证明这种统一不仅是概念上的,而且能产生新的推断工具(如 pignistic transformation)。作者在引言中明确表示,这一工作的动机是 CP "缺乏通用性"——它不能对任意事件赋值,而本文的 GF 框架填补了这一缺口。

子线索聚类

  1. Fiducial 推断谱系:Fisher (1930, 1935) → Hannig (2009) → Hannig et al. (2016)。这条线索关注如何从数据生成方程构造参数的分布,核心工具是切换原则。本文直接继承这一谱系,但将其从参数模型推广到无模型设定。

  2. Conformal prediction 谱系:Vovk et al. (2005) → Vovk et al. (2019) → Vovk (2024)。这条线索关注分布自由的预测集构造,核心概念是非一致性得分和可交换性。本文的关键洞见是:CP 的非一致性得分的秩实际上定义了一个数据生成关联(data generating association),从而可以纳入 GFI 框架。

  3. Imprecise probability / DS 理论谱系:Shafer (1976) → Martin (2019) → Cella and Martin (2022)。这条线索关注如何用 belief/plausibility 函数进行推断,核心结果是 false confidence theorem 和 IM 框架。本文的 imprecise GF 分布直接使用 DS 理论的数学语言,并证明了其与 IM 的联系。

  4. 风险控制与通用推断谱系:Angelopoulos et al. (2023, 2025)、Bates et al. (2021) 将 CP 推广到风险控制;Wasserman et al. (2020)、Grunwald et al. (2024) 发展通用推断理论。本文在引言中将这些工作视为"相关但不同"——它们关注预测集或检验,而本文关注对任意事件的证据赋值。

这个方向在追问的核心问题

  1. 如何在不依赖模型假设的前提下,对任意事件提供有意义的概率赋值? 这是本文的核心问题。CP 只能给出预测集,贝叶斯方法受 false confidence 困扰,而本文的 imprecise GF 框架试图在两者之间找到平衡。

  2. 有限样本有效性与推断丰富性之间是否存在根本权衡? 本文的答案是:通过 imprecise probability 可以同时获得两者——CP 保证有限样本有效性,而 imprecise 结构允许对任意事件赋值。

  3. fiducial 思想能否在无模型设定下成立? 传统 fiducial inference 依赖参数模型,本文证明在可交换性假设下,非一致性得分的秩可以扮演数据生成方程中辅助变量的角色,从而使 fiducial 思想适用于无模型设定。

⚠️ 作者的 framing

作者将缺口 frame 为:CP 虽然提供了有限样本保证,但缺乏对任意事件赋值的通用性。这一 framing 在引言中反复出现:"CP 方法没有规定如何量化数据对任意事件提供证据的程度"。作者通过这一 framing 将本文定位为"显然的下一步"——既然 CP 已经提供了有效的预测集,那么自然的推广就是将其扩展到任意事件的证据赋值。被淡化或回避的竞争路线包括:贝叶斯方法(被 false confidence theorem 否定)、精确概率的 fiducial 方法(被多参数问题困扰)、以及纯决策论方法(不提供概率赋值)。明显该被引却没出现的工作:本文未引用 Balch et al. (2019) 的原始 false confidence theorem 论文(只引用了 Carmichael and Williams 2018 的 exposition),也未引用 Grunwald (2018) 的 safe probability 框架的详细版本(只引用了其概念)。这可能是因为作者假设读者已熟悉这些工作,但也可能是一个值得查证的遗漏。

张力

未见明显对立引用。 但存在一个微妙的张力:Cella and Martin (2022) 的 IM 框架强调 consonance(即嵌套随机集)是实现有效性的关键,而本文的 GF 框架使用的是不相交的 focal sets。作者在第 4.2 节中承认了这一点,并指出 consonance 是 IM 满足 Type-2 validity 的必要条件,而 GF 框架虽然不满足 consonance,但通过 CP 集合的构造仍然获得了 Type-1 validity。这是一个值得注意的理论张力——两种框架在"什么构成有效推断"上有不同的侧重点。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号清单(按本文出现顺序):

符号 含义 类型
\(Y_1, \ldots, Y_n, Y_{n+1}\) 可交换的随机变量,\(Y_i \sim Y\) 随机变量(可观测)
\(y_1, \ldots, y_n\) 观测到的数据 样本(可观测)
\(y_{n+1}\) 待预测的值 随机变量(不可观测)
\(\Psi: \mathbb{R}^{n+1} \times \mathbb{R} \to \mathbb{R}\) 非一致性得分函数 已知函数(用户指定)
\(t_i(y_i) := \Psi(y_{-i}^{n+1}, y_i)\) 第 \(i\) 个样本的非一致性得分 可计算量
\(p_n(y)\) conformal p-value 函数 统计量
\(V \sim \text{Uniform}\{1, \ldots, n+1\}\) 辅助变量(秩) 潜在变量
\(A_n(v)\) 第 \(v\) 个 focal set 随机集(潜在)
\(\mu(\cdot)\) basic probability assignment 推断对象
\(\underline{\mu}(\cdot), \overline{\mu}(\cdot)\) belief / plausibility 函数 推断对象
\(f_n(y)\) GF contour 函数 推断对象
\(\Upsilon^\alpha_n\) \(\alpha\)-level 预测集 推断输出
\(\mathcal{C}(\mu)\) credal set 推断对象
\(\pi^y_n(\cdot)\) pignistic 密度 推断输出

模型:本文的核心模型是数据生成关联(data generating association),即假设存在一个辅助变量 \(V\) 与数据通过某个确定性函数关联。在无模型设定下,这个关联由非一致性得分的秩给出:

\[\text{rank}\{t_{n+1}(Y_{n+1})\} = V \sim \text{Uniform}\{1, \ldots, n+1\}.\]

可观测数据:\(y_1, \ldots, y_n\)(训练样本),以及待预测点 \(y_{n+1}\) 的非一致性得分 \(t_{n+1}(y_{n+1})\)(可计算)。

不可观测/潜在量:真实的辅助变量值 \(V\)(即 \(y_{n+1}\) 在 \(n+1\) 个样本中的真实秩)。

关键点:本文的"模型"不是对 \(Y\) 的分布做假设,而是对非一致性得分的秩做假设——在可交换性下,这个秩是均匀分布的。这是整个框架的基石。

第二步:最小内核

最小设定:\(n = 2\),观测到 \(y_1 = 4, y_2 = 5\),非一致性得分取 \(t_i(y_i) := y_i\)(即数据本身)。待预测 \(y_3\)。

核心问题:给定 \(y_1, y_2\),如何对"\(y_3 \in (4, 5)\)"这一事件赋予证据强度?

GF 框架的答案:

  1. 数据生成关联:\(y_3\) 的秩 \(V = \text{rank}(y_3) \in \{1, 2, 3\}\),且 \(V \sim \text{Uniform}\{1, 2, 3\}\)。

  2. 切换原则:将观测到的 \(y_1, y_2\) 视为固定,让 \(V\) 随机变化。当 \(V = 1\) 时,\(y_3 < 4\);当 \(V = 2\) 时,\(4 < y_3 < 5\);当 \(V = 3\) 时,\(y_3 > 5\)。

  3. Focal sets:\(A_2(1) = (-\infty, 4)\),\(A_2(2) = (4, 5)\),\(A_2(3) = (5, \infty)\),每个集合赋概率 \(1/3\)。

  4. 对事件 \(B = (4, 5)\) 的推断:

  5. Plausibility(上概率):\(\overline{\mu}(B) = \sum_{j: A_2(j) \cap B \neq \emptyset} \mu\{A_2(j)\} = 1/3\)(只有 \(A_2(2)\) 与 \(B\) 相交)。
  6. Belief(下概率):\(\underline{\mu}(B) = \sum_{j: A_2(j) \subseteq B} \mu\{A_2(j)\} = 1/3\)(只有 \(A_2(2)\) 被 \(B\) 包含)。

  7. CP 联系:\(\Upsilon^{2/3}_2 = \{y : f_2(y) > 2/3\}\),其中 \(f_2(y) = \mu\{A_2(V) \ni y\}\)。在这个例子中,\(f_2(y) = 1/3\) 对所有 \(y\) 成立(因为每个点只属于一个 focal set),所以 \(\Upsilon^{2/3}_2 = \emptyset\)。而 CP 集合 \(\Gamma^{2/3}_2\) 也是 \(\emptyset\)(因为 \(n+1 = 3\),最小可能的 p-value 是 \(1/3\),而 \(1/3 \leq 2/3\))。两者一致。

为什么这个例子是"最小内核":它展示了 GF 框架的三个核心要素——(i) 数据生成关联如何从非一致性得分的秩中产生;(ii) 切换原则如何将辅助变量的分布转化为参数的 imprecise 分布;(iii) CP 集合如何作为 GF 预测集的特例出现。整个框架的数学本质是:在可交换性假设下,秩统计量的均匀分布是唯一需要的概率结构。

关键数学困难:当 \(n\) 增大时,focal sets \(A_n(v)\) 的几何结构变得复杂(如图 1 所示,它们可能是非凸的、不连通的区域),这使得 belief/plausibility 的计算变得困难。本文的理论贡献之一就是证明了这些 focal sets 的某些性质(如不相交性、穷尽性),使得计算可行。

三、这篇论文做了什么

三句话

① 研究了什么问题:如何在无模型(仅假设可交换性)设定下,建立 conformal prediction 与 generalized fiducial inference 之间的形式化联系,从而对任意事件类提供具有有限样本保证的 imprecise 概率推断。

② 核心工具/方法:利用非一致性得分的秩定义数据生成关联,通过 GFI 的切换原则构造 imprecise GF 分布,并证明其 belief/plausibility 函数与 CP 集合、NPI、IM 之间的联系。

③ 主要结论:GF contour 函数 \(f_n(y)\) 就是 conformal p-value 函数(Theorem 10),因此 GF 预测集 \(\Upsilon^\alpha_n\) 是有效的 CP 集合;在 Dempster-Hill 特殊情形下,GF 框架退化为 NPI;通过适当的随机集构造,GF 框架也能建立与 IM 的联系,但 GF 的 focal sets 不相交,而 IM 的随机集是嵌套的。

关键设定与假设

核心假设(Assumption 7):\(Y_1, \ldots, Y_n, Y_{n+1}\) 是可交换的连续随机变量。这是整个框架的唯一统计假设。

技术性假设: - 非一致性得分函数 \(\Psi\) 是可测的(保证后续集合运算的合法性)。 - 数据是连续的(避免并列秩的问题;Remark 8 讨论了并列秩的处理)。 - 对每个 \(v \in \{1, \ldots, n+1\}\),focal set \(A_n(v)\) 非空(这排除了某些退化情形)。

相比已有文献的放宽/强化: - 相比 CP:CP 只给出预测集合,本文的 GF 框架能对任意事件赋值(plausibility/belief),这是信息量的增加。 - 相比 GFI (Hannig et al., 2016):经典 GFI 需要显式的数据生成方程 \(Y = G(U, \theta)\),本文用非一致性得分的秩隐式地定义了数据生成关联,从而摆脱了对参数模型的依赖。 - 相比 IM (Cella and Martin, 2022):IM 要求随机集是嵌套的(consonant),本文的 GF 框架不要求这一点,但代价是 Type-2 validity 不成立(第 4.2 节明确讨论)。

主要结果

Theorem 10(核心定理):在 Assumption 7 下,GF contour 函数 \(f_n(y) = \mu\{A_n(V) \ni y\}\) 等于 conformal p-value 函数 \(p_n(y) = \frac{1}{n+1}\sum_{i=1}^{n+1} 1\{t_i(y_i) \geq t_{n+1}(y)\}\)。

证明思路:关键在于证明 \(f_n(y) = \mu\{A_n(V) \ni y\} = \mu\{V \geq \text{rank}(y)\} = \frac{n+1 - \text{rank}(y) + 1}{n+1}\),而 \(\text{rank}(y)\) 的定义恰好给出 \(p_n(y)\) 的表达式。这个证明的核心是秩的均匀性——在可交换性下,\(V\) 均匀分布在 \(\{1, \ldots, n+1\}\) 上。

Corollary 11:GF 预测集 \(\Upsilon^\alpha_n = \{y : f_n(y) > \alpha\}\) 是 Type-1 valid 的 CP 集合。

Theorem 13 & 14(一致性):在 Dempster-Hill 特殊情形(\(t_i(y_i) := y_i\))下,对于任何 \(\Delta \in \mathcal{C}(\mu)\),有 - \(|\Delta\{(-\infty, y]\} - F(y)| = o_p(n^{-\gamma})\),对任意 \(\gamma \in [0, 1/2)\); - \(|\Delta\{A_n(v)\} - P\{A_n(v)\}| = o_p(n^{-\tau})\),对任意 \(\tau \in [0, 1)\)。

证明技巧:这两个定理的证明依赖于将 \(\Delta\) 的累积分布函数与经验分布函数建立联系,然后应用 Hoeffding 不等式和 Dvoretzky-Kiefer-Wolfowitz 型不等式。关键观察是:由于 \(\Delta\) 在每个 focal set 上赋概率 \(1/(n+1)\),\(\Delta\{(-\infty, y]\}\) 实际上等于经验分布函数在 \(y\) 处的值(经过一个 \(O(1/n)\) 的偏移修正)。

Theorem 18(pignistic transformation):在 GF 框架下,最大熵原理导出的 pignistic 密度为 \(\pi^y_n(y) = \sum_{v=1}^{n+1} \frac{1}{n+1} \cdot \frac{1}{\lambda\{A_n(v)\}} \cdot 1\{y \in A_n(v)\}\),即每个 focal set 内部的均匀分布。

证明思路:在约束 \(\int_{A_n(v)} q(y) dy = 1/(n+1)\) 下最大化熵 \(-\int q(y) \log q(y) dy\),通过 Lagrange 乘子法得到每个 focal set 上的均匀分布。

证明路线与技术技巧

整体路线(3-5 步):

  1. 定义数据生成关联:从非一致性得分的秩出发,定义 \(Y = G(V, \theta)\) 的隐式关联,其中 \(V\) 是均匀分布的辅助变量。

  2. 构造 imprecise GF 分布:通过切换原则,将 \(V\) 的分布转化为 \(\theta\)(即 \(y_{n+1}\))的 imprecise 分布,得到 focal sets \(A_n(1), \ldots, A_n(n+1)\) 和 basic probability assignment \(\mu\)。

  3. 证明 GF contour = conformal p-value:通过秩的均匀性,直接计算 \(f_n(y)\) 的表达式,证明其等于 \(p_n(y)\)。

  4. 建立与 NPI 和 IM 的联系:在特殊情形下(\(t_i(y_i) := y_i\)),证明 GF 退化为 NPI;通过构造嵌套随机集,建立与 IM 的联系。

  5. 推导一致性:利用经验过程理论,证明 GF 的 imprecise 分布在 \(n \to \infty\) 时收敛到真实分布。

关键技术技巧:

  • 秩的均匀性:这是整个框架的基石。在可交换性下,秩统计量的分布是均匀的,这提供了无模型推断所需的唯一概率结构。
  • 切换原则:从 GFI 继承的核心技巧,将辅助变量的分布"切换"到参数空间。
  • Hoeffding 不等式:用于建立 Theorem 13 和 14 的指数型集中不等式。
  • 最大熵原理:用于构造 pignistic transformation,将 imprecise 分布"压缩"为精确分布。

真实例子与应用

例子 1:合成数据(Figure 2, 3)。作者用 \(n = 100\) 的标准正态和标准柯西数据展示了 GF contour 的形状。对于正态数据,contour 在数据密集区域较高;对于柯西数据,contour 呈现出重尾特征。这个例子旨在展示 GF 框架能适应不同的数据分布,而不需要显式的模型假设。

例子 2:混合分布(Figure 3 右面板)。作者用两个高斯分布的混合展示了 GF 框架能捕捉多模态结构。这个例子说明,即使数据来自复杂的分布,GF 的 imprecise 分布也能反映数据的局部特征。

例子 3:pignistic transformation(Figure 4, 5)。作者对比了从 GF credal set 导出的 pignistic 密度与真实密度。对于正态数据,pignistic 密度接近真实密度;对于混合分布,pignistic 密度能捕捉两个模态,但模态之间的区域被平滑化。这个例子旨在展示 pignistic transformation 的实用性,但也暴露了 imprecise 方法的固有权衡:在获得有限样本保证的同时,损失了精度。

例子 4:临床应用(引言中的 motivating example)。作者以结直肠癌液体活检为例(Tie et al., 2022),说明 CP/GF 框架如何为"是否需要辅助化疗"这一决策提供有保证的错误率控制。这个例子是动机性的,没有实际数据分析。

这些例子想说明什么:主要是验证——验证 GF 框架确实能产生合理的推断结果,且与 CP 和 NPI 的结果一致。作者没有进行系统的模拟比较(如覆盖率、区间长度等),也没有与现有方法进行定量对比。这是一个明显的局限。

🔎 结论是否比证明窄

是的,存在几处:

  1. Theorem 13 和 14 的证明仅针对 Dempster-Hill 特殊情形(\(t_i(y_i) := y_i\)),但作者在定理陈述中使用了"for any \(\Delta \in \mathcal{C}(\mu)\)"的表述,这暗示了更一般的结论。然而,对于一般的非一致性得分函数,focal sets 的几何结构可能更复杂,证明中的"\(\Delta\{(-\infty, y]\}\) 等于经验分布函数"这一关键步骤可能不再成立。作者没有明确讨论这一限制。

  2. Type-2 validity 的讨论:作者在第 4.2 节中承认 GF 框架不满足 Type-2 validity(即对任意事件 \(B\),\(\underline{\mu}(B)\) 和 \(\overline{\mu}(B)\) 不能同时提供有效的上下界),但这一限制在摘要和引言中没有被明确提及。读者可能会误以为 GF 框架提供了全面的 imprecise 推断保证。

  3. pignistic transformation 的最优性:Theorem 18 证明了最大熵 pignistic 变换的形式,但没有证明这种变换在某种意义下是最优的(如最小化最坏情况损失)。作者在 Section 5 中承认"最优性推迟到未来工作"。

  4. 计算复杂性:作者没有讨论 focal sets \(A_n(v)\) 的计算复杂性。对于高维数据或复杂的非一致性得分函数,计算所有 \(n+1\) 个 focal sets 可能是不现实的。这是一个实际限制,但作者没有提及。

四、开放问题

  1. 一般非一致性得分函数下的一致性:Theorem 13 和 14 的证明依赖于 Dempster-Hill 特殊情形(\(t_i(y_i) := y_i\))。对于一般的非一致性得分函数(如基于机器学习模型的得分),focal sets 的几何结构更复杂,一致性是否仍然成立?这需要新的证明技术。(扎根于 Theorem 13-14 的证明,以及 Remark 8 对并列秩的讨论。)

  2. Type-2 validity 的充分条件:作者证明了 GF 框架不满足 Type-2 validity,但没有给出在什么条件下 GF 框架可以满足 Type-2 validity。是否存在非平凡的非一致性得分函数使得 GF 框架同时满足 Type-1 和 Type-2 validity?(扎根于第 4.2 节的讨论。)

  3. pignistic transformation 的最优性理论:作者提出了最大熵 pignistic 变换,但没有建立其最优性。是否存在一种系统的方法来评估和选择 pignistic transformation?这与决策理论中的 minimax 后悔有关。(扎根于 Section 5 的开头:"The optimality of such a concept is postponed to future work.")

  4. 高维数据的计算可行性:focal sets \(A_n(v)\) 的计算在高维数据下可能变得不可行。是否存在有效的近似算法?这与随机集理论和计算几何有关。(扎根于第 4 节对 focal sets 的定义,以及作者未讨论计算复杂性的沉默。)

  5. 与 e-values 的联系:本文引用了 Grunwald et al. (2024) 的 e-values 理论,但没有深入探讨 GF 框架与 e-values 的关系。e-values 提供了另一种避免 false confidence 的途径,两者之间是否存在更深层的联系?(扎根于第 2 节对 safe testing 的讨论。)


提示:若要确认上述开放问题是否为真 gap,建议阅读以下近期文献的引言部分(各约 5 篇):(i) conformal prediction 的泛化(如 risk control, distribution-free uncertainty quantification);(ii) inferential models 的最新发展;(iii) e-values 与 safe testing 的交叉。如果这些文献的引言都指向同一个问题,那很可能是共识性 gap;如果它们互相矛盾,则可能是机会所在。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论