跳转至

Conditioning on posterior samples for flexible frequentist goodness-of-fit testing

作者: Ritwik Bhaduri, Aabesh Bhattacharyya, Rina Foygel Barber, Lucas Janson
来源: Biometrika
主题: 数理统计 / 假设检验
相关性: 6/10
机构绿灯: Harvard University(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv


一、领域脉络与小综述

这个方向是什么

本文所针对的根本问题是复合原假设下的拟合优度检验(goodness-of-fit testing with composite null):给定参数族 \(\{f_\theta: \theta \in \Theta\}\),检验观测数据 \(X\) 是否来自该族中的某个分布。这类检验的困难在于,原假设不是一个单一分布,而是一个参数化分布族,因此检验统计量的零分布通常依赖于未知参数 \(\theta\)。经典方法(如似然比检验、卡方检验)需要对特定统计量推导其渐近零分布,这限制了统计量的选择自由。本文所属的研究脉络追求一种"包装器"(wrapper)方法:通过某种重采样机制生成与原数据在原假设下(近似)可交换的伪数据,从而允许使用者任意选择检验统计量,仅需将统计量应用于真实数据与伪数据并比较其排名即可获得有效 \(p\) 值。这类方法的核心理论问题是:如何生成伪数据,使得其与真实数据的联合分布(在零假设下)近似可交换,且近似误差可控。

发展脉络

  • 奠基工作:精确充分统计量条件化(CSS)。Bartlett (1937)、Enger & Lillegård (1997)、Agresti (1992)、Stephens (2012) 等提出co-sufficient sampling (CSS):若原假设分布族存在充分统计量 \(S(X)\),则从条件分布 \(X \mid S(X)\) 中采样即可获得与真实数据精确可交换的伪数据。这一思路在理论上优雅,但适用范围极窄——许多常见模型(如逻辑回归、弯曲指数族)不存在有用的充分统计量,或者条件分布本身难以采样。

  • 关键突破:近似充分统计量(aCSS)。Barber & Janson (2022) 提出approximate co-sufficient sampling (aCSS),核心思想是用"带噪声的极大似然估计"作为近似充分统计量:即生成 \(\tilde X\) 使得 \(S(\tilde X) = \hat\theta(X) + \text{noise}\),其中 \(\hat\theta(X)\) 是 MLE。他们证明了当噪声尺度合适时,伪数据与真实数据近似可交换,且近似误差以 \(O(n^{-1/2})\) 或更优的速度衰减。这一工作将 CSS 的适用范围从"存在充分统计量"扩展到"存在渐近正态估计量"的几乎一切参数模型。但 aCSS 仍要求原假设参数空间是开凸集且 MLE 良定义,无法处理带结构约束(稀疏、低秩、非光滑)的模型。

  • 正则化扩展。Zhu & Barber (2023) 将 aCSS 推广到带线性约束或惩罚的 MLE(如 Lasso),Xie & Huang (2025) 进一步推广到非线性正则化(group Lasso、非凸惩罚)并首次刻画了 aCSS 的功效最优性。但这些工作仍要求惩罚函数是光滑的或凸的,无法处理秩约束、稀疏约束等非凸、非光滑结构。

  • 并行脉络:模型-X knockoffs 与条件随机化检验。Candès et al. (2018) 提出 model-X knockoffs,Berrett et al. (2020) 提出条件随机化检验(conditional randomization test),这些方法同样通过构造"伪数据"进行检验,但主要针对条件独立性检验而非拟合优度检验,且要求已知 \(X\) 的完整分布或能精确采样 \(X \mid Z\)。

  • 本文的位置:aCSS-B 提出用贝叶斯后验样本作为近似充分统计量。与 aCSS 及其正则化扩展不同,后验采样不要求目标函数光滑、凸或可微,只需能够从后验分布采样(可用 MCMC、变分推断等)。这使得方法可以处理 aCSS 家族无法处理的模型:低秩矩阵、稀疏组、非光滑似然等。作者在三个此类模型上展示了 aCSS-B 的有效性,并在 aCSS 可应用的模型上展示了其功效优势。

子线索聚类

  1. 精确/近似充分统计量条件化:CSS → aCSS (Barber & Janson 2022) → 正则化 aCSS (Zhu & Barber 2023; Xie & Huang 2025) → aCSS-B (本文)。这条线索的核心问题是"如何构造近似充分统计量",本文的答案是"用后验样本"。
  2. 条件重采样检验:model-X knockoffs (Candès et al. 2018)、条件随机化检验 (Berrett et al. 2020)、条件排列检验 (Berrett et al. 2018)。这条线索与本文共享"生成伪数据、任意统计量、近似有效性"的方法论框架,但主要针对条件独立性检验。
  3. 贝叶斯计算与频率检验的交叉:本文使用后验采样作为频率检验的工具,与"Bayesian nonparametrics for goodness-of-fit"(如 Bayesian p-values)不同——后者需要先验的正确指定,而本文的频率保证不依赖于先验的正确性。

这个方向在追问的核心问题

  1. 有效性(validity):如何保证生成的伪数据与真实数据在原假设下(近似)可交换?近似误差如何随样本量 \(n\)、后验样本数 \(B\) 衰减?
  2. 功效(power):伪数据的"多样性"如何影响检验功效?条件化在充分统计量上会损失信息,如何在有效性与功效之间权衡?
  3. 适用范围:哪些模型允许构造(近似)充分统计量?结构约束(稀疏、低秩、非光滑)如何影响可交换性?

⚠️ 作者的 framing

作者将缺口 frame 为:现有 aCSS 方法要求原假设模型满足光滑性/凸性条件(MLE 良定义、强凸似然等),无法处理带结构约束的现代模型(低秩、稀疏、非光滑)。作者声称后验采样"构成了一种不同于以往工作的近似充分统计量",从而将适用范围扩展到这些模型。这是作者的说法——读者应自行判断:后验采样是否真的在本质上扩展了适用范围,还是仅仅将问题转移到了"能否从后验采样"这一新的计算假设上?作者在文中淡化了后验采样本身的计算成本(MCMC 收敛诊断、混合速度等),以及后验对先验的敏感性是否会影响检验的有限样本性质。

张力

未见明显对立引用。但存在一个值得注意的张力:Barber & Janson (2022) 的 aCSS 强调"噪声尺度需与 MLE 的渐近方差匹配",而本文的后验采样天然带有先验的影响——当先验与数据冲突时,后验的散布可能远大于或小于似然的散布,这可能破坏可交换性。作者在定理 3.1 中通过 \(\epsilon(\pi_0)\) 项控制了这一影响,但 \(\epsilon(\pi_0)\) 的具体大小依赖于先验与真实参数的接近程度,这在实践中难以验证。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

  • 观测数据:\(X \in \mathcal{X}\),假设 \(X \sim f_{\theta_0}\),其中 \(\theta_0 \in \Theta \subseteq \mathbb{R}^d\) 未知。我们观测到的是 \(X\) 本身(或 \(n\) 个 i.i.d. 样本 \(X_1, \dots, X_n\),为简化记号,下文以单个 \(X\) 代表整个数据集)。
  • 原假设:\(H_0: X \sim f_\theta\) 对某个 \(\theta \in \Theta\)。
  • 参数 / estimand:\(\theta_0\) 是未知的真实参数(在原假设下存在)。\(\hat\theta(X)\) 是 \(\theta_0\) 的估计量(如 MLE)。
  • 先验与后验:\(\pi(\theta)\) 是 \(\Theta\) 上的先验密度;\(\pi(\theta \mid X) \propto \pi(\theta) f_\theta(X)\) 是后验密度。后验样本 \(\hat\theta_1, \dots, \hat\theta_B \sim \pi(\cdot \mid X)\)。
  • 伪数据:\(\tilde X^{(1)}, \dots, \tilde X^{(M)}\),每个 \(\tilde X^{(m)}\) 从条件分布 \(f_{\hat\theta_b}( \cdot )\) 中采样(其中 \(b\) 从 \(1,\dots,B\) 中随机选取)。
  • 检验统计量:\(T: \mathcal{X} \to \mathbb{R}\),任意用户指定的函数。
  • \(p\) 值:\(p_{\text{val}} = \frac{1 + \sum_{m=1}^M \mathbf{1}\{T(\tilde X^{(m)}) \geq T(X)\}}{M+1}\)。

关键点:可观测数据是 \(X\);\(\theta_0\) 是想要但观测不到的;后验样本 \(\hat\theta_b\) 和伪数据 \(\tilde X^{(m)}\) 都是算法生成的辅助随机变量。检验的有效性依赖于:在原假设下,\((X, \tilde X^{(1)}, \dots, \tilde X^{(M)})\) 的联合分布近似于可交换——即 \(X\) 在 \(M+1\) 个数据中的排名近似均匀。

第二步:最小内核

剥掉所有一般性假设后,本文的核心数学问题是:

能否构造一个随机映射 \(X \mapsto \tilde X\),使得当 \(X \sim f_{\theta_0}\) 时,\((X, \tilde X)\) 的联合分布近似于可交换,且近似误差可显式控制?

最简例子(单参数指数族 + 共轭先验):

设 \(X = (X_1, \dots, X_n)\) 为 i.i.d. 样本,\(X_i \sim N(\theta_0, 1)\),\(\theta_0 \in \mathbb{R}\) 未知。原假设为 \(H_0: X_i \sim N(\theta, 1)\) 对某个 \(\theta\)。取先验 \(\pi(\theta) = N(0, \tau^2)\)。

  • 后验:\(\pi(\theta \mid X) = N\left(\frac{n\bar X}{n + 1/\tau^2}, \frac{1}{n + 1/\tau^2}\right)\)。
  • 后验样本:\(\hat\theta_b = \frac{n\bar X}{n + 1/\tau^2} + \frac{\epsilon_b}{\sqrt{n + 1/\tau^2}}\),其中 \(\epsilon_b \sim N(0,1)\)。
  • 伪数据:\(\tilde X^{(m)}_i = \hat\theta_b + \xi_i\),\(\xi_i \sim N(0,1)\)。

为什么这近似可交换? 关键在于:\(\tilde X\) 的分布(条件在 \(\hat\theta_b\) 上)与 \(X\) 的分布(条件在 \(\theta_0\) 上)形式相同,只是参数不同。当 \(n\) 大时,后验集中在 \(\theta_0\) 附近,因此 \(\tilde X\) 的分布接近 \(f_{\theta_0}\)。更精确地,可以计算 \((X, \tilde X)\) 的联合分布与可交换联合分布之间的总变差距离,其衰减速度为 \(O(n^{-1/2})\)(由后验集中速率决定)。

这个例子揭示了本文方法的本质:后验采样将"估计未知参数"这一步骤随机化——不是用一个点估计 \(\hat\theta\) 生成伪数据(那样会损失随机性,导致检验保守),而是从后验分布中随机抽取参数值,从而保留了足够的随机性使得伪数据与真实数据近似可交换。后验的集中速率决定了近似可交换的误差,而后验的散布(由先验和数据共同决定)决定了检验的功效。

为什么这能处理 aCSS 无法处理的模型? 在低秩矩阵、稀疏组等模型中,MLE 可能不存在、不唯一或难以计算,但后验采样只需要能够从后验分布采样——这可以通过 MCMC 实现,不需要目标函数光滑或凸。因此,aCSS-B 将问题从"需要良定义的估计量"转化为"需要可采样的后验",后者在更广泛的模型类中可行。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:如何将基于近似充分统计量的拟合优度检验(aCSS)推广到原假设参数空间带结构约束(稀疏、低秩、非光滑)的模型,使得检验仍然近似有效且保持功效。
  2. 核心工具 / 方法:用贝叶斯后验样本替代 aCSS 中的"带噪声的 MLE"作为近似充分统计量,构造伪数据 \(\tilde X\),从而允许使用任意检验统计量进行有效检验。
  3. 主要结论:证明了当后验集中速率足够快时,aCSS-B 的 \(p\) 值近似有效(第一类错误率控制在 \(\alpha + o(1)\) 以内),并在三个现有 aCSS 方法无法处理的模型(低秩矩阵、稀疏组、非光滑似然)上展示了其有效性,同时在 aCSS 可应用的模型上表现出与 oracle 相当甚至更优的功效。

关键设定与假设

  • 设定:观测数据 \(X \sim f_{\theta_0}\),\(\theta_0 \in \Theta\)。先验 \(\pi(\theta)\) 支撑在 \(\Theta\) 上。后验样本 \(\hat\theta_1, \dots, \hat\theta_B \sim \pi(\cdot \mid X)\)。伪数据 \(\tilde X^{(m)} \sim f_{\hat\theta_b}(\cdot)\),其中 \(b\) 随机选取。
  • 假设(定理 3.1 所需):
  • 先验正性:\(\pi(\theta) > 0\) 对所有 \(\theta \in \Theta\)(保证后验良定义)。
  • 支撑条件:\(\text{supp}(f_{\hat\theta_b}) \supseteq \text{supp}(f_{\theta_0})\) 对几乎所有 \(\hat\theta_b\) 成立(保证伪数据与真实数据有共同支撑,否则总变差距离为 1,检验完全失效)。
  • 后验集中:存在某个先验 \(\pi_0\) 集中在 \(\theta_0\) 附近,使得 \(\epsilon(\pi_0) = d_{TV}(f_{\theta_0}, \bar{f}_{\pi_0})\) 很小,且 \(\Delta(\pi_0) = \mathbb{E}_{\theta_0}[d_{\chi^2}(\pi_0(\cdot \mid X) \| \pi(\cdot \mid X))^{1/2}]\) 有界。这里 \(\epsilon(\pi_0)\) 度量"先验 \(\pi_0\) 与真实参数 \(\theta_0\) 的匹配程度",\(\Delta(\pi_0)\) 度量"后验对先验的敏感性"。
  • 结论:\(d_{\text{exch}}(X, \tilde X^{(1)}, \dots, \tilde X^{(M)}) \leq \inf_{\pi_0} \left[ \epsilon(\pi_0) + \frac{\Delta(\pi_0)}{2\sqrt{B}} \right]\)。

  • 相比已有工作的放宽:aCSS (Barber & Janson 2022) 要求 \(\Theta\) 开凸且 MLE 良定义、强凸;Zhu & Barber (2023) 要求凸惩罚;Xie & Huang (2025) 要求光滑惩罚。aCSS-B 不要求这些,只需后验可采样。

主要结果

  • 定理 3.1(近似有效性):\(d_{\text{exch}} \leq \inf_{\pi_0}[\epsilon(\pi_0) + \Delta(\pi_0)/(2\sqrt{B})]\)。这意味着 \(p\) 值满足 \(\mathbb{P}_{H_0}(p_{\text{val}} \leq \alpha) \leq \alpha + d_{\text{exch}}\),即第一类错误率近似受控。
  • 定理 A.1(一般采样策略):即使伪数据不是独立采样,只要联合分布满足可交换性条件(如通过 permuted serial sampler 实现),上述界仍然成立。
  • 定理 A.2(近似后验):当使用近似后验(如 Laplace 近似)代替精确后验时,若近似误差可控,则 \(d_{\text{exch}}\) 增加一个可显式计算的项 \(\delta_B\)。

证明路线与技术技巧

  • 整体路线:
  • 定义中间分布 \(P_1\):构造一个"理想"联合分布,其中 \(X\) 与 \(\tilde X\) 在条件于 \(\hat\theta_{1:B}\) 下可交换。
  • 分解误差:将 \(d_{\text{exch}}\) 分解为 \(d_{TV}(P_0, P_{0.5}) + d_{TV}(P_{0.5}, P_1)\),其中 \(P_{0.5}\) 是另一个中间分布。
  • 分别控制:\(d_{TV}(P_0, P_{0.5})\) 由 \(\epsilon(\pi_0)\) 控制(度量"真实分布与先验混合分布的距离");\(d_{TV}(P_{0.5}, P_1)\) 由 \(\Delta(\pi_0)/(2\sqrt{B})\) 控制(度量"后验与先验的差异")。
  • 关键引理(Lemma B.1):若 \(Z_1, \dots, Z_B \sim P\) 且 \(Z'_K \sim Q\)(\(K\) 随机),则 \(d_{TV}(Z, Z') \leq \frac{1}{2}\sqrt{d_{\chi^2}(Q \| P)/B}\)。这个引理将"单点替换"的误差与 \(\chi^2\) 散度联系起来。

  • 技术技巧:

  • \(\chi^2\) 散度与总变差距离的桥接:通过 Cauchy–Schwarz 不等式将总变差距离上界转化为 \(\chi^2\) 散度的平方根,从而可以利用后验集中速率(通常以 \(\chi^2\) 散度表述)来估计。
  • 中间分布插值:引入 \(P_{0.5}\) 作为"桥梁",将复杂的误差分解为两个更简单的部分。
  • 随机化技巧:在 Lemma B.1 中,通过随机选择被替换的坐标 \(K\),将"替换一个坐标"的误差从 \(O(1)\) 降低到 \(O(1/\sqrt{B})\)。

真实例子与应用

本文包含五个模拟实验,其中三个是现有 aCSS 方法无法处理的:

  1. 逻辑回归(第 4.2 节):aCSS 可应用,aCSS-B 与 aCSS 功效相当,略优于 aCSS。
  2. 高斯混合模型(第 4.3 节):aCSS 因 MLE 退化而失效,aCSS-B 有效且功效接近 oracle。
  3. 秩 1 矩阵(第 4.4 节):原假设为 \(X = uv^\top + W\),\(u, v \in \mathbb{R}^n\),\(W\) 为高斯噪声。参数空间 \(\Theta = \{uv^\top : u, v \in \mathbb{R}^n\}\) 非凸,aCSS 无法应用。aCSS-B 通过后验采样处理,功效接近 oracle。
  4. 组稀疏回归(第 4.5 节):原假设为 \(X = Z\beta + \epsilon\),\(\beta\) 的支撑集大小 \(\leq 1\)。aCSS 因非光滑约束失效,aCSS-B 有效。
  5. 线性样条回归(第 4.6 节):原假设为分段线性函数,参数空间带连续性约束。aCSS 无法处理,aCSS-B 有效。

每个实验的要点:aCSS-B 使用 \(B=25\) 个后验样本,\(M=300\) 个伪数据,在 500 次独立试验中计算经验第一类错误率和功效。结果显示,aCSS-B 在所有这些模型上都能将第一类错误率控制在 5% 附近(在蒙特卡洛误差范围内),且功效接近 oracle(即知道真实 \(\theta_0\) 时的理想检验)。

🔎 结论是否比证明窄

  • 定理 3.1 的界是"存在性"而非"可计算性":定理中的 \(\inf_{\pi_0}\) 需要对所有先验 \(\pi_0\) 取 infimum,但实践中无法验证哪个 \(\pi_0\) 达到 infimum。作者在实验中通过选择合理的先验(如标准正态)来隐式假设 \(\epsilon(\pi_0)\) 很小,但并未给出如何选择先验的指导。
  • \(\Delta(\pi_0)\) 的可计算性:\(\Delta(\pi_0)\) 定义为 \(\chi^2\) 散度的期望,但实践中无法计算。作者在附录中仅对逻辑回归给出了 \(\Delta(\pi_0)\) 的显式上界,对其他模型未提供。
  • 功效分析缺失:定理只给出了第一类错误率的界,没有给出功效的下界。作者通过模拟展示了功效,但未提供理论保证。
  • "后验采样"的适用范围:作者声称 aCSS-B 适用于"任何可采样后验的模型",但定理 3.1 的证明依赖于 \(\epsilon(\pi_0)\) 和 \(\Delta(\pi_0)\) 的有限性,这要求后验集中速率足够快。对于高维模型(\(d \gg n\)),后验可能不集中,此时 \(\Delta(\pi_0)\) 可能发散,定理失效。作者未讨论这一情形。

四、开放问题

  1. 先验选择的指导原则:定理 3.1 的界依赖于 \(\inf_{\pi_0}\),但实践中如何选择先验 \(\pi\) 使得 \(\epsilon(\pi_0) + \Delta(\pi_0)/(2\sqrt{B})\) 最小?是否存在自适应先验选择策略?(扎根于定理 3.1 的陈述及附录 B.2 的证明。)
  2. 功效的理论刻画:本文只证明了近似有效性(第一类错误率控制),未给出功效的下界。能否在特定备择假设下刻画 aCSS-B 的功效?它与 aCSS 的功效有何本质区别?(扎根于第 4 节的模拟实验,作者仅展示了经验功效,未提供理论分析。)
  3. 高维情形的行为:当 \(d \gg n\) 时,后验可能不集中,\(\Delta(\pi_0)\) 可能发散。aCSS-B 在高维稀疏模型下是否仍然有效?是否需要对先验施加额外条件?(扎根于定理 3.1 对 \(\Delta(\pi_0)\) 有限性的要求。)
  4. 计算效率:aCSS-B 需要 \(B\) 个后验样本和 \(M\) 个伪数据,每个伪数据都需要从 \(f_{\hat\theta_b}\) 采样。对于复杂模型,这一计算成本可能很高。是否存在更高效的采样策略?(扎根于第 4 节实验中使用 \(B=25, M=300\) 的设置,作者未讨论计算复杂度。)
  5. 与贝叶斯 \(p\) 值的关系:aCSS-B 的 \(p\) 值是否与某种贝叶斯 \(p\) 值(如 posterior predictive \(p\) 值)有本质联系?能否建立两者之间的理论桥梁?(扎根于第 1 节引言中对贝叶斯方法的讨论,作者仅提及"使用贝叶斯后验作为工具",未深入探讨。)

提示:要确认上述问题是否为真 gap,建议去读近 5 年关于"model-X knockoffs"、"conditional randomization test"和"conformal inference"的论文——如果这些文献都指向同一个未解决问题,那大概率是真 gap;如果它们各自给出了不同的解决方案,那可能是伪 gap。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论