跳转至

Extracting Bayesian Evidence from Frequentist p-Values

作者: Frederik Aust, Samuel Pawel, Eric-Jan Wagenmakers
主题: 数理统计 / 假设检验
相关性: 7/10
链接: https://arxiv.org/abs/2607.12132

一、领域脉络与小综述

这个方向是什么

本文所处的子方向是客观贝叶斯假设检验中 p 值与 Bayes 因子的校准。根本问题：频率学派的 p 值（衡量数据与 H₀ 的冲突）与贝叶斯的 Bayes 因子（衡量 H₀ 相对于 H₁ 的预测表现）在哲学和数学上常被视为不可通约，但实践中研究者希望从常规报告的 p 值中提取贝叶斯证据，以避免 p 值的常见误读（如将大 p 值等同于“支持 H₀”，或将小 p 值等同于“强证据”）。该方向当前成熟度较高，已有多种下界和近似公式，但本文聚焦于一个被长期忽视的精确近似——Jeffreys 的近似 Bayes 因子（JAB），并系统评估其准确性与实际含义。

发展脉络（history）

  • 奠基工作：Harold Jeffreys 在 1935–1939 年提出近似 Bayes 因子（JAB），其核心思想是用 Wald 统计量和先验密度在 MLE 处的值来近似边际似然比（Jeffreys, 1935, 1939）。这一工作在当时并未引起广泛注意，但奠定了客观贝叶斯假设检验的基础。
  • 主要进展：
  • Berger & Sellke (1987) 证明了 p 值与 Bayes 因子下界之间的单调关系，指出 p = .05 对应的 Bayes 因子下界约为 2.46，从而揭示了 p 值对 H₁ 证据的高估倾向。
  • Sellke et al. (2001) 提出了一个更紧的下界公式（1/(−e p log p)），被广泛用于校准 p 值。
  • Wagenmakers (2022) 重新发现了 JAB，并推导出简洁的 3p√n 规则，将 JAB 与 p 值和样本量直接挂钩，使其易于推广。
  • Velidi et al. (2025) 将 JAB 推广到一般参数维度，建立了模型选择一致性条件，并在 71,126 个临床试验结果中应用。
  • 当前 frontier：本文（Aust, Pawel, Wagenmakers, 2026）系统澄清了 JAB 的假设、边界条件，并通过大规模实证（704 个 t 检验 + 39 个比例比较）验证其近似质量，同时揭示了 p 值证据强度对有效样本量的依赖关系，以及传统 p 值口头标签（如 .001 < p < .01 对应“强惊讶”）仅在 n_eff ≈ 8 时与 Bayes 因子分级一致。

子线索聚类

  1. p 值与 Bayes 因子的下界与近似：包括 Berger & Sellke (1987)、Sellke et al. (2001)、Held & Ott (2018) 等，主要给出 p 值对应的 Bayes 因子下界，不依赖先验具体形式。本文的 JAB 属于直接近似而非下界，需要指定先验。
  2. 客观 Bayes 因子与单位信息先验：包括 Kass & Raftery (1995)、Consonni et al. (2018)、Bayarri et al. (2012)、Liang et al. (2008) 等，讨论如何选择无信息或弱信息先验以使 Bayes 因子具有客观性。JAB 默认使用单位信息先验（先验信息量等于一个观测）。
  3. p 值的 evidential 解释与替代度量：包括 Greenland (2019) 的 s 值（surprise in bits）、Rafi & Greenland (2020) 的兼容性与惊奇、Muff et al. (2022) 的证据语言等。本文通过 JAB 将 p 值映射到 Bayes 因子，从而与这些替代度量建立联系。

这个方向在追问的核心问题

  • Q1：给定一个 p 值，对应的 Bayes 因子（或证据强度）是多少？这个映射是否唯一？
  • Q2：p 值的证据强度如何随样本量变化？传统 p 值标签（如 .05 为“显著”）是否隐含了样本量假设？
  • Q3：在可选停止（optional stopping）下，p 值失效，但 Bayes 因子是否仍然有效？JAB 能否作为廉价替代？
  • Q4：客观 Bayes 因子对先验选择的敏感性如何？JAB 的近似误差在什么条件下可接受？

当前主流方法：一是使用下界（如 Sellke 公式）给出保守证据；二是直接计算精确 Bayes 因子（需 MCMC 或解析积分）。瓶颈在于：下界过于保守，精确计算成本高且依赖先验具体形式。JAB 试图在两者之间取得平衡——仅需 p 值和 n_eff，计算成本几乎为零，且对单位信息先验近似良好。

⚠️ 作者的 framing（必须明确标注成“这是作者的说法”）

作者将缺口 frame 成：“JAB 是一个 largely overlooked approximation，它 bridges two seemingly incompatible concepts: Bayesian change in belief and frequentist surprise”（p.4）。他们强调 JAB 的简单性（仅需 p 值和 n_eff）和实用性（可在可选停止下使用），从而将本文定位为“为 p 值用户提供一种廉价、对样本量敏感的贝叶斯补充工具”。

被淡化或回避的竞争路线： - 作者承认 JAB 需要指定先验（单位信息先验），但未深入讨论当先验偏离单位信息时 JAB 的偏差有多大（仅在 2.2 节用式 (6) 给出偏差公式，但未给出实际数据下的敏感性分析）。 - 作者提到 JAB 与 BIC 的关系（式 13），但未讨论 BIC 本身在小样本下的已知问题（如过度惩罚复杂模型），也未与更精确的 Laplace 近似或 bridge sampling 做系统比较。 - 作者声称 JAB 在可选停止下有效（p.26），但仅引用其他工作（Heide & Grünwald, 2020; Ramdas et al., 2023），未给出自己的证明或模拟。

什么明显该被引 / 该存在、却没出现在 intro 里？ - 关于“有效样本量”的通用定义，作者引用了 Berger et al. (2013) 和 Pauler (1998)，但未引用更近期的工作如 Spiegelhalter et al. (2002) 的 DIC 中的有效参数数，或 Watanabe (2010) 的 WAIC 中的有效样本量概念。这些可能对复杂模型中的 n_eff 定义有启发。 - 关于“p 值与 Bayes 因子的关系”，作者未引用 Johnson (2013) 的“uniformly most powerful Bayesian tests”或更一般的“Bayesian significance tests”文献（如 Pereira & Stern, 1999），这些可能提供不同的视角。

张力

未见明显对立引用。所有被引工作基本一致认为 p 值与 Bayes 因子之间存在系统差异，且样本量是关键调节变量。唯一的潜在张力来自 Ly & Wagenmakers (2022) 的“peri-null”概念，它质疑了点零假设的现实性，但本文未深入讨论这一批评，而是默认点零假设是合理的客观检验目标。

二、最核心、最简单的例子 / 数学问题

第一步：符号、模型、可观测数据交代清楚

符号： - \( \theta \)：检验相关的参数（如均值差、log OR）。参数 / estimand。 - \( \theta_0 \)：零假设下的参数值（通常为 0）。已知常数。 - \( \hat{\theta} \)：θ 的极大似然估计（MLE）。随机变量，由样本计算。 - \( \text{SE}(\hat{\theta}) \)：\(\hat{\theta}\) 的标准误。随机变量（通常由样本估计）。 - \( n_{\text{eff}} \)：有效样本量。标量，由样本量和模型结构决定（如单样本 t 检验中 \(n_{\text{eff}} = n\)；两样本 t 检验中 \(n_{\text{eff}} = n_1 n_2 / (n_1 + n_2)\)）。 - \( p \)：双侧 p 值。随机变量，由检验统计量计算。 - \( W \)：Wald 统计量，\( W = (\hat{\theta} - \theta_0)^2 / \text{SE}(\hat{\theta})^2 \)。随机变量。 - \( g(\theta \mid H_1) \)：H₁ 下 θ 的先验密度。已知函数（本文主要用单位信息先验）。 - \( \text{BF}_{01} \)：支持 H₀ 相对于 H₁ 的 Bayes 因子。目标 estimand。 - \( \text{JAB}_{01} \)：Jeffreys 近似 Bayes 因子。近似量。

模型： - 数据生成机制：假设存在一个参数 θ，其 MLE \(\hat{\theta}\) 渐近正态：\(\hat{\theta} \sim N(\theta, \text{SE}(\hat{\theta})^2)\)。H₀: θ = θ₀；H₁: θ ∼ g(θ)，其中 g 是单位信息先验（先验信息量等于一个观测）。 - 可观测数据：研究者实际能观测到的是 p 值（或等价地，Wald 统计量 W）和有效样本量 n_eff（或标准误 SE(\(\hat{\theta}\))）。不可观测的是 θ 的真实值、先验密度 g 在 \(\hat{\theta}\) 处的值（但可通过假设计算）。

第二步：最小内核——最简特例：单样本均值检验，n_eff = n，p 来自 z 检验

设定：假设我们有一个来自 N(μ, σ²) 的 i.i.d. 样本 \(y_1, \dots, y_n\)，已知 σ²（或 n 足够大使得 z 检验适用）。检验 H₀: μ = 0 vs. H₁: μ ≠ 0。此时 θ = μ，θ₀ = 0，\(\hat{\theta} = \bar{y}\)，\(\text{SE}(\hat{\theta}) = \sigma / \sqrt{n}\)，n_eff = n。双侧 p 值为 \(p = 2 \Phi(-|\bar{y}| / (\sigma/\sqrt{n}))\)，其中 Φ 是标准正态 CDF。

JAB 公式：在单位信息先验下（先验方差等于一个观测的信息量，即 σ²），先验密度为 \(g(\theta \mid H_1) = N(\theta \mid 0, \sigma^2)\)。代入式 (2) 得：

\[\text{JAB}_{01} = \frac{1}{\sqrt{2\pi} \text{SE}(\hat{\theta}) \, g(\hat{\theta} \mid H_1)} \exp(-0.5 W) = \frac{1}{\sqrt{2\pi} (\sigma/\sqrt{n}) \cdot (1/\sqrt{2\pi\sigma^2}) \exp(-\hat{\theta}^2/(2\sigma^2))} \exp\left(-\frac{1}{2} \frac{\hat{\theta}^2}{\sigma^2/n}\right)\]
化简后得到：
\[\text{JAB}_{01} = \sqrt{n} \exp\left(-\frac{1}{2} \frac{\hat{\theta}^2}{\sigma^2/n} + \frac{1}{2} \frac{\hat{\theta}^2}{\sigma^2}\right) = \sqrt{n} \exp\left(-\frac{1}{2} \frac{\hat{\theta}^2}{\sigma^2} (n - 1)\right)\]
而 Wald 统计量 \(W = \hat{\theta}^2 / (\sigma^2/n) = n \hat{\theta}^2 / \sigma^2\)，且 p 值满足 \(W = [\Phi^{-1}(1-p/2)]^2\)。因此 JAB 可完全由 p 和 n 表达：
\[\text{JAB}_{01} = \sqrt{n} \exp\left(-\frac{1}{2} \frac{n-1}{n} W\right) = \sqrt{n} \exp\left(-\frac{1}{2} \frac{n-1}{n} [\Phi^{-1}(1-p/2)]^2\right).\]
这就是式 (11) 的特例（n_eff = n）。当 n 很大时，\((n-1)/n \approx 1\)，JAB ≈ √n exp(-0.5 W)。

核心思路：JAB 将 Bayes 因子分解为“先验比”因子（√n）和“似然比”因子（exp(-0.5 W)）。√n 项来自单位信息先验的归一化常数，它使得 JAB 随样本量增长而倾向于 H₀（因为先验在 MLE 处的密度随 n 增大而降低）。W 项则反映数据与 H₀ 的冲突程度。两者结合，使得相同 p 值在不同 n 下对应不同的证据强度。

为什么这个特例是内核：论文的一般情形（t 检验、比例检验、logistic 回归）本质上都是这个特例的推广——只需将 Wald 统计量替换为对应检验的统计量，并将 n_eff 按模型重新定义。所有关于偏差、边界条件的分析（式 6–10）都基于这个正态-正态模型。

三、这篇论文做了什么

三句话

  1. 研究问题：重新审视 Jeffreys 在 1930 年代提出的近似 Bayes 因子（JAB），该近似仅需 p 值和有效样本量 n_eff，即可在单位信息先验下将频率学派 p 值与客观 Bayes 因子联系起来，并系统评估其准确性与实际含义。
  2. 核心工具：JAB 公式 \(\text{JAB}_{01} = A \sqrt{n_{\text{eff}}} \exp(-0.5 W)\)，其中 \(A = [\sqrt{2\pi} \sigma g(\hat{\theta} \mid H_1)]^{-1}\)，W 由 p 值通过分位数函数反推；主要使用单位信息先验（中心在 θ₀ 或 \(\hat{\theta}\)）。
  3. 主要结论：JAB 对客观 Bayes 因子的近似效果极佳（在 704 个 t 检验和 39 个比例比较中，偏差通常小于因子 3）；p 值隐含的证据强度强烈依赖于 n_eff——传统 p 值口头标签仅在 n_eff ≈ 8 时与 Bayes 因子分级一致；在中到大型样本中，p > .10 可能构成对 H₀ 的中等甚至强证据；JAB 在可选停止下仍然有效。

关键设定与假设

在第二节最小记号的基础上，补全完整设定：

  • 假设 1（正交性）：θ 与 H₀ 和 H₁ 共享的 nuisance 参数正交，或 nuisance 参数的先验是模糊的。否则 JAB 可能严重偏倚（Jeffreys, 1961, pp. 249–251）。
  • 假设 2（正态性）：\(\hat{\theta}\) 的抽样分布是正态的。渐近成立，但小样本下可能违反（如 t 检验中 p 值基于 t 分布而非正态）。
  • 假设 3（先验光滑性）：先验密度 g 二次连续可微、proper，且在 \(\hat{\theta}\) 处概率密度为正。若 \(g(\hat{\theta} \mid H_1) = 0\)，JAB 无定义。
  • 假设 4（小 SE 或先验平坦）：标准误较小，或先验在 \(\hat{\theta}\) 附近曲率不大。即 \(\text{SE}(\hat{\theta}) \ll \sigma_\theta\)（先验尺度），否则近似误差增大。
  • 假设 5（p 值未校正）：若 p 值经过多重比较校正，则反推 W 时出错。

相比已有文献：JAB 本身不要求数据来自指数族（仅需 MLE 渐近正态），但本文实证主要限于 t 检验和比例检验。与 Sellke et al. (2001) 的下界方法相比，JAB 需要指定先验，但提供了直接近似而非下界。

主要结果

理论结果： - 式 (2)：JAB 的一般形式 \(\text{JAB}_{01} = A \sqrt{n_{\text{eff}}} \exp(-0.5 W)\)，其中 A 依赖于先验。 - 式 (6)：JAB 相对于解析 Bayes 因子的偏差公式 \(k = \text{BF}_{01} / \text{JAB}_{01} = \sqrt{(\sigma_\theta^2 + \text{SE}^2)/\sigma_\theta^2} \times \exp\left(-\frac{1}{2} \frac{(\hat{\theta} - \mu_\theta)^2}{\sigma_\theta^2} \frac{\text{SE}^2}{\text{SE}^2 + \sigma_\theta^2}\right)\)，揭示了方差膨胀（偏向 H₁）和过度自信（偏向 H₀）两种相反偏差。 - 式 (7)–(9)：对于中心在 \(\hat{\theta}\) 的单位信息先验，偏差简化为 \(k = \sqrt{1 + 1/n_{\text{eff}}}\)，最大偏差不超过 √2 ≈ 1.41；对于中心在 θ₀ 的先验，偏差由式 (9) 给出，并可通过 Lambert W 函数求解最小 n_eff 以控制偏差（式 10）。 - 式 (11)：中心在 θ₀ 的单位信息先验下的 JAB 公式：\(\text{JAB}_{01} = \sqrt{n_{\text{eff}}} \exp\left(-\frac{1}{2} \frac{n_{\text{eff}}-1}{n_{\text{eff}}} [\Phi^{-1}(1-p/2)]^2\right)\)。 - 式 (14)：证据上界 \(\max(\text{JAB}_{01}) = \sqrt{n_{\text{eff}}}\)（当 p → 1 时），可用于评估“无效应”声明的最大可能证据。

实证结果： - 图 1：704 个 t 检验（来自 Aczel et al., 2018 和 Wetzels et al., 2011）显示，JAB 与 JZS-Bayes 因子（Cauchy 先验）在对数尺度上高度线性相关，偏差通常小于因子 3（Jeffreys 的容忍范围）。仅在小样本且强证据时，JAB 略低估对 H₁ 的证据。 - 图 2：39 个比例比较（来自 Hoekstra et al., 2018）显示，JAB 与两种 Bayes 因子（独立 Beta 先验和 logistic 回归先验）同样高度一致，而单侧 p 值与 Bayes 因子无明显关系。 - 图 5：展示了 p 值与 JAB₁₀ 随 n_eff 的变化关系。关键发现：p = .01 在 n_eff = 50 时对应 moderate evidence against H₀（JAB₁₀ = 3.65），但在 n_eff = 10,000 时对应 moderate evidence in favor of H₀（JAB₁₀ = 1/3.63），即 Jeffreys-Lindley 悖论。传统 p 值标签（如 .001 < p < .01 为“strong surprise”）仅在 n_eff ≈ 8 时与 Bayes 因子分级一致。

证明路线与技术技巧

整体路线（以 JAB 的推导和偏差分析为例）： 1. 从 Bayes 因子到 JAB：从定义 \(\text{BF}_{01} = p(\hat{\theta} \mid H_0) / p(\hat{\theta} \mid H_1)\) 出发，其中 \(p(\hat{\theta} \mid H_0) = N(\hat{\theta} \mid \theta_0, \text{SE}^2)\)，而 \(p(\hat{\theta} \mid H_1) = \int N(\hat{\theta} \mid \theta, \text{SE}^2) g(\theta \mid H_1) d\theta\)。用泰勒展开或 Dirac delta 近似积分 ≈ \(g(\hat{\theta} \mid H_1)\)，得到 JAB。 2. 偏差分析：对于正态先验，解析计算 BF₁₀ 和 JAB₁₀，得到比值 k（式 6）。分析 k 与 n_eff、效应量 \(\hat{\delta}\) 的关系。 3. 最小样本量求解：将偏差方程转化为 Lambert W 函数形式，得到 n_eff 的闭式解（式 10），并给出大样本近似（n_eff ≈ (1 - \(\hat{\delta}^2\)) / (2 log k)）。 4. 实证验证：将 JAB 应用于真实数据集，与精确 Bayes 因子（JZS、IB、LT）比较，用散点图和偏差因子 3 的灰色带展示近似质量。

关键跳跃点： - 从积分到点估计：\(p(\hat{\theta} \mid H_1) \approx g(\hat{\theta} \mid H_1)\) 是核心近似。作者用三种方式论证（附录 C）：Dirac delta 极限、Chib 恒等式、泰勒展开。泰勒展开显示误差项为 \(\frac{1}{2} g''(\hat{\theta} \mid H_1) \text{SE}^2\)，因此当 SE 小或先验平坦时近似准确。 - 偏差公式的推导：式 (6) 的推导需要同时处理方差膨胀和指数项，作者通过代数操作将两个偏差来源分离，并指出它们方向相反，从而解释了为什么 JAB 在单位信息先验下偏差很小。

技术技巧点名： - Lambert W 函数：用于求解偏差方程的反函数，得到 n_eff 的闭式解（式 10）。这是处理形如 \(x e^x = y\) 方程的标准工具。 - 泰勒展开：用于分析近似误差（附录 C.3），将积分展开为矩的级数。 - Dirac delta 与 sifting property：用于直观理解渐近极限（附录 C.1）。 - Chib 恒等式：提供另一种视角，将 JAB 解释为用正态近似后验密度（附录 C.2）。 - 分位数函数反推：从 p 值到 Wald 统计量的转换（式 3），利用了 χ² 和正态分布的分位数函数。

真实例子与应用

本文包含两个真实数据例子： 1. 704 个 t 检验：来自 Aczel et al. (2018) 和 Wetzels et al. (2011) 的已发表心理学研究。作者将每个研究的报告统计量（t 值、样本量）转换为 p 值和 n_eff，然后计算 JAB 并与 JZS-Bayes 因子比较。结果如图 1 所示，JAB 近似良好，偏差通常小于因子 3。这个例子旨在验证 JAB 在常见 t 检验设定下的实用性，并展示 p 值与 Bayes 因子之间的系统差异（小样本时 p 值高估证据，大样本时低估）。 2. 39 个比例比较：来自 Hoekstra et al. (2018) 的医学 null 结果，重新分析后与两种 Bayes 因子（独立 Beta 先验和 logistic 回归先验）比较。结果如图 2 所示，JAB 再次与精确 Bayes 因子高度一致，而单侧 p 值则无清晰关系。这个例子旨在说明 JAB 在不同检验类型（比例检验）下的泛化能力，并强调 p 值无法区分“无效应”与“证据不足”。

🔎 结论是否比证明窄

  • 可选停止下的有效性：作者在 p.26 声称“JAB provides a valid estimate of the evidence even when the data were sampled until p < α (optional stopping)”，但仅引用其他工作（Heide & Grünwald, 2020; Ramdas et al., 2023; Rouder, 2014; Wagenmakers et al., 2026），未给出自己的证明或模拟。严格来说，JAB 本身是一个近似公式，其“有效性”依赖于 Bayes 因子在可选停止下的性质（即 Bayes 因子不受停止规则影响），但 JAB 的近似误差是否在可选停止下仍然可控？本文未讨论。
  • 大样本近似：JAB 的推导基于 MLE 的渐近正态性，但作者在 t 检验的实证中使用了小样本校正（附录 B），说明在严格小样本下 JAB 可能偏离。作者承认“deviations are noticeable only in very small samples”（p.10），但未给出小样本下 JAB 的精确误差界。
  • 先验敏感性：作者在 2.2 节给出了偏差公式，但未系统展示当先验偏离单位信息时 JAB 的偏差范围。结论中关于“JAB approximates the BF well”的声称主要针对单位信息先验和客观检验，对于 informed priors 可能不成立（作者在 Assumption 1 中已指出）。

四、开放问题

  1. 高维或复杂模型中的 n_eff 定义与 JAB 推广：本文的 n_eff 定义依赖于具体模型（附录 A），但在高维回归、混合模型或半参数设定中，有效样本量的概念不唯一（如 Berger et al., 2013 的线性模型处理）。能否将 JAB 推广到高维稀疏模型（如 lasso 检验）或非参数检验（如核检验）？这需要重新定义 n_eff 并验证近似质量。扎根点：附录 A 指出“determining the correct n_eff can be difficult in more complex models”，但未深入。

  2. JAB 在可选停止下的严格理论保证：作者声称 JAB 在可选停止下有效，但仅引用 e-process 文献。能否证明 JAB 本身构成一个 e-process（或近似 e-process）？即是否存在一个非负鞅 \(M_t\) 使得 \(\text{JAB}_{01}^{(t)} \leq 1/M_t\)？这需要将 JAB 与 test martingale 理论结合。扎根点：p.26 “JAB can be a computationally cheap alternative to a full sequential Bayesian analysis”，但未给出证明。

  3. 非单位信息先验下的 JAB 偏差界：作者给出了正态先验下的偏差公式（式 6），但未给出一般先验下的偏差界。对于厚尾先验（如 Cauchy）或混合先验，JAB 的近似误差是否仍可控？能否推导出类似式 (10) 的最小样本量条件？扎根点：2.2 节仅处理了正态先验，且作者在 p.15 指出“JAB is most accurate for objective uninformed prior distributions”。

  4. JAB 与更高阶 U 统计量的联系：研究者对高阶 U 统计量有专门兴趣。JAB 的推导依赖于 MLE 的渐近正态性，而许多 U 统计量本身是渐近正态的。能否将 JAB 推广到基于 U 统计量的检验（如 Kendall’s τ、Wilcoxon 检验）？这需要定义对应的 n_eff 和 Wald 统计量。扎根点：本文仅处理了参数检验（t、z、logistic），未涉及非参数检验。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论