跳转至

Confidence sequences with informative, bounded-influence priors

作者: Stefano Cortinovis, Valentin Kilian, François Caron
来源: Electronic Journal of Statistics
主题: 数理统计 / 假设检验
相关性: 5/10
机构绿灯: University of Oxford(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv


一、领域脉络与小综述

  • 这个方向是什么:本文属于"任意有效推断"(anytime-valid inference)与"置信序列"(confidence sequences, CS)这一子方向。其根本统计问题是:在数据持续累积、样本量不预先固定的场景下(如 A/B 测试的连续监测、临床试验的期中分析、bandit 算法),如何构造一个对任意停时都有效的置信区间序列——即要求 P(θ* ∈ C_n 对所有 n ≥ 1) ≥ 1−α,而非传统固定样本量的单次覆盖保证。该方向的成熟度较高:从 1970 年代 Robbins 的开创性工作,到 2020 年代 e-value / e-process 理论的系统化,已形成一套以"非负(超)鞅 + Ville 不等式"为核心的标准工具箱。本文的独特切入点是:在经典的高斯均值模型中,系统研究信息性先验(informative priors)对置信序列效率与稳健性的影响——这是一个此前未被充分探索的维度。

  • 发展脉络(history):

  • 奠基工作:Robbins (1970) 与 Darling & Robbins (1967) 首次提出置信序列的概念,并给出基于"延迟开始"(delayed-start)边界的构造方法;Ville (1939) 的鞅不等式是整个理论的基石。Robbins & Siegmund (1970) 进一步研究了 Wiener 过程的边界穿越概率,为高斯均值问题提供了精确的渐近工具。这些工作确立了"非负鞅 + 阈值化"的基本范式。
  • 主要进展:Lai (1976) 构造了高斯均值(方差未知)情形下的非平凡置信序列,解决了此前构造在方差未知时失效的问题。Howard et al. (2021) 系统发展了基于"经验 Bernstein 界"与"子高斯/子指数鞅"的通用构造方法,使 CS 在非参数、非渐近意义下达到 LIL(重对数律)最优速率。Wang & Ramdas (2025) 提出扩展 Ville 不等式,将有效性推广到非可积非负超鞅(允许 E[X₁] = ∞),从而为不当先验(improper priors)下的构造提供了理论依据——这是本文最直接的技术前提。
  • 当前 frontier:Ramdas et al. (2023) 的综述将 CS 与 e-process 统一在"游戏论统计"(game-theoretic statistics)框架下,强调其与 betting、safe anytime-valid inference (SAVI) 的联系。近期的活跃方向包括:非参数泛函的 CS(Howard & Ramdas 2022)、因果推断中的 CS(Waudby-Smith et al. 2024 将其用于 A/B 测试的 ATE 估计)、以及将先验信息纳入构造以提升效率(Kilian et al. 2025 的 prediction-powered inference 是本文作者的前作,已初步探索 Bayes 辅助的 CS)。
  • 本文的位置:本文(Cortinovis, Kilian & Caron, 2025)位于"Bayes 辅助 CS"这一最新分支。作者在引言中明确指出,已有工作(如 Wang & Ramdas 2025)虽允许不当先验,但未系统研究信息性先验在数据冲突下的行为。本文填补的缺口是:在精确高斯模型下,证明具有多项式或指数尾部的信息性先验所构造的扩展 Ville 置信序列(eVCS),在严重先验-数据冲突下仍保持有界宽度(稳健性),同时在先验正确时比非信息性构造更紧(效率)。这一定性结论此前仅以数值观察或猜想形式存在。

  • 子线索聚类:被引文献大致落在三条子线索上:

  • 经典置信序列与鞅方法(Robbins 1970; Darling & Robbins 1967; Robbins & Siegmund 1970; Lai 1976; Ville 1939):以非负鞅和 Ville 不等式为核心,构造固定边界或延迟边界的 CS。这条线奠定了理论框架,但多限于非信息性构造。
  • 现代 e-process / 游戏论统计(Ramdas et al. 2023; Howard et al. 2021; Wang & Ramdas 2025; Grünwald 2023):将 CS 重新解释为 e-process 的阈值化,引入 betting 与 SAVI 视角,扩展了适用场景(非参数、方差未知、复合假设)。Wang & Ramdas (2025) 的扩展 Ville 不等式是本文的直接工具。
  • Bayes 辅助与先验信息利用(Kilian et al. 2025; Cortinovis & Caron 2024; Berger 1980; Strawderman 1971; Dawid 1973; Pericchi & Smith 1992; Pericchi & Sansó 1995):将先验分布作为混合测度引入构造,追求效率提升;同时借鉴经典 Bayesian 稳健性文献(有界影响先验)处理先验-数据冲突。本文是这条线的最新节点,将"有界影响"概念从固定样本 Bayesian 推断推广到任意有效推断。

  • 这个方向在追问的核心问题:

  • 如何构造宽度最优(或接近最优)的 CS? 当前主流方法(e-process + Ville)在特定参数族下可达到 LIL 速率,但常数因子往往非最优;信息性先验能否系统性改善常数?
  • 如何在利用先验信息的同时保证稳健性? 这是本文的核心问题:先验-数据冲突时,CS 是否会退化(宽度发散)?尾部行为(多项式 vs 指数)如何影响退化速率?
  • CS 的几何/拓扑性质:置信区域何时是凸集/区间?这直接影响计算可行性与可解释性(本文定理 2.11 处理此问题)。
  • 如何将 CS 推广到更复杂的统计模型(非参数、高维、因果)?已知瓶颈是:非参数似然比鞅的构造缺乏通用配方,且高维下 LIL 速率可能退化。

  • ⚠️ 作者的 framing(这是作者的说法):作者将缺口 frame 为"信息性先验在任意有效推断中的角色未被系统理解"——具体而言,Ville 不等式给出的 CS 在先验-数据冲突下会发散,而扩展 Ville 不等式(Wang & Ramdas 2025)虽允许不当先验,但未分析信息性先验的尾部如何影响冲突下的行为。作者声称其贡献是"首次系统刻画"这一权衡,并给出"多项式尾部先验保证有界性、指数尾部先验导致有界但偏移"的精确刻画。被淡化或回避的竞争路线:(a) 基于 betting 的构造(Waudby-Smith & Ramdas 2020)在数值上通常更紧,但作者未将其纳入比较;(b) 非参数/渐近 CS(Howard et al. 2021)在适用性上更广,但作者聚焦精确高斯模型,回避了非参数化的困难;(c) 作者未讨论先验选择的适应性(data-dependent prior),仅考虑固定先验。明显该被引却没出现在 intro 里的:Robbins & Siegmund (1970) 的精确边界结果虽被引用,但 Darling & Robbins (1967) 的原始构造与 Lai (1976) 的方差未知情形未被详细对比;此外,关于 Bayesian 稳健性的经典工作(Berger 1980; Strawder-man 1971)虽被提及,但更现代的"稳健 Bayes"文献(如 Berger 1994 的 ε-contamination 类)未出现——这可能是因为本文的"稳健性"定义(宽度有界)与经典定义(后验偏差有界)不同,作者未明确讨论这一概念差异。

  • 张力:未见明显对立引用。但存在一个微妙张力:Wang & Ramdas (2025) 的扩展 Ville 不等式是为不当先验设计的(允许 E[X₁] = ∞),而本文的核心结果(定理 4.3)针对适当先验(多项式或指数尾部)。作者将两者统一在"尾部行为"框架下,但未讨论完全不当先验(如均匀先验)在本文框架下的行为——这是一个潜在的概念缝隙。另一个张力:经典 Bayesian 稳健性文献(Pericchi & Smith 1992)关注的是后验对先验的敏感性,而本文关注的是置信区域(频率学派覆盖保证)对先验的敏感性——两者目标不同,作者未明确区分。

二、最核心、最简单的例子 / 数学问题

第一步:把符号、模型、可观测数据交代清楚

  • 数据生成:观测序列 Y₁, Y₂, … 为 i.i.d. 高斯随机变量,Yᵢ ~ N(θ, σ²),其中 θ ∈ ℝ 是未知的感兴趣参数(均值),σ² > 0 为已知方差。这是全文的基准模型(第 3 节起专门化到此模型)。
  • 样本量与时间:n 表示当前样本量(时间指标),Y₁:ₙ = (Y₁, …, Yₙ) 为截至时间 n 的观测向量。样本均值 Ȳₙ = (1/n)ΣᵢYᵢ 是 θ 的充分统计量。
  • 先验/混合测度:Π₀ 是定义在参数空间 Θ = ℝ 上的 σ-有限测度("先验")。它可以是适当的(概率测度)或不当的(总质量无限)。本文关注具有多项式尾部(|θ|⁻ᵝ, β > 1)或指数尾部(e^(−κ|θ|/σ), κ > 0)的先验。关键记号:边际似然 mₙ(y₁:ₙ) = ∫ fₙ,θ(y₁:ₙ) Π₀(dθ),其中 fₙ,θ 是 n 个独立高斯观测的联合密度。
  • 似然比/混合鞅:对每个被检验的假设 θ₀,定义 Lₙ(Y₁:ₙ; θ₀) = mₙ(Y₁:ₙ) / fₙ,θ₀(Y₁:ₙ)。在 H₀: θ* = θ₀ 下,这是一个非负鞅(或扩展非负超鞅),初始值为 1(若 Π₀ 适当)或可能为 ∞(若不当)。
  • 置信序列:C_α,ₙ(y₁:ₙ) = {θ₀ | Lₙ(y₁:ₙ; θ₀) ≤ 阈值}。Ville CS 使用固定阈值 1/α;扩展 Ville CS(eVCS)使用依赖于 θ₀ 的阈值 g⁻¹_θ₀(α),其中 g_θ₀(c) = E_{Y₁~P_θ₀}[min(L₁(Y₁; θ₀)/c, 1)] 是校准函数。覆盖保证:P(θ* ∈ C_α,ₙ 对所有 n ≥ 1) ≥ 1−α。
  • 可观测 vs 潜在:本文是纯频率学派推断,无潜在结果/反事实量。所有量(样本均值、似然比、置信区域)都是观测数据的确定性函数。先验 Π₀ 是构造工具而非数据生成机制的一部分——这是"Bayes 辅助频率学派推断"的关键:先验只影响置信区域的形状与效率,不影响覆盖保证的有效性。
  • 目标量:θ*(固定未知常数)。估计量:后验均值 θ̂ₙ = ∫ θ fₙ,θ(Ȳₙ) Π₀(dθ) / mₙ(Ȳₙ)(定理 5.1 证明其总在置信区域内)。

第二步:讲最小内核

剥掉所有技术假设后,本文的核心数学问题可以归结为:

对于一个固定的样本量 n,当观测到的样本均值 ȳₙ 远离先验中心(即 |ȳₙ| 很大)时,扩展 Ville 置信区域 C^eV_α,ₙ(ȳₙ) 的宽度如何随 |ȳₙ| 变化?

为什么这个问题是核心?因为置信序列的"稳健性"要求恰恰体现在极端情形:如果先验中心设在 0,而真实 θ* 在 100 处,那么观测到的 ȳₙ 会持续远离 0。此时: - Ville CS(固定阈值 1/α):由于 Lₙ = mₙ/fₙ,θ₀,当 ȳₙ 远离先验中心时,边际似然 mₙ(ȳₙ) 由先验尾部决定。若先验是高斯(指数尾部),mₙ(ȳₙ) 以 e^(−κ|ȳₙ|) 衰减,导致 Lₙ 指数增长,置信区域必须指数扩大才能维持覆盖——这就是定理 4.1 的"Ville CS 发散"结论。 - eVCS(阈值 g⁻¹_θ₀(α)):关键洞察是,校准函数 g_θ₀ 本身也依赖于 θ₀。当 θ₀ 远离先验中心时,g⁻¹_θ₀(α) 会相应增大(因为 L₁ 在 θ₀ 处的分布尾部更重),从而部分抵消 Lₙ 的增长。定理 4.3 证明:对于多项式尾部先验(κ = 0, β > 1),这种抵消是精确的——置信区域收敛到不当先验(常数先验)下的形式,宽度有界;对于指数尾部先验(κ > 0, β = 0),抵消不完全,但宽度仍保持有界(只是中心偏移 −κσ/n)。

最小例子:取 n = 1,σ = 1,先验为 Laplace 分布 π₀(θ) = (κ/2)e^(−κ|θ|)。此时: - 边际似然 m₁(y) = ∫ (1/√(2π))e^(−(y−θ)²/2) · (κ/2)e^(−κ|θ|) dθ。 - 当 y → ∞ 时,m₁(y) ~ (κ/√(2π))e^(−κy)(由先验尾部主导)。 - 似然比 L₁(y; θ₀) = m₁(y) / f₁,θ₀(y) ~ κ e^(−κy + (y−θ₀)²/2)。 - 校准函数 g_θ₀(c) = E[min(L₁(Y; θ₀)/c, 1)],其中 Y ~ N(θ₀, 1)。 - 定理 4.3 的关键步骤(命题 4.5)证明:当 θ₀ → ∞ 时,g⁻¹_θ₀(α) / (√(2π)π₀(θ₀)) → g⁻¹_κ(α)(一个不依赖 θ₀ 的常数)。这保证了置信区域的宽度有界。

这个例子的"最小性"在于:n = 1 时,所有量都有闭式或半闭式表达,且先验-数据冲突(y → ∞)与先验尾部(κ)的相互作用可以直接计算。一般 n 的情形只是将 y 替换为 ȳₙ,并将先验尾部行为从单点推广到正则变化函数(定理 A.1)。

三、这篇论文做了什么

三句话: 1. 研究了什么问题:在高斯均值模型(已知方差)中,如何利用信息性先验构造置信序列(CS),使得在先验与数据一致时比非信息性 CS 更紧,而在先验与数据严重冲突时仍保持有界宽度(不退化)。 2. 核心工具/方法:将经典"混合鞅 + Ville 不等式"框架与 Wang & Ramdas (2025) 的扩展 Ville 不等式结合,对具有多项式或指数尾部的先验建立精确的渐近分析;同时利用对数凹性理论给出 eVCS 为凸集/区间的充分条件。 3. 主要结论:① 在任意适当先验下,Ville CS 的体积在先验-数据冲突下必然发散(定理 4.1);② 对于满足尾部条件(25)的先验,eVCS 在先验-数据冲突下收敛到对应的不当先验 CS,宽度有界(定理 4.3);③ 后验均值总落在 eVCS 内(定理 5.1),提供自然的点估计。

关键设定与假设: - 模型:Yᵢ ~ N(θ*, σ²),i.i.d.,σ² 已知。这是全文的基准模型,所有定理在此模型下陈述。 - 先验尾部条件(假设 4.2):π₀(θ) ~ C₁(√(2π)σ²)⁻¹ |θ/σ|^(−β) e^(−κ|θ|/σ),其中 C₁ > 0, β ≥ 0, κ ≥ 0。当 β ≤ 1 且 κ = 0 时先验不当;否则适当。此条件允许多项式尾部(κ = 0, β > 1,如 horseshoe、Student-t、Cauchy)和指数尾部(κ > 0, β = 0,如 Laplace、正态)。 - 正则变化假设:π₀(θ)e^(κθ/σ) 是正则变化函数(附录 B),这保证了尾部行为的均匀控制(命题 4.5 的证明关键)。 - 与已有文献的比较:相比 Wang & Ramdas (2025) 的扩展 Ville 不等式(允许不当先验但未分析信息性先验),本文首次系统刻画了先验尾部对冲突下 CS 行为的影响;相比经典 Bayesian 稳健性文献(Pericchi & Smith 1992),本文将"有界影响"概念从后验推广到频率学派置信区域。

主要结果: - 定理 4.1(Ville CS 的发散性):对任意适当先验,固定阈值 1/α 的 Ville CS 在 |ȳₙ| → ∞ 时体积发散。证明思路:边际似然 mₙ(ȳₙ) → 0(适当先验的尾部衰减),而 fₙ,θ₀(ȳₙ) 在 θ₀ = ȳₙ 处取最大值,故 Lₙ ≥ mₙ(ȳₙ)/fₙ,ȳₙ(ȳₙ) = mₙ(ȳₙ)·√(2πσ²/n) → 0,阈值 1/α 被超过,ȳₙ 被排除在置信区域外。这一定理揭示了 Ville 不等式的固有局限:它无法区分"先验正确"与"先验错误"两种情形。 - 定理 4.3(eVCS 的稳健性):在假设 4.2 下,eVCS 在 |ȳₙ| → ∞ 时收敛(Hausdorff 距离)到对应的不当先验 CS(17)。证明分三步:① 证明置信区域被限制在 [ȳₙ − ξȳₙ, ȳₙ + ξȳₙ](命题 A.4);② 证明存在 δ_max 使区域包含于 [ȳₙ − δ_max, ȳₙ + δ_max](命题 A.5);③ 在紧区间上利用正则变化的均匀收敛定理(命题 4.5)得到精确极限。关键技巧是将先验尾部行为与校准函数 g_θ₀ 的渐近行为分离:g⁻¹_θ₀(α) 的 θ₀ 依赖性完全由先验尾部指数 κ 决定,而 β 只影响收敛速率。 - 定理 2.11(凸性):在似然对数凹且先验对数凹的条件下,eVCS 是凸集(标量情形为区间)。证明利用 Prekopa 定理:被积函数 h(θ₀, s) = min(f̃₁,θ₀(s), aₙ(θ₀)m̃₁(s)) 的对数凹性在边际化后保持。此结果保证置信区域的计算可行性(可用二分法求端点)。 - 定理 5.1(后验均值包含性):后验均值 θ̂ₙ 总在 eVCS 内。证明分两步:先证 θ̂ₙ ∈ C^P(Pratt 区域),再利用 C^P ⊆ C^eV。关键不等式是 Cauchy-Schwarz 与后验二阶矩的非负性。

证明路线与技术技巧: - 整体路线:从 Ville 不等式(经典)和扩展 Ville 不等式(Wang & Ramdas 2025)出发,将置信区域表示为似然比 Lₙ 的阈值化。核心挑战是分析 Lₙ 在 ȳₙ → ∞ 时的行为。作者将 Lₙ 分解为"边际似然比"(mₙ(ȳₙ)/fₙ,θ₀(ȳₙ))与"校准函数"(g⁻¹_θ₀(α))的乘积,分别分析两者的渐近行为,再合并得到最终结果。 - 关键引理: - 命题 A.1(边际似然渐近):mₙ(z) ~ C₁e^(κ²/2n) (√(2π)σ²)⁻¹ |z/σ|^(−β) e^(−κ|z|/σ),这是 Laplace 型积分的标准结果,但需要正则变化假设来保证均匀性。 - 命题 A.3(校准函数渐近):lim_{|θ|→∞} g⁻¹_θ(α) / (√(2π)σ²π₀(θ)) = g̃⁻¹_κ(α),这是全文最核心的技术引理。证明分两步:先证明 g_θ(c√(2π)σ²π₀(θ)) → g̃_κ(c)(利用有界收敛定理),再通过单调性反演得到逆函数的收敛。 - 命题 A.5(紧性控制):利用正则变化的 Potter 界(附录 B.3)对 δ 进行一致控制,避免逐点收敛不够用的问题。 - 技术技巧点名:正则变化理论(Bingham et al. 1987 的 Potter 定理和均匀收敛定理)、Prekopa 定理(对数凹性保持)、Laplace 方法(边际似然渐近)、单调函数的反演技巧(校准函数逆的收敛)、Hausdorff 距离下的集合收敛(而非逐点收敛)。

真实例子与应用: - 模拟研究(第 6 节):比较高斯(G)、Laplace(LP)、horseshoe(HS)、Student-t(T5)四种先验下的 Ville CS 与 eVCS 体积。核心发现:① 在先验正确(θ* = 0)时,信息性先验的 eVCS 比非信息性 CS 窄约 20-40%(图 4 中 n = 1 时最明显);② 在先验冲突(θ* = 10 或 100)时,高斯先验的 Ville CS 体积发散(超出图界),而 Laplace、HS、T5 的 eVCS 保持有界(图 5);③ HS 先验在冲突下几乎与非信息性 CS 重合,验证了定理 4.3 的"多项式尾部 → 回归不当先验"预测。图 6 将时间范围扩展到 n = 1000,确认有界性持续成立。 - 图 2(p-value 函数):展示高斯先验下 eVCS 的 p-value 函数在冲突时"塌缩"(p 值趋近于 0),而 HS 先验下 p-value 函数保持"健康"形状。这直观说明了"有界影响"的含义。 - 图 3(阈值比较):展示 1/α、g⁻¹_θ₀(α)、k_{n,θ₀}(α) 三者关系,说明扩展 Ville 阈值介于 Ville 和 Pratt 之间,且随 θ₀ 变化。 - 无真实数据应用:本文是纯方法论论文,无真实数据集分析。模拟的目的在于验证理论预测(定理 4.1 和 4.3),而非展示实际性能优势。

🔎 结论是否比证明窄: - 定理 4.3 的证明仅覆盖 n ≥ 1 固定、ȳₙ → ∞ 的确定性序列。作者在推论 4.4 中将其推广到 θ* → ∞ 的随机设定,但未证明收敛速度——即未给出 Hausdorff 距离的显式界。这意味着"有界性"是定性结论,无法用于构造有限样本的保守界。 - 凸性定理 2.11 的假设(A1-A3)在多项式尾部先验下不成立(如 HS 先验在 0 处有奇异点,非对数凹)。作者在附录 D.2 中承认,HS 先验的 eVCS 在数值上仍是区间,但未给出理论保证。这是一个明显的"证明窄于结论"之处。 - 定理 5.1 的证明依赖 Pratt 区域的包含关系,但作者未讨论 Pratt 区域本身的渐近行为(如是否也收敛到不当先验形式)。这意味着"后验均值在置信区域内"这一性质在冲突下的意义不明确——如果区域本身偏移,后验均值可能远离真实 θ*。 - 作者在讨论(第 7 节)中声称"我们的结果可以推广到更一般的指数族",但未给出任何具体定理或证明草图。这属于 conjecture 而非 theorem。

四、开放问题

  1. 收敛速度与有限样本界:定理 4.3 只给出 Hausdorff 距离的收敛性,未给出收敛速度。能否为多项式尾部先验建立 O(|ȳₙ|^(−β)) 或更优的显式界?这直接关系到实际使用中"多大冲突算严重"的可操作判据。(扎根于定理 4.3 的陈述与证明,后者仅用正则变化的均匀收敛定理,未量化收敛速率。)

  2. 凸性条件的推广:定理 2.11 要求对数凹先验,但 HS、Student-t 等重尾先验不满足。数值实验显示这些先验的 eVCS 仍是区间,但缺乏理论保证。能否将凸性条件推广到"对数凹包络"或"α-对数凹"类?(扎根于附录 D.2 的讨论:"characterising the full class of priors leading to interval eVCSs is an open problem"。)

  3. 非高斯/非参数设定:作者在讨论中提出将结果推广到指数族和一般 M-估计量,但未给出具体路径。关键困难是:扩展 Ville 不等式的校准函数 g_θ₀ 在非高斯模型下通常没有闭式表达,且对数凹性条件更难验证。一个具体问题:在方差未知的高斯模型中(Wang & Ramdas 2025 已构造 eVCS),信息性先验的稳健性结论是否仍然成立?(扎根于第 7 节:"Extending Theorem 4.3 to non-Gaussian settings is a promising direction for future work"。)

  4. 先验选择的适应性:本文假设先验是固定的。若允许先验随数据更新(如经验 Bayes),稳健性结论会如何变化?一个自然猜想是:适应性先验可能同时提升效率与稳健性,但需要新的鞅构造技巧。(扎根于第 7 节对"data-dependent priors"的提及,但作者未展开。)

  5. 高维推广:本文的凸性定理和稳健性结论都限于标量参数。在高维稀疏设定中,信息性先验(如 horseshoe)的 eVCS 是否仍保持有界?这可能与高维贝叶斯压缩估计的尾部行为相关,但需要新的几何工具。(扎根于第 7 节对"multivariate extensions"的讨论,作者仅指出"the geometry of eVCSs in higher dimensions is more complex"。)

提示:要确认上述问题是否为真 gap,建议去读以下近期工作的 intro(约 5 篇):(a) Wang & Ramdas (2025) 的扩展 Ville 不等式原文;(b) Howard et al. (2021) 的 CS 综述;(c) Kilian et al. (2025) 的 prediction-powered CS;(d) 近期关于"Bayes 因子与 e-value 关系"的文献(如 Grünwald 2023);(e) 高维 CS 的最新工作(如 2024-2025 年在 COLT 或 AOS 上发表的论文)。如果这些文献的 intro 都指向同一问题,那大概率是共识性 gap;如果它们各说各话,那可能是机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论