跳转至

On the statistical analysis of grouped data: when Pearson χ2 and other divisible statistics are not goodness-of-fit

作者: Sara Algeri, Estate V Khmaladze
来源: Journal of the Royal Statistical Society Series B
主题: 数理统计 / 假设检验
相关性: 6/10
机构绿灯: University of Minnesota(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是分组数据(grouped data)的拟合优度检验(goodness-of-fit testing),其根本的统计问题是:当我们把连续或高维空间的数据离散化为有限个箱子(bins)后,如何检验观测到的频数分布是否与某个假设模型一致。这个问题的特殊性在于,当箱子数量 K 与样本量 T 同阶增长(即 T/K → c ∈ (0,∞))时,每个箱子中的期望频数保持有界,频数分布不会收敛到高斯,经典的大样本卡方逼近失效。该方向当前处于"经典理论已成熟、但稀疏高维新范式仍在发展"的阶段——经典结果(如 Pearson 1900)假设每个箱子频数充分大,而现代应用(高能物理、天文光谱、文本分析)恰恰面临大量稀疏箱子。

发展脉络

  • 奠基工作:Pearson (1900) 提出 χ² 统计量,确立了拟合优度检验的基本范式——在箱子频数充分大的经典假设下,χ² 统计量渐近服从卡方分布。这是整个方向的起点,也是本文要挑战的对象。
  • 主要进展(经典期):Cochran (1952) 系统总结了 χ² 检验的使用条件与局限;Cressie and Read (1984, 1989) 提出 power divergence 统计量族,将 χ²、似然比等统一为单参数族,并系统比较了它们在各种设定下的表现。这一时期的共识是:只要每个箱子期望频数足够大,这些统计量都可用。
  • 主要进展(稀疏期):Khmaladze (1984, 1993, 2016) 的工作是本文最直接的理论源头。Khmaladze [1984] 首次系统研究了稀疏分组(T/K → c)下 divisible statistics 的极限行为,指出其极限不再是卡方而是高斯;Khmaladze [2016] 引入酉变换(unitary transformation)方法,将经验过程映射为分布自由的布朗桥过程,为构造分布自由的检验提供了新工具。本文作者之一正是 Khmaladze,因此本文可视为其本人对前期工作的深化与推广。
  • 当前 frontier:高维情形的 minimax 最优检验。Balakrishnan and Wasserman (2018, 2019) 与 Cai et al. (2024) 建立了高维多项分布假设检验的 minimax 率,指出传统统计量在稀疏高维下功效严重不足。本文的定位是:在稀疏分组(T/K → c)这一中间渐近框架下,统一处理 divisible statistics 的检验问题,并指出其作为拟合优度检验的固有缺陷。
  • 本文的位置:本文不是提出一个新统计量,而是对 divisible statistics 这一类统计量在稀疏分组下的行为给出统一刻画,证明其不可能成为真正的拟合优度检验,并给出补救方案(部分和过程 + 酉变换)。

子线索聚类

  1. 经典拟合优度统计量及其性质:Pearson χ²、似然比、power divergence 族(Cressie and Read 1984, 1989)。这条线索关注"给定统计量,其零分布与功效如何"。
  2. 稀疏分组下的渐近理论:Khmaladze (1984, 2011, 2016)、Ivchenko and Medvedev (1979, 1981)、Mnatsakanov (1986, 1988)。这条线索关注 T/K → c 时统计量的极限行为,是本文的直接理论框架。
  3. 高维 minimax 检验:Balakrishnan and Wasserman (2018, 2019)、Cai et al. (2024)。这条线索从决策论角度刻画"什么检验是最优的",与本文的"什么检验是可行的"形成互补。
  4. 天文/物理应用中的检验问题:Zhang et al. (2023)、Bonamente (2020)、Danehkar et al. (2020)。这些工作处理 X 射线光谱的背景模型检验,是本文方法的主要应用场景。

这个方向在追问的核心问题

  1. 稀疏分组下统计量的极限分布是什么? 经典卡方逼近失效后,需要新的渐近理论。已知结果:divisible statistics 在 T/K → c 下收敛到高斯(Khmaladze 1984),但方差表达式复杂。
  2. 什么统计量能构成真正的拟合优度检验? 即对所有偏离原假设的方向都有非零功效。本文证明:任何单个 divisible statistic 都不行。
  3. 如何构造分布自由的检验? 参数估计引入的随机性如何消除?Khmaladze [2016] 的酉变换方法在分组数据下的推广是本文的核心贡献之一。
  4. 高维稀疏下 minimax 最优检验是什么? Balakrishnan and Wasserman 与 Cai et al. 给出了部分答案,但与本文的 divisible statistics 框架如何衔接尚不清楚。

⚠️ 作者的 framing(这是作者的说法)

作者在引言中将缺口 frame 为:"在稀疏分组(T/K → c)下,传统 divisible statistics 并非拟合优度检验,且这一事实尚未被充分认识"。他们强调,现有文献要么关注经典稠密情形(Cochran, Cressie-Read),要么关注高维 minimax 率(Balakrishnan-Wasserman),但缺乏对 divisible statistics 在稀疏分组下统一的行为刻画。作者将本文定位为"填补这一空白"的工作。值得注意的是,作者淡化了高维 minimax 文献的 relevance——他们不讨论自己的检验是否 minimax 最优,而是聚焦于"能否检测所有方向"这一更基础的问题。值得研究者去查的问题:Balakrishnan and Wasserman (2018) 与 Cai et al. (2024) 的 minimax 最优检验是否也属于 divisible statistics 框架?如果不属于,其功效优势有多大?另外,作者引用了 Khmaladze [2016] 的酉变换方法,但该方法在连续数据(i.i.d.)下的原始形式与本文分组数据下的推广之间,技术难度差异有多大?

张力

未见明显对立引用。但存在一个微妙的张力:Khmaladze [1984] 的早期工作已指出 divisible statistics 在稀疏分组下功效有限,而 Balakrishnan and Wasserman (2018) 的 minimax 分析进一步强化了这一结论——但这两条线索在本文之前似乎没有系统交汇。本文可视为首次将二者纳入同一框架。

二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号(逐个点名):

  • K:箱子(bins)的总数,是离散化网格的粒度。K → ∞ 是本文的渐近设定之一。
  • T:期望总样本量(Poisson 过程的强度参数),T → ∞。关键渐近假设是 T/K → c ∈ (0,∞),即每个箱子平均期望频数保持有界常数。
  • ν(x_k):第 k 个箱子中观测到的频数,是可观测的随机变量。在零假设下,ν(x_k) ~ Poisson(m_θ(x_k)),且各箱子独立。
  • m_θ(x_k):第 k 个箱子的期望频数,是参数模型。θ = (c, β)^T ∈ Θ ⊆ R^p 是参数(c 是总强度,β 是形状参数),是要估计的对象。
  • λ_β(x):归一化的强度函数(概率密度),满足 ∫_X λ_β(x) dx = 1。m_θ(x_k) ~ c|X|λ_β(x_k)。
  • g_θ(x, z):定义 divisible statistic 的核函数,是 L²(μ_{θ,K}) 中的元素,满足 E_θ[g_θ(x, ν(x))] = 0(零均值条件)。
  • v_{θ,K}(g_θ):divisible statistic 本身,定义为 v_{θ,K}(g_θ) = (1/√K) Σ_{k=1}^K g_θ(x_k, ν(x_k))。
  • v_{θ,K}(A, z):随机测度(经验过程),定义为 v_{θ,K}(A, z) = (1/√K) Σ_{k=1}^K 1{x_k ∈ A} [1{ν(x_k) ≤ z} − P(z|m_θ(x_k))]。这是本文统一框架的核心对象。
  • μ_{θ,K}(A, z):v_{θ,K} 的期望测度,μ_{θ,K}(A, z) = (1/K) Σ_{k=1}^K 1{x_k ∈ A} P(z|m_θ(x_k))。
  • σ²_{g_θ}:divisible statistic 的渐近方差,σ²_{g_θ} = ∫ E_θ[g_θ²(x, ν(x))] μ(dx)。
  • ψ_θ(x, z):得分函数(score function),ψ_θ(x, z) = ∂/∂θ ln p(z|m_θ(x)),其中 p(z|t) 是均值为 t 的 Poisson 概率质量函数。
  • Π:投影算子,将 g_θ 投影到与得分函数正交的子空间。
  • U_p:酉算子,将投影后的过程映射为分布自由的布朗桥过程。

模型(数据生成机制):

  • 观测数据:{(x_k, ν(x_k))}_{k=1}^K,其中 x_k 是箱子的中心(固定设计点),ν(x_k) 是独立 Poisson 随机变量。
  • 零假设 H₀:E[ν(x_k)] = m_θ(x_k),即观测频数服从参数模型 m_θ。
  • 备择假设:E[ν(x_k)] = m_θ(x_k) · [1 + h_T(x_k)/√T],其中 h_T 是 L²(Λ_β) 中的函数,代表对零假设的局部偏离。
  • 关键渐近设定:T/K → c ∈ (0,∞)。这意味着每个箱子的期望频数不随样本量增长而发散,频数分布保持 Poisson 形态而非高斯。

可观测 vs 不可观测:

  • 可观测:频数 ν(x_k)、箱子位置 x_k。
  • 不可观测:真实强度函数 λ_β(x)、参数 θ、偏离方向 h_T。这些是推断目标,只能通过假设和估计间接获得。

第二步:最小内核

最简特例:假设 X = [0,1],K 个等宽箱子,零假设为均匀分布(即 λ_β(x) = 1 已知,无需估计参数),T/K → c。此时每个箱子的期望频数为 c,观测频数 ν_k ~ Poisson(c) 独立同分布。

要检验的问题:观测频数是否真的来自 Poisson(c)?

核心困难:考虑 Pearson 统计量(除以 √K 后): V_K = (1/√K) Σ_{k=1}^K [(ν_k − c)²/c − 1]。

在经典稠密情形(每个箱子频数 → ∞),V_K 的极限是 χ² 分布(自由度 K−1 的标准化)。但在稀疏情形(T/K → c),每个 ν_k 保持 Poisson(c) 而非高斯,V_K 的极限不再是 χ²,而是高斯 N(0, 2 + 1/c)(由 Proposition 1 可得,此时 σ²_{g_θ} = 2 + 1/c)。

为什么单个 divisible statistic 不是拟合优度检验:考虑一个具体的偏离方向,例如 h(x) = cos(2πx)。在备择假设下,V_K 的均值偏移为: (1/√K) Σ_k C(x_k; g_θ) h(x_k) ≈ (1/√c) ∫ C(x; g_θ) h(x) dx。

对于 Pearson 统计量,C(x; g_θ) = 1(常数),因此 ∫ C(x; g_θ) h(x) dx = ∫ cos(2πx) dx = 0。均值偏移为零,检验无功效。但 h(x) = cos(2πx) 显然是一个真实的偏离(频数分布不再是均匀的)。

本文的核心思想:不要只用一个 divisible statistic,而是考虑一族 divisible statistics——具体地,考虑部分和过程 v_{θ,K}(g_θ 1_{A_t}),其中 A_t 是扫描族(如 A_t = [0, t])。这样,每个 t 对应一个不同的"方向",整个过程能检测所有方向。然后通过酉变换 U_p 将投影后的过程映射为分布自由的布朗桥过程,从而得到已知极限分布的检验统计量(如 KS 统计量)。

为什么酉变换能实现分布自由:参数估计(如 MLE)会将原始过程投影到得分函数的正交补空间(即 Π 投影),使得极限过程不再是标准布朗运动,而是"投影布朗运动",其分布依赖于模型。酉变换 U_p 将这个投影布朗运动映射为标准布朗桥的拼接,从而消除模型依赖,实现分布自由。

最小内核的数学命题:在均匀零假设、无参数估计的最简情形下,部分和过程 v_{θ,K}(g_θ 1_{A_t}) 在 Skorokhod 空间 D[0,1] 中弱收敛到一个高斯过程,其协方差结构由 C(x; g_θ) 和 μ 决定。通过酉变换后,该过程收敛到标准布朗桥的拼接,因此 KS 统计量的极限分布是已知的 Kolmogorov 分布。一般情形的证明只是这个最简命题的"加壳":加入参数估计(Π 投影)和一般强度函数(非均匀 λ_β)。

三、这篇论文做了什么

三句话

① 研究了什么问题:在稀疏分组数据(T/K → c)下,可分的(divisible)统计量——包括 Pearson χ²、似然比、谱统计量等——是否构成有效的拟合优度检验?答案是否,并给出了补救方案。

② 核心工具/方法:将 divisible statistics 统一表示为随机测度 v_{θ,K}(g_θ) 的线性泛函;引入部分和过程 v_{θ,K}(g_θ 1_{A_t}) 和酉变换 U_p,构造分布自由的拟合优度检验。

③ 主要结论:(i) 任何单个 divisible statistic 都无法检测所有局部偏离(Proposition 5-6);(ii) 通过部分和过程 + 酉变换,可以构造分布自由的检验,其极限分布已知(Proposition 8);(iii) 参数估计(MLE)通过投影算子 Π 影响统计量的渐近分布,且 MLE 估计可提高功效(Proposition 5(ii))。

关键设定与假设

  • Poisson 假设:每个箱子的频数 ν(x_k) 独立服从 Poisson(m_θ(x_k))。这是全文的基础模型假设,适用于计数实验(如 X 射线光子计数)。
  • 稀疏渐近:T/K → c ∈ (0,∞)。这是全文的核心渐近框架,区别于经典稠密框架(T/K → ∞)。
  • 正则性条件:g_θ ∈ L²(μ_{θ,K}),即核函数平方可积;λ_β 分段连续、有界且远离零;得分函数 ψ_θ 线性独立(保证 Fisher 信息可逆)。
  • LAN 条件:参数族 {λ_β} 满足局部渐近正态性(van der Vaart 2000, Def 7.14),这是证明局部渐近功效的基础。
  • 估计方程条件:b_θ 定义估计方程 (12),且 ⟨b_θ, ψ_θ^T⟩ 可逆(保证 √K(b̂_θ − θ) 的渐近展开成立)。

相比已有文献的放宽/强化: - 相比经典文献(Cochran 1952, Cressie-Read 1984),本文放宽了箱子频数必须发散的假设,允许 T/K → c。 - 相比 Khmaladze [1984] 的早期工作,本文推广了 divisible statistics 的定义(允许核函数依赖 x_k 和 θ),并新增了参数估计情形的完整处理(Proposition 2-3)。 - 相比高维 minimax 文献(Balakrishnan-Wasserman 2018),本文不追求 minimax 最优性,而是聚焦于"能否检测所有方向"这一更基础的性质。

主要结果

Proposition 1(零假设下的 CLT):在 H₀ 下,v_{θ,K}(g_θ) → N(0, σ²_{g_θ})。这是所有后续结果的基础。关键点是方差 σ²_{g_θ} = ∫ E_θ[g_θ²(x, ν(x))] μ(dx),而非经典 χ² 的 2。

Proposition 2(参数估计的投影效应):当 θ 被估计时,v_{b̂θ,K}(g{b̂θ}) 渐近等价于 v{θ,K}(Πg_θ),其中 Π 是投影算子。这意味着参数估计将统计量投影到得分函数的正交补空间,减小了渐近方差。

Proposition 3(最优估计方程):在形如 (17) 的估计方程类中,使估计量渐近方差最小的权重函数是 γ_θ(由 (18) 给出)。这是一个 Cramér-Rao 型结果。

Proposition 4(局部备择下的均值偏移):在局部备择 (19) 下,v_{θ,K}(g_θ) 的均值偏移为 (1/√c) ∫ C(x; g_θ) h(x) μ(dx)。这是分析功效的关键公式。

Proposition 5(不可检测方向): - (i) 参数估计后,统计量的均值偏移只依赖于 h 的"正交分量" b̂h(即扣除参数族切空间后的部分)。沿参数族切空间的偏离不可检测。 - (ii) MLE 估计使统计量的功效不低于已知参数情形。这是反直觉的:估计参数反而提高功效。

Proposition 6(C-齐次统计量的失效):当 λ_β 均匀且 c 用 MLE 估计时,任何 C-齐次 divisible statistic(包括 Pearson χ²、似然比、谱统计量)的均值偏移为零,对所有局部备择都无渐近功效。这是全文最核心的否定性结果。

Proposition 7(加权线性统计量的支配性):对任意 divisible statistic g_θ,其"平行分量" g_θ^{//}(与 ν(x) − m_θ(x) 成比例的部分)产生的统计量具有更高的功效。因此,加权线性统计量支配所有 divisible statistics。

Proposition 8(分布自由的极限):通过酉变换 U_p 和特定的正交函数系 r,过程 v_{θ,K}(U_p Π_r ℓ_t) 收敛到独立标准布朗桥的拼接。因此,KS 统计量的极限分布是 [K(·)]^p(Kolmogorov 分布的 p 次幂)。

证明路线与技术技巧

整体路线(3-5 步逻辑主干):

  1. 统一表示:将所有 divisible statistics 表示为随机测度 v_{θ,K} 的线性泛函(Definition 1, (7))。这一步将看似不同的统计量(χ²、似然比、谱统计量)纳入同一框架。

  2. CLT 与投影:证明 v_{θ,K}(g_θ) 的渐近正态性(Prop 1),并推导参数估计的投影效应(Prop 2)。关键技术是 Le Cam 的 LAN 框架和估计方程的渐近展开。

  3. 功效分析:计算局部备择下的均值偏移(Prop 4),识别不可检测方向(Prop 5-6)。关键技巧是将 h 分解为"参数切空间分量"和"正交分量",证明前者不可检测。

  4. 最优性:通过方差分解证明加权线性统计量的支配性(Prop 7)。关键技巧是 Cramér-Rao 不等式在 Poisson 框架下的应用。

  5. 分布自由构造:通过酉变换 U_p 将投影后的过程映射为标准布朗桥(Prop 8)。关键技巧是选择特定的正交函数系 r(如 (45)),使得变换后的过程具有已知的协方差结构。

关键技术技巧:

  • 随机测度表示:将离散的频数过程嵌入到连续的函数空间,使得可以用经验过程理论(Skorokhod 空间、弱收敛)处理。
  • 投影算子 Π:将参数估计的影响抽象为一个线性投影,使得"估计参数"和"检验拟合"可以统一处理。
  • 酉变换 U_p:这是 Khmaladze [2016] 方法的推广。核心思想是:不同模型的投影布朗运动可以通过酉变换相互映射,从而消除模型依赖。
  • Cramér-Rao 型下界:Prop 3 的证明使用了类似于半参数效率理论中的信息不等式,但推广到了 Poisson 分组数据框架。

真实例子与应用

X 射线光谱背景检验(Section 1.1, 4.1, 6.3.1, 7.1.1): - 数据:Chandra X 射线天文台的源-free 光谱,波长范围 14.6–17.4 Å,离散化为 750 个箱子(K=750),平均每箱约 7 个计数(c ≈ 6.947)。 - 问题:检验背景模型是否为均匀分布(常数强度)。 - 方法应用: 1. 用 Pearson χ² 检验:p 值 = 0.547,接受均匀背景假设。 2. 用部分和过程 + 酉变换的 KS 检验:p 值 = 0.008,拒绝均匀背景假设。 3. 用 Zhang et al. [2023] 的 smooth tests:p 值 = 0.0004,同样拒绝。 - 结论:Pearson χ² 在稀疏分组下失效,而本文提出的 KS 检验能检测出偏离。这个例子直观展示了理论结果的实践意义。 - 后续分析:对线性背景模型(m_θ(x) = a + bx)进行检验,p 值 = 0.049,边缘显著;对分段线性模型(在 15.6 Å 处断点),p 值 = 0.43,接受。这展示了方法在模型选择中的应用。

模拟实验(Section 6.4, 7.2, 7.3): - 设定:K=50, 100, 1000;c=5;零假设为均匀分布或正态分布;备择为方差偏离或局部偏离。 - 结果:本文提出的 KS* 统计量(酉变换后)在 K=50 时就已接近极限分布,而 Pearson χ² 在 K=1000 时仍偏离极限分布。这验证了理论结果的有限样本有效性。 - 计算效率:投影 bootstrap 比标准 bootstrap 快约 3.3 倍(18.38 秒 vs 5.51 秒,100,000 次重复)。

🔎 结论是否比证明窄

  • Prop 6 的适用范围:Prop 6 证明的是"均匀分布 + MLE 估计 c"这一特殊情形下 C-齐次统计量的失效。作者在讨论中暗示这一结论可推广到更一般的参数族,但没有给出严格证明。这是一个潜在的窄化点。
  • Prop 8 的构造:酉变换 U_p 的构造依赖于特定的正交函数系 r((45) 式)。作者证明了这一选择下极限分布是 [K(·)]^p,但没有讨论其他选择是否也能实现分布自由,以及是否存在"最优"选择。
  • 有限样本性质:所有理论结果都是渐近的(K → ∞)。模拟实验显示 K=50 时表现良好,但没有给出有限样本误差界。
  • 非 Poisson 情形:全文假设频数服从 Poisson 分布。作者在引言中提到"扩展到二项或负二项分布是可能的",但没有给出具体结果。

四、开放问题

  1. Prop 6 的推广:C-齐次统计量在一般参数族(非均匀 λ_β)下的失效性是否成立?作者在讨论中暗示成立,但未给出证明。扎根于 Prop 6 的证明(Section 6.3)和 Section 8 的"final remarks"。

  2. 酉变换的最优性:是否存在比 (45) 式更好的正交函数系选择,使得检验对特定方向的功效更高?Prop 8 只证明了分布自由性,未讨论最优性。扎根于 Section 7.3 的构造。

  3. 有限样本误差界:本文的 KS* 统计量在 K=50 时表现良好,但能否给出非渐近的误差界(如 Berry-Esseen 型不等式)?扎根于 Prop 8 的证明和模拟实验(Section 7.3)。

  4. 高维 minimax 衔接:本文的框架与 Balakrishnan-Wasserman (2018)、Cai et al. (2024) 的 minimax 最优检验之间是什么关系?本文的检验是否达到 minimax 最优?扎根于引言中对 minimax 文献的引用。

  5. 非 Poisson 扩展:将框架扩展到二项、负二项或一般指数族分布。作者在 Section 8 提到这是"immediate"的,但未给出细节。

  6. 高维回归中的推广:作者在 Section 8 提到"扩展到高维回归中 Poisson 回归的拟合优度检验",这与 van de Geer et al. (2014) 和 Janková et al. (2020) 的工作相关,但本文未涉及。


给研究者的提醒:若要确认上述开放问题是否为真 gap,建议去读以下近期文献的引言部分(各约 5 篇):(a) 关于 divisible statistics 的近期工作(2020-2024);(b) 关于高维多项分布检验的 minimax 文献;(c) 关于 Poisson 回归拟合优度的文献。若这些文献的引言都指向同一个未解决问题,那大概率是共识性 gap;若它们各说各话,则可能是机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论