跳转至

Estimation of Tsallis entropy and its applications to goodness-of-fit tests

作者: Siddhartha Chakraborty, Asok K. Nanda, Narayanaswamy Balakrishnan
来源: Statistics and Computing
主题: 数理统计 / 假设检验
相关性: 6/10
链接: 期刊页 · arXiv


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是熵与散度的非参数估计及其在拟合优度检验中的应用。其根本的统计问题是:给定来自未知分布 \(F\) 的 i.i.d. 样本,如何估计信息论泛函(如 Shannon 熵、Rényi 熵、Tsallis 熵)以及基于这些泛函的散度(如 KL 散度、Tsallis 散度),并利用这些估计量构造检验统计量来判断数据是否来自某个参数族(如正态、指数)。该方向的成熟度较高——自 Vasicek (1976) 提出基于样本间距的熵估计器以来,已有近五十年历史,衍生出大量估计量(Van Es, 1992; Ebrahimi et al., 1994; Correa, 1995; Noughabi, 2010 等),并已形成"间距估计→散度估计→拟合优度检验"的完整技术链条。本文的定位是在这条链条上,将 Shannon 熵的间距估计思路系统性地推广到 Tsallis 熵,并填补删失数据情形下的空白。

发展脉络

  • 奠基工作:Shannon (1948) 提出熵的概念;Rényi (1961) 给出 Rényi 熵(式 2);Tsallis (1988) 提出 Tsallis 熵(式 3)。这三者构成信息论泛函的谱系,其中 Tsallis 熵的非可加性(non-additivity)使其在复杂系统(引力、等离子体)研究中具有独特价值(Tsallis, 2009)。Vasicek (1976) 首次提出基于 m-间距的熵估计器(式 8),其核心思想是用经验分布函数的局部斜率估计密度变换的导数 \(dF^{-1}(w)/dw\),这是本文所有估计量的方法论源头。
  • 主要进展:Ebrahimi et al. (1992, 1994) 通过引入权重函数 \(C_i\) 修正 Vasicek 估计器在边界处的偏差(式 14),Correa (1995) 进一步改进局部斜率估计,Noughabi 和 Arghami (2022) 提出新的权重方案 \(W_i\)(式 16)。在 Rényi 熵方向,Hegde et al. (2005) 提出基于 m-间距的估计器;Al-Labadi et al. (2025) 近期给出新的 Rényi 熵估计器。在 Tsallis 熵方向,Maya et al. (2024) 和 Zamini et al. (2024) 分别研究了 \(\rho\)-混合相依数据和长度偏差数据下的核估计,但基于间距的 Tsallis 熵估计器在本文之前尚未被系统研究——这是作者明确声称的缺口("To the best of our knowledge, order statistics based non-parametric estimators for Tsallis entropy have not been considered in the literature yet")。
  • 当前 frontier:熵估计的研究前沿包括:(i) 删失数据下的估计(本文的 PC-II 删失扩展即属此类,承接 Balakrishnan et al. 2007 的 KL 熵检验工作);(ii) 基于分位数函数的估计(本文第 6 节,承接 Parzen 1979 和 Jones 1992 的分位数密度估计);(iii) 高维或相依数据下的估计(Maya et al. 2024)。
  • 本文的位置:本文处于"将 Shannon 熵的成熟间距估计技术移植到 Tsallis 熵"这一节点上,同时向两个方向延伸——删失数据(第 5 节)和分位数方法(第 6 节),并以拟合优度检验作为应用出口(第 8 节)。

子线索聚类

被引文献大致落在四条子线索上:

  1. 熵估计的间距方法:Vasicek (1976)、Van Es (1992)、Ebrahimi et al. (1994)、Correa (1995)、Noughabi (2010)、Noughabi & Arghami (2022)、Learned-Miller & Fisher (2003)。这条线索的核心是"用样本间距的几何信息估计密度泛函",本文的四个估计量(式 10、12、15、16)全部属于此簇。
  2. Rényi/Tsallis 熵的推广估计:Hegde et al. (2005)、Al-Labadi et al. (2025)、Maya et al. (2024)、Zamini et al. (2024)。这条线索将 Shannon 熵的估计方法推广到参数化熵族,本文是 Tsallis 熵方向的间距估计补缺。
  3. 删失数据下的熵与检验:Balakrishnan et al. (2007)、Balakrishnan & Aggarwala (2000)、Balakrishnan & Cramer (2014)。这条线索处理生存分析中的删失数据,本文第 5、8.3 节属于此簇。
  4. 分位数与分位数密度估计:Parzen (1979)、Jones (1992)、Nair et al. (2013)。这条线索提供基于分位数函数的估计框架,本文第 6 节的 \(T^q_\alpha\) 估计器(式 25)属于此簇。

这个方向在追问的核心问题

  1. 如何构造具有良好有限样本性质的熵估计量? 间距方法的关键是窗口大小 \(m\) 的选择——\(m\) 太小则方差大,\(m\) 太大则偏差大。本文沿用了 Wieczorkowski & Grzegorzewski (1999) 的建议 \(m = [\sqrt{n} + 0.5]\),但未给出理论最优选择。
  2. 估计量的渐近性质如何? 本文第 6 节证明了 \(T^q_\alpha\) 的相合性和渐近正态性(定理 6.1、6.2),但证明依赖 Soni et al. (2012) 的已有结果,且方差表达式(式 27 中的 \(\tau^2\))未显式给出。
  3. 如何将熵估计转化为有效的拟合优度检验? 检验的势(power)取决于散度估计量在备择假设下的行为。本文通过模拟比较了 Tsallis 散度检验与 KL、KS 检验的势,但未给出理论上的功效分析。
  4. 删失机制如何影响熵估计? 本文第 5 节将间距估计推广到 PC-II 删失,但仅证明了相合性(命题 5.1),未给出收敛速率或渐近分布。

⚠️ 作者的 framing

作者将缺口 frame 为:"基于间距的 Tsallis 熵非参数估计器在文献中尚不存在"("To the best of our knowledge, order statistics based non-parametric estimators for Tsallis entropy have not been considered in the literature yet")。这是一个"填补空白"式的 framing——通过指出 Tsallis 熵(相对于 Shannon 熵和 Rényi 熵)在间距估计方向上的缺失,使本文成为"显然的下一步"。作者淡化的竞争路线包括:(i) 核估计方法(Maya et al. 2024, Zamini et al. 2024)——仅在引言中一笔带过,未与间距方法做系统比较;(ii) 基于最近邻的熵估计——完全未提及。值得研究者去查的问题:为什么间距方法在 Tsallis 熵上"尚未被考虑"?是因为技术上有本质困难(如 \(f^\alpha\) 的间距估计不自然),还是仅仅因为文献惯性?另外,作者声称的"四个估计量"中,\(T^H_\alpha\)(式 12)与 Hegde et al. (2005) 的 Rényi 熵估计器结构高度相似,本文的"新意"是否只是将 Rényi 熵的估计器做了代数变形?这些都需要对照原文核实。

张力

未见明显对立引用。各条线索之间是互补关系而非竞争关系——间距方法、核方法、分位数方法在不同数据场景下各有优势,作者也未声称间距方法全面优于其他方法。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

在展开技术细节之前,先把记号一次性立清楚。本文的核心记号如下:

记号 含义 类型
\(X_1, \dots, X_n\) i.i.d. 样本,来自分布 \(F\) 可观测随机变量
\(X_{(1)} \le X_{(2)} \le \dots \le X_{(n)}\) 对应的次序统计量 可观测随机变量(样本的函数)
\(F\) 累积分布函数(cdf),未知 不可观测的总体对象
\(f\) 概率密度函数(pdf),\(f = F'\) 不可观测的总体对象
\(F_n\) 经验分布函数 可观测(样本的函数)
\(F_\theta\) 参数族分布,如 \(N(\mu, \sigma^2)\) 或 \(Exp(\lambda)\) 假设的模型
\(f_\theta\) 参数族密度 假设的模型
\(\alpha\) Tsallis 熵的参数,\(0 < \alpha \neq 1\) 已知常数(由使用者选定)
\(m\) 窗口大小(正整数,\(m < n/2\)) 调参参数(由使用者选定)
\(T_\alpha(X)\) Tsallis 熵,式 (3):\(\frac{1}{\alpha-1}(1 - \int_A f^\alpha(x) dx)\) 目标 estimand(要估计的总体量)
\(T_\alpha(F; F_\theta)\) Tsallis 散度,式 (6):\(\frac{1}{\alpha-1}(\int_A f^\alpha(x) g^{1-\alpha}(x) dx - 1)\) 目标 estimand(要估计的总体量)
\(Q(w) = F^{-1}(w)\) 分位数函数(quantile function) 不可观测的总体对象
\(q(w) = Q'(w) = 1/f(Q(w))\) 分位数密度函数(quantile density function) 不可观测的总体对象
\(X_{i:r:n}\) PC-II 删失样本的次序统计量 可观测随机变量
\(R_i\) PC-II 删失方案的删失数 已知设计参数
\(\hat{T}_\alpha\) Tsallis 熵的估计量 样本的函数(随机变量)

模型:本文不假设参数模型。数据生成机制是:\(X_1, \dots, X_n \overset{\text{i.i.d.}}{\sim} F\),其中 \(F\) 是连续分布(保证次序统计量无结)。目标是从样本中估计 \(T_\alpha(X)\)(熵)或 \(T_\alpha(F; F_\theta)\)(散度)。对于 PC-II 删失情形,额外假设:\(n\) 个单元同时开始寿命试验,每次失效后按预定方案 \(R_i\) 随机移除存活单元,直到第 \(r\) 次失效时试验终止。

可观测 vs. 不可观测:研究者能观测到的是样本 \(X_1, \dots, X_n\)(或删失样本 \(X_{1:r:n}, \dots, X_{r:r:n}\))。研究者观测不到的是密度 \(f\)、分位数函数 \(Q\)、以及目标量 \(T_\alpha(X)\) 本身。所有估计量都是通过样本间距(spacings)来间接估计 \(f\) 的泛函——这是本文方法论的根基。

第二步:最小内核

剥掉所有一般性设定后,本文的核心数学问题是:

如何用样本间距 \(X_{(i+m)} - X_{(i-m)}\) 来估计积分 \(\int f^\alpha(x) dx\)?

为什么这是核心? 因为 Tsallis 熵的定义式 (3) 中,唯一未知的部分就是 \(\int_A f^\alpha(x) dx\)(记作 \(I_\alpha(f)\))。如果能估计 \(I_\alpha(f)\),就能得到 \(T_\alpha(X)\) 的估计量。而间距方法的基本思想是:密度函数 \(f\) 的局部值可以用间距的倒数来近似。

最简特例:考虑 \(n\) 个 i.i.d. 样本,取 \(m = 1\)(即只用相邻次序统计量的间距)。此时,Vasicek 型估计量的核心近似是:

\[f(X_{(i)}) \approx \frac{1}{n(X_{(i+1)} - X_{(i)})}\]

这个近似的依据是:在 \(X_{(i)}\) 附近,经验分布函数 \(F_n\) 的斜率约为 \(1/(n(X_{(i+1)} - X_{(i)}))\),而 \(f = F' \approx F_n'\)。于是:

\[\int f^\alpha(x) dx = \int f^{\alpha-1}(x) f(x) dx \approx \frac{1}{n} \sum_{i=1}^{n} f^{\alpha-1}(X_{(i)}) \approx \frac{1}{n} \sum_{i=1}^{n} \left( \frac{1}{n(X_{(i+1)} - X_{(i)})} \right)^{\alpha-1}\]

代入 Tsallis 熵定义,就得到式 (10) 在 \(m=1\) 时的特例:

\[T_\alpha^V = \frac{1}{\alpha-1} \left( 1 - \frac{1}{n} \sum_{i=1}^{n} \left( \frac{X_{(i+m)} - X_{(i-m)}}{2m/n} \right)^{1-\alpha} \right)\]

为什么用 \(m > 1\)? 因为 \(m=1\) 时,相邻间距的方差太大(估计量不收敛或收敛极慢)。用 \(m\)-间距(即 \(X_{(i+m)} - X_{(i-m)}\))相当于在 \(2m\) 个点上做局部平均,降低了方差。代价是引入了偏差——间距跨越了 \(2m\) 个样本点,当 \(m/n \to 0\) 时偏差消失,但有限样本下偏差不可忽略。这就是本文定理 2.1 中条件 \(m, n \to \infty, m/n \to 0\) 的直观含义。

这个最小内核的数学困难在哪? 困难在于偏差-方差权衡的定量刻画。Vasicek (1976) 证明了 Shannon 熵估计量的相合性,但收敛速率取决于 \(m\) 的选择。本文的定理 2.1 只是说"当 \(m/n \to 0\) 时收敛",没有给出收敛速率或最优 \(m\) 的选择准则。对于 Tsallis 熵,由于被积函数是 \(f^\alpha\) 而非 \(f \log f\),当 \(\alpha > 1\) 时,\(f^\alpha\) 对密度的尾部更敏感,间距估计量的偏差行为可能与 Shannon 熵情形有本质差异——但本文没有深入分析这一点。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:提出了四种基于样本间距的 Tsallis 熵非参数估计量(\(T_\alpha^V, T_\alpha^H, T_\alpha^E, T_\alpha^W\)),并推广到渐进 II 型删失数据;同时提出基于分位数函数的 Tsallis 熵估计量 \(T_\alpha^q\),并证明了其相合性和渐近正态性。
  2. 核心工具/方法:将 Vasicek (1976)、Ebrahimi et al. (1994)、Noughabi & Arghami (2022) 的 Shannon 熵间距估计技术系统地移植到 Tsallis 熵;利用分位数密度函数的核估计构造新估计量;基于 Tsallis 散度估计量构建拟合优度检验统计量。
  3. 主要结论:模拟显示 \(T_\alpha^W\) 在正态分布下偏差和 MSE 表现最好(表 1),\(T_\alpha^H\) 在指数分布下表现最好(表 2);\(T_\alpha^q\) 对正态和指数分布均具有较小的偏差和 MSE(表 5),且对 Govindarajulu 分布在 \(\alpha < 1\) 时表现良好(表 6);提出的拟合优度检验在正态性检验中对 Cauchy、指数、gamma 备择有较高功效(表 7-8),在指数性检验中对 Weibull、gamma 备择表现良好(表 9-10);在 PC-II 删失下,所提检验与现有检验各有优劣(表 11)。

关键设定与假设

  • 连续性假设:\(F\) 是连续分布(保证次序统计量无结,间距几乎必然为正)。
  • 窗口大小条件:定理 2.1 要求 \(m, n \to \infty\) 且 \(m/n \to 0\)。这是间距估计量的标准条件,确保间距的局部性(偏差趋于零)和足够的样本量(方差趋于零)。
  • 核函数条件:定理 6.1、6.2 中,核函数 \(K\) 需满足非负、对称、Lipschitz 连续、积分为 1 等标准条件(文中第 6 节列出 4 条性质)。
  • 带宽条件:\(h_n \to 0\) 且 \(n h_n \to \infty\)(标准核密度估计条件),且定理 6.2 还要求 \(n h_n^5 \to 0\)(用于偏差项的渐近展开)。
  • PC-II 删失假设:删失方案 \(R_1, \dots, R_r\) 预先固定,且 \(r/n \to p \in (0,1)\)(即删失比例不能趋于 0 或 1)。
  • 与已有文献的比较:相比 Vasicek (1976) 和 Ebrahimi et al. (1994) 的 Shannon 熵估计器,本文的推广引入了参数 \(\alpha\),使得估计量对分布尾部行为的敏感度可调;相比 Maya et al. (2024) 和 Zamini et al. (2024) 的核估计方法,间距方法无需选择带宽(但需选择窗口大小 \(m\)),且天然适应次序统计量的结构。

主要结果

理论结果:

  • 定理 2.1:四个间距估计量 \(T_\alpha^V, T_\alpha^H, T_\alpha^E, T_\alpha^W\) 在 \(m, n \to \infty, m/n \to 0\) 下均相合。证明思路是:先证明间距的某种加权平均收敛到 \(f^{\alpha-1}\) 的积分,再利用连续映射定理。但注意:定理只给了相合性,没有给收敛速率,也没有给渐近分布。这是本文理论深度的一个明显局限。
  • 定理 6.1:\(T_\alpha^q\) 相合。证明依赖 Soni et al. (2012) 关于分位数密度估计的相合性结果。
  • 定理 6.2:\(\sqrt{n}(T_\alpha^q - T_\alpha(X))\) 渐近正态,均值为零。但方差表达式未显式给出——文中只写了"方差为 \(\sigma^2 = \frac{n}{(\alpha-1)^2} E[\int_0^1 \hat{f}_n^{\alpha-1}(Q_n(w)) dw]^2\)",这实际上不是一个可用的方差公式(它依赖于估计量本身),更像是一个形式化的占位符。这是一个值得注意的弱点:渐近正态性的结论缺乏可操作的推断工具(如置信区间构造)。

模拟结果:

  • 表 1-2:比较四个估计量的偏差和 MSE。关键发现:\(T_\alpha^W\) 在正态下最优,\(T_\alpha^H\) 在指数下最优。但没有给出标准误,无法判断差异是否显著。
  • 表 5:\(T_\alpha^q\) 的偏差和 MSE 随 \(n\) 增大而减小,符合相合性预期。但对 Exp(1) 的偏差在 \(\alpha = 0.5\) 时高达 -0.2156(n=20),说明小样本下偏差仍较大。
  • 表 6:Govindarajulu 分布在 \(\alpha = 0.15\) 时偏差较小,但 \(\alpha = 0.75\) 时偏差较大(如 n=50 时偏差 0.2353)。作者解释为"\(\alpha > 1\) 时 Tsallis 熵不存在",但 Govindarajulu 分布在 \(\alpha = 0.75 < 1\) 时熵应该存在,这里的偏差来源未解释清楚。
  • 表 7-10:拟合优度检验的功效比较。关键发现:所提检验在正态性检验中对重尾备择(Cauchy)功效很高(0.545-0.842),但对轻尾备择(均匀、beta)功效较低(0.089-0.176)。在指数性检验中,对 Weibull(2) 功效达 0.460-0.900。
  • 表 11:PC-II 删失下的功效比较。所提检验在部分方案下优于 \(T_{PC}\),但没有给出任何理论解释为什么某些删失方案下表现更好。

真实例子与应用

本文分析了三个真实数据集:

  1. 数据集 1:加尔各答医院 15 名婴儿出生体重(单位:kg)。数据:2.79, 2.56, 3.88, 3.51, 3.82 等。检验正态性,p 值较大(0.349-0.556),不拒绝正态假设。这个例子仅用于展示方法流程,没有与其它检验的对比。
  2. 数据集 2:19 辆军用车辆故障里程数。数据:162, 200, 271, ..., 2880。检验指数性,p 值 0.317,不拒绝指数假设。注意:Grubbs (1971) 原文认为指数分布拟合良好,本文结论一致。
  3. 数据集 3:50 个电器故障周期数。数据:0.014, 0.034, ..., 2.811。检验指数性,p 值 0.014,在 5% 水平拒绝指数假设。这个例子很有意义:Yousaf et al. (2019) 认为 Chen 分布拟合更好,而 Xiong et al. (2022) 发现 KS、AD 等经典检验在 5% 水平下都不拒绝指数假设。本文的 Tsallis 散度检验(\(\alpha = 2\))给出了 p 值 0.014,成功拒绝了指数假设,展示了相对经典检验的优势。

🔎 结论是否比证明窄

是的,存在明显的不匹配:

  1. 定理 2.1 只证了相合性,但摘要和引言中暗示了更强的结果。摘要说"提出四个估计量并比较其性能",但定理只保证收敛,没有给出收敛速率。模拟中观察到的 MSE 差异(表 1-2)没有理论支撑。
  2. 定理 6.2 的渐近正态性缺乏可用方差。文中给出的 \(\sigma^2\) 表达式依赖于未知的估计量本身,无法直接用于构造置信区间。作者在结论部分也没有给出方差估计的方法。
  3. PC-II 删失部分的结论比证明宽。第 5 节只证明了相合性(命题 5.1),但第 8.3 节直接将该估计量用于检验,并声称"表现良好"。检验统计量的零分布从未被推导——p 值完全来自模拟。
  4. 拟合优度检验的临界值完全依赖模拟。第 8 节中,所有 p 值都是通过"从零分布模拟 10000 次获得经验临界值"得到的,没有证明检验统计量的渐近分布。这意味着方法缺乏理论保证,无法推广到未模拟的情形。

四、开放问题

以下问题均扎根于本文的具体语句,供你自行判断价值:

  1. 收敛速率与最优窗口选择(扎根于定理 2.1 的陈述"as \(m, n \to \infty\) and \(m/n \to 0\)"):定理只给了相合性,未给收敛速率。对于 Shannon 熵,已知最优 \(m\) 为 \(O(n^{1/2})\) 量级(Vasicek, 1976; Van Es, 1992)。Tsallis 熵的 \(f^\alpha\) 结构是否导致不同的最优 \(m\)?特别是当 \(\alpha > 1\) 时,\(f^\alpha\) 对密度尾部更敏感,是否需要更小的 \(m\) 来控制偏差?这是一个可以严格推导的问题。

  2. 渐近方差的显式表达式(扎根于定理 6.2 的证明"方差为 \(\sigma^2 = \frac{n}{(\alpha-1)^2} E[\int_0^1 \hat{f}_n^{\alpha-1}(Q_n(w)) dw]^2\)"):这个"方差"不是可操作的。能否推导出 \(T_\alpha^q\) 的渐近方差的显式形式(作为 \(f\) 和 \(\alpha\) 的泛函)?这需要处理核估计的偏差-方差展开,可能用到 von Mises 展开或影响函数方法。这与你的 semiparametric efficiency 工具箱直接相关。

  3. 检验统计量的零分布(扎根于第 8 节"the critical points are obtained from the empirical distribution"):所有 p 值来自模拟,没有理论保证。能否证明 Tsallis 散度检验统计量在零假设下的渐近分布?这需要建立估计量的 \(\sqrt{n}\)-渐近正态性,并处理参数估计(如 MLE)带来的额外变异性。这是一个标准的 semiparametric testing 问题。

  4. PC-II 删失下的渐近理论(扎根于命题 5.1 的证明"when \(r \to n, n \to \infty, m \to \infty\) and \(m/n \to 0\)"):命题只证了相合性,且条件是 \(r \to n\)(即删失比例趋于 0)。实际中删失比例通常固定(如 20%),此时估计量的行为如何?能否建立删失比例固定时的渐近分布?这需要处理删失次序统计量的联合分布,可能用到计数过程或鞅方法。

  5. 与 U-统计量的联系(扎根于式 10-16 的间距结构):间距估计量本质上是某种 U-统计量(或广义 U-统计量)的泛函。你的 higher-order U-statistics 工具箱能否用于推导这些估计量的高阶渐近展开?特别是,能否用 Hoeffding 分解给出偏差的显式表达式,从而指导 \(m\) 的选择?

关于确认 gap 的建议:要判断上述问题是否是真 gap,建议去读以下文献的近期引用(约 5 篇): - Van Es (1992) 和 Correa (1995) 的后续工作——看 Shannon 熵估计的收敛速率问题是否已被解决,以及是否有人已将其推广到 Tsallis 熵; - Balakrishnan et al. (2007) 的后续工作——看 PC-II 删失下的熵检验是否有更深入的理论分析; - Soni et al. (2012) 的后续工作——看分位数密度估计的渐近理论是否已被用于熵估计。

如果这些文献中都没有处理 Tsallis 熵的间距估计的收敛速率或检验统计量的零分布,那么上述问题就有可能是真 gap。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论