跳转至

Bias-Corrected Estimators for Joint Entropy, Conditional Entropy, and Mutual Information in the Discrete Bivariate Case: Theory and an Application to Motor Insurance

作者: Amadou Diadie Ba
主题: 数理统计 / 假设检验
相关性: 6/10
链接: https://arxiv.org/abs/2610.02558


一、领域脉络与小综述

这个方向是什么:熵与互信息等信息论泛函的统计估计问题。根本困难在于:plug-in 估计(用经验频率代入熵的表达式)虽然相合且渐近正态,但在有限样本下存在系统性偏差——由于 log 的凹性,熵的 plug-in 估计总是低估真实熵。这个偏差在支撑大小(类别数)相对样本量较大时尤为严重,直接影响独立性检验、特征选择、风险分类等下游任务的可靠性。本文聚焦于离散二元随机变量这一具体设定,目标是给出联合熵、条件熵和互信息三个量的 plug-in 估计的显式一阶偏差公式,并据此构造偏差校正估计量。

发展脉络:

  1. 奠基工作(1950s-1970s):Miller (1955) [8]、Basharin (1959) [9]、Harris (1975) [10] 独立建立了一元离散熵的 plug-in 估计偏差理论。核心结果是:对具有 r 个类别的分布,偏差主项为 −(r−1)/(2n),即 E[Ĥ] = H − (r−1)/(2n) + O(n⁻²)。这一公式后来被称为 Miller-Madow 校正。这些工作奠定了"偏差可显式计算"的基本范式,但仅限于一元情形。

  2. 理论深化(2000s):Antos & Kontoyiannis (2001) [11] 系统研究了熵估计泛函的收敛性质,给出了相合性与收敛速率的一般条件。Paninski (2003) [3] 在神经科学背景下综述了熵估计问题,指出当支撑大小接近或超过样本量时,plug-in 估计的偏差会急剧增大,甚至主导方差。这些工作将注意力引向"偏差校正的实践必要性",但未给出多元情形的显式公式。

  3. 多元推广(2019-2026):Ba, Lo & Seck (2019) [1] 提出了单变量约简原理(univariate reduction principle),将二元联合熵和互信息的估计问题约化为一元问题,建立了几乎必然收敛和中心极限定理。Ba & Lo (2020) [2] 进一步处理条件熵。本文(Ba 2026)是这一脉络的直接延续:在约简框架下,利用一元 Miller-Madow 公式,首次给出三个二元量的显式一阶偏差公式。作者在引言中明确声称:"explicit first-order bias formulas for joint entropy, conditional entropy, and mutual information, derived from a unified framework, are still lacking"(第 2-3 页),即这是本文要填补的缺口。

子线索聚类:

  • 线索 A:一元熵估计的偏差校正(Miller, Basharin, Harris, Paninski)。这是最成熟的线索,公式已写入教科书。本文的定理 1 本质上是将这一线索的结果通过约简原理"搬运"到二元情形。
  • 线索 B:多元信息测度的渐近理论(Ba, Lo, Seck 的系列工作)。这条线索关注相合性、收敛速率、渐近正态性,但不涉及有限样本偏差的显式刻画。本文补上了这一环。
  • 线索 C:熵估计与假设检验的联系(Wilks 1938 [14] 的传统)。似然比统计量 2n·Î 在独立零假设下渐近服从 χ²_{(r−1)(s−1)},其均值恰好等于偏差项乘以 2n。本文第 4.4 节明确指出了这一联系,将偏差公式与 Wilks 定理统一起来。

这个方向在追问的核心问题:

  1. 偏差有多大? 对给定支撑大小 (r, s) 和样本量 n,plug-in 估计的系统偏差的精确主项是什么?
  2. 如何校正? 能否构造一个只依赖 r, s, n 的显式校正项,使得校正后的估计量偏差显著减小?
  3. 校正是否影响渐近性质? 校正项是 O(1/n) 的确定性量,在 √n 尺度下消失,因此不改变渐近分布——这是本文定理 4 的核心内容。
  4. 偏差与检验统计量的关系? 在独立性检验中,偏差恰好解释了 χ² 极限分布的均值,这为偏差校正提供了检验层面的动机。

⚠️ 作者的 framing(这是作者的说法,不是客观定论):作者将缺口 frame 成"缺乏从统一框架导出的二元情形的显式一阶偏差公式"。他通过单变量约简原理,将三个看似不同的量(联合熵、条件熵、互信息)统一处理,使得偏差公式的推导变得简洁。作者淡化的竞争路线包括:贝叶斯估计方法(如 Dirichlet 先验下的后验均值估计)、基于覆盖率的非参数校正(如 Grassberger 估计量)、以及在高维情形下更复杂的偏差校正方法(如 Nemenman 等人的 NSB 估计器)。这些方法在文献中各有支持者,但本文不与之比较,只与 plug-in 估计对比。

张力:被引文献之间未见明显对立结论。Miller-Basharin-Harris 的一元公式是公认的经典结果;Ba 等人的约简原理与之一致;Wilks 定理是独立建立的经典极限定理。本文的贡献在于将三者串联,而非挑战任何一方。一个值得注意的微妙点是:偏差公式的符号——熵的偏差为负(低估),互信息的偏差为正(高估)——这源于熵的凹性与互信息的凸性(作为联合熵和边际熵的差),在直觉上是一致的,但作者没有在引言中明确点出这一对称性。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

核心记号(逐个点名):

记号 含义 类型
(X, Y) 离散随机变量对,X 取值于 {x₁,…,x_r},Y 取值于 {y₁,…,y_s} 潜在分布中的随机变量
r, s X 和 Y 的支撑大小,r, s ≥ 2,固定有限整数 已知常数(模型参数)
p = (p_{ij}) 联合概率质量函数,p_{ij} = P(X=x_i, Y=y_j),(i,j) ∈ I×J,其中 I={1,…,r},J={1,…,s} 未知参数(真实分布)
p_X = (p_{X,i}) X 的边际分布,p_{X,i} = Σ_j p_{ij} 由 p 导出的参数
p_Y = (p_{Y,j}) Y 的边际分布,p_{Y,j} = Σ_i p_{ij} 由 p 导出的参数
H(p) = −Σ p log p Shannon 熵(自然对数) 目标量(estimand)
H(p_{Y X}) = H(p) − H(p_X) 条件熵 H(Y
I(p_{X:Y}) = H(p_X) + H(p_Y) − H(p) 互信息 目标量
Z 约简变量,Z = δ(X,Y),其中 δ(i,j) = s(i−1)+j,将 (i,j) 映射到 {1,…,rs} 辅助构造
p_Z = (p_{Z,k}) Z 的分布,p_{Z,k} = p_{ij} 当 k = δ(i,j) 辅助参数
(X₁,Y₁),…,(Xₙ,Yₙ) i.i.d. 样本 可观测数据
n 样本量 已知常数
\hat{p}{ij} = n{ij}/n 经验频率,n_{ij} = Σ_ℓ 1{(X_ℓ,Y_ℓ)=(x_i,y_j)} 由数据计算的统计量
Ĥ = H(\hat{p}) plug-in 估计:把经验频率代入熵公式 估计量
Ĥ_{Y X} = Ĥ(X,Y) − Ĥ(X) plug-in 条件熵估计
Î = Ĥ(X) + Ĥ(Y) − Ĥ(X,Y) plug-in 互信息估计 估计量

模型:观测数据是来自多项分布 Multinomial(n; p_{11},…,p_{rs}) 的计数向量 (n_{11},…,n_{rs})。所有概率 p_{ij} > 0(严格正,避免 log 0 的边界问题;若某些概率为 0,则按约定 0 log 0 = 0 处理)。

可观测 vs 不可观测:研究者能观测到的是 n 个 i.i.d. 样本(或等价的计数向量)。想要但观测不到的是真实分布 p 以及由此计算的 H(p)、H(p_{Y|X})、I(p_{X:Y})。估计的目标就是用计数数据去逼近这些真实值。

第二步:最小内核——一元熵估计的偏差

问题:设 Z 是取 k ∈ {1,…,K} 的离散随机变量,真实分布为 p = (p₁,…,p_K)。基于 n 个 i.i.d. 样本,plug-in 熵估计为

Ĥ = −Σ_{k=1}^K \hat{p}_k log \hat{p}_k, 其中 \hat{p}_k = n_k/n.

问:E[Ĥ] 与 H = −Σ p_k log p_k 差多少?

为什么会有偏差? 因为 f(x) = −x log x 是凹函数(在 (0,1) 上 f''(x) = −1/x < 0)。Jensen 不等式给出

E[f(\hat{p}_k)] ≤ f(E[\hat{p}_k]) = f(p_k),

所以 E[Ĥ] ≤ H,plug-in 估计系统性低估真实熵。

偏差的主项:对 f 在 p_k 处做泰勒展开到二阶:

f(\hat{p}_k) = f(p_k) + f'(p_k)(\hat{p}_k − p_k) + ½ f''(p_k)(\hat{p}_k − p_k)² + o((\hat{p}_k − p_k)²).

取期望,一阶项消失(E[\hat{p}_k] = p_k),二阶项留下:

E[f(\hat{p}_k)] ≈ f(p_k) + ½ f''(p_k) Var(\hat{p}_k) = f(p_k) − (1 − p_k)/(2n),

其中用到了 f''(x) = −1/x 和 Var(\hat{p}_k) = p_k(1−p_k)/n。对 k 求和:

E[Ĥ] ≈ H − Σ_k (1 − p_k)/(2n) = H − (K−1)/(2n).

这就是 Miller-Madow 公式:偏差主项为 −(K−1)/(2n),只依赖类别数 K,不依赖分布的具体形状。

二元情形的约简:本文的关键洞察是,二元量可以化为一元量: - 联合熵 H(X,Y) = H(Z),其中 Z 有 K = rs 个类别 → 偏差 = −(rs−1)/(2n) - 条件熵 H(Y|X) = H(X,Y) − H(X) → 偏差 = −(rs−1)/(2n) + (r−1)/(2n) = −r(s−1)/(2n) - 互信息 I(X;Y) = H(X) + H(Y) − H(X,Y) → 偏差 = −(r−1)/(2n) − (s−1)/(2n) + (rs−1)/(2n) = (r−1)(s−1)/(2n)

为什么这个约简有效? 因为偏差是线性算子(期望的线性性),而熵之间的关系是线性恒等式。只要一元偏差公式成立,二元偏差公式就自动成立。这就是"单变量约简原理"的数学本质。

最小内核的直觉总结:plug-in 熵估计的偏差源于"用估计值代入凹函数"这一操作——Jensen 不等式保证偏差方向为负,泰勒展开给出偏差大小。二元情形不需要新的数学,只需要把二元量分解为一元量的线性组合。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:离散二元随机变量下,联合熵、条件熵和互信息的 plug-in 估计在有限样本下的偏差是多少,如何构造偏差校正估计量。
  2. 核心工具 / 方法:单变量约简原理(将二元量化为一元量)+ Miller-Madow 偏差公式(一元熵估计的显式一阶偏差)。
  3. 主要结论:三个显式一阶偏差公式(定理 1-3);校正与未校正估计量渐近等价,相差仅 O(1/n) 的确定性项(定理 4);模拟验证了校正的有限样本收益;汽车保险应用展示了实际价值。

关键设定与假设

  • (A1) 有限支撑:X 和 Y 的支撑大小 r, s 是固定的有限整数(r, s ≥ 2)。这是 Miller-Madow 公式成立的前提——类别数不随 n 增长。
  • (A2) 严格正概率:所有 p_{ij} > 0。这避免了 log 0 的边界问题,保证泰勒展开的余项可控。若某些概率为 0,需按 0 log 0 = 0 的约定处理,但偏差公式的推导需要正概率假设。
  • (A3) i.i.d. 抽样:观测是 n 个独立同分布样本。这是多项分布计数模型的基础。
  • (A4) 固定 r, s:论文不处理 r 或 s 随 n 增长的情形(如高维稀疏设定)。这是本文结论的边界。

相比文献:本文的假设与 Miller-Basharin-Harris 的一元设定一致,没有额外放宽或加强。相比 Antos & Kontoyannis (2001) 的一般泛函设定,本文更具体(只处理熵和互信息),因此能给出显式常数。

主要结果

定理 1(联合熵偏差):对具有 r×s 个类别的二元分布, Bias[Ĥ(X,Y)] = −(rs−1)/(2n) + o(1/n)。

定理 2(条件熵偏差): Bias[Ĥ(Y|X)] = −r(s−1)/(2n) + o(1/n)。

定理 3(互信息偏差): Bias[Î(X;Y)] = (r−1)(s−1)/(2n) + o(1/n)。

注意符号:熵和条件熵的偏差为负(低估),互信息的偏差为正(高估)。这符合直觉——熵被低估,而互信息是熵的差,两个低估的熵相减,偏差部分抵消后剩下正的交叉项。

定理 4(渐近等价):对三个量中的任意一个,设 \hat{θ} 为 plug-in 估计,\hat{θ}^{(corr)} 为偏差校正估计,则

\hat{θ}^{(corr)} − \hat{θ} = C/(2n) + o_p(1/n),

其中 C 是只依赖 r, s 的常数(分别为 rs−1, r(s−1), −(r−1)(s−1))。因此 √n(\hat{θ}^{(corr)} − \hat{θ}) → 0,两者渐近分布完全相同。

推论(Wilks 定理的联系):在独立性零假设 H₀: I(X;Y) = 0 下,似然比统计量 Λₙ = 2n·Î 渐近服从 χ²_{(r−1)(s−1)}。而偏差公式给出 E[Î] ≈ (r−1)(s−1)/(2n),因此 E[Λₙ] ≈ (r−1)(s−1),恰好等于 χ²_{(r−1)(s−1)} 的均值。这说明 plug-in 互信息的偏差正是 χ² 极限分布均值的来源——偏差校正在检验中不会改变渐近决策,但会使统计量在有限样本下更接近其中心位置。

证明路线

整体逻辑:三步走。

  1. 约简:建立双射 δ: (i,j) ↦ s(i−1)+j,将 (X,Y) 的联合分布 p 映射为一元变量 Z 的分布 p_Z,其中 p_{Z,k} = p_{ij}。联合熵 H(X,Y) = H(Z) 严格相等(熵只依赖概率值,不依赖标签)。

  2. 引用一元结果:对 Z 应用 Miller-Madow 公式,得到 Bias[Ĥ(Z)] = −(rs−1)/(2n) + o(1/n)。这一步是证明的核心依赖——论文没有重新推导一元偏差公式,而是直接引用 [8, 9, 10] 的经典结果。

  3. 线性传播:利用恒等式 H(Y|X) = H(X,Y) − H(X) 和 I(X;Y) = H(X) + H(Y) − H(X,Y),将偏差分解为各分量偏差的线性组合。由于期望的线性性,偏差也线性传播:

  4. Bias[Ĥ(Y|X)] = Bias[Ĥ(X,Y)] − Bias[Ĥ(X)] = −(rs−1)/(2n) + (r−1)/(2n) = −r(s−1)/(2n)
  5. Bias[Î] = Bias[Ĥ(X)] + Bias[Ĥ(Y)] − Bias[Ĥ(X,Y)] = −(r−1)/(2n) − (s−1)/(2n) + (rs−1)/(2n) = (r−1)(s−1)/(2n)

关键技巧: - 单变量约简:这是论文的方法论核心。它把二元问题化为一元问题,使得经典结果可以直接复用。这个技巧的适用范围不限于熵——任何可以分解为一元量线性组合的二元信息度量都可以用同样的方法处理。 - 确定性校正项:校正项 C/(2n) 是常数,不是随机量。这一点很重要,因为它意味着校正不引入额外的随机波动,不改变渐近方差。 - 余项控制:o(1/n) 和 o_p(1/n) 的余项处理是标准的泰勒展开 + Chebyshev 不等式论证,论文没有给出细节,但这是 Miller-Madow 框架下的常规步骤。

真实例子与应用

数据:汽车保险组合,X = 驾驶员年龄类别(3 类:Young <25, Adult 25–60, Senior >60),Y = 索赔严重程度类别(4 类:No claim, Minor, Moderate, Severe)。联合分布见表 2,边际分布为 p_X = (0.30, 0.60, 0.10),p_Y = (0.55, 0.28, 0.12, 0.05)。

真实值:H(X,Y) ≈ 1.9777 nats,H(Y|X) ≈ 1.0798 nats,I(X;Y) ≈ 0.0097 nats。

偏差的影响:对 I(X;Y),偏差为 (r−1)(s−1)/(2n) = 6/(2n) = 3/n。当 n = 100 时,偏差 = 0.03,约为真实值 0.0097 的 3 倍。这意味着在中等样本量下,plug-in 估计的互信息几乎完全被偏差主导,可能错误地暗示年龄与索赔严重程度之间存在依赖关系。偏差校正后,估计值更接近真实值 0.0097。

模拟设计:M = 500 个独立样本,n ∈ {10, 20, 50, 100, 200, 500, 1000}。诊断图(图 1-3)展示偏差、标准差、RMSE 和 RMSE×√n 四个面板。预期结果:校正估计量的偏差接近零,标准差与未校正版本几乎相同(因为校正项是确定性的),RMSE 在 n ≤ 200 时显著改善,n ≥ 500 时两者趋同。

这个例子想说明什么:当真实互信息很小时(0.0097 nats),plug-in 估计的偏差(0.03)会完全淹没信号。偏差校正不是理论上的吹毛求疵,而是在实际数据中决定能否检测到微弱依赖关系的关键步骤。对保险定价而言,这直接影响风险分类的准确性。

🔎 结论是否比证明窄

严格证明的部分:三个偏差公式(定理 1-3)和渐近等价(定理 4)在固定 r, s 的设定下是严格证明的。证明依赖 Miller-Madow 公式,因此其有效性上限与 Miller-Madow 公式一致——即要求所有 p_{ij} > 0 且 r, s 固定。

被泛化但未严格证明的部分: - 论文在引言和结论中暗示"统一框架"可以推广到更多元的设定(如三变量互信息、条件互信息),但正文没有给出这些推广的证明。作者在结论中提到"see our companion paper [15]"(三变量情形),说明这些推广是正在进行的工作。 - 论文声称偏差校正对"独立性检验"有益,但只给出了 Wilks 定理层面的渐近论证,没有给出有限样本下检验水平或功效的精确分析。 - 论文没有讨论 r 或 s 随 n 增长的情形。在高维稀疏设定下(如 r·s ≫ n),Miller-Madow 公式的 o(1/n) 余项可能不再可控,偏差的主项形式也可能改变。这是一个真实的边界,论文没有提及。

值得注意的未解决问题:偏差校正后的估计量虽然偏差更小,但其方差是否与未校正版本完全相同?定理 4 只证明了渐近等价(√n 尺度下差异消失),但有限样本下方差可能略有不同。论文的模拟结果(图 1-3)暗示方差几乎不变,但没有给出理论保证。


四、开放问题

  1. 高阶偏差项:论文只给出了一阶偏差公式(o(1/n) 余项)。能否给出 O(n⁻²) 项的显式表达式?对 n ≤ 50 的极小样本,高阶项可能仍然显著。这需要更精细的泰勒展开和累积量计算。

  2. 三变量及更高维推广:作者在结论中提到"see our companion paper [15]"处理三变量情形,但本文没有给出任何细节。三变量互信息、条件互信息、以及更一般的多变量信息分解的偏差公式是什么?约简原理能否系统化?

  3. 支撑大小随样本增长的情形:当 r, s 随 n 增长时(如 r·s = O(n^α)),Miller-Madow 公式是否仍然成立?在稀疏设定下,许多类别可能只有零观测,此时偏差的主项形式会改变。这是高维熵估计的活跃研究方向(如 Paninski 2003 讨论的),本文没有触及。

  4. 偏差校正与方差估计的权衡:定理 4 证明了渐近等价,但有限样本下方差是否真的不变?能否给出方差的高阶展开?如果校正引入了额外的方差(即使在 O(n⁻²) 阶),那么在极小样本下是否应该使用校正估计量?

  5. 与 Wilks 定理的深层联系:论文指出偏差 (r−1)(s−1)/(2n) 恰好是 χ²_{(r−1)(s−1)} 均值的一半。这是否暗示了更一般的结构——即任何渐近 χ² 的似然比统计量,其 plug-in 估计的偏差都等于自由度的一半?如果是,这可能是连接信息论估计和假设检验理论的一个更普遍的定理。

  6. 依赖数据的推广:论文假设 i.i.d. 抽样。在时间序列或空间数据中,熵和互信息的估计偏差会如何变化?对保险数据而言,索赔记录往往存在时间相关性,这可能是实际应用中更紧迫的问题。


提醒:要确认上述某条是否是真 gap,建议去读同一子领域(离散熵估计、信息论泛函的偏差校正)近 5 年的论文引言——如果多篇都指向同一个未解决问题,那是共识性 gap;如果各篇说法互相矛盾,那可能是更值得挖掘的机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论