跳转至

Mutual Information second order expansion is the Pearson's chi-square statistic

作者: Marius Marinescu
主题: 数理统计 / 假设检验
相关性: 6/10
链接: https://arxiv.org/abs/2607.18425

一、领域脉络与小综述

这个方向是什么

本文研究的子方向是独立性检验统计量之间的精确渐近关系，特别是两个经典统计量——似然比统计量 \(G^2\)（亦称 \(G\) 检验）和 Pearson 卡方统计量 \(\chi^2\)——之间的高阶联系。该方向的核心问题是：尽管 \(G^2\) 和 \(\chi^2\) 在一阶渐近意义下等价（都收敛到同一卡方分布），但它们的有限样本差异以及更高阶的解析关系是什么？互信息（Mutual Information, MI）作为信息论中的依赖度量，能否作为桥梁揭示这种关系？当前该子方向的成熟度较高：经典结果已写入教科书（如 Agresti, 2012），但精确的代数关系（而非仅渐近等价）仍有待澄清。

发展脉络（history）

  • 奠基工作：Pearson (1900) 提出 \(\chi^2\) 拟合优度检验，基于几何方法；Neyman & Pearson (1933) 提出似然比检验（\(G^2\)）。这两篇是独立性检验的基石，本文引用语境为“the two best-known statistics for testing independence”。它们建立了渐近等价性（一阶），但未给出精确关系。
  • 主要进展：Cressie & Read (1989) 对 \(\chi^2\) 和 \(G^2\) 做了比较综述，指出它们同属于幂散度族（power-divergence family），但未涉及 MI。同时，信息论领域发展了 MI 作为依赖度量（Shannon, 1948; Cover & Thomas, 2006），但 MI 主要用于度量而非检验。
  • 当前 frontier：近二十年涌现了大量基于 MI 的独立性检验方法（Berrett & Samworth, 2017; Ai et al., 2022），以及基于距离协方差（Székely et al., 2007）、HSIC（Gretton et al., 2005）等非参数方法。这些工作将 MI 视为可估计的检验统计量，但主要关注其渐近分布和功效，而非与经典统计量的解析联系。
  • 本文的位置：作者 Marinescu 在前期工作（Marinescu & Bălcău, 2025; Marinescu, 2025）中已用 δ 方法推导了 MI 的渐近分布。本文进一步证明：MI 的二阶随机 Taylor 展开项恰好是 \(\chi^2\)（相差一个尺度因子），从而建立了 \(G^2 = \chi^2 + \text{高阶余项}\) 的精确公式。这是首次给出 \(G^2\) 与 \(\chi^2\) 之间显式的高阶代数关系，而非仅渐近等价。

子线索聚类

被引文献大致落在三条子线索上：

  1. 经典独立性检验统计量：Pearson (1900), Neyman & Pearson (1933), Cressie & Read (1989), Agresti (2012)。这一簇关注 \(\chi^2\) 和 \(G^2\) 的分布、性质及比较。
  2. 基于信息论的检验：Wu et al. (2009), Berrett & Samworth (2017), Ai et al. (2022), Marinescu (2025), Marinescu & Bălcău (2025)。这一簇将 MI 或其估计量直接用作检验统计量，研究其渐近分布和功效。
  3. 基于距离/核的检验：Székely et al. (2007, 2009, 2013), Gretton et al. (2005), Lopez-Paz et al. (2013)。这一簇发展距离协方差、HSIC、随机依赖系数等现代方法，与 MI 方法形成竞争。

本文主要与线索 1 和 2 交叉，线索 3 仅在引言中提及作为背景，未深入比较。

这个方向在追问的核心问题

  • Q1：\(G^2\) 与 \(\chi^2\) 的差异能否被显式量化？——当前主流方法仅给出渐近等价（一阶），高阶项未知。
  • Q2：MI 作为依赖度量，其估计量的渐近分布能否用于构造检验？——已有工作（Berrett & Samworth, 2017; Ai et al., 2022）给出了渐近正态或卡方结果，但未与经典统计量建立代数联系。
  • Q3：在离散有限支持设定下，MI 的 Hessian 矩阵结构能否简化？——本文回答了这一点，给出了分块形式。
  • 已知瓶颈：MI 的导数计算复杂，且 Hessian 矩阵涉及分母项 \(p_{ij}\)，在零概率单元处失效；此外，连续情形的 MI 估计更困难，本文仅处理离散情形。

⚠️ 作者的 framing（必须明确标注成“这是作者的说法”）

作者将缺口 frame 为：“Although it is well known that these two statistics are asymptotically equivalent, their connection is usually described only through the leading-order approximation. Here, by performing a stochastic second-order Taylor expansion of MI, we express the G-test statistic as Pearson’s chi-square statistic plus explicit third-order correction terms.” 即作者声称：已有文献只给出了一阶等价，而本文给出了精确的二阶关系（MI 的二阶展开就是 \(\chi^2\)），从而填补了空白。

竞争路线被淡化或回避：作者在引言中列举了距离协方差、HSIC 等现代方法，但仅作为背景，未与本文结果做任何比较或讨论。本文完全聚焦于经典离散情形，回避了连续变量或高维稀疏等更困难设定。什么明显该被引/该存在、却没出现在 intro 里？ 本文未引用关于 MI 估计偏差校正的经典文献（如 Miller-Madow 偏差校正），也未引用连续 MI 估计的 kNN 方法（如 Kraskov et al., 2004）。这些缺失可能意味着作者有意将范围限制在离散、无偏估计（经验分布）的框架内。

张力

未见明显对立引用。所有被引工作均承认 \(G^2\) 与 \(\chi^2\) 的一阶渐近等价，本文在此基础上给出高阶关系，不矛盾。

二、最核心、最简单的例子 / 数学问题

第一步：符号、模型、可观测数据交代清楚

  • 符号：
  • \(X, Y\)：两个离散随机变量，支持集 \(\Omega_X = \{x_1,\dots,x_I\}\), \(\Omega_Y = \{y_1,\dots,y_J\}\)。
  • \(p_{ij} = P(X=x_i, Y=y_j)\)：联合概率质量函数（pmf），为参数/estimand。
  • \(p_{i*} = \sum_{j=1}^J p_{ij}\)，\(p_{*j} = \sum_{i=1}^I p_{ij}\)：边际 pmf。
  • \(n\)：样本量（i.i.d. 观测）。
  • \(n_{ij}\)：观测频数，\(\sum_{i,j} n_{ij} = n\)。
  • \(\hat{p}_{ij} = n_{ij}/n\)：经验分布（非参数估计量），为随机变量。
  • \(\mathbf{p}\)：将 \(\{p_{ij}\}\) 按列向量化（除去最后一个元素以避免冗余，维度 \(IJ-1\)）。类似定义 \(\hat{\mathbf{p}}_n\)。
  • \(\mathbf{p}^*\)：独立情形下的联合分布，即 \(p_{ij}^* = p_{i*} p_{*j}\)。其经验估计 \(\hat{\mathbf{p}}^*_n\) 用样本边际 \(\hat{p}_{i*} = n_{i*}/n\)，\(\hat{p}_{*j} = n_{*j}/n\) 构造。
  • MI(\(\mathbf{p}\)) = \(\sum_{i,j} p_{ij} \log \frac{p_{ij}}{p_{i*}p_{*j}}\)。
  • \(G^2_n = 2n \,\text{MI}(\hat{\mathbf{p}}_n)\)：似然比统计量。
  • \(\chi^2_n = n \sum_{i,j} \frac{(\hat{p}_{ij} - \hat{p}_{i*}\hat{p}_{*j})^2}{\hat{p}_{i*}\hat{p}_{*j}}\)：Pearson 卡方统计量。
  • 模型：数据来自多项分布：\((n_{11},\dots,n_{IJ}) \sim \text{Multinomial}(n, \{p_{ij}\})\)。无其他结构假设。原假设 \(H_0: p_{ij} = p_{i*}p_{*j}\) 对所有 \(i,j\) 成立。
  • 可观测数据：研究者观测到频数 \(n_{ij}\)（或等价地 \(\hat{p}_{ij}\)）。不可观测的是真实概率 \(p_{ij}\) 以及独立情形下的概率 \(p_{ij}^*\)（后者可通过边际估计得到，但估计量有额外变异性）。在 \(H_0\) 下，\(p_{ij}^*\) 由边际决定，但边际本身未知。

第二步：最小内核

本文的核心数学事实是：在独立原假设下，MI 的 Hessian 矩阵在 \(p^*\) 处求值，其二次型恰好等于 Pearson \(\chi^2\) 统计量。为了看清这一点，考虑最简单的特例：\(I=J=2\)（2×2 列联表）。此时所有符号可显式写出。

设 \(p_{11}=a, p_{12}=b, p_{21}=c, p_{22}=d\)，满足 \(a+b+c+d=1\)。边际：\(p_{1*}=a+b\)，\(p_{2*}=c+d\)，\(p_{*1}=a+c\)，\(p_{*2}=b+d\)。在 \(H_0\) 下，\(a = (a+b)(a+c)\) 等。MI 为：

\[\text{MI} = a\log\frac{a}{(a+b)(a+c)} + b\log\frac{b}{(a+b)(b+d)} + c\log\frac{c}{(c+d)(a+c)} + d\log\frac{d}{(c+d)(b+d)}.\]
由于 \(d = 1-a-b-c\)，自由度 \(IJ-1=3\)。Hessian 矩阵 \(\mathbf{H}\) 是 \(3\times3\) 矩阵，其元素涉及 \(1/p_{ij}\) 等项。在 \(H_0\) 下，\(\mathbf{H}\) 有特殊结构。本文定理 1 指出：\(2n\,\text{MI}(\hat{\mathbf{p}}_n) = n(\hat{\mathbf{p}}_n - \mathbf{p}^*)^\top \mathbf{H}|_{\mathbf{p}^*} (\hat{\mathbf{p}}_n - \mathbf{p}^*) + o_P(1)\)，且该二次型等于 \(\chi^2_n\)（附录 A 证明）。对于 2×2 情形，可直接验证：
\[\chi^2_n = n \frac{(\hat{a} - \hat{p}_{1*}\hat{p}_{*1})^2}{\hat{p}_{1*}\hat{p}_{*1}} + n \frac{(\hat{b} - \hat{p}_{1*}\hat{p}_{*2})^2}{\hat{p}_{1*}\hat{p}_{*2}} + n \frac{(\hat{c} - \hat{p}_{2*}\hat{p}_{*1})^2}{\hat{p}_{2*}\hat{p}_{*1}} + n \frac{(\hat{d} - \hat{p}_{2*}\hat{p}_{*2})^2}{\hat{p}_{2*}\hat{p}_{*2}}.\]
而二次型 \(n(\hat{\mathbf{p}}_n - \hat{\mathbf{p}}^*_n)^\top \mathbf{H}|_{\hat{\mathbf{p}}^*_n} (\hat{\mathbf{p}}_n - \hat{\mathbf{p}}^*_n)\) 经过代数化简（附录 A 的一般推导）恰好等于上式。因此，最小内核是：在 \(H_0\) 下，MI 的二阶 Taylor 展开（忽略三阶余项）给出的统计量就是 \(\chi^2_n\)，而 \(G^2_n\) 等于该二次型加上三阶余项。这解释了为什么 \(G^2_n\) 和 \(\chi^2_n\) 渐近等价，且给出了它们之间的显式差异（三阶项）。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：互信息（MI）与两个经典独立性检验统计量——似然比统计量 \(G^2\) 和 Pearson \(\chi^2\)——之间的精确解析关系。
  2. 核心工具/方法：利用 δ 方法（随机 Taylor 展开）对 MI 进行二阶展开，计算 Hessian 矩阵，并证明该二阶项（在独立原假设下）恰好等于 \(\chi^2\) 统计量（相差一个尺度因子）。
  3. 主要结论：\(G^2_n = 2n\,\text{MI}(\hat{\mathbf{p}}_n) = \chi^2_n + 2n\,R(\|\hat{\mathbf{p}}_n - \mathbf{p}^*\|^2)\)，其中余项 \(R\) 由 MI 的三阶导数组成，从而显式量化了 \(G^2\) 与 \(\chi^2\) 的差异。

关键设定与假设

  • 设定：离散随机变量 \(X,Y\)，支持大小 \(I,J\) 有限。i.i.d. 样本量 \(n\)。所有概率 \(p_{ij}>0\)（避免分母为零）。原假设 \(H_0: p_{ij} = p_{i*}p_{*j}\)。
  • 假设：标准多项分布模型，无额外假设。MI 在 \(p^*\) 处具有连续三阶导数（因为 \(p_{ij}>0\)），保证 δ 方法适用。
  • 相比已有文献：本文不假设边际已知（与某些经典推导不同），而是使用 plug-in 估计 \(\hat{\mathbf{p}}^*_n\)，并论证了由于边际收敛更快，δ 方法仍有效（引用 Rao (1973) 和 Agresti (2012) 的推广）。这一处理比直接假设边际已知更贴近实际。

主要结果

  • 定理 1（引自 Marinescu & Bălcău, 2025）：对于一般（非独立）情形，\(2n\,\text{MI}(\hat{\mathbf{p}}_n)\) 渐近分布为 \(\boldsymbol{\lambda}^\top \boldsymbol{\chi}^2\)，其中 \(\boldsymbol{\lambda}\) 是 \(\mathbf{H}\boldsymbol{\Sigma}\) 的特征值，\(\boldsymbol{\Sigma}\) 是 \(\sqrt{n}\hat{\mathbf{p}}_n\) 的协方差矩阵。在 \(H_0\) 下，特征值退化为 0 和 1，且 \(\text{tr}(\mathbf{H}\boldsymbol{\Sigma}) = (I-1)(J-1)\)，从而 \(2n\,\text{MI}(\hat{\mathbf{p}}_n) \xrightarrow{d} \chi^2_{(I-1)(J-1)}\)。
  • 核心代数结果（附录 A）：对于 plug-in 版本的二次型 \(T^2_n = n(\hat{\mathbf{p}}_n - \hat{\mathbf{p}}^*_n)^\top \mathbf{H}|_{\hat{\mathbf{p}}^*_n} (\hat{\mathbf{p}}_n - \hat{\mathbf{p}}^*_n)\)，有 \(T^2_n = \chi^2_n\)。这是本文的主要技术贡献。
  • 推论：\(G^2_n = \chi^2_n + 2n\,R(\|\hat{\mathbf{p}}_n - \mathbf{p}^*\|^2)\)，其中 \(R\) 由三阶导数组成，且 \(2n\,R = o_P(1)\)。这给出了 \(G^2\) 与 \(\chi^2\) 的显式高阶关系。

证明路线与技术技巧

整体路线（附录 A 的代数证明）：

  1. 写出 Hessian 矩阵：将 \(\mathbf{H}\) 分解为三部分 \(\mathbf{A} + \mathbf{B} + \mathbf{C}\)，其中 \(\mathbf{A}\) 是对角占优部分（涉及 \(1/p_{ij}\)），\(\mathbf{B}\) 是行常数矩阵，\(\mathbf{C}\) 是列常数矩阵。这种分解利用了 MI 对边际的依赖性。
  2. 计算二次型：将 \((\hat{\mathbf{p}}_n - \hat{\mathbf{p}}^*_n)^\top \mathbf{H} (\hat{\mathbf{p}}_n - \hat{\mathbf{p}}^*_n)\) 展开为 \(\hat{\mathbf{p}}_n^\top \mathbf{H} \hat{\mathbf{p}}_n - 2(\hat{\mathbf{p}}^*_n)^\top \mathbf{H} \hat{\mathbf{p}}_n + (\hat{\mathbf{p}}^*_n)^\top \mathbf{H} \hat{\mathbf{p}}^*_n\)，分别计算 \(\mathbf{A}, \mathbf{B}, \mathbf{C}\) 的贡献。
  3. 利用边际约束化简：由于 \(\hat{\mathbf{p}}^*_n\) 是乘积形式，其元素满足 \(\hat{p}^*_{ij} = \hat{p}_{i*}\hat{p}_{*j}\)，许多交叉项可以抵消。关键步骤是处理 \(\mathbf{B}\) 和 \(\mathbf{C}\) 的非对称性，以及最后将涉及 \(p_{IJ}\) 的项合并。
  4. 最终合并：经过代数操作，所有项合并为 \(\sum_{i,j} (\hat{p}_{ij} - \hat{p}^*_{ij})^2 / \hat{p}^*_{ij}\)，即 \(\chi^2_n / n\)（注意二次型是 \(n\) 倍，故最终得 \(\chi^2_n\)）。

关键跳跃点：最吃功夫的是处理 \(\mathbf{B}\) 和 \(\mathbf{C}\) 的贡献，它们分别涉及行和列的常数向量。作者通过显式计算每个向量的内积，并利用 \(\hat{p}_{i*}\) 和 \(\hat{p}_{*j}\) 的归一化性质，将看似复杂的项化简为简单的二次型。具体地，\(\mathbf{B}\) 和 \(\mathbf{C}\) 的贡献最终与 \(\mathbf{A}\) 中涉及 \(p_{IJ}\) 的项抵消，只留下标准形式。

技术技巧点名： - 矩阵分块与结构利用：将 Hessian 分解为对角部分和低秩部分（行/列常数矩阵），这是处理带边际约束的二次型的常见技巧。 - 代数恒等式：大量使用 \(\sum_i \hat{p}_{i*} = 1\)，\(\sum_j \hat{p}_{*j} = 1\)，以及 \(\hat{p}^*_{ij} = \hat{p}_{i*}\hat{p}_{*j}\) 来简化。 - δ 方法：用于建立 MI 的渐近展开，但本文的代数证明不依赖 δ 方法，而是直接验证二次型等于 \(\chi^2\)。

真实例子与应用

本文为纯理论，无任何真实数据例子或模拟实验。作者仅在引言中提及“See [16, Fig. 2] for a simulation of both statistic and their sample distribution”，但该图属于前期工作（Marinescu, 2025），本文未包含。因此，本文没有实证验证。

🔎 结论是否比证明窄

  • 作者声称“MI second order term is precisely \(\chi^2\) up to a scale factor”。严格来说，证明中展示的是 plug-in 版本的二次型 \(T^2_n\) 等于 \(\chi^2_n\)，而 \(T^2_n\) 与 \(2n\,\text{MI}(\hat{\mathbf{p}}_n)\) 相差一个三阶余项 \(2n\,R\)。因此，“MI 的二阶展开是 \(\chi^2\)”这一说法在忽略余项的意义下成立，但并非 MI 本身等于 \(\chi^2\)。作者在文中明确写出了余项，结论是准确的。
  • 另外，证明假设所有 \(p_{ij}>0\)，且 Hessian 在 \(\hat{\mathbf{p}}^*_n\) 处求值（而非真实 \(p^*\)）。作者论证了由于边际收敛更快，这种替换是渐近有效的，但严格来说，代数等式 \(T^2_n = \chi^2_n\) 对任意 \(\hat{\mathbf{p}}_n\) 和 \(\hat{\mathbf{p}}^*_n\) 成立（只要分母非零），不依赖渐近。因此结论是精确的代数关系，而非渐近近似。

四、开放问题

  1. 连续情形的类似展开：本文仅处理离散有限支持。对于连续随机变量，MI 的估计（如基于 kNN 或核密度估计）是否也有类似的二阶展开，并与某个检验统计量（如能量距离或 HSIC）对应？扎根于本文的离散设定和附录 A 的代数结构。

  2. 三阶余项的显式形式：作者指出 \(G^2_n = \chi^2_n + 2n\,R(\|\hat{\mathbf{p}}_n - \mathbf{p}^*\|^2)\)，但未给出 \(R\) 的具体表达式。能否写出三阶导数张量并显式量化该余项？这可能涉及 MI 的三阶导数，其结构可能类似 Hessian 的推广。扎根于文中“the remainder term can be explicitly quantified by computing third order derivatives of MI”这一句。

  3. 高维稀疏列联表：当 \(I,J\) 很大且许多单元期望频数很小时，\(\chi^2\) 检验失效（需要合并单元或使用精确检验）。MI 的展开是否仍成立？是否需要正则化或贝叶斯平滑？扎根于本文假设所有 \(p_{ij}>0\) 且 \(n\) 足够大以保证渐近。

  4. 与 U-统计量的联系：MI 在离散情形下是多项式函数（log 项可展开为幂级数，但截断后为多项式）。能否将 MI 估计量表示为 U-统计量（或 V-统计量）的线性组合？其计算复杂度（如张量收缩的树宽）是否与研究者已有的 einsum 框架相关？扎根于本文 MI 定义的多项式对数形式，以及研究者武器库中的 U-统计量计算经验。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论