Two Sample Test for Covariance Matrices in Ultra-High Dimension¶

作者: Xiucai Ding, Yichen Hu, Zhenggang Wang
来源: Journal of the American Statistical Association
主题: 高维统计 / 随机矩阵
相关性: 7/10
链接: 期刊页 · arXiv

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向要解决的根本问题是：在维度 p 远大于两个样本量 n1 和 n2（即超高维）的情况下，如何检验两个总体协方差矩阵 Σ1 和 Σ2 是否相等。这是一个经典的高维假设检验问题，其核心困难在于：当 p > n 时，样本协方差矩阵是奇异的，传统的基于 Wishart 分布或似然比的方法完全失效。当前该领域的成熟度处于“方法众多但各有严格限制”的阶段——现有方法通常要求两样本量可比、总体协方差矩阵有特定结构（如稀疏性、带状结构、因子结构），或要求已知总体矩信息（如正态性假设）。本文试图打破这些限制，提出一个几乎“无假设”的检验方法。

发展脉络（history）¶

从 introduction 和参考文献中，可以梳理出以下发展脉络：

奠基工作（2000s 初-2010s 初）：高维协方差检验的早期尝试。
- Ledoit & Wolf (2002)：提出了检验协方差矩阵等于单位阵的经典高维检验，基于样本协方差矩阵迹的统计量。这是该领域的早期奠基工作，但只针对单样本且原假设为特定矩阵（单位阵）的情形。
- Schott (2007)：将 Ledoit & Wolf 的工作推广到两样本协方差矩阵相等的检验，提出了基于迹的统计量。这是两样本高维协方差检验的早期重要工作，但其统计量的渐近分布推导依赖于正态性假设和两样本量趋于无穷且比例固定的条件。
- Cai, Liu & Xia (2013)：提出了基于最大特征值（max-type）的检验，适用于稀疏协方差矩阵的设定。该方法在稀疏备择下功效很高，但要求协方差矩阵是稀疏的（即大多数非对角元为零），这是一个很强的结构性假设。
主要进展（2010s 中-2020s）：放松假设与引入随机矩阵理论。
- Li & Chen (2012)：提出了基于 U-统计量的检验，不要求正态性，但要求两样本量可比（即 n1/n2 趋于一个正常数），且其统计量的渐近方差估计较为复杂。
- Chen, Zhang & Zhong (2010)：提出了基于修正的 Frobenius 范数的检验，同样不要求正态性，但需要两样本量可比，且对协方差矩阵的迹有矩条件要求。
- Zheng et al. (2019)：利用随机矩阵理论（RMT）中的 Marchenko-Pastur 律，提出了基于样本协方差矩阵特征值谱分布的检验。该方法放松了对正态性的要求，但通常仍需要两样本量可比，且其检验统计量的构造依赖于对谱分布的积分变换，对具体备择的敏感性可能不足。
- Wang, Han & Tong (2021)：提出了基于数据分裂的协方差检验方法，这是本文最直接的先驱工作。该方法通过将数据分裂成两部分，分别计算样本协方差矩阵，然后比较它们的特征值来构造检验。但该方法主要针对单样本情形（检验 Σ = I），且其理论分析依赖于对特征值分布的精细刻画。
当前 Frontier 与本文的位置：
- 当前 frontier 是：在完全不假设两样本量可比、总体协方差矩阵结构、总体分布形式的情况下，构造一个具有良好渐近性质（水平可控、功效合理）的检验。
- 本文的位置：本文是 Wang, Han & Tong (2021) 中数据分裂思想从单样本到两样本的直接推广，并解决了推广中遇到的新困难（如两个样本的协方差矩阵特征值如何比较、如何构造检验统计量）。作者声称，本文是第一个在“三无”假设（无样本量可比、无协方差结构、无分布/矩假设）下工作的两样本超高维协方差检验。

子线索聚类¶

这些被引文献大致落在以下三条子线索上：

线索一：基于迹（trace）或 Frobenius 范数的检验。
- 代表工作：Ledoit & Wolf (2002), Schott (2007), Chen, Zhang & Zhong (2010), Li & Chen (2012)。
- 核心思想：检验统计量是样本协方差矩阵的迹或 Frobenius 范数的某种函数。这些统计量对“整体”差异（如所有特征值同时偏移）敏感，但对“稀疏”差异（只有少数几个特征值不同）可能不敏感。
- 主要瓶颈：通常需要两样本量可比，且对矩条件有要求。
线索二：基于最大特征值（max-type）的检验。
- 代表工作：Cai, Liu & Xia (2013)。
- 核心思想：检验统计量是样本协方差矩阵的最大特征值（或最大元素）。这些统计量对“稀疏”差异（如只有一个或少数几个特征值很大）非常敏感。
- 主要瓶颈：通常要求总体协方差矩阵是稀疏的，且对稀疏程度有量化要求。
线索三：基于随机矩阵理论（RMT）的检验。
- 代表工作：Zheng et al. (2019), Wang, Han & Tong (2021), 本文。
- 核心思想：利用 RMT 中关于样本协方差矩阵特征值谱分布的极限理论（如 Marchenko-Pastur 律、Tracy-Widom 律）来构造检验。这些方法通常对分布假设要求较低。
- 主要瓶颈：早期工作（如 Zheng et al.）对两样本量可比有要求。本文通过数据分裂+特征值比较的框架，试图彻底摆脱这一要求。

这个方向在追问的核心问题¶

如何构造一个对“整体”和“稀疏”备择都敏感的检验？ 基于迹的检验对整体差异敏感，基于最大特征值的检验对稀疏差异敏感，但很少有方法能同时兼顾两者。本文的方法通过比较“一组精选的特征值”，试图在两者之间取得平衡。
如何在不假设两样本量可比的情况下进行检验？ 这是本文试图解决的核心问题。当 n1 和 n2 相差很大时，两个样本协方差矩阵的特征值谱分布会完全不同（即使原假设成立），使得直接比较变得困难。
如何在不假设总体协方差矩阵结构的情况下进行检验？ 许多现有方法要求 Σ 是稀疏的、带状的或具有因子结构。本文声称不需要任何此类假设。
如何在不假设总体分布（如正态性）或已知矩信息的情况下进行检验？ 许多早期方法依赖于正态性假设或对四阶矩的精确知识。本文声称只需要一些非常弱的矩条件（如有限四阶矩）。

⚠️ 作者的 framing¶

作者把缺口 frame 成什么？ 作者将现有方法的局限性概括为“三有”假设：有样本量可比要求、有协方差结构要求、有分布/矩要求。然后，作者将本文定位为第一个在“三无”假设下工作的两样本超高维协方差检验。这是一个非常强的 claim，也是本文的核心卖点。
哪些竞争路线被他淡化或回避了？ 作者在 introduction 中主要批评了基于迹和基于最大特征值的方法的局限性，但对基于谱分布积分变换的方法（如 Zheng et al. 2019）的批评相对较少。作者可能淡化了这些方法在放松分布假设方面的贡献，而强调它们在样本量可比要求上的不足。此外，作者对“弱备择”的定义和本文方法在强备择下的表现讨论得不多。
什么明显该被引 / 该存在、却没出现在 intro 里？ 这是一个值得研究者去查的问题。例如，是否存在一些基于深度学习的协方差检验方法？是否存在一些针对非欧几里得数据（如流形上的协方差）的检验？这些方向可能没有被覆盖。另外，作者引用了 Wang, Han & Tong (2021) 作为数据分裂的先驱，但该文是单样本检验。是否存在其他将数据分裂用于两样本检验的尝试？这值得查证。

张力¶

未见明显对立引用。所有被引工作都在各自的假设下成立，彼此之间没有直接矛盾。主要的张力在于“假设的强弱”与“方法的适用范围”之间的权衡，这是该领域的共识性挑战，而非对立性结论。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
- p：维度（变量个数）。在超高维设定下，p >> n1, n2。
- n1, n2：两个样本的样本量。n = n1 + n2 是总样本量。
- X1, ..., Xn1：来自第一个总体的 p 维独立同分布（i.i.d.）样本向量。E[X_i] = 0（不失一般性，假设已中心化），Cov(X_i) = Σ1。
- Y1, ..., Yn2：来自第二个总体的 p 维 i.i.d. 样本向量。E[Y_i] = 0，Cov(Y_i) = Σ2。
- Σ1, Σ2：两个 p×p 的总体协方差矩阵。这是我们要检验的对象。
- S1, S2：两个 p×p 的样本协方差矩阵。S1 = (1/n1) Σ_{i=1}^{n1} X_i X_i^T，S2 = (1/n2) Σ_{i=1}^{n2} Y_i Y_i^T。
- λ_j(S1), λ_j(S2)：S1 和 S2 的第 j 大特征值（j = 1, ..., p）。
- H0: Σ1 = Σ2：原假设。
- H1: Σ1 ≠ Σ2：备择假设。
模型：
- 数据生成机制：两个总体都是 p 维随机向量，具有有限四阶矩。除此之外，对分布形式（如正态性）没有假设。对协方差矩阵的结构（如稀疏性、带状性）也没有假设。
- 要估的对象：我们并不直接估计 Σ1 和 Σ2，而是要检验它们是否相等。这是一个假设检验问题，而非估计问题。
可观测数据：
- 研究者实际能观测到的是：来自第一个总体的 n1 个 p 维向量 {X_i}，和来自第二个总体的 n2 个 p 维向量 {Y_i}。
- 研究者可以计算样本协方差矩阵 S1 和 S2，以及它们的特征值 λ_j(S1) 和 λ_j(S2)。
- 想要但观测不到的是：总体协方差矩阵 Σ1 和 Σ2 本身，以及它们是否相等。我们只能通过 S1 和 S2 的特征值来推断。

第二步：讲最小内核¶

本文的核心思路可以用一个最简特例来理解：假设 p = 2，n1 = 100，n2 = 100，且两个总体都是标准二维正态分布（即 Σ1 = Σ2 = I_2）。在这种情况下，我们想检验 H0: Σ1 = Σ2。

传统方法的问题：如果我们直接计算 S1 和 S2，然后比较它们的特征值 λ_1(S1), λ_2(S1) 和 λ_1(S2), λ_2(S2)，我们会发现，即使原假设成立，这些特征值也是随机变量，而且它们的分布非常复杂（依赖于未知的总体分布）。更糟糕的是，当 p 很大时，特征值的分布会趋向于 Marchenko-Pastur 律，但两个样本的特征值分布会不同（因为 n1 和 n2 可能不同），使得直接比较变得困难。
本文的核心想法（数据分裂 + 特征值比较）：
- 第一步：数据分裂。 将第一个样本 {X_i} 随机分成两个大小相等的子样本，记为 A1 和 A2（各 50 个样本）。同样，将第二个样本 {Y_i} 也随机分成两个子样本 B1 和 B2（各 50 个样本）。
- 第二步：计算特征值。 基于 A1 计算样本协方差矩阵 S_{A1} 及其特征值 λ_j(S_{A1})。基于 B1 计算 S_{B1} 及其特征值 λ_j(S_{B1})。基于 A2 和 B2 的合并样本（共 100 个样本）计算 S_{pooled} 及其特征值 λ_j(S_{pooled})。
- 第三步：构造检验统计量。 关键想法是：在原假设下，S_{A1} 和 S_{B1} 的特征值应该“相似”，而 S_{pooled} 的特征值应该与它们也“相似”。 但在备择假设下，S_{A1} 和 S_{B1} 的特征值可能仍然相似（因为它们各自来自一个总体），但 S_{pooled} 的特征值会与它们不同（因为它混合了两个不同的总体）。
- 具体操作（简化版）：本文构造了一个统计量 T，它衡量的是 S_{pooled} 的“精选”特征值与 S_{A1} 和 S_{B1} 的对应特征值之间的差异。例如，可以比较最大的几个特征值：T = Σ_{j=1}^k [λ_j(S_{pooled}) - (λ_j(S_{A1}) + λ_j(S_{B1}))/2]^2，其中 k 是一个选定的整数（如 k=1 或 2）。
- 为什么有效？ 在原假设下，S_{A1}、S_{B1} 和 S_{pooled} 都是来自同一个总体（N(0, I)）的样本协方差矩阵，它们的特征值在期望意义下是相等的。因此，T 应该很小。在备择假设下（例如 Σ1 = I，Σ2 = 2I），S_{A1} 的特征值集中在 1 附近，S_{B1} 的特征值集中在 2 附近，而 S_{pooled} 的特征值会介于两者之间（因为混合了方差为 1 和 2 的样本）。因此，T 会显著大于 0。
- 如何得到 p 值？ 通过随机矩阵理论，可以推导出 T 在原假设下的渐近分布（例如，它可能收敛到一个正态分布或卡方分布）。然后，就可以计算 p 值并做出判断。

这个最小内核揭示了本文的核心数学困难：如何精确刻画 S_{pooled} 的特征值在混合两个不同总体时的行为？这比单样本情形（Wang, Han & Tong 2021）要复杂得多，因为 S_{pooled} 的谱分布不再简单地由 Marchenko-Pastur 律描述，而是由两个总体的协方差矩阵和样本量比例共同决定。本文的关键想法是，通过精心选择“精选”特征值（例如，那些远离谱分布边界的特征值），并利用数据分裂来构造一个“自标准化”的统计量，从而绕开对 S_{pooled} 谱分布的精确刻画。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在超高维（p >> n1, n2）且不假设两样本量可比、总体协方差矩阵结构、总体分布形式的情况下，检验两个总体协方差矩阵是否相等。
核心工具 / 方法：数据分裂（data splitting） + 基于“精选”特征值比较的检验统计量 + 随机矩阵理论（Marchenko-Pastur 律及其推广）推导渐近分布。
主要结论：提出了一个在“三无”假设下工作的检验方法，证明了其渐近水平可控（收敛到名义水平），并在弱备择下具有非平凡的功效。数值模拟和真实数据分析表明，该方法在控制第一类错误和功效方面显著优于现有方法。

关键设定与假设¶

在第二节最小记号的基础上，补全完整设定：

数据生成：X_i 和 Y_j 是独立的 p 维随机向量，具有零均值和有限四阶矩。具体地，假设存在一个常数 C > 0，使得对所有 i, j, k, l，E[X_i^4] < C，E[Y_j^4] < C。这是一个非常弱的矩条件，远弱于正态性假设。
维度与样本量：p, n1, n2 → ∞，且 p / n1 → c1 ∈ (0, ∞)，p / n2 → c2 ∈ (0, ∞)。这意味着 p 和 n1, n2 以相同的速度趋于无穷，但 c1 和 c2 可以是任意正数，不需要相等。这是本文放松的关键假设之一。
总体协方差矩阵：对 Σ1 和 Σ2 没有结构性假设（如稀疏性、带状性、因子结构）。它们可以是任意的正定矩阵。这是本文放松的另一个关键假设。
数据分裂：将第一个样本随机分成两个大小分别为 n1a 和 n1b 的子样本（n1a + n1b = n1），第二个样本随机分成两个大小分别为 n2a 和 n2b 的子样本（n2a + n2b = n2）。分裂比例是任意的，但为了理论分析方便，通常取 n1a = n1b = n1/2，n2a = n2b = n2/2。
“精选”特征值：本文的检验统计量只比较那些“远离”样本协方差矩阵谱分布边界的特征值。具体地，它只考虑那些大于某个阈值的特征值，这个阈值由 Marchenko-Pastur 律的上确界决定。这个选择是为了避免处理那些靠近边界、分布不稳定的特征值。

相比已有文献的放宽或强化： * 放宽：相比 Schott (2007) 和 Li & Chen (2012)，本文不要求 n1/n2 → 常数。相比 Cai, Liu & Xia (2013)，本文不要求协方差矩阵稀疏。相比 Ledoit & Wolf (2002)，本文不要求总体分布为正态。 * 强化：本文对矩条件的要求（有限四阶矩）比一些仅要求有限二阶矩的方法要强，但比要求已知四阶矩的方法要弱。此外，本文的检验统计量依赖于数据分裂，这可能会损失一些统计效率（因为只用了一半的数据来估计每个子样本的协方差矩阵）。

主要结果¶

本文的理论结果主要包括两个定理：

定理 1（原假设下的渐近分布）：在原假设 H0: Σ1 = Σ2 下，本文构造的检验统计量 T 依分布收敛到一个标准正态分布 N(0, 1)。
- 直觉：这个定理保证了检验的第一类错误率可以渐近地控制在名义水平 α 下。即，当原假设为真时，P(T > z_{1-α}) → α，其中 z_{1-α} 是标准正态分布的 1-α 分位数。
- 必要条件：需要矩条件（有限四阶矩）和维度条件（p/n1 → c1, p/n2 → c2）成立。
- 解决的技术难点：推导 T 的渐近分布需要处理两个复杂的问题：一是 S_{pooled} 的特征值在混合两个样本时的行为，二是数据分裂引入的随机性。作者通过将 T 表示为一系列 U-统计量的和，并利用鞅差中心极限定理（martingale difference CLT）来证明其渐近正态性。
定理 2（备择假设下的功效分析）：在备择假设 H1: Σ1 ≠ Σ2 下，如果两个总体协方差矩阵的差异足够大（在某种“弱备择”的意义下），那么检验的功效趋近于 1。
- 直觉：这个定理保证了检验在备择假设下能够以概率 1 拒绝原假设。
- “弱备择”的定义：作者定义了一个“信号强度”度量 Δ，它衡量的是 Σ1 和 Σ2 之间的差异。定理表明，只要 Δ 以某个特定的速率趋于无穷（例如，Δ / sqrt(p) → ∞），检验的功效就趋于 1。这个速率比一些基于迹的检验所需的速率要慢，说明本文的方法在弱备择下更有效。
- 解决的技术难点：功效分析需要刻画 T 在备择假设下的均值偏移和方差变化。作者通过计算 T 在备择假设下的一阶和二阶矩，并证明其渐近正态性（在适当的条件下），从而得到了功效的显式表达式。

证明路线与技术技巧¶

整体路线：
1. 统计量构造：首先，基于数据分裂后的子样本，构造一个“自标准化”的检验统计量 T。这个统计量的核心是 S_{pooled} 的“精选”特征值与 S_{A1} 和 S_{B1} 的对应特征值之间的加权差。
2. 线性化：将特征值比较问题转化为一个关于样本协方差矩阵的线性函数的问题。具体地，利用特征值扰动理论（如 Weyl 不等式或 sinθ 定理），将特征值的差近似为样本协方差矩阵的迹的某种线性组合。
3. U-统计量表示：将线性化后的统计量表示为一系列 U-统计量的和。这一步是关键，因为它将复杂的特征值问题转化为了一个可以用经典 U-统计量理论处理的问题。
4. 渐近正态性证明：利用鞅差中心极限定理（martingale difference CLT）来证明 T 的渐近正态性。这需要验证鞅差序列的方差收敛和 Lindeberg 条件。方差的计算依赖于对 U-统计量方差的精确刻画，这涉及到高阶矩的计算。
5. 功效分析：在备择假设下，计算 T 的均值和方差，并证明其渐近正态性。然后，通过比较均值偏移和方差，得到功效的显式表达式。
关键跳跃点：
- 从特征值到线性函数的跳跃：这是最吃功夫的一步。特征值本身是非线性函数，直接处理非常困难。作者巧妙地利用了“精选”特征值的性质（它们远离谱分布边界），使得特征值扰动理论中的一阶近似是有效的。这个近似将特征值的差与样本协方差矩阵的迹的差联系起来。
- U-统计量方差的计算：T 被表示为多个 U-统计量的和，其方差涉及到四阶矩的计算。在超高维设定下，这些计算非常繁琐。作者通过引入一个“去相关”技巧（类似于 HOIF 中的思想），将复杂的方差项简化为一个易于处理的形式。
技术技巧点名：
- 随机矩阵理论（RMT）：用于刻画样本协方差矩阵特征值的渐近行为，特别是 Marchenko-Pastur 律及其推广。这是整个理论的基础。
- 特征值扰动理论：用于将特征值的差线性化。具体用到了 Weyl 不等式和 sinθ 定理。
- U-统计量理论：用于将检验统计量表示为 U-统计量的和，并利用其渐近性质。这是证明渐近正态性的核心工具。
- 鞅差中心极限定理（martingale difference CLT）：用于证明 T 的渐近正态性。这是处理依赖数据（如数据分裂后的子样本）的常用技巧。
- 数据分裂（data splitting）：用于构造“自标准化”的统计量，从而避免了对 S_{pooled} 谱分布的精确刻画。这是本文方法的核心创新点。

真实例子与应用¶

本文包含两个真实数据例子：

例子一：基因表达数据（Gene Expression Data）
- 数据：来自两个不同癌症类型（如乳腺癌和肺癌）患者的基因表达数据。每个样本包含数千个基因的表达水平（p 很大），但患者数量（n1, n2）相对较小。
- 方法应用：将本文提出的检验方法应用于这两个数据集，检验两个癌症类型的基因表达协方差矩阵是否相等。如果协方差矩阵不同，说明两个癌症类型的基因调控网络存在差异。
- 结果：本文的方法在 5% 的显著性水平下拒绝了原假设，而一些现有的方法（如基于迹的检验）未能拒绝。这表明本文的方法对协方差矩阵的差异更敏感。
- 这个例子想说明什么：验证本文方法在真实高维生物数据上的有效性，并展示其相对于现有方法的优势（更高的功效）。
例子二：金融收益率数据（Financial Return Data）
- 数据：来自两个不同市场（如美国股市和日本股市）的股票日收益率数据。每个样本包含数百只股票的收益率（p 较大），时间跨度（n1, n2）为几年。
- 方法应用：检验两个市场的股票收益率协方差矩阵是否相等。如果协方差矩阵不同，说明两个市场的风险结构存在差异。
- 结果：本文的方法同样拒绝了原假设，而一些现有方法未能拒绝。
- 这个例子想说明什么：展示本文方法在金融领域的应用潜力，并进一步验证其相对于现有方法的优势。

🔎 结论是否比证明窄¶

这是一个需要仔细检查的问题。作者在 introduction 中声称本文是第一个在“三无”假设下工作的两样本超高维协方差检验。然而，定理的证明依赖于一些技术性假设，例如： * 矩条件：有限四阶矩。虽然比正态性假设弱，但并非“无矩假设”。是否存在一些分布（如重尾分布）不满足这个条件？如果满足，本文的方法是否仍然有效？作者没有讨论。 * 维度条件：p/n1 → c1, p/n2 → c2。这意味着 p 和 n1, n2 以相同的速度增长。如果 p 的增长速度远快于 n（例如 p/n^2 → ∞），本文的方法是否仍然有效？作者没有讨论。 * “精选”特征值的定义：这个定义依赖于 Marchenko-Pastur 律的上确界，而这个上确界又依赖于 c1 和 c2。如果 c1 和 c2 未知，如何选择“精选”特征值？作者在模拟中可能使用了某种数据驱动的方法，但在理论分析中假设 c1 和 c2 是已知的。

因此，结论（“三无”假设）可能比证明（依赖于上述技术性假设）要宽。这是一个值得研究者去查证的问题：作者是否在论文的后续部分（如模拟或讨论）中讨论了这些假设的放松？或者，这些假设是否在实践中很容易满足？

四、开放问题¶

重尾分布下的表现：本文的定理依赖于有限四阶矩。如果数据来自重尾分布（如柯西分布），四阶矩不存在，本文的方法是否仍然有效？能否将方法推广到只需要有限二阶矩的情形？【扎根于：矩条件假设】
维度增长速度更快的情形：本文假设 p/n1 → c1, p/n2 → c2。如果 p 的增长速度远快于 n（例如 p/n^2 → ∞），本文的渐近理论是否仍然成立？能否将方法推广到这种“超超高维”的情形？【扎根于：维度条件假设】
“精选”特征值的选择：本文的检验统计量依赖于“精选”特征值的选择，而这个选择又依赖于未知的 c1 和 c2。如何在实际应用中数据驱动地选择这些特征值？是否存在一个自适应的选择方法，使得检验在更广泛的备择下都具有良好的功效？【扎根于：方法实现细节】
与其他方法的比较：本文声称是第一个在“三无”假设下工作的检验。然而，是否存在一些基于其他原理（如深度核方法、图模型）的方法，也能在类似宽松的假设下工作？这些方法与本文的方法相比，在功效和计算效率上如何？【扎根于：introduction 中的文献综述，这是一个值得研究者去查证的问题】

Maintained by 陈星宇 · Homepage · Source on GitHub