Many-sample tests for the equality and the proportionality hypotheses between large covariance matrices¶

作者: Tianxing Mei, Chen Wang, Jianfeng Yao
来源: Electronic Journal of Statistics
主题: 数理统计 / 假设检验
相关性: 7/10
链接: 期刊页 · arXiv

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向解决的根本问题是：在高维环境下（维度 p 远大于样本量 n），如何检验多个总体（q 个）的协方差矩阵是否相等或成比例。经典多元统计中的似然比检验（LRT）在 p > n 时失效（样本协方差矩阵奇异），因此需要发展基于随机矩阵理论（RMT）的新检验统计量，利用特征值或迹的渐近分布来构造检验。当前成熟度：对于两个协方差矩阵的相等性检验（q=2），已有较成熟的 RMT 方法（如 Schott 2007, Cai et al. 2013）；但对于 q ≥ 3 个矩阵的相等性检验，以及比例性（proportionality）检验，文献中方法较少，本文填补了这一缺口。

发展脉络（history）¶

奠基工作：单样本与两样本协方差矩阵检验的 RMT 方法
Ledoit & Wolf (2002)：提出了检验高维协方差矩阵是否为标量矩阵（sphericity）的统计量，基于特征值的方差，证明了其渐近正态性。这是 RMT 用于协方差检验的早期经典。
Schott (2007)：提出了检验两个高维协方差矩阵相等的统计量，基于样本协方差矩阵的迹（trace），在 p/n → c ∈ (0,∞) 的渐近框架下证明了渐近正态性。这是两样本相等性检验的奠基工作。
Cai, Liu & Xia (2013)：提出了基于最大特征值（max-type）的两样本协方差矩阵相等性检验，适用于稀疏备择（sparse alternatives），其检验功效在 minimax 意义下最优。这是与 RMT 方法互补的另一种路线（极值理论 vs. 谱分布）。
主要进展：从两样本到多样本，从相等性到比例性
Srivastava & Yanagihara (2010)：提出了检验多个（q ≥ 2）高维协方差矩阵相等的统计量，基于迹的线性组合，但要求 p 固定、n 趋于无穷（经典高维但非 RMT 框架）。
Li & Chen (2012)：提出了基于 U-统计量的两样本协方差矩阵相等性检验，不要求正态性假设，且对 p 和 n 的比例无限制。这是非参数路线的重要进展。
本文作者（Mei, Wang & Yao） 指出：对于 q ≥ 3 的相等性检验，现有方法要么要求 p 固定（Srivastava & Yanagihara 2010），要么只处理 q=2（Schott 2007, Li & Chen 2012）。对于比例性检验（H₀: Σᵢ = cᵢ Σ₀），现有文献几乎空白——这是本文的定位。
当前 frontier 与本文位置
当前 frontier 是：在 p, q, nᵢ 均趋于无穷的“三渐近”框架下，构造多样本协方差矩阵的相等性与比例性检验，并给出渐近正态性证明。
本文是第一个在“三渐近”框架下处理 q ≥ 3 个协方差矩阵的相等性与比例性检验的工作。其核心技术工具是 RMT 中的 Marchenko-Pastur 律及其推广（样本协方差矩阵的线性谱统计量的 CLT）。

子线索聚类¶

这些被引文献大致落在两条子线索上：

线索 A：基于迹（trace）的 RMT 方法。核心思想是利用样本协方差矩阵的迹（或迹的二次型）构造统计量，利用 RMT 的线性谱统计量 CLT 证明渐近正态性。代表：Ledoit & Wolf (2002), Schott (2007), 本文。优点：对一般协方差结构适用（不要求稀疏性）；缺点：对稀疏备择可能功效不足。
线索 B：基于最大特征值（max-type）或 U-统计量的非参数方法。核心思想是利用极值理论或 U-统计量构造检验，适用于稀疏备择或非正态数据。代表：Cai, Liu & Xia (2013), Li & Chen (2012)。优点：对稀疏备择有最优 minimax 功效；缺点：计算复杂度较高，且对一般备择可能不如迹方法。

这个方向在追问的核心问题¶

如何构造多样本（q ≥ 3）协方差矩阵相等性检验的统计量，使其在“三渐近”框架下具有可处理的极限分布？ 瓶颈：当 q 也趋于无穷时，统计量的方差结构变得复杂，需要新的 RMT 工具。
如何检验多个协方差矩阵的比例性（proportionality）？ 瓶颈：比例性假设下，需要估计公共比例因子，这引入了额外的估计误差，需要控制。
检验功效是否最优（minimax optimal）？ 本文未讨论此问题——这是开放问题。
如何将方法推广到非正态数据（如 heavy-tailed）？ 现有 RMT 方法通常要求数据来自某种“矩条件”分布（如有限四阶矩），对厚尾数据可能不稳健。

⚠️ 作者的 framing（必须明确标注成“这是作者的说法”）¶

作者把缺口 frame 成：“现有文献中，对于多个（q ≥ 3）高维协方差矩阵的相等性检验，方法很少；对于比例性检验，几乎空白。本文填补了这一空白。”（见 intro 第 2-3 段）作者将本文定位为“第一个在 p, q, nᵢ 均趋于无穷的框架下处理这些检验的工作”。

被淡化或回避的竞争路线： - 作者在 intro 中提到了 Srivastava & Yanagihara (2010) 的多样本方法，但指出其要求 p 固定（“the dimension p is fixed”），从而将其排除在“高维”框架之外。然而，Srivastava & Yanagihara 的方法实际上允许 p 随 n 增长（只是不要求 p/n → c），作者对此的表述可能过于简化。 - 作者未讨论 Cai, Liu & Xia (2013) 的 max-type 方法是否可以推广到多样本情形——这可能是可行的竞争路线。

什么明显该被引 / 该存在、却没出现在 intro 里？ - Bai & Saranadasa (1996)：关于两样本均值向量检验的经典 RMT 工作，其“迹方法”思路与本文的协方差检验有直接联系，但未被引用。 - Chen, Zhang & Zhong (2010)：关于高维协方差矩阵相等性检验的 U-统计量方法，适用于非正态数据，未被引用。 - Zheng et al. (2019)：关于高维协方差矩阵比例性检验的近期工作（可能发表于本文之后或同期），未被引用——值得研究者去查证是否存在。

张力¶

未见明显对立引用。各被引工作之间在假设条件（正态 vs. 非正态、p 固定 vs. p/n → c）上存在差异，但并非矛盾，而是不同设定下的互补结果。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号： - p：协方差矩阵的维度（变量数）。 - q：总体（population）的个数，即要检验的协方差矩阵的个数。 - nᵢ：第 i 个总体的样本量（i = 1, ..., q）。 - N：总样本量，N = Σᵢ nᵢ。 - Xᵢⱼ：第 i 个总体的第 j 个观测向量，p 维，j = 1, ..., nᵢ。 - Σᵢ：第 i 个总体的协方差矩阵（p × p），是待检验的参数。 - Sᵢ：第 i 个总体的样本协方差矩阵：Sᵢ = (1/(nᵢ-1)) Σⱼ (Xᵢⱼ - X̄ᵢ)(Xᵢⱼ - X̄ᵢ)ᵀ，其中 X̄ᵢ 是第 i 组的样本均值。 - cᵢ：比例性假设下的比例因子（标量），满足 Σᵢ = cᵢ Σ₀，其中 Σ₀ 是公共协方差矩阵（未知）。 - tr(·)：矩阵的迹（trace）。 - tr(·²)：矩阵的平方的迹，即 tr(A²) = Σᵢⱼ Aᵢⱼ²。 - →ᵈ：依分布收敛。 - →ᵖ：依概率收敛。

模型： - 数据生成机制：对于每个总体 i，观测向量 Xᵢⱼ 是独立同分布的 p 维随机向量，均值为 0（不失一般性，可中心化），协方差矩阵为 Σᵢ。 - 分布假设：Xᵢⱼ 来自某个分布，其四阶矩有限（具体矩条件见假设 2.1）。不要求正态性，但要求各总体独立。 - 渐近框架：p, q, nᵢ 均趋于无穷，且满足 p/nᵢ → cᵢ ∈ (0, ∞)（对每个 i），以及 q/N → 某个常数（具体见假设 2.2）。这是“三渐近”框架。

可观测数据： - 研究者实际能观测到的是：q 组样本 {Xᵢⱼ : j=1,...,nᵢ, i=1,...,q}，每组有 nᵢ 个 p 维观测向量。 - 由此可计算：q 个样本协方差矩阵 S₁, ..., S_q。 - 想要但观测不到的是：真实的协方差矩阵 Σ₁, ..., Σ_q，以及比例性假设下的公共矩阵 Σ₀ 和比例因子 cᵢ。

第二步：讲最小内核¶

最简特例：考虑 q=2 个总体（两样本情形），检验相等性 H₀: Σ₁ = Σ₂。这是本文方法的最简特例，也是 Schott (2007) 已处理的情形。在这个特例下，本文的统计量退化为 Schott 的统计量，但证明框架是统一的。

核心思路（以两样本相等性检验为例）： 1. 构造统计量：考虑样本协方差矩阵的迹的差： T = tr(S₁²) - tr(S₂²) 在 H₀ 下，E[T] = 0（因为 tr(Σ₁²) = tr(Σ₂²)）。但 tr(Sᵢ²) 是 tr(Σᵢ²) 的有偏估计，需要中心化。

中心化与方差估计：定义中心化统计量： T̃ = tr(S₁²) - tr(S₂²) - [E(tr(S₁²)) - E(tr(S₂²))] 其中 E(tr(Sᵢ²)) 可以用样本量 nᵢ 和 p 的已知函数表达（涉及 tr(Σᵢ²) 和 (tr Σᵢ)² 等项）。在 H₀ 下，这些项抵消，因此 T̃ 的期望为 0。
渐近正态性：在 p, n₁, n₂ → ∞ 且 p/nᵢ → cᵢ 的框架下，利用 RMT 的线性谱统计量 CLT，可以证明： T̃ / √(Var(T̃)) →ᵈ N(0, 1) 其中 Var(T̃) 需要估计（用样本协方差矩阵的迹的二次型）。
检验：给定显著性水平 α，若 |T̃| / √(V̂ar(T̃)) > z_{α/2}，则拒绝 H₀。

这个特例揭示了本文的核心数学困难：当 q ≥ 3 时，统计量涉及多个 tr(Sᵢ²) 的线性组合，其方差结构更复杂（需要处理交叉项 tr(Sᵢ Sⱼ) 的渐近分布），且中心化时需要同时估计多个未知参数（tr(Σᵢ²), (tr Σᵢ)² 等）。本文的关键想法是：利用 RMT 的“迹的二次型”的联合 CLT，将多个统计量的渐近分布统一处理。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：提出了检验多个（q ≥ 2）高维协方差矩阵的相等性（H₀: Σ₁ = ... = Σ_q）和比例性（H₀: Σ₁ = c₁ Σ₀, ..., Σ_q = c_q Σ₀，其中 Σ₀ 未知）的统计方法。
核心工具 / 方法：基于样本协方差矩阵的迹（tr(Sᵢ²) 和 tr(Sᵢ Sⱼ)）构造检验统计量，利用 RMT 的线性谱统计量 CLT 证明渐近正态性，并给出方差的一致估计。
主要结论：在 p, q, nᵢ 均趋于无穷的“三渐近”框架下，所提统计量在零假设下渐近正态，在备择假设下具有相合性（power → 1）。模拟实验验证了有限样本性质，真实数据（Mouse Aging Project, 1000 Genomes Project）展示了应用。

关键设定与假设¶

在第二节最小记号的基础上，补全完整设定：

假设 2.1（矩条件）：对于每个总体 i，观测向量 Xᵢⱼ 可以表示为 Xᵢⱼ = Σᵢ^{1/2} Zᵢⱼ，其中 Zᵢⱼ 的各个分量独立同分布，均值为 0，方差为 1，且满足 E[Zᵢⱼ⁴] < ∞。这等价于要求数据来自某个“线性过程”分布（如椭圆分布），且四阶矩有限。相比正态性假设（如 Schott 2007），这是一个放宽——允许非正态，但要求四阶矩有限。
假设 2.2（渐近框架）：p, q, nᵢ → ∞，且满足：
p/nᵢ → cᵢ ∈ (0, ∞)（对每个 i），即维度与每个样本量成比例增长。
q/N → d ∈ [0, ∞)，其中 N = Σᵢ nᵢ，即总体个数与总样本量成比例增长（d 可以为 0，即 q 增长慢于 N）。
此外，要求 nᵢ / N → τᵢ ∈ (0, 1)，即各组样本量占比趋于常数。
假设 2.3（协方差矩阵的有界性）：存在常数 M > 0，使得对所有 i，谱范数 ||Σᵢ|| ≤ M。这保证了协方差矩阵的特征值有界，是 RMT 中标准假设。
相比已有文献的放宽或强化：
相比 Schott (2007)（q=2, p/n → c），本文允许 q ≥ 3 且 q 也趋于无穷。
相比 Srivastava & Yanagihara (2010)（q ≥ 2, p 固定），本文允许 p 趋于无穷。
相比 Li & Chen (2012)（q=2, 非参数），本文要求四阶矩有限（Li & Chen 只要求有限二阶矩），但本文处理了 q ≥ 3 和比例性检验。

主要结果¶

定理 3.1（相等性检验的渐近正态性）： - 陈述：在 H₀: Σ₁ = ... = Σ_q 下，定义统计量： T_eq = (Σᵢ nᵢ tr(Sᵢ²) - (Σᵢ nᵢ)⁻¹ (Σᵢ nᵢ tr(Sᵢ))²) / √(V̂_eq) 其中 V̂_eq 是方差的一致估计（具体表达式见公式 (3.5)）。则在假设 2.1-2.3 下，T_eq →ᵈ N(0, 1)。 - 直觉：统计量是 tr(Sᵢ²) 的加权组合，中心化后消除了 tr(Σᵢ²) 和 (tr Σᵢ)² 的偏差。方差估计 V̂_eq 利用了 tr(Sᵢ Sⱼ) 的渐近分布。 - 必要条件：p, q, nᵢ 均趋于无穷，且 p/nᵢ → cᵢ ∈ (0, ∞)。若 q 固定（不趋于无穷），则统计量的渐近分布可能不同（需要单独处理）。 - 解决的技术难点：当 q 趋于无穷时，统计量涉及 q 个 tr(Sᵢ²) 的和，其方差结构包含 O(q²) 项，需要利用 RMT 的“迹的二次型”CLT 来统一处理，而不是逐个处理。

定理 3.2（比例性检验的渐近正态性）： - 陈述：在 H₀: Σᵢ = cᵢ Σ₀（Σ₀ 未知）下，定义统计量： T_prop = (Σᵢ nᵢ tr(Sᵢ²) / ĉᵢ² - (Σᵢ nᵢ)⁻¹ (Σᵢ nᵢ tr(Sᵢ) / ĉᵢ)²) / √(V̂_prop) 其中 ĉᵢ 是比例因子 cᵢ 的估计（基于 tr(Sᵢ) 的比值），V̂_prop 是方差的一致估计。则在假设 2.1-2.3 下，T_prop →ᵈ N(0, 1)。 - 直觉：比例性检验的关键是估计比例因子 cᵢ。作者用 tr(Sᵢ) / tr(S₁) 作为 cᵢ / c₁ 的估计（假设 c₁ = 1 作为基准）。这引入了额外的估计误差，需要在方差估计中考虑。 - 必要条件：除了假设 2.1-2.3，还要求 cᵢ 有界且远离 0（避免除零问题）。

定理 3.3（备择假设下的相合性）： - 陈述：在备择假设下（相等性或比例性不成立），若偏离程度足够大（具体条件见定理 3.3），则检验的功效趋于 1。 - 直觉：统计量在备择下发散到无穷（因为中心化项不再抵消），因此检验是相合的。 - 必要条件：偏离程度需要满足某种“可检测性”条件（如 tr(Σᵢ²) 的差异足够大）。

证明路线与技术技巧¶

整体路线（以相等性检验为例，3-5 步逻辑主干）：

第一步：将统计量表示为迹的线性组合。将 T_eq 的分子写成： M_eq = Σᵢ nᵢ tr(Sᵢ²) - (Σᵢ nᵢ)⁻¹ (Σᵢ nᵢ tr(Sᵢ))² 这可以展开为 Σᵢⱼ aᵢⱼ tr(Sᵢ Sⱼ) 的形式，其中 aᵢⱼ 是已知系数。
第二步：利用 RMT 的线性谱统计量 CLT。对于每个 tr(Sᵢ Sⱼ)，在 H₀ 下，可以将其表示为 tr(Σ₀²) 和 (tr Σ₀)² 的线性组合加上一个渐近正态的随机项。具体地，利用 Bai & Silverstein (2004) 的 CLT 结果： √(nᵢ) (tr(Sᵢ²) - E[tr(Sᵢ²)]) →ᵈ N(0, σᵢ²) 但这里需要处理交叉项 tr(Sᵢ Sⱼ)（i ≠ j），这需要更一般的联合 CLT。
第三步：计算期望和方差。在 H₀ 下，计算 E[M_eq] = 0（中心化后），并计算 Var(M_eq) 的表达式。方差涉及 tr(Σ₀⁴) 和 (tr Σ₀²)² 等项，需要用样本协方差矩阵的迹来估计。
第四步：方差估计。构造 V̂_eq，它是 Var(M_eq) 的一致估计。关键技巧：用 tr(Sᵢ Sⱼ) 的二次型来估计 tr(Σ₀⁴) 等未知量，利用 RMT 的“矩方法”证明估计的一致性。
第五步：应用 Slutsky 定理。结合渐近正态性和方差估计的一致性，得到 T_eq →ᵈ N(0, 1)。

关键跳跃点： - 最吃功夫的引理：引理 4.1（联合 CLT for tr(Sᵢ Sⱼ)）。难点在于：当 i ≠ j 时，Sᵢ 和 Sⱼ 基于独立样本，但它们的迹的二次型 tr(Sᵢ Sⱼ) 的渐近分布需要同时考虑两个样本的随机性。作者利用“独立但同分布”的性质，将问题转化为两个独立 Wishart 矩阵的迹的乘积的 CLT。 - 绕过去的办法：作者没有直接推导 tr(Sᵢ Sⱼ) 的渐近分布，而是将其表示为 tr(Sᵢ²) 和 tr(Sⱼ²) 的线性组合加上一个“交叉项”，然后利用“交叉项”的期望为 0 且方差可忽略（在“三渐近”框架下）来简化。这依赖于 q 趋于无穷时，交叉项的贡献被平均掉。

技术技巧点名： - Marchenko-Pastur 律：用于刻画样本协方差矩阵的特征值分布，是计算 tr(Sᵢ²) 的期望和方差的基础。 - 线性谱统计量的 CLT（Bai & Silverstein 2004）：用于证明 tr(Sᵢ²) 的渐近正态性。 - 矩方法（method of moments）：用于证明方差估计的一致性，通过计算样本矩的期望并与总体矩比较。 - Delta 方法：用于处理比例性检验中 ĉᵢ 的估计误差（ĉᵢ 是 tr(Sᵢ) 的比值，其渐近分布由 Delta 方法给出）。 - 交叉项消去技巧：利用 q 趋于无穷时，交叉项 tr(Sᵢ Sⱼ)（i ≠ j）的贡献在统计量中被平均掉，从而简化方差结构。

真实例子与应用¶

例子 1：Mouse Aging Project（小鼠衰老项目） - 数据：来自小鼠不同组织（如肝脏、肾脏、大脑）的基因表达数据，每个组织对应一个总体（q = 3 或 4 个组织），每个总体有 nᵢ ≈ 10-20 个样本，基因数 p ≈ 1000-2000。 - 如何应用：检验不同组织之间的基因表达协方差矩阵是否相等（H₀: Σ₁ = Σ₂ = Σ₃）。如果相等，则说明不同组织的基因共表达模式相同（可能暗示衰老机制在不同组织中一致）；如果不相等，则说明组织特异性。 - 结果：检验拒绝了 H₀（p-value < 0.05），表明不同组织的基因共表达模式存在显著差异。这验证了方法的实用性。 - 想说明什么：验证方法在真实高维数据（p > n）上的可行性，并展示生物学解释。

例子 2：1000 Genomes Project（phase 3） - 数据：来自不同人群（如欧洲、东亚、非洲）的基因型数据，每个群体对应一个总体（q = 5 个人群），每个群体有 nᵢ ≈ 100-200 个样本，SNP 数 p ≈ 5000-10000。 - 如何应用：检验不同人群之间的协方差矩阵是否成比例（H₀: Σᵢ = cᵢ Σ₀）。如果成比例，则说明不同人群的基因型协方差结构相似，只是整体变异幅度不同（可能由人口历史差异导致）。 - 结果：检验拒绝了 H₀（p-value < 0.01），表明不同人群的协方差结构不仅幅度不同，形状也不同。这暗示了人群特异性选择或漂变。 - 想说明什么：展示比例性检验在群体遗传学中的应用价值，并说明方法可以处理 q ≥ 3 的情形。

🔎 结论是否比证明窄¶

窄结论 1：定理 3.1 和 3.2 的渐近正态性依赖于假设 2.1（四阶矩有限）。作者在结论中声称方法适用于“非正态数据”，但严格来说，只适用于四阶矩有限的非正态数据。对于厚尾分布（如 Cauchy），方法可能失效。作者在模拟中只考虑了正态和 t 分布（自由度 5，四阶矩有限），未测试更极端的厚尾情形。
窄结论 2：定理 3.3（备择下的相合性）要求偏离程度满足 tr(Σᵢ²) 的差异足够大（具体为 O(1/√(N)) 量级）。作者在结论中未明确说明这个“可检测性”条件，可能被读者误解为“对所有备择都相合”。实际上，对于局部备择（local alternatives），检验的功效可能不趋于 1。
窄结论 3：比例性检验要求 cᵢ 有界且远离 0。在实际应用中，如果某些总体的协方差矩阵接近奇异（cᵢ 接近 0），方法可能不稳定。作者在模拟中只考虑了 cᵢ 在 1 附近的情形。

四、开放问题¶

minimax 最优性：本文的检验在 minimax 意义下是否最优？即，是否存在一个偏离程度的下界，使得任何检验都无法以给定功效检测到更小的偏离？本文未讨论此问题。扎根点：定理 3.3 只给出了相合性，未给出最优性。可去读 Cai, Liu & Xia (2013) 的 minimax 框架，看是否能推广到多样本情形。
非参数推广：能否将方法推广到只要求有限二阶矩（而非四阶矩）的数据？Li & Chen (2012) 对两样本情形做到了这一点，但本文的方法依赖于四阶矩来估计方差。扎根点：假设 2.1 要求四阶矩有限。可尝试用 U-统计量或自助法（bootstrap）来估计方差，避免对四阶矩的依赖。
稀疏备择下的检验：本文的迹方法对稀疏备择（只有少数变量有差异）可能功效不足。能否构造一个 max-type 统计量（如 Cai, Liu & Xia 2013 的两样本推广）来处理多样本稀疏备择？扎根点：作者在 intro 中提到了 Cai et al. 的方法，但未讨论其多样本推广。这是一个明显的 gap。
比例性检验中比例因子的估计：本文用 tr(Sᵢ) / tr(S₁) 估计 cᵢ / c₁，这在某些情形下可能不是最优的（例如，当 Σ₀ 不是标量矩阵时，tr(Sᵢ) 的方差可能很大）。能否用更高效的估计方法（如基于特征值的比值）？扎根点：公式 (3.7) 中 ĉᵢ 的定义。可尝试用谱分解或广义特征值方法改进。
计算复杂度：本文的统计量涉及 O(q²) 个 tr(Sᵢ Sⱼ) 的计算，当 q 很大时（如 q = 1000），计算量可能成为瓶颈。能否利用随机近似（random trace estimation）或低秩近似来加速？扎根点：统计量定义中涉及 Σᵢⱼ aᵢⱼ tr(Sᵢ Sⱼ)。这与研究者对“计算成本”的兴趣相关（虽然本文未直接涉及 tensor contraction）。

Maintained by 陈星宇 · Homepage · Source on GitHub