跳转至

Spectral analysis of gram matrices with missing at random observations: Convergence, central limit theorems, and applications in statistical inference

作者: Huiqin Li, Guangming Pan, Yanqing Yin, Wang Zhou
来源: Annals of Statistics
主题: 高维统计 / 随机矩阵
相关性: 9/10
机构绿灯: Nanyang Technological University（US News 前 50，免分进入精读）
链接: https://doi.org/10.1214/24-aos2392

一、领域脉络与小综述

这个方向是什么

这个子方向研究的是在高维框架下，当数据存在随机缺失时，Gram 矩阵（样本协方差矩阵的缩放版本）的谱性质。具体来说，它要回答：当观测矩阵的每个条目独立地以一定概率被观测到（缺失机制为 MAR，但此处简化为独立同分布的 Bernoulli 缺失），样本 Gram 矩阵的经验谱分布（ESD）会收敛到什么极限分布？其线性谱统计量（LSS）是否满足中心极限定理（CLT）？这些谱性质如何用于高维统计推断（如协方差矩阵的假设检验）？该方向当前成熟度较高，经典完全观测情形下的 Marchenko-Pastur 定律及其 CLT 已是标准工具，但缺失数据下的谱分析仍是一个活跃且未完全解决的问题，尤其在 CLT 层面。

发展脉络（history）

  1. 奠基工作：经典 Marchenko-Pastur 定律与 CLT
  2. Marchenko & Pastur (1967)：建立了独立同分布（i.i.d.）高维样本协方差矩阵的 ESD 收敛到 Marchenko-Pastur (MP) 定律。这是整个领域的基石。

  3. Bai & Silverstein (2004)：推导了线性谱统计量的 CLT，证明了在完全观测下，LSS 的波动是渐近正态的，且其渐近方差仅依赖于总体协方差矩阵的谱分布（而不依赖于特征向量）。这是后续所有谱 CLT 工作的参照系。

  4. 主要进展：缺失数据下的谱分析

  5. Cai, Zhang & Zhou (2015) 等：研究了缺失数据下样本协方差矩阵的谱性质，但主要关注估计（如协方差矩阵的稀疏估计）而非谱分布本身的极限行为。这些工作通常假设缺失机制是均匀的或依赖于协方差结构。

  6. Li, Pan, Yin & Zhou (2024，本文)：首次系统性地建立了缺失随机观测下 Gram 矩阵的 ESD 收敛定理和 LSS 的 CLT。作者在引言中明确指出，已有工作（如 Bai & Silverstein 2004）的 CLT 框架无法直接推广到缺失情形，因为缺失机制引入了额外的随机性（来自缺失指示矩阵 D），使得经典证明中的关键工具（如 Stieltjes 变换的矩方法）需要重新处理。

  7. 当前 frontier 与本文位置

  8. 当前 frontier 是：在更复杂的缺失机制（如非均匀缺失、协变量依赖缺失）下建立谱 CLT，以及将谱 CLT 应用于更广泛的统计推断问题（如因子模型、主成分分析）。
  9. 本文的位置：它填补了"缺失数据下 Gram 矩阵谱 CLT"这一空白，是从完全观测到缺失观测的谱分析理论的自然延伸。作者将其结果定位为"为缺失数据下的高维统计推断提供谱工具"，并特别强调了其与经典情形的关键差异：即使在理想高斯分布下，LSS 的渐近方差也依赖于总体协方差矩阵的特征向量，这在经典情形下是不存在的。

子线索聚类

这些被引文献大致落在两条子线索上：

  • 线索一：完全观测下的谱理论（经典）
  • 代表：Marchenko & Pastur (1967), Bai & Silverstein (2004), Bai & Silverstein (2010, 书)。

  • 做什么：建立 i.i.d. 或独立但非同分布情形下样本协方差矩阵的 ESD 收敛与 LSS 的 CLT。这是本文的基准和对比对象。

  • 线索二：缺失数据下的谱分析（新兴）

  • 代表：Cai, Zhang & Zhou (2015), Li, Pan, Yin & Zhou (2024, 本文)。
  • 做什么：研究缺失数据对谱性质的影响。本文是这条线索上第一个系统建立 CLT 的工作。作者在引言中引用了 Cai et al. (2015) 等，指出它们主要关注估计而非谱分布，从而 frame 了自己的贡献。

这个方向在追问的核心问题

  1. ESD 收敛到哪个极限分布？ 经典 MP 定律是否仍然成立？若不成立，新极限是什么？——本文回答了：ESD 收敛到一个由缺失概率 p 和总体协方差谱分布共同决定的确定极限分布（见定理 1）。
  2. LSS 的 CLT 是否成立？ 渐近方差是否仍仅依赖于谱分布？——本文回答了：CLT 成立，但渐近方差依赖于特征向量，这是一个关键发现。
  3. 谱 CLT 如何用于假设检验？ 能否构造检验统计量来检验总体协方差矩阵是否为单位阵或具有特定结构？——本文给出了一个应用例子（检验 H0: Σ = I）。
  4. 缺失机制如何影响谱性质？ 是仅改变极限分布的形状，还是也改变二阶波动结构？——本文揭示了：缺失机制不仅改变了极限分布（一阶），还引入了特征向量依赖（二阶）。

⚠️ 作者的 framing

  • 作者把缺口 frame 成什么：作者将经典谱 CLT（Bai & Silverstein 2004）视为"完全观测"的特例，而将缺失数据下的 CLT 视为"显然的下一步"。他们强调，缺失机制引入了额外的随机性（D 矩阵），使得经典证明中的矩方法和Stieltjes 变换的解析性质需要重新推导。因此，本文的贡献是"填补了缺失数据下谱 CLT 的理论空白"。
  • 哪些竞争路线被他淡化或回避了：
  • 作者淡化了非均匀缺失（即每个条目缺失概率不同）的情形。本文假设缺失指示矩阵 D 的条目是 i.i.d. Bernoulli(p)，这是一个很强的均匀缺失假设。作者在引言中未讨论非均匀缺失的推广。
  • 作者回避了协变量依赖缺失（MAR 的更一般形式）的情形。本文的缺失机制本质上是 MCAR（完全随机缺失），而非 MAR。
  • 什么明显该被引 / 该存在、却没出现在 intro 里？
  • 作者未引用关于缺失数据下随机矩阵谱分析的其他工作，如涉及缺失数据下样本协方差矩阵的极值特征值（如 Tracy-Widom 定律）的工作。这可能是因为该方向本身文献较少，但值得研究者去查证。
  • 作者未引用关于Hadamard 乘积随机矩阵的谱理论（如对于独立但非同分布条目的 Hadamard 乘积矩阵的谱分析）。本文的模型 Z = D ∘ (Σ^{1/2} X) 本质上是一个 Hadamard 乘积，但作者未将其与更一般的 Hadamard 乘积随机矩阵文献联系起来。

张力

未见明显对立引用。所有被引工作（经典谱理论）与本文的结论是兼容的：经典情形是本文在 p=1（无缺失）时的特例。本文的发现（特征向量依赖）在经典情形下消失，因此不存在矛盾。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：
  • n: 样本量（观测次数）。
  • p: 变量维数。高维框架假设 p/n → c ∈ (0, ∞)。
  • X: p × n 的随机矩阵，其条目 X_{ij} 是 i.i.d. 的，均值为 0，方差为 1，且具有有限四阶矩。这是潜在完全观测的标准化数据矩阵。
  • Σ: p × p 的总体协方差矩阵（正定对称）。这是要估计或检验的对象。
  • Σ^{1/2}: Σ 的平方根（如 Cholesky 分解或对称平方根）。Y = Σ^{1/2} X 是 p × n 的潜在完全观测数据矩阵，其列协方差矩阵为 Σ。
  • D: p × n 的缺失指示矩阵，其条目 D_{ij} 是 i.i.d. Bernoulli(p_0)，其中 p_0 ∈ (0, 1] 是观测概率。D_{ij} = 1 表示第 i 个变量在第 j 个样本中被观测到，否则缺失。
  • Z: p × n 的可观测数据矩阵，定义为 Z = D ∘ Y = D ∘ (Σ^{1/2} X)，其中 ∘ 表示 Hadamard 乘积（逐元素乘积）。即 Z_{ij} = D_{ij} Y_{ij}。
  • S_n: p × p 的 Gram 矩阵（缩放样本协方差矩阵），定义为 S_n = (1/n) Z Z^。这是可观测的*统计量。
  • p_0: 观测概率，是已知或可估计的常数。
  • c: 维数比，c = p/n → c_0 ∈ (0, ∞)。
  • F^{S_n}: S_n 的经验谱分布（ESD），即其特征值的经验分布。
  • F: S_n 的极限谱分布（LSD），由定理 1 给出。

  • LSS: 线性谱统计量，形如 ∫ f(x) dF^{S_n}(x) = (1/p) Σ_{i=1}^p f(λ_i)，其中 λ_i 是 S_n 的特征值，f 是光滑函数。

  • 模型：

  • 数据生成机制：潜在数据 Y = Σ^{1/2} X，其中 X 是 i.i.d. 标准化随机变量矩阵。缺失机制独立于 Y：D_{ij} ~ Bernoulli(p_0)，且 D 与 X 独立。可观测数据为 Z = D ∘ Y。
  • 这是一个乘积模型：可观测数据是潜在数据与缺失指示的逐元素乘积。缺失机制是 MCAR（完全随机缺失），因为 D 与 Y 独立。

  • 要估的对象：总体协方差矩阵 Σ 的谱性质（如特征值分布、检验 H0: Σ = I）。但本文不直接估计 Σ，而是研究可观测 Gram 矩阵 S_n 的谱性质。

  • 可观测数据：

  • 研究者实际能观测到的是 Z（p × n 矩阵），其中许多条目为 0（表示缺失）。S_n = (1/n) Z Z^* 是 p × p 的 Gram 矩阵，其对角线元素是每个变量的观测方差（缩放），非对角线元素是观测协方差（缩放）。
  • 想要但观测不到的是 Y（潜在完全数据）和 Σ（总体协方差）。缺失机制 D 也是不可观测的（但已知其分布参数 p_0）。本文通过谱分析，从 S_n 中提取关于 Σ 的信息，但无法直接恢复 Σ，因为缺失引入了偏差。

第二步：讲最小内核

最简特例：假设 p = 1（单变量），n 很大，且 Σ = 1（即总体方差为 1）。此时，Y 是 1 × n 的行向量，其条目 Y_{1j} ~ i.i.d. (0,1)。D 是 1 × n 的行向量，D_{1j} ~ i.i.d. Bernoulli(p_0)。可观测数据 Z 是 1 × n 的行向量，Z_{1j} = D_{1j} Y_{1j}。

  • S_n 是什么？ S_n = (1/n) Σ_{j=1}^n Z_{1j}^2 = (1/n) Σ_{j=1}^n D_{1j} Y_{1j}^2。这是一个标量（p=1 时 Gram 矩阵是 1×1 的）。
  • ESD 是什么？ 由于 p=1，ESD 就是 S_n 这个标量本身（一个点质量分布）。
  • 极限谱分布是什么？ 由大数定律，S_n → E[D_{11} Y_{11}^2] = E[D_{11}] E[Y_{11}^2] = p_0 * 1 = p_0。所以极限分布是点质量在 p_0 处。
  • 核心思路：在 p=1 时，缺失机制只是将每个观测的方差缩小了 p_0 倍。S_n 收敛到 p_0，而不是 1（完全观测时的极限）。这就是缺失对一阶谱性质的影响：它改变了极限分布的位置。
  • CLT 呢？ 考虑 LSS f(x) = x（即 S_n 本身）。CLT 研究 √n (S_n - p_0) 的分布。计算方差：
  • Var(S_n) = (1/n) Var(D_{11} Y_{11}^2) = (1/n) [E[D_{11}^2 Y_{11}^4] - (E[D_{11} Y_{11}^2])^2] = (1/n) [p_0 E[Y_{11}^4] - p_0^2]。
  • 如果 Y_{11} 是标准正态，则 E[Y_{11}^4] = 3，所以 Var(S_n) = (1/n) (3p_0 - p_0^2)。
  • 注意：这个方差依赖于 p_0 和 Y 的四阶矩。在完全观测（p_0=1）下，Var(S_n) = (1/n) (3 - 1) = 2/n，这是经典结果。在缺失下，方差是 p_0 的函数，且当 p_0 很小时，方差也变小（因为观测更少）。
  • 特征向量依赖在哪里？ 在 p=1 时，特征向量是平凡的（1×1 矩阵），所以没有特征向量依赖。特征向量依赖出现在 p > 1 时：当 Σ 不是单位阵时，S_n 的特征向量会与 Σ 的特征向量耦合，且缺失机制会放大这种耦合，使得 LSS 的渐近方差依赖于 Σ 的特征向量。这是本文的核心发现。

这个最小内核揭示了什么？ - 缺失机制将 Gram 矩阵的谱分布收缩了：极限分布从完全观测的 MP 定律（或更一般的分布）变为一个"缺失缩放"版本。 - 二阶性质（CLT 的方差）不仅依赖于缺失概率 p_0，还依赖于潜在数据的分布（如四阶矩）和总体协方差的结构（特征向量）。这与经典情形形成鲜明对比：经典 CLT 的渐近方差仅依赖于谱分布，而不依赖于特征向量。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在高维框架（p/n → c）下，当观测数据存在随机缺失（MCAR）时，Gram 矩阵 S_n = (1/n) Z Z^*（其中 Z = D ∘ (Σ^{1/2} X)）的经验谱分布（ESD）的收敛性及其线性谱统计量（LSS）的中心极限定理（CLT）。
  2. 核心工具/方法：使用 Stieltjes 变换方法，结合 Hadamard 乘积随机矩阵的矩计算和解析延拓，推导了 ESD 的极限分布（定理 1）和 LSS 的 CLT（定理 2）。关键技巧是将缺失机制视为对潜在 Gram 矩阵的"随机掩蔽"，并通过条件期望和矩方法处理 D 的随机性。
  3. 主要结论：ESD 收敛到一个由缺失概率 p_0 和总体协方差谱分布共同决定的极限分布；LSS 的 CLT 成立，但其渐近方差依赖于总体协方差矩阵的特征向量，这与经典完全观测情形（Bai & Silverstein 2004）形成鲜明对比；将该 CLT 应用于总体协方差矩阵的假设检验（检验 H0: Σ = I）。

关键设定与假设

  • 设定：高维框架，p/n → c ∈ (0, ∞)。观测矩阵 Z = D ∘ (Σ^{1/2} X)，其中 X 的条目 i.i.d. 均值为 0、方差为 1，且具有有限四阶矩。D 的条目 i.i.d. Bernoulli(p_0)，且与 X 独立。Σ 是 p × p 正定对称矩阵，其谱分布 H 收敛到某个极限分布（即 Σ 的谱分布是"良定义的"）。
  • 假设：
  • A1 (X 的矩条件)：X 的条目 i.i.d.，E[X_{11}] = 0，E[X_{11}^2] = 1，E[X_{11}^4] < ∞。这是经典谱理论的标准假设，保证了矩方法可行。
  • A2 (缺失机制)：D 的条目 i.i.d. Bernoulli(p_0)，p_0 ∈ (0, 1]，且 D 与 X 独立。这是 MCAR 假设，比 MAR 更强。相比经典情形（p_0=1），这是本文引入的新假设。
  • A3 (Σ 的谱分布)：Σ 的谱分布 H_p 弱收敛到某个确定分布 H，且 Σ 的谱范数有界。这是高维谱分析的标准假设，保证了极限谱分布的存在性。
  • A4 (函数 f 的光滑性)：对于 CLT，f 是解析函数（或至少足够光滑，如四次连续可微）。这是 LSS 的 CLT 的标准假设，用于控制 Stieltjes 变换的误差。

主要结果

  • 定理 1 (ESD 收敛)：在假设 A1-A3 下，S_n 的 ESD 几乎必然弱收敛到一个确定分布 F，其 Stieltjes 变换 m(z) 满足一个隐式方程（涉及 p_0 和 H）。直觉：缺失机制将 Gram 矩阵的谱分布"压缩"了，极限分布是经典 MP 定律的推广，其中 p_0 作为缩放因子出现。必要条件：p_0 > 0（否则 S_n 为零矩阵）。解决的技术难点：处理 Hadamard 乘积带来的非独立结构，通过条件期望和矩方法将 D 的随机性积分掉。
  • 定理 2 (LSS 的 CLT)：在假设 A1-A4 下，对于光滑函数 f，线性谱统计量 L_n(f) = ∫ f(x) dF^{S_n}(x) 满足： √n (L_n(f) - ∫ f(x) dF(x)) → N(0, V_f)， 其中渐近方差 V_f 依赖于 p_0、H 以及 Σ 的特征向量（通过一个涉及 Σ 的二次型）。直觉：缺失机制引入了额外的随机性（来自 D），使得 LSS 的波动不仅依赖于谱分布，还依赖于特征向量。必要条件：p_0 固定且 > 0，c 固定。解决的技术难点：推导 V_f 的显式表达式，并证明其不依赖于 X 的分布（仅依赖于矩条件），但依赖于 Σ 的特征向量——这是本文的核心发现。
  • 应用：假设检验：作者将定理 2 应用于检验 H0: Σ = I（总体协方差矩阵为单位阵）。构造检验统计量 T_n = (1/p) Σ_{i=1}^p f(λ_i)，其中 λ_i 是 S_n 的特征值，f 是特定函数（如 f(x) = x 或 f(x) = log x）。在 H0 下，T_n 的渐近分布由定理 2 给出，从而可以构造拒绝域。与 baseline 对比：经典检验（如 LRT）在缺失下失效，而本文的检验基于谱 CLT，理论上有效。

证明路线与技术技巧（理论型）

  • 整体路线：
  • Step 1: Stieltjes 变换的矩方程。定义 S_n 的 Stieltjes 变换 m_n(z) = (1/p) tr((S_n - zI)^{-1})。通过矩方法（计算 E[m_n(z)] 的矩），推导出 m_n(z) 满足的隐式方程，该方程涉及 p_0 和 Σ 的谱分布 H。这一步是定理 1 的核心。
  • Step 2: 极限 Stieltjes 变换的确定。证明 m_n(z) 几乎必然收敛到 m(z)，其中 m(z) 是 Step 1 中隐式方程的唯一解。这需要证明 m_n(z) 的紧性和唯一性，使用截断和鞅差方法。
  • Step 3: LSS 的 CLT 推导。将 L_n(f) 表示为 Stieltjes 变换的围道积分：L_n(f) = (1/(2πi)) ∮ f(z) m_n(z) dz。然后研究 √n (m_n(z) - m(z)) 的渐近分布。这需要将 m_n(z) 的波动分解为两部分：一部分来自 X 的随机性（经典部分），另一部分来自 D 的随机性（缺失部分）。
  • Step 4: 方差计算。计算 V_f 的显式表达式。关键跳跃点在于：缺失部分引入了 Σ 的特征向量，通过一个涉及 Σ 的二次型项出现。作者使用矩阵扰动理论和迹的循环性质来简化这个二次型，最终得到 V_f 的表达式。

  • Step 5: 应用。将 CLT 应用于假设检验，构造检验统计量并推导其渐近分布。

  • 关键跳跃点：

  • 跳跃点 1：处理 D 的随机性。经典证明中，Gram 矩阵的条目是独立的（或至少是 m-依赖的）。但在缺失下，S_n 的条目是 D 和 Y 的乘积，其独立性结构复杂。作者通过条件期望（给定 D，Y 的条件分布）和矩方法（计算涉及 D 的矩）来绕过这个困难。具体来说，他们先固定 D，将问题转化为一个"加权"的 Gram 矩阵，然后对 D 取期望。

  • 跳跃点 2：特征向量依赖的出现。在计算 V_f 时，作者发现一个交叉项涉及 Σ 的特征向量。在经典情形（p_0=1）下，这个交叉项消失，因为 D 是常数 1。但在缺失下，D 的随机性使得这个交叉项非零，且依赖于 Σ 的特征向量。这是本文最核心的发现，也是证明中最吃功夫的部分。

  • 技术技巧点名：

  • Stieltjes 变换：用于研究 ESD 的收敛性和 LSS 的 CLT。这是整个证明的骨架。
  • 矩方法：用于推导 Stieltjes 变换的隐式方程。通过计算迹的矩，将问题转化为组合计数。
  • 鞅差序列：用于证明 m_n(z) 的收敛性和 CLT。将 m_n(z) 表示为鞅差和，然后应用鞅 CLT。
  • 围道积分：将 LSS 表示为 Stieltjes 变换的积分，从而将 LSS 的 CLT 转化为 Stieltjes 变换的 CLT。
  • 矩阵扰动理论：用于处理 Σ 的特征向量依赖。通过将 S_n 写为 Σ^{1/2} (D ∘ X) (D ∘ X)^* Σ^{1/2} 的形式，利用 Σ 的谱分解来分离特征向量。

真实例子与应用

本文为纯理论，无实证例子。作者在最后一节（应用）中给出了一个假设检验的例子，但没有使用真实数据。他们仅提供了检验统计量的构造和渐近分布的理论推导，没有模拟实验或实际数据分析。因此，本文的"应用"是理论上的，而非实证上的。

🔎 结论是否比证明窄

  • 窄结论 1：定理 2 的 CLT 要求函数 f 是解析的（或至少足够光滑）。作者在证明中使用了围道积分，这要求 f 在复平面上解析。但在实际应用中，f 可能不光滑（如指示函数）。作者在结论中未讨论非光滑 f 的推广，这是一个窄化。
  • 窄结论 2：缺失机制假设为 i.i.d. Bernoulli(p_0)，即 MCAR。作者在结论中未讨论 MAR 或非均匀缺失的推广。这是一个明显的窄化，因为实际数据中的缺失往往不是完全随机的。
  • 窄结论 3：假设 X 的条目 i.i.d.。作者在结论中未讨论 X 的条目独立但非同分布（如不同方差）的情形。这是一个技术性窄化，但经典谱理论中已有推广（如 Bai & Silverstein 2010），本文未跟进。

四、开放问题（点到为止，扎根具体语句）

  1. 非均匀缺失下的谱 CLT：本文假设缺失概率 p_0 对所有条目相同。若每个条目的缺失概率不同（如 D_{ij} ~ Bernoulli(p_{ij})，且 p_{ij} 依赖于 i 或 j），ESD 收敛和 LSS 的 CLT 是否仍然成立？扎根：本文假设 A2 明确要求 D 的条目 i.i.d.，作者在引言中未讨论非均匀缺失。
  2. MAR 缺失下的谱分析：若缺失机制依赖于观测到的协变量（即 MAR），本文的框架是否还能适用？扎根：本文的模型是 MCAR（D 与 Y 独立），作者在引言中未提及 MAR 的推广。
  3. 非光滑函数 f 的 CLT：定理 2 要求 f 解析。对于非光滑函数（如 f(x) = I(x ≤ t)，即经验分布函数本身），CLT 是否仍然成立？扎根：作者在定理 2 的陈述中明确要求 f 是解析函数，未讨论非光滑情形。
  4. 极值特征值的分布：本文只研究了 ESD 和 LSS 的 CLT。缺失数据下 Gram 矩阵的最大特征值是否仍服从 Tracy-Widom 分布？扎根：作者在引言中未提及极值特征值理论，这是一个自然的延伸方向。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论