On eigenvalues of a high-dimensional spatial-sign covariance matrix¶

作者: Weiming Li, Qinwen Wang, Jianfeng Yao, Wang Zhou
来源: Bernoulli
主题: 高维统计 / 随机矩阵
相关性: 8/10
链接: 期刊页 · arXiv

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向研究的是高维空间符号协方差矩阵（Spatial-Sign Covariance Matrix, SSCM）的谱性质。根本的统计问题是：当变量数 p 与样本量 n 同阶增长（p/n → c > 0）时，基于数据方向（空间符号）而非原始数值构造的协方差矩阵，其特征值的极限行为是什么？能否像经典样本协方差矩阵（SCM）那样建立 Marčenko-Pastur（MP）律和线性谱统计量（LSS）的中心极限定理（CLT）？这个方向处于随机矩阵理论（RMT）与稳健统计的交叉点：RMT 为高维 SCM 提供了完整的谱理论，但 SCM 对异常值敏感；SSCM 天然稳健，但其谱理论在高维设定下长期缺失。本文填补了这一空白。

发展脉络¶

奠基工作：高维 SCM 的谱理论（1980s-2000s）

Jonsson (1982)：最早用矩方法证明了 Wishart 矩阵特征值的极限分布（MP 律）和 LSS 的 CLT，奠定了高维 SCM 谱分析的基础。
Johnstone (2006)：系统综述了 RMT 如何解释高维 SCM 的谱失真——样本特征值比总体特征值更分散，这种变形由 MP 律精确描述。这篇综述将 RMT 引入统计学主流。
Bai & Silverstein (2010)：建立了 SCM 谱分布的几乎必然收敛性和 LSS 的 CLT，成为高维统计推断的标准工具。

主要进展：从 SCM 到稳健协方差估计（2000s-2010s）

El Karoui (2009)：将 RMT 推广到椭圆分布族，导出了 SCM 谱分布的 MP 型方程组，揭示了椭圆分布下 SCM 谱的复杂性——它不再服从经典 MP 律，而是由总体分布和谱分布通过隐式方程共同决定。这为 SSCM 的研究提供了动机：SSCM 可能避开这种复杂性。
Dürre, Tyler & Vogel (2015)：在固定维数下建立了 SSCM 特征值与椭圆分布形状矩阵特征值的一一对应关系，并给出积分表示。但这是有限维结果，不适用于 p/n → c 的高维设定。
Paindaveine & Verdebout (2013)：证明了在固定 p 下，多元符号检验在高维中仍然有效（p 可以任意方式趋于无穷），但他们的结果依赖于球性假设（总体协方差为 σ²Iₚ），不适用于一般形状矩阵。

当前 Frontier：高维 SSCM 的谱理论（2010s-至今）

Hu, Li, Liu & Zhou (2018)：建立了椭圆分布下 SCM 的 LSS 的 CLT，但该 CLT 依赖于椭圆分布的高阶相关性，且 SCM 本身对异常值不稳健。
Li & Yao (2017)：发现对于尺度混合分布，SCM 的谱分布不收敛到 MP 律，而是收敛到一个新的极限，由混合分布 w 和总体谱分布 T 通过隐式方程共同决定。这进一步凸显了 SCM 在高维设定下的脆弱性。
本文（Li, Wang, Yao & Zhou, 2024）：首次在高维设定（p/n → c）下，对 SSCM 建立了完整的谱理论——广义 MP 律和 LSS 的 CLT。这为基于谱的高维稳健推断提供了理论基础。

子线索聚类¶

高维 SCM 的谱理论：Jonsson (1982), Johnstone (2006), Bai & Silverstein (2010), Pan & Zhou (2008), Zheng, Bai & Yao (2014)。这一簇建立了 SCM 谱分析的完整工具链（MP 律、LSS 的 CLT、矩条件放松），是本文的直接技术来源。
稳健协方差估计与 SSCM：Dürre, Tyler & Vogel (2015), Dürre, Vogel & Fried (2014), Magyar & Tyler (2013), Visuri et al. (2000)。这一簇在固定维数下研究了 SSCM 的稳健性、渐近效率、与 Tyler 矩阵的关系。本文将其推广到高维。
椭圆分布下的高维推断：El Karoui (2009), Hu, Li, Liu & Zhou (2018), Li & Yao (2017)。这一簇揭示了椭圆分布下 SCM 谱的复杂性，为 SSCM 的引入提供了动机。
高维球性检验：Wang & Yao (2013), Ledoit & Wolf (2002), Paindaveine & Verdebout (2016)。这一簇关注球性假设的检验，本文将其推广到基于 SSCM 的稳健版本。

这个方向在追问的核心问题¶

SSCM 在高维下的谱极限是什么？ 是否像 SCM 一样服从 MP 律？本文回答：是，但属于广义 MP 律族，参数由总体分布决定。
SSCM 的 LSS 是否具有 CLT？ 本文回答：是，但渐近方差依赖于总体分布的四阶矩（与 SCM 类似，但形式不同）。
SSCM 能否用于高维推断？ 本文回答：可以，用于球性检验和谱校正估计，且对异常值稳健。
SSCM 与 SCM 的谱性质有何本质区别？ 本文揭示：SSCM 的谱极限不依赖于总体分布的具体形式（只要满足独立成分模型或椭圆分布），而 SCM 的谱极限依赖于总体谱分布和四阶矩。

⚠️ 作者的 framing¶

作者将缺口 frame 为：高维 SCM 的谱理论已成熟，但 SSCM 的谱理论完全空白。作者通过两条论证来支撑这一 framing： - SCM 的局限性：SCM 对异常值敏感，且在高维椭圆分布下其谱极限复杂（El Karoui, 2009; Li & Yao, 2017），而 SSCM 天然稳健。 - SSCM 的潜力：SSCM 在固定维数下已被证明有效（Dürre et al., 2015），但高维设定下的谱性质未知。

作者淡化的竞争路线： - Tyler 的 M-估计量：Couillet, Pascal & Silverstein (2013) 已建立了 Tyler 矩阵在高维下的谱理论，但作者仅在引言中一笔带过（"Tyler, respectively, see Gervini (2008), Sirkia et al."），未深入比较。Tyler 矩阵是仿射等变的，而 SSCM 不是，但 Tyler 矩阵的计算更复杂（需要迭代求解隐式方程）。 - 基于秩的方法：Chakraborty & Chaudhuri (2015) 研究了基于空间符号和秩的高维检验，但作者未将其纳入谱分析的框架。

值得研究者去查的问题：作者未引用基于低度多项式（low-degree polynomial）的算法下界文献。SSCM 的计算复杂度是 O(p²n)（计算所有成对空间符号），在高维下是否可能被加速？是否存在统计-计算权衡？这可能是连接研究者兴趣（statistical-computational tradeoff）的切入点。

张力¶

未见明显对立引用。所有被引工作基本一致地认为：SCM 的谱理论已成熟，SSCM 的谱理论是自然且重要的推广。唯一的潜在张力是：Magyar & Tyler (2013) 证明了 SSCM 是渐近不可容许的（相对于 Tyler 矩阵），但本文仍以 SSCM 为研究对象，理由是 SSCM 的计算更简单且对异常值稳健。

二、最核心、最简单的例子 / 数学问题¶

第一步：符号、模型、可观测数据交代清楚¶

符号： - p：变量数（维数），随样本量 n 增长，p/n → c ∈ (0, ∞)。 - n：样本量。 - x₁, …, xₙ ∈ ℝᵖ：可观测的 p 维样本向量。 - Sₙ = (1/n) Σⱼ₌₁ⁿ xⱼ xⱼᵀ：样本协方差矩阵（SCM）。 - Bₙ = (1/n) Σⱼ₌₁ⁿ s(xⱼ) s(xⱼ)ᵀ：样本空间符号协方差矩阵（SSCM），其中 s(x) = x / ‖x‖₂（若 x ≠ 0），否则 s(x) = 0。这是本文的核心研究对象。 - Σ = E[s(x) s(x)ᵀ]：总体 SSCM（population SSCM），是本文要估计的形状矩阵（shape matrix）的代理。 - A：总体形状矩阵（shape matrix），满足 Σ = E[s(A^{-1/2} z) s(A^{-1/2} z)ᵀ] 的关系，其中 z 是球性随机向量。 - λ₁ ≥ … ≥ λₚ：总体 SSCM Σ 的特征值。 - μ₁ ≥ … ≥ μₚ：样本 SSCM Bₙ 的特征值。 - F^{Bₙ}(x) = (1/p) Σᵢ₌₁ᵖ 𝟙(μᵢ ≤ x)：Bₙ 的经验谱分布（ESD）。 - F^{Σ}(x) = (1/p) Σᵢ₌₁ᵖ 𝟙(λᵢ ≤ x)：Σ 的总体谱分布（PSD）。 - c = lim_{n→∞} p/n：维数-样本量比极限。 - m(z) = ∫ (1/(x - z)) dF(x)：谱分布 F 的 Stieltjes 变换。

模型：本文考虑两类总体模型： 1. 独立成分模型（ICM）：xⱼ = m + A^{1/2} zⱼ，其中 zⱼ = (z₁ⱼ, …, zₚⱼ)ᵀ，{zᵢⱼ} 是 i.i.d. 随机变量，满足 E[zᵢⱼ] = 0, E[zᵢⱼ²] = 1, E[zᵢⱼ⁴] < ∞。A 是 p×p 正定矩阵。 2. 椭圆分布：xⱼ = μ + Rⱼ A^{1/2} uⱼ，其中 Rⱼ ≥ 0 是径向随机变量，uⱼ 是单位球面上的均匀分布，且 Rⱼ 与 uⱼ 独立。A 是形状矩阵。

可观测数据：研究者实际能观测到的是 x₁, …, xₙ ∈ ℝᵖ（原始样本向量）。由此可计算： - 样本 SSCM Bₙ（可观测）。 - Bₙ 的特征值 μ₁ ≥ … ≥ μₚ（可观测）。 - Bₙ 的 ESD F^{Bₙ}（可观测）。

想要但观测不到的量： - 总体 SSCM Σ（不可观测，是估计目标）。 - 总体形状矩阵 A（不可观测，是最终感兴趣的对象，但本文不直接估计 A，而是估计 Σ）。 - 潜在异常值的存在与否（不可观测，但 SSCM 的设计使其对异常值稳健）。

第二步：讲最小内核¶

最简特例：考虑 p=2, n 很大，且总体来自球性分布（即 Σ = I₂，形状矩阵 A = I₂）。此时： - 样本 SSCM Bₙ 的特征值 μ₁ ≥ μ₂ 是什么？ - 在经典 SCM 下，若总体为球性，样本特征值服从 MP 律（c = p/n → 0 时，μ₁ → 1, μ₂ → 1）。 - 在 SSCM 下，由于 s(x) 是单位向量，Bₙ 的迹 tr(Bₙ) = (1/n) Σⱼ₌₁ⁿ ‖s(xⱼ)‖² = 1（因为 ‖s(xⱼ)‖ = 1）。因此 Bₙ 的特征值之和恒为 1，即 μ₁ + μ₂ = 1。 - 当总体为球性时，E[s(x) s(x)ᵀ] = (1/p) Iₚ = (1/2) I₂（因为 s(x) 在单位球面上均匀分布，其协方差矩阵是标量矩阵）。 - 因此，Bₙ 的 ESD 应收敛到在 1/2 处的点质量（即所有特征值都趋于 1/2）。这对应于 c=0 时的退化情况。

一般情况（p/n → c > 0）：当总体非球性时，Bₙ 的 ESD 收敛到广义 MP 律，其 Stieltjes 变换满足：

\[m(z) = \int \frac{1}{t(1 - c - c z m(z)) - z} dH(t)\]

其中 H 是总体 SSCM Σ 的谱分布。这个方程与经典 MP 律的形式相同，但参数不同：经典 MP 律中，H 是总体协方差矩阵 Σ₀ 的谱分布；这里 H 是总体 SSCM Σ 的谱分布。

核心思路：本文证明，尽管 SSCM 的定义（基于空间符号）与 SCM 完全不同，但在高维极限下，其谱行为与 SCM 同构——都服从广义 MP 律族。区别在于： - SCM 的谱极限由总体协方差矩阵 Σ₀ 的谱分布决定。 - SSCM 的谱极限由总体 SSCM Σ 的谱分布决定。 - 因此，所有针对 SCM 的谱推断方法（如谱校正估计、球性检验）都可以直接迁移到 SSCM 上，只需将总体协方差矩阵替换为总体 SSCM。

为什么这个最小内核重要：它揭示了 SSCM 的谱性质并不比 SCM 更复杂——尽管 SSCM 的定义涉及非线性变换（空间符号），但其谱极限仍然属于经典 RMT 框架。这使得研究者可以直接复用已有的 RMT 工具（如 MP 律、LSS 的 CLT）来分析 SSCM，而不需要发展全新的理论。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在高维设定（p/n → c ∈ (0, ∞)）下，建立了样本空间符号协方差矩阵（SSCM）Bₙ 特征值的极限谱分布（广义 MP 律）和线性谱统计量（LSS）的中心极限定理（CLT）。
核心工具/方法：矩方法（moment method）和 Stieltjes 变换，结合空间符号的几何性质（‖s(x)‖ = 1）和独立成分模型/椭圆分布的矩结构。
主要结论：Bₙ 的 ESD 几乎必然收敛到广义 MP 律；LSS 的 CLT 成立，渐近方差依赖于总体分布的四阶矩；基于这些结果，提出了两个稳健的球性检验统计量和一个谱校正估计量。

关键设定与假设¶

完整设定（在第二节最小记号基础上补充）：

模型 (2.1)：独立成分模型（ICM）：xⱼ = m + A^{1/2} zⱼ，其中 zⱼ = (z₁ⱼ, …, zₚⱼ)ᵀ，{zᵢⱼ} i.i.d.，E[zᵢⱼ] = 0，E[zᵢⱼ²] = 1，E[zᵢⱼ⁴] < ∞。
模型 (2.3)：椭圆分布：xⱼ = μ + Rⱼ A^{1/2} uⱼ，其中 Rⱼ ≥ 0 与 uⱼ 独立，uⱼ 在单位球面上均匀分布。
假设 (a)：p/n → c ∈ (0, ∞)。
假设 (b)：总体 SSCM Σ = E[s(x) s(x)ᵀ] 的谱分布 H 收敛到非随机极限 H（在分布意义上）。
假设 (c)：存在常数 C > 0 使得 sup_{i,j} E[|zᵢⱼ|⁴] ≤ C（ICM 下）或 E[Rⱼ⁴] ≤ C（椭圆分布下）。

相比已有文献的放宽/强化： - 放宽：相比 Dürre et al. (2015) 的固定维数结果，本文允许 p/n → c > 0。 - 强化：相比 El Karoui (2009) 的椭圆分布 SCM 结果，本文的 SSCM 谱极限不依赖于径向分布 Rⱼ，因此更稳健。 - 关键区别：本文的模型假设比经典 SCM 的 RMT 结果更弱——不需要假设总体协方差矩阵 Σ₀ 的存在性（因为 SSCM 只依赖于方向，不依赖于尺度）。

主要结果¶

定理 1（广义 MP 律）：在假设 (a)-(c) 下，Bₙ 的 ESD F^{Bₙ} 几乎必然收敛到非随机极限 F_{c,H}，其 Stieltjes 变换 m(z) 满足：

\[m(z) = \int \frac{1}{t(1 - c - c z m(z)) - z} dH(t)\]

其中 H 是总体 SSCM Σ 的极限谱分布。

直觉：这个方程与经典 MP 律完全相同，只是将总体协方差矩阵的谱分布替换为总体 SSCM 的谱分布。这意味着 SSCM 的谱行为与 SCM 同构。
必要条件：c ∈ (0, ∞)，H 有紧支撑。
解决的技术难点：SSCM 的定义涉及非线性变换（空间符号），使得传统的矩方法不能直接应用。作者通过将空间符号分解为径向和角向部分，并利用独立成分模型/椭圆分布的矩结构，证明了矩的收敛性。

定理 2（LSS 的 CLT）：设 f₁, …, f_k 是解析函数，定义 LSS 向量：

\[T_n = (p \cdot \int f_1(x) dF^{B_n}(x), \ldots, p \cdot \int f_k(x) dF^{B_n}(x))\]

则在假设 (a)-(c) 下，T_n 渐近服从 k 维正态分布，均值和协方差由 H 和 c 决定。

直觉：LSS 的 CLT 是谱推断的基础（如球性检验、谱校正估计）。本文的 CLT 表明，SSCM 的 LSS 与 SCM 的 LSS 具有相同的渐近结构，但渐近方差不同。
必要条件：f_i 在谱支撑的邻域内解析；四阶矩有限。
解决的技术难点：SSCM 的 LSS 的 CLT 需要处理空间符号的非线性性。作者通过将 LSS 表示为迹的线性组合，并利用矩方法证明迹的联合正态性。

定理 3（球性检验）：提出两个检验统计量： 1. β̂₁ = (1/p) tr(Bₙ²) - (1/p)：基于 Bₙ 的 Frobenius 范数。在球性假设 H₀: Σ = σ²Iₚ 下，β̂₁ 渐近正态，均值为 0，方差由 c 决定。 2. β̂₂ = det(Bₙ)：基于 Bₙ 的行列式。在 H₀ 下，log det(Bₙ) 渐近正态。

直觉：球性检验等价于检验总体 SSCM 是否为标量矩阵。β̂₁ 和 β̂₂ 是两种不同的度量方式。
与已有工作的关系：Paindaveine & Verdebout (2016) 和 Zou et al. (2014) 提出了类似的统计量（等价于 tr(Bₙ²)），但本文给出了完整的渐近分布（包括均值和方差），并证明了其在高维下的有效性。

定理 4（谱校正估计）：提出一个谱校正估计量 Γ̂，用于从 Bₙ 的特征值估计总体 SSCM Σ 的特征值。Γ̂ 的定义基于矩方法（Li & Yao, 2014），通过求解一个非线性方程组来校正样本特征值的偏差。

直觉：与 El Karoui (2008) 的 SCM 谱校正估计类似，但应用于 SSCM。
与 baseline 的对比：模拟实验表明，Γ̂ 在异常值存在时优于基于 SCM 的谱校正估计。

证明路线与技术技巧¶

整体路线（以定理 1 为例）：

步骤 1：将 SSCM 转化为 SCM 的形式。定义 yⱼ = s(xⱼ)，则 Bₙ = (1/n) Σⱼ yⱼ yⱼᵀ。因此 Bₙ 是 yⱼ 的 SCM。但 yⱼ 不是独立同分布的（因为 s(·) 是非线性变换），且 yⱼ 的协方差矩阵是 Σ。
步骤 2：证明 yⱼ 的矩条件。利用独立成分模型/椭圆分布的结构，证明 yⱼ 满足 SCM 的 RMT 所需的矩条件（如四阶矩有限、线性独立性等）。
步骤 3：应用经典 RMT 结果。由于 Bₙ 是 yⱼ 的 SCM，且 yⱼ 满足矩条件，经典 RMT 结果（Bai & Silverstein, 2010）直接给出 Bₙ 的 ESD 收敛到广义 MP 律，其 Stieltjes 变换由 Σ 的谱分布 H 决定。
步骤 4：处理 yⱼ 的非独立性。yⱼ 不是独立的（因为 s(·) 依赖于 xⱼ 的范数），但作者证明 yⱼ 是弱相关的，足以应用 RMT 的矩方法。

关键跳跃点： - 引理 1：证明 E[s(x) s(x)ᵀ] = Σ 的特征值在 (0,1) 之间，且 Σ 的迹为 1。这是 SSCM 与 SCM 的关键区别：SCM 的总体协方差矩阵的迹可以是任意正数，但 SSCM 的迹恒为 1。 - 引理 2：证明 yⱼ 的任意阶矩可以用 Σ 的矩和 zⱼ 的矩表示。这个引理将 SSCM 的矩计算归结为 SCM 的矩计算。

技术技巧点名： - 矩方法（moment method）：用于证明 ESD 的收敛性。作者计算了 Bₙ 的迹的矩 E[tr(Bₙᵏ)]，并证明其收敛到广义 MP 律的矩。 - Stieltjes 变换：用于推导谱极限的隐式方程。 - 空间符号的几何性质：利用 ‖s(x)‖ = 1 和 s(x) 在单位球面上的均匀性，简化矩计算。 - 独立成分模型的矩结构：利用 zᵢⱼ 的独立性和矩条件，将高阶矩分解为低阶矩的乘积。

真实例子与应用¶

模拟实验（Section 5）： - 数据生成：考虑三种模型： - Model 1：ICM，zᵢⱼ ~ N(0,1)，A = diag(λ₁, …, λₚ)，其中 λᵢ 从均匀分布 U(0.5, 1.5) 生成。 - Model 2：椭圆分布，Rⱼ ~ χ²(5)/5，A 同上。 - Model 3：ICM 但加入 5% 的异常值（从 Cauchy 分布生成）。 - 实验内容： 1. 验证广义 MP 律：绘制 Bₙ 的 ESD 与理论极限的对比图，显示两者高度吻合。 2. 验证 LSS 的 CLT：绘制 β̂₁ 和 β̂₂ 的 QQ 图，显示其渐近正态性。 3. 球性检验的 size 和 power：比较本文提出的 β̂₁、β̂₂ 与基于 SCM 的检验（Wang & Yao, 2013）的 size 和 power。结果显示，在 Model 3（有异常值）下，基于 SCM 的检验 size 严重失真（名义水平 5%，实际水平可达 20%），而基于 SSCM 的检验 size 接近名义水平。 4. 谱校正估计的精度：比较 Γ̂（基于 SSCM）与基于 SCM 的谱校正估计（El Karoui, 2008）的 MSE。结果显示，在 Model 3 下，Γ̂ 的 MSE 远小于基于 SCM 的估计。

这个例子想说明什么： - SSCM 的谱理论（广义 MP 律、LSS 的 CLT）在有限样本下是准确的。 - 基于 SSCM 的推断对异常值具有稳健性，而基于 SCM 的推断在异常值存在时失效。 - 谱校正估计 Γ̂ 能够有效校正 SSCM 特征值的偏差，且对异常值稳健。

🔎 结论是否比证明窄¶

定理 1 的证明依赖于 ICM 或椭圆分布。作者在引言中声称结果适用于"general enough"的总体，但证明中明确使用了 ICM 或椭圆分布的结构。对于更一般的分布（如任意具有有限四阶矩的分布），SSCM 的谱极限是否仍服从广义 MP 律？作者未证明，但推测成立（见 Section 6 "Discussion"）。
定理 2 的 CLT 要求 f 是解析函数。对于非解析的 f（如指示函数），CLT 是否成立？作者未讨论。这在实践中可能限制应用（如检验谱分布的形状）。
球性检验的渐近分布依赖于 c 的估计。在实际应用中，c = p/n 是已知的，但作者未讨论 c 的估计误差对检验的影响。

四、开放问题¶

更一般的总体分布：本文的证明依赖于 ICM 或椭圆分布。对于更一般的分布（如任意具有有限四阶矩的分布），SSCM 的谱极限是否仍服从广义 MP 律？作者在 Section 6 中将其列为未来工作，并推测成立。扎根点：Section 6 "It would be interesting to extend our results to more general populations, such as those with only finite fourth moments."
SSCM 与 Tyler 矩阵的比较：Magyar & Tyler (2013) 证明了 SSCM 是渐近不可容许的（相对于 Tyler 矩阵）。在高维设定下，Tyler 矩阵的谱性质是否优于 SSCM？是否存在类似于本文的 CLT？扎根点：引言中仅一笔带过 Tyler 矩阵，未深入比较。
非解析函数的 LSS 的 CLT：本文的 CLT 要求 f 是解析函数。对于非解析的 f（如指示函数），CLT 是否成立？这在高维 PCA 中可能有用（如检验前 k 个特征值是否大于某个阈值）。扎根点：定理 2 的假设要求 f 在谱支撑的邻域内解析。
统计-计算权衡：SSCM 的计算复杂度是 O(p²n)，在高维下可能成为瓶颈。是否存在更快的近似算法（如随机化方法）？其计算成本与统计精度之间是否存在权衡？扎根点：本文未讨论计算复杂度，但这是高维统计的实际问题。

Maintained by 陈星宇 · Homepage · Source on GitHub