跳转至

Robust Estimation for Number of Factors in High Dimensional Factor Modeling via Spearman Correlation Matrix

作者: Jiaxin Qiu, Zeng Li, Jianfeng Yao
来源: Journal of the American Statistical Association
主题: 高维统计 / 随机矩阵
相关性: 7/10
链接: 期刊页 · arXiv

一、领域脉络与小综述

这个方向是什么

高维因子模型是处理高维数据降维与结构提取的核心工具。其基本设定是：可观测的 p 维向量 X 由少数 k 个不可观测的公共因子 f 和一个 p 维特异误差项 ε 线性生成：X = B f + ε，其中 B 是 p×k 的载荷矩阵。因子个数 k 的估计是该模型中最基础也最关键的步骤——它决定了后续所有推断（如因子旋转、公共成分估计、协方差矩阵估计）的维度。当 p 和 n 同阶增长（p/n → c ∈ (0,∞)）时，样本协方差矩阵的特征值谱会偏离总体谱，经典的基于信息准则或特征值比值的方法会失效，因此需要专门的高维方法。当前该子方向已相当成熟，主流方法多基于样本 Pearson 相关矩阵的谱分析，但对重尾数据的稳健性是公认的薄弱环节。

发展脉络（history）

  1. 奠基工作：随机矩阵理论引入因子个数估计。Bai & Ng (2002) 提出了基于信息准则（IC、PC）的因子个数估计，在 p 固定、n→∞ 的经典设定下相合。但该工作未处理 p/n 发散的情形。Onatski (2010) 首次利用随机矩阵理论（RMT）中的特征值分布极限行为，提出了基于特征值差值的 ED 估计量，在 p/n → c 下相合。留下口子：ED 方法依赖于特征值差值的经验分布，对重尾敏感。

  2. 主要进展：基于特征值阈值与比值的方法。Ahn & Horenstein (2013) 提出了 ER（Eigenvalue Ratio）和 GR（Growth Ratio）估计量，利用相邻特征值比值在 k 处出现跳跃这一性质。留下口子：这些方法本质上依赖样本协方差矩阵的特征值结构，而 Pearson 样本协方差在重尾下谱行为会严重扭曲。同时，Passemier & Yao (2012) 提出了基于特征值差值的 ED 估计量的改进版本，但同样未解决稳健性问题。

  3. 当前 frontier：稳健估计与重尾数据。近年来，研究者开始探索对重尾稳健的因子个数估计方法。一类思路是使用稳健协方差估计（如 MCD、MVE）替代样本协方差，但计算成本高且高维下不稳定。另一类思路是使用秩相关矩阵（如 Spearman、Kendall）替代 Pearson 相关矩阵。本文的位置：作者将 Spearman 秩相关矩阵引入高维因子模型的因子个数估计，并利用 RMT 中关于 Spearman 样本相关矩阵谱分布的理论结果（如 El Karoui 2009 关于秩相关矩阵的 Marchenko-Pastur 型极限定理），建立了一个在重尾下仍相合的估计量。

子线索聚类

  • 线索 A：基于信息准则的方法（Bai & Ng 2002, 及其后续扩展）。这类方法在 p 固定或 p 增长较慢时有效，但在 p/n → c 时表现不佳，因为惩罚项的设计需要适应高维谱的扭曲。
  • 线索 B：基于特征值比值/差值的方法（Onatski 2010, Ahn & Horenstein 2013, Passemier & Yao 2012）。这类方法直接利用样本特征值的谱结构，在高维设定下相合，但对重尾数据缺乏稳健性，因为 Pearson 样本协方差矩阵的特征值在重尾下会严重偏离总体谱。
  • 线索 C：基于稳健相关矩阵的方法（本文）。这是较新的方向，核心思想是用对重尾稳健的秩相关矩阵替代 Pearson 相关矩阵，然后利用其谱性质进行因子个数估计。本文是这一线索下的首个系统性理论工作。

这个方向在追问的核心问题

  1. 如何在高维（p/n → c）下相合地估计因子个数？ 当前主流方法（线索 B）已基本解决此问题，但依赖于 Pearson 相关矩阵。
  2. 如何使估计量对重尾数据稳健？ 这是本文要解决的核心问题。重尾会导致样本协方差矩阵的特征值膨胀，使得基于 Pearson 谱的方法高估因子个数。
  3. 稳健估计量的相合性需要多弱的矩条件？ 现有基于 Pearson 的方法通常要求有限四阶矩甚至更高阶矩。本文的目标是将矩条件降低到有限二阶矩（或更弱）。
  4. 秩相关矩阵在高维下的谱行为是否已有充分的理论基础？ 这是应用秩相关矩阵的前提。El Karoui (2009) 等已建立了 Spearman 样本相关矩阵的 Marchenko-Pastur 型极限定理，但将其用于因子个数估计需要额外的理论工作。

⚠️ 作者的 framing

作者的说法：作者将缺口 frame 为"现有基于 Pearson 相关矩阵的方法在重尾下失效，而 Spearman 秩相关矩阵天然对重尾稳健，因此将其引入因子个数估计是自然的下一步"。作者强调，他们的方法不需要对因子或误差项的分布做任何矩假设（除了有限二阶矩），而现有方法通常需要有限四阶矩。作者淡化了以下竞争路线： - 基于稳健协方差估计的方法（如 MCD、MVE）：作者仅在引言中一笔带过，称其"计算成本高且高维下不稳定"，但未提供具体比较。 - 基于 Kendall tau 相关矩阵的方法：作者未提及。Kendall tau 相关矩阵同样对重尾稳健，且在某些设定下可能比 Spearman 有更好的统计性质（如对单调变换的不变性更强）。值得研究者去查的问题：为什么作者选择 Spearman 而非 Kendall tau？是否存在理论或计算上的优势？ - 基于分位数相关或其它稳健相关测度的方法：作者未提及。

什么明显该被引 / 该存在、却没出现在 intro 里？ - El Karoui (2009) 关于秩相关矩阵谱分布的 RMT 结果——这是本文的理论基础，但作者在引言中未明确引用，仅在方法部分提及。值得研究者去查的问题：El Karoui 的结果是否直接适用于因子模型设定？还是需要额外的调整？ - 关于重尾下 Pearson 样本协方差矩阵谱行为的研究（如重尾下特征值发散的结果）——作者未引用，但这是其动机的核心。

张力

未见明显对立引用。现有工作基本一致认为：基于 Pearson 的方法在重尾下失效，需要稳健替代方案。本文是这一共识下的一个具体实现。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：
  • \( p \)：变量维数（特征数）。
  • \( n \)：样本量。
  • \( k \)：真实因子个数（待估参数）。
  • \( X \in \mathbb{R}^{n \times p} \)：可观测数据矩阵，每行是一个样本，每列是一个变量。
  • \( F \in \mathbb{R}^{n \times k} \)：不可观测的因子矩阵，每行是样本的 k 维因子得分。
  • \( B \in \mathbb{R}^{p \times k} \)：载荷矩阵，第 j 行是第 j 个变量对 k 个因子的载荷。
  • \( \varepsilon \in \mathbb{R}^{n \times p} \)：特异误差矩阵，每行是样本的 p 维误差。
  • \( \Sigma = \text{Cov}(X) \)：总体协方差矩阵（p×p）。
  • \( R \)：总体 Pearson 相关矩阵（p×p）。
  • \( \hat{R}_{\text{Pearson}} \)：样本 Pearson 相关矩阵。
  • \( \hat{R}_{\text{Spearman}} \)：样本 Spearman 秩相关矩阵。其第 (i,j) 元素是变量 i 和 j 的秩相关系数（即对原始数据按列排序后，用排序后的秩次计算 Pearson 相关系数）。
  • \( \lambda_1 \ge \lambda_2 \ge \cdots \ge \lambda_p \)：某个矩阵的特征值（按降序排列）。
  • \( c = p/n \)：维数-样本量比，假设 \( c \to c_0 \in (0, \infty) \)。

  • \( \hat{k} \)：因子个数的估计量。

  • 模型：高维因子模型

    \[X = F B^\top + \varepsilon\]
    其中 \( F \) 和 \( \varepsilon \) 独立。假设因子和误差的分布可以是重尾的（如 t 分布、柯西分布等），但要求有限二阶矩（以保证相关矩阵存在）。模型是近似因子模型（允许误差间有弱相关），但本文主要关注严格因子模型（误差独立）的设定。

  • 可观测数据：研究者实际能观测到的是 \( X \in \mathbb{R}^{n \times p} \)。不可观测的是因子 \( F \)、载荷 \( B \)、误差 \( \varepsilon \)、以及因子个数 \( k \)。研究者只能从 \( X \) 的样本相关矩阵（Pearson 或 Spearman）的特征值谱中推断 \( k \)。

第二步：讲最小内核

最简特例：假设 \( k=1 \)（只有一个公共因子），且因子和误差都是独立同分布的重尾分布（如 t 分布，自由度 3）。此时，总体相关矩阵 \( R \) 的谱结构是：一个大的特征值（对应公共因子）加上 \( p-1 \) 个小的特征值（对应误差）。在高维下（p/n → c），样本 Pearson 相关矩阵 \( \hat{R}_{\text{Pearson}} \) 的特征值谱会被重尾数据严重扭曲：误差项的重尾会导致样本特征值膨胀，使得原本应该很小的误差特征值变大，从而与因子特征值难以区分。结果，基于 Pearson 谱的方法会高估因子个数（例如，把一些大的误差特征值误判为因子）。

核心思路：Spearman 秩相关矩阵 \( \hat{R}_{\text{Spearman}} \) 对数据的重尾不敏感，因为秩变换将原始数据映射到均匀分布（或近似均匀分布），从而消除了极端值的影响。因此，\( \hat{R}_{\text{Spearman}} \) 的特征值谱在高维下更接近总体谱的结构：一个大的特征值（因子）加上 \( p-1 \) 个小的特征值（误差），且这些小的特征值的分布可以用 Marchenko-Pastur 定律描述。于是，因子个数估计问题转化为：在 \( \hat{R}_{\text{Spearman}} \) 的特征值谱中，找出那些显著大于 Marchenko-Pastur 分布支撑上界的特征值的个数。

数学上：设 \( \hat{\lambda}_1 \ge \hat{\lambda}_2 \ge \cdots \ge \hat{\lambda}_p \) 是 \( \hat{R}_{\text{Spearman}} \) 的特征值。Marchenko-Pastur 定律（在 Spearman 相关矩阵的设定下）告诉我们：如果数据没有因子结构（即 \( k=0 \)），那么 \( \hat{\lambda}_j \) 的极限分布支撑为 \( [a, b] \)，其中 \( a = (1-\sqrt{c})^2 \)，\( b = (1+\sqrt{c})^2 \)（对于相关矩阵，需要适当缩放）。当存在 k 个因子时，前 k 个特征值会跳出这个支撑区间。因此，一个自然的估计量是：

\[\hat{k} = \#\{ j : \hat{\lambda}_j > \tau \}\]
其中 \( \tau \) 是某个阈值，通常取为 \( b \) 或略大于 \( b \) 的值。本文的核心贡献就是：证明了这个基于 Spearman 相关矩阵的阈值估计量在重尾下是相合的，而基于 Pearson 的类似估计量在重尾下会失效。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在高维因子模型（p/n → c）下，当数据具有重尾特征时，如何稳健地估计因子个数 k。
  2. 核心工具/方法：利用 Spearman 秩相关矩阵的特征值谱，通过比较样本特征值与 Marchenko-Pastur 分布支撑上界来判定因子个数，提出了一个阈值型估计量。
  3. 主要结论：在因子或误差项重尾时，该估计量仍保持相合性，且所需的矩条件弱于现有基于 Pearson 相关的方法（仅需有限二阶矩）。数值实验验证了其在重尾场景下的优越性。

关键设定与假设

  • 模型：严格因子模型 \( X = F B^\top + \varepsilon \)，其中 \( F \) 和 \( \varepsilon \) 独立，且 \( \varepsilon \) 的列独立（误差独立）。这是比近似因子模型更强的假设，但便于理论分析。
  • 高维设定：\( p, n \to \infty \) 且 \( p/n \to c \in (0, \infty) \)。
  • 矩条件：仅要求因子和误差的分布具有有限二阶矩（即协方差矩阵存在）。相比已有文献：现有基于 Pearson 的方法通常要求有限四阶矩（如 Bai & Ng 2002 的 IC 方法需要有限四阶矩；Ahn & Horenstein 2013 的 ER 方法也需要有限四阶矩以保证特征值比值的收敛性）。本文的条件显著更弱。
  • 因子强度：假设因子是"强因子"，即载荷矩阵 B 的每列范数 \( \|B_{\cdot j}\|^2 \) 与 p 同阶（即 \( O(p) \)）。这是保证因子特征值跳出 Marchenko-Pastur 支撑的必要条件。相比已有文献：这是标准假设，与现有方法一致。
  • Spearman 相关矩阵的谱分布：假设 El Karoui (2009) 的结果成立，即 Spearman 样本相关矩阵的谱分布收敛到 Marchenko-Pastur 分布。这需要数据来自一个椭圆分布族（elliptical distribution）或更一般的设定。作者在文中假设数据来自一个连续分布（以保证秩变换的唯一性），但未明确要求椭圆分布。

主要结果

  • 定理 1（相合性）：在以上假设下，基于 Spearman 相关矩阵的阈值估计量 \( \hat{k} \) 满足 \( \hat{k} \xrightarrow{p} k \)。即，当 p 和 n 都很大时，估计量以概率收敛到真实因子个数。
  • 直觉：由于 Spearman 相关矩阵对重尾稳健，其前 k 个特征值（对应因子）会以概率 1 跳出 Marchenko-Pastur 支撑区间 \( [a, b] \)，而其余 p-k 个特征值（对应误差）会以概率 1 落在该区间内。因此，阈值 \( \tau = b + \delta \)（δ 为任意小的正数）可以完美分离因子和误差特征值。
  • 必要条件：因子强度足够强（载荷范数与 p 同阶），且 p/n 收敛到一个常数。

  • 解决的技术难点：需要证明 Spearman 样本相关矩阵的特征值在重尾下仍然收敛到 Marchenko-Pastur 分布，且因子特征值不会因为重尾而"污染"误差特征值的谱分布。作者通过秩变换的稳健性绕过了这个难点。

  • 定理 2（与 Pearson 方法的比较）：在相同设定下，基于 Pearson 相关矩阵的类似阈值估计量在重尾下不一致（即 \( \hat{k}_{\text{Pearson}} \) 不收敛到 k）。这是因为重尾会导致 Pearson 样本相关矩阵的误差特征值膨胀，使得部分误差特征值跳出 Marchenko-Pastur 支撑，从而被误判为因子。

  • 直觉：重尾数据会产生极端值，这些极端值会显著增大 Pearson 相关系数的估计值，从而扭曲整个谱结构。而 Spearman 秩相关通过将数据映射到秩次，消除了极端值的影响。

证明路线与技术技巧

  • 整体路线：
  • 步骤一：建立 Spearman 样本相关矩阵的谱收敛性。利用 El Karoui (2009) 的结果，证明在重尾下，\( \hat{R}_{\text{Spearman}} \) 的经验谱分布（ESD）收敛到 Marchenko-Pastur 分布。这一步的关键是验证 El Karoui 的定理条件在因子模型下仍然成立。
  • 步骤二：分离因子特征值与误差特征值。证明前 k 个特征值（对应因子）以概率 1 大于 Marchenko-Pastur 支撑上界 b，而其余 p-k 个特征值（对应误差）以概率 1 小于 b。这一步需要利用因子强度的假设和谱扰动理论（Weyl 不等式、sinθ 定理等）。

  • 步骤三：构造阈值并证明相合性。取阈值 \( \tau = b + \delta \)，则 \( \hat{k} \) 等于特征值大于 τ 的个数。由步骤二，这个个数以概率 1 等于 k。

  • 关键跳跃点：

  • 跳跃点 1：如何将 El Karoui (2009) 关于独立同分布数据的谱收敛结果推广到因子模型？因子模型引入了因子结构，使得数据不是独立同分布的。作者的处理方式是：注意到 Spearman 相关矩阵只依赖于数据的秩次，而秩次在因子模型下仍然具有某种"近似独立同分布"的结构（因为因子和误差独立，且误差独立同分布）。作者通过一个引理证明了这一点。

  • 跳跃点 2：如何证明因子特征值在重尾下仍然跳出 Marchenko-Pastur 支撑？重尾可能使因子特征值也膨胀，但作者证明：由于 Spearman 相关矩阵对重尾稳健，因子特征值的膨胀程度远小于误差特征值的膨胀程度，因此因子特征值仍然可以分离。这个证明依赖于对 Spearman 相关矩阵特征值偏差的精细控制。

  • 技术技巧点名：

  • Marchenko-Pastur 定律：用于描述误差特征值的极限分布，是阈值设定的理论基础。
  • Weyl 不等式：用于比较扰动前后特征值的差异，在步骤二中用于控制因子特征值的偏移。
  • sinθ 定理（Davis-Kahan 定理）：用于分析特征子空间在扰动下的稳定性，在步骤二中用于确保因子特征向量与误差特征向量的正交性。
  • 秩变换的稳健性：核心技巧。通过将数据映射到秩次，消除了极端值对相关矩阵的影响，从而使得谱分析对重尾稳健。

真实例子与应用

本文为纯理论 + 模拟实验，无真实数据例子。作者在数值实验部分设计了以下场景： - 数据生成：因子和误差分别从 t 分布（自由度 3，重尾）和正态分布（轻尾）生成，以及两者都从 t 分布生成。p 和 n 取不同组合（如 p=100, n=200; p=200, n=400 等）。 - 对比方法：与基于 Pearson 相关矩阵的 ED 估计量（Onatski 2010）、ER 估计量（Ahn & Horenstein 2013）、以及 Bai & Ng (2002) 的 IC 方法进行比较。 - 结果：在重尾场景下，本文方法（基于 Spearman）的估计准确率显著高于所有对比方法。例如，当因子和误差都来自 t(3) 分布时，本文方法的准确率接近 100%，而 ED 和 ER 方法的准确率低于 50%（它们倾向于高估因子个数）。在轻尾场景下，本文方法与基于 Pearson 的方法表现相当。 - 这个例子想说明什么：验证了理论结果——Spearman 相关矩阵在重尾下保持稳健，而 Pearson 相关矩阵失效。同时展示了本文方法在轻尾下也不损失效率。

🔎 结论是否比证明窄

  • 窄结论 1：定理 1 的相合性证明依赖于"误差独立"的假设（严格因子模型）。但作者在引言中声称方法适用于"近似因子模型"（允许误差间有弱相关）。这是结论比证明宽的地方——作者未在定理中正式处理误差相关的情况，也未给出相应的理论保证。值得研究者去查的问题：如果误差间存在弱相关，Spearman 相关矩阵的谱行为会如何变化？是否仍然可以用 Marchenko-Pastur 定律描述？
  • 窄结论 2：定理 1 要求因子是"强因子"（载荷范数与 p 同阶）。但实际数据中可能存在"弱因子"（载荷范数增长慢于 p）。作者在讨论中提及了弱因子的情况，但未给出理论结果。这是结论比证明窄的地方——作者未证明在弱因子下估计量是否仍然相合。
  • 窄结论 3：阈值 τ 的选择依赖于 Marchenko-Pastur 支撑上界 b，而 b 依赖于 c = p/n。在实际应用中，c 是已知的（p 和 n 已知），因此 τ 可以精确计算。但作者未讨论当 c 未知或 p/n 不收敛时的处理方式。

四、开放问题

  1. 弱因子下的相合性：当因子强度较弱（载荷范数增长慢于 p）时，基于 Spearman 的估计量是否仍然相合？需要什么样的最小因子强度条件？扎根点：作者在讨论中提及"弱因子是一个有趣的方向"，但未给出理论结果。
  2. 近似因子模型下的推广：当误差间存在弱相关（近似因子模型）时，Spearman 相关矩阵的谱行为如何？是否仍然可以用 Marchenko-Pastur 定律描述？扎根点：作者在引言中声称方法适用于近似因子模型，但定理 1 的证明依赖于误差独立假设。
  3. 自适应阈值选择：本文的阈值 τ 依赖于 Marchenko-Pastur 支撑上界 b，这是一个理论值。在实际有限样本下，b 的估计可能存在偏差。如何自适应地选择阈值（如通过 bootstrap 或交叉验证）？扎根点：作者在数值实验中使用了理论阈值，但未讨论有限样本下的阈值校准问题。
  4. 与其它稳健相关矩阵的比较：Kendall tau 相关矩阵同样对重尾稳健，且在某些设定下可能比 Spearman 有更好的统计性质（如对单调变换的不变性更强）。基于 Kendall tau 的因子个数估计量是否具有类似的理论保证？扎根点：作者未在引言中提及 Kendall tau 相关矩阵，这是一个明显的空白。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论