Reviving pseudo-inverses: Asymptotic properties of large dimensional Moore–Penrose and ridge-type inverses with applications¶

作者: Taras Bodnar, Nestor Parolya
来源: Annals of Statistics
主题: 高维统计 / 随机矩阵
相关性: 9/10
链接: https://doi.org/10.1214/25-aos2602

核心问题与动机¶

本文解决高维设定下（$p/n \to c > 1$）样本协方差矩阵广义逆（特别是 Moore-Penrose 伪逆和岭型逆）的渐近性质推导问题。高维情况下样本协方差矩阵奇异，其逆不存在，伪逆是自然的替代品，但其高维渐近行为长期缺乏一般性理论。重要性在于：精度矩阵的估计是高维统计推断的基础，而伪逆的计算成本极低。已有方法的不足在于：现有伪逆的高维理论均依赖总体协方差矩阵为球形的假设（$\Sigma = \sigma^2 I$）或要求数据服从正态分布，极大限制了其在实际复杂场景中的应用。

主要贡献¶

打破球形与正态假设：首次在非正态、总体协方差矩阵 $\Sigma$ 为任意正定阵的高维渐近框架下，推导了样本协方差矩阵广义逆的渐近性质。
加权迹矩的解析表达：利用部分指数 Bell 多项式，推导出广义逆矩阵加权样本迹矩的渐近等价解析式，且该表达式在实际中易于计算。
伪逆的正则化效应揭示：从理论上证明 Moore-Penrose 伪逆在高维下渐近等价于对真实协方差矩阵的某种正则化算子，解释了其为何在奇异时仍具备良好统计性质。
构造数据驱动的收缩估计器：基于理论结果，构建了无需调参的精度矩阵与最优投资组合权重的收缩估计器，计算时间极小且性能优越。

方法框架¶

模型设定：$p$ 维 $n$ 个观测的数据矩阵 $X$，$p/n \to c \in (1, \infty)$，样本协方差矩阵 $\hat{\Sigma} = \frac{1}{n}XX^\top$ 奇异。
关键假设：
高维渐近机制：$p, n \to \infty$ 且 $p/n \to c > 1$。
一般协方差结构：$\Sigma$ 为任意正定阵（非球形）。
矩条件与分布无关性：数据无需正态，仅需满足特定的矩条件。
方法步骤：
利用随机矩阵理论（RMT）中的 Stieltjes 变换与谱分布收敛性，处理 $\hat{\Sigma}$ 的奇异结构。
将广义逆（如 $\hat{\Sigma}^+$）的加权迹 $\frac{1}{p}\text{tr}(\Theta \hat{\Sigma}^+)$ 转化为等价的确定性函数。
通过部分指数 Bell 多项式对上述确定性函数进行展开与解析求解。
基于解析解构造 $\Sigma^{-1}$ 的非线性收缩估计器。

主要理论结果¶

迹矩的强渐近等价性：证明了加权迹 $\frac{1}{p}\text{tr}(\Theta \hat{\Sigma}^+)$ 几乎必然收敛到由 Bell 多项式表示的确定性量，给出了非随机等价物的显式解析公式。
伪逆的正则化等价定理：证明了 $\hat{\Sigma}^+$ 在渐近意义下等价于对真实 $\Sigma$ 的某种谱截断/收缩正则化，而非单纯的“爆炸”估计。
收敛速率：在 $p/n \to c$ 体系下获得了几乎必然收敛的渐近结果，具备经典高维 RMT 的标准收敛速率 $O_{a.s.}(1/p)$。

实验 / 数值仿真¶

实验设计：在不同 $p/n$ 比例、不同 $\Sigma$ 结构（非球形）及不同数据分布下，比较所提收缩伪逆估计器与现有基准（如线性收缩、非线性 Ledoit-Wolf 收缩等）。
评估指标：精度矩阵估计的 Frobenius 损失、投资组合的方差/夏普比率、计算时间。
主要发现：所提基于伪逆收缩的方法在统计性能上与或优于现有的非线性收缩基准，且在计算时间上具有压倒性优势（极小化计算耗时）。

与研究者兴趣的关联¶

关联子方向：高维统计（随机矩阵理论）、统计计算。
可借鉴思路：在处理高维半参数效率界或去偏机器学习时，精度矩阵的逆估计是核心瓶颈。本文揭示的“伪逆即隐式正则化”思想及基于 Bell 多项式的迹矩解析技巧，可为高维因果推断中构造稳健的得分函数或去偏估计量提供极低计算成本的新工具；同时，RMT 中处理非球形 $\Sigma$ 的技术细节对高维假设检验的临界值校准有直接参考价值。

局限性与开放问题¶

局限性：理论要求 $p/n \to c > 1$，未覆盖 $p \gg n$ 的超高大维情形；未考虑变量间的稀疏性假设，在超高大维下可能不如图模型方法（如 Graphical Lasso）。
开放问题：如何将伪逆的隐式正则化与显式的稀疏惩罚结合？在因子模型或尖刺协方差结构下，伪逆的渐近行为如何变化？能否将此 RMT 框架推广至半参数推断中的有效影响函数的高维数值逼近？

Maintained by 陈星宇 · Homepage · Source on GitHub