Inference on the Proportion of Variance Explained in Principal Component Analysis¶

作者: Ronan Perry, Snigdha Panigrahi, Jacob Bien, Daniela Witten
来源: Journal of the American Statistical Association
主题: 高维统计 / 随机矩阵
相关性: 8/10
链接: 期刊页 · arXiv

一、领域脉络与小综述¶

这个方向是什么¶

本文关注的子问题是：在高维 PCA 降维的实践中，如何为广泛报告的“方差解释比例”（PVE）提供有统计保证的推断（置信区间、p值）？ 具体而言，是希望回答“样本主成分所解释的方差比例，在重复抽样中会呈现怎样的不确定性”这一基本问题。尽管 PVE 是 scree 图的核心、几乎每篇 PCA 应用论文都会报告，但作为一个推断目标，它长期未被正式定义与研究——它的“总体参数”是什么？是否可以基于常用假设构造有效的推断？这是本文填补的缺口。该子方向当前成熟度较低，几乎是一块未开垦的处女地，仅有零星相关讨论散见于高维 PCA 与随机矩阵理论文献中。

发展脉络（history）¶

从论文 introduction 及参考文献可梳理出以下脉络：

奠基工作：PCA 的经典理论与 PVE 的流行使用。
- Jolliffe (2002)：PCA 的经典教科书，将 PVE 定义为每个样本主成分的方差在总方差中的占比。PVE 被广泛用作变量选择、降维、可视化的依据，但此定义完全是数据描述性的（基于样本），不涉及总体参数或推断。
- 论文引用了 Johnstone (2001) 的“spiked covariance model”，这是高维 PCA 渐近理论的基石：当特征值存在一个“尖峰”（即一个远大于噪声水平的信号）时，样本主成分与总体主成分的方向存在偏倚，进而影响了 PVE 的经典估计。但 Johnstone (2001) 等工作主要关注总体主成分（而非样本主成分）的估计，未涉及 PVE 的推断。
主要进展：后选择推断框架的兴起。
- Lee et al. (2016) 与 Tibshirani et al. (2016)：提出了后选择推断（post-selection inference）的框架，核心思想是在统计推断中条件于模型选择事件（“选了这个模型”），从而得到有选择校正意义的 p 值和置信区间。这个框架为本文提供了关键的推断工具。作者在本文中将其应用于 PCA 的 PVE 问题是逻辑上的直接延伸。
当前 frontier：将推断目标从“总体主成分”转移到“样本主成分”。
- 作者观察到，实践中研究者报告并解释的 PVE 是 基于样本主成分（即根据观测数据算出的主成分方向），而不是不可观测的“总体主成分”。因此，对应于样本主成分的 PVE 的总体版（即它在重复抽样下的期望）是一个比传统总体主成分 PVE 更有操作意义的推断目标。
- 作者在 intro 中明确写道："Our interest lies in the PVE of the sample principal components (as opposed to unobserved population principal components)"——这直接定义了他们的 estimand。
本文的位置：本文是第一篇系统研究 PCA 的 PVE 推断的论文。它直接将后选择推断与高维 PCA 的扰动分析结合，创造性地将推断目标重新定义为条件于样本奇异向量的总体 PVE，从而绕开了“样本主成分与总体主成分方向可能大不相同”这一障碍（这在 Johnstone (2001) 后的工作中是常识）。它定位自己为一个“填空者”：在几乎所有 PCA 应用都报告 PVE，却没有一个正式推断方法的空白处，构建了第一个严格框架。

子线索聚类¶

所引用的文献大致分布在以下 3 条子线索中：

线索 A：高维 PCA 的渐近理论与随机矩阵理论（RMT）。包括 Johnstone (2001)、Paul (2007)、Nadler (2008)、Mestre (2008)、Baik & Silverstein (2006)。这一簇研究 spiked covariance 模型下样本特征值/向量的极限行为，着重在信号远大于噪声（“spike”）时的可恢复性，但不提供推断（如置信区间）。当前瓶颈：大多数结果是大样本渐近的，且在非渐近/有限样本情形下需要大量未知总体参数。
线索 B：后选择推断（Selective Inference）。包括 Lee et al. (2016)、Tibshirani et al. (2016)、Fithian et al. (2014)。这一簇的工作提供了条件于选择事件的推断框架（主要为线性模型中的变量选择），是本文方法的核心工具。当前瓶颈：将选择性推断从线性模型扩展到非线性/非凸问题（如 PCA）是一个活跃但尚未完全解决的方向。
线索 C：PCA 的变体与解释性工作。包括 Abdi & Williams (2010) 的 PCA 方法学综述，以及 Karlis et al. (2003)。这些工作更多地从应用角度阐述 PCA 与 PVE，但没有提供推断。

核心追问与瓶颈¶

该方向在追问的核心问题有：

什么是 PVE 的“总体版本”？（传统上 PVE 只是样本描述统计量。）
如何构造 PVE 的点估计、置信区间、p值？
如果主成分子集是通过数据驱动方式（如 elbow rule）选出的，后续推断是否需要以及如何进行调整？
在高维（p > n）情形下，PVE 的推断是否还有效？需要哪些额外假设？

当前主流方法是没有方法。已有文献的瓶颈在于：PVE 的传统定义完全不涉及“总体”，因此无法直接在频率学派框架下讨论不确定性。

⚠️作者的 framing¶

作者将缺口框架为：“PVE 是应用中几乎一定会报告的统计量，却从未有正式的推断方法。” 这形成了一个强烈的“我们应该去做”的需求感。具体做法是： - 定义了一个新的总体参数（条件于样本奇异向量的总体 PVE），这使得 PVE 可以作为一个正常的统计参数来讨论，并且它尊重了实践中研究者基于具体样本主成分进行报告的事实。 - 强调了后选择推断的兼容性：如果子集选择程序（elbow rule）可以在条件于该选择的推断框架内被处理，那么这种推断就是有效的。作者通过条件推断的口径，把“选择的不可靠性”关进了推断的框架里。

值得探究（给研究者）：作者的框架忽略了非条件推断。条件于样本奇异向量后，PVE 的总体参数在数学上能被定义，但可能会过窄地依赖于某个特定的样本方向，这在某些应用场景下可能并不理想（比如，当你关心的“总体系数”是方向而非某个特定样本方向时）。此外，作者明显没有引用 Lee et al. (2019)（关于高维 PCA 的置信区域）或者更近期的关于 tube method / random rotations 的文献（这些文献可能用于构造不依赖后选择条件的非条件 PVE 置信区间）。该缺失可能是作者故意回避，也可能是一个真正的替代方案的空白。

张力¶

被引工作之间未见明显对立引用。Johnstone (2001) 与 Lee et al. (2016) 之间的张力在于前者关注高维下的渐近偏倚，后者关注条件于选择的框架如何抵消这种偏倚，但作者的框架正是试图调和这一对矛盾。

二、最核心、最简单的例子 / 数学问题¶

第一步：符号、模型与可观测数据交代清楚¶

符号：
- \( \mathbf{X} \)：\( n \times p \) 的数据矩阵，每行是一个观测样本。可观测。
- \( \mathbf{M} \)：\( n \times p \) 的未知均值矩阵，\( \mathbf{X} = \mathbf{M} + \mathbf{E} \)，其中 \( \mathbf{E} \) 是独立同分布的噪声矩阵（\( E_{ij} \sim N(0, \sigma^2) \)），且独立于 \( \mathbf{M} \)。\( \mathbf{M} \) 要估计，但未知；\( \mathbf{E} \) 的分布假设已知。
- SVD：\( \mathbf{X} = \mathbf{U} \mathbf{D} \mathbf{V}^\top \)，其中 \( \mathbf{U} \)（\( n \times r \)）、\( \mathbf{V} \)（\( p \times r \)）分别是样本左、右奇异向量矩阵，\( \mathbf{D} \)（\( r \times r \)）是对角矩阵，对角元为样本奇异值 \( d_1 \ge d_2 \ge \cdots \ge d_r > 0 \)（\( r \) 是 \( \mathbf{X} \) 的秩）。可观测。
- \( k \)：一个整数，表示我们感兴趣的主成分子集的大小（例如，前 k 个主成分）。可以是固定，也可通过数据驱动选择。
- \( \mathbf{V}_k \)：\( p \times k \) 的矩阵，包含前 k 个样本右奇异向量。
- 目标 estimand：论文称为 “PVE of the sample principal components” ，记为 \( \text{PVE}_{\text{pop}}(\mathbf{V}_k) \)。它被定义为：
  \[\text{PVE}_{\text{pop}}(\mathbf{V}_k) = \frac{\sum_{j=1}^k \mathbf{v}_j^\top \mathbf{M}^\top \mathbf{M} \mathbf{v}_j}{\text{tr}(\mathbf{M}^\top \mathbf{M})}\]
  其中 \( \mathbf{v}_j \) 是 \( \mathbf{V}_k \) 的第 j 列（即第 j 个样本右奇异向量）。注意：分母是总体矩阵 \( \mathbf{M} \) 的 Frobenius 范数平方，分子是 \( \mathbf{M} \) 在前 k 个样本右奇异向量方向上的方差和。这是“条件于样本奇异向量”的总体参数，不是传统总体主成分的 PVE。
- 估计量：\( \widehat{\text{PVE}}_{\text{sample}}(\mathbf{V}_k) = \frac{\sum_{j=1}^k d_j^2}{\text{tr}(\mathbf{X}^\top \mathbf{X})} \)，即样本 PVE。它是 \( \text{PVE}_{\text{pop}}(\mathbf{V}_k) \) 的有偏估计，偏差来自噪声 \( \mathbf{E} \)。
模型：论文假设一个固定设计模型：\( \mathbf{X} = \mathbf{M} + \mathbf{E} \)，其中 \( \mathbf{M} \) 是非随机的，\( \mathbf{E} \) 的元素独立同分布，服从 \( N(0, \sigma^2) \)（椭圆对称分布更一般也可，但论文核心推导基于正态）。所以，\( \mathbf{X} \sim N(\mathbf{M}, \sigma^2 \mathbf{I}_n \otimes \mathbf{I}_p) \)。
可观测数据：我们能观测到 \( \mathbf{X} \)，然后对它进行 SVD，得到 \( \mathbf{U}, \mathbf{D}, \mathbf{V} \)。我们想要推断的是 \( \text{PVE}_{\text{pop}}(\mathbf{V}_k) \)，而这个量依赖于未知的 \( \mathbf{M} \)。不可观测的是 \( \mathbf{M} \)（从而分子和分母中的 \( \mathbf{M}^\top \mathbf{M} \)）。

第二步：讲最小内核——秩 1 情形下的肘部规则后选择推断¶

特例： 假设矩阵 \( \mathbf{X} \) 的秩 \( r=1 \)。这意味着 \( \mathbf{M} \) 也是秩 1 的（\( \mathbf{M} = \mathbf{m} \mathbf{v}_1^\top \)，其中 \( \mathbf{v}_1 \) 是 p 维单位向量，\( \mathbf{m} \) 是 n 维向量）。那么，样本 SVD 给出一个奇异值 \( d_1 \) 和左右奇异向量 \( \mathbf{u}_1, \mathbf{v}_1 \)。我们只关心一个主成分，所以 \( k=1 \)，且选择是平凡的（没有数据驱动选择问题）。那么： - \( \text{PVE}_{\text{pop}}(\mathbf{v}_1) = \frac{\mathbf{v}_1^\top \mathbf{M}^\top \mathbf{M} \mathbf{v}_1}{\text{tr}(\mathbf{M}^\top \mathbf{M})} = \frac{\|\mathbf{m}\|^2 (\mathbf{v}_1^\top \mathbf{v}_1)^2}{\|\mathbf{m}\|^2 \|\mathbf{v}_1\|^2} = 1 \)。等等，这里有问题——由于 \( \mathbf{M} \) 就是秩 1 的，这个 PVE 就是 1，没有什么需要推断的。这个特例太简单了。

正确的最简例子： 让我们稍微扩展一步：考虑秩 2 情形（\( r=2 \)），但我们只关心第一主成分的 PVE（\( k=1 \)）。选择子集的方式是通过肘部规则（elbow rule）：我们观察奇异值 \( d_1, d_2 \)，如果 \( d_1 \) 远大于 \( d_2 \)（\( d_1 / d_2 > \tau \)），则选前 1 个主成分；否则选 0 个（或不选择）。这就是让选择过程具有随机性，从而需要选择性推断的典型设置。

在这个设置下，核心问题与回答：

核心问题：给定我们观察到的 \( \mathbf{X} \)，假设观察到的奇异值比例 \( d_1/d_2 \) 使得我们决定选前 1 个主成分（记选择事件为 \( S \)），我们想要基于该样本主成分 \( \mathbf{v}_1 \) 推断它解释的总体方差比例 \( \text{PVE}_{\text{pop}}(\mathbf{v}_1) \)。它应该如何定义？如何构造置信区间和 p 值？

核心思路（剥去一般性）：

定义 estimand：和论文一样，我们定义
\[\theta = \text{PVE}_{\text{pop}}(\mathbf{v}_1) = \frac{\mathbf{v}_1^\top \mathbf{M}^\top \mathbf{M} \mathbf{v}_1}{\text{tr}(\mathbf{M}^\top \mathbf{M})}.\]
注意，\( \mathbf{v}_1 \) 是样本右奇异向量，依赖于随机噪声 \( \mathbf{E} \)。所以 \( \theta \) 是一个条件期望类的参数，但论文不取期望——它直接把它当成一个依赖于 \( \mathbf{X} \) 但固定 \( \mathbf{v}_1 \) 的参数的函数。实际上，论文处理的参数是：固定样本右奇异向量 \( \mathbf{V}_k \) 后，总体 PVE 的条件分布。
构造推断框架的关键观察：
- 给定 \( \mathbf{V}_k \)（即样本奇异向量），\( \mathbf{X} \) 的分布不再是自由的，因为它被限制为生成这些奇异向量。但 \( \mathbf{M} \) 的未知部分可以通过一个关键恒等式与 \( \mathbf{X} \) 和噪声联系起来：
  \[\mathbf{M} = \mathbf{X} - \mathbf{E}.\]
- \( \text{PVE}_{\text{pop}}(\mathbf{V}_k) \) 可以用 \( \mathbf{X} \) 和 \( \mathbf{E} \) 的函数表示。通过条件于 \( \mathbf{V}_k \)，我们可以推导出 \( \text{PVE}_{\text{pop}}(\mathbf{V}_k) \) 在给定 \( \mathbf{V}_k \) 下的条件分布。具体地，可以证明：
  \[\text{PVE}_{\text{pop}}(\mathbf{V}_k) = \frac{\sum_{j=1}^k (d_j^2 - 2 d_j \epsilon_j + \epsilon_j^2)}{\text{tr}(\mathbf{X}^\top \mathbf{X}) - 2 \text{tr}(\mathbf{X}^\top \mathbf{E}) + \text{tr}(\mathbf{E}^\top \mathbf{E})},\]
  其中 \( \epsilon_j \) 是噪声 \( \mathbf{E} \) 在奇异向量方向上的投影 \( \mathbf{u}_j^\top \mathbf{E} \mathbf{v}_j \)。通过调整分子分母，可以转化为一个关于 \( \epsilon_j \) 和 \( \text{tr}(\mathbf{E}^\top \mathbf{E}) \) 的条件于 \( \mathbf{V}_k \) 的函数。而 \( \epsilon_j \) 和 \( \text{tr}(\mathbf{E}^\top \mathbf{E}) \) 在给定 \( \mathbf{V}_k \) 下具有 已知的联合正态分布（因为 \( \mathbf{E} \) 是高斯，而 \( \mathbf{V}_k \) 只是 \( \mathbf{E} \) 的一个复杂函数）。
最小推导演示（秩 1 情形，固定选择）：假设无选择（直接考虑前 1 个主成分，秩 1 情形）
- 问题：\( \theta = \mathbf{v}_1^\top \mathbf{M}^\top \mathbf{M} \mathbf{v}_1 / \text{tr}(\mathbf{M}^\top \mathbf{M}) \)。如果 \( \mathbf{E} \sim N(0, \sigma^2 I) \)，给定 \( \mathbf{v}_1 \) 时，我们有 \( \epsilon_1 = \mathbf{u}_1^\top \mathbf{E} \mathbf{v}_1 \sim N(0, \sigma^2) \)。且有 \( \text{tr}(\mathbf{E}^\top \mathbf{E}) \sim \sigma^2 \chi^2_{np} \)，与 \( \epsilon_1 \) 独立（给定 \( \mathbf{v}_1 \)）。那么，可以证明：
  \[\widehat{\theta}_{\text{cond}} = \frac{d_1^2 - \sigma^2 (1 + \text{var}_1)}{\text{tr}(\mathbf{X}^\top \mathbf{X}) - (n p - k) \sigma^2}\]
  这是一个基于 \( \mathbf{X} \) 和已知 \( \sigma^2 \) 的点估计（条件于 \( \mathbf{v}_1 \)）。更精确的置信区间可以通过对 \( \theta \) 的条件分布进行 inversion 获得（论文中的 Theorem 1 给出了精确分布）。
加上肘部规则：我们实际上是在知道“选择了前 1 个主成分”（记选择事件 \( S \)）这个信息下做推断。根据后选择推断框架，我们的推断应条件于 \( S \) 的发生。这意味着我们要考虑 \( \text{PVE}_{\text{pop}}(\mathbf{v}_1) \) 在“\( d_1/d_2 > \tau \) 且 \( \mathbf{V} \) 是给定的某个方向的”条件下的分布。论文的处理方法（Theorem 3）就是应用这个框架：将选择事件 \( S \) 编码为一个线性（或二次型）约束，然后推导在该约束下的条件分布，从而得到选择校正后的 p 值和置信区间。

目标：读完这一节，你应该掌握了：论文定义的 inferential target 是什么、记号长什么样、以及在最简单的秩2+肘部规则下，核心思路是如何通过条件分布和后选择推断来解决这一推断问题的。论文的一般情形就是将上述过程推广到任意秩 k 和更一般的选择程序。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在固定设计的高斯噪声 PCA 模型下，为样本主成分的方差解释比例（PVE）构造点估计、置信区间和 p 值，并且允许这些主成分是通过数据驱动方式（如肘部规则）选取的。
核心工具/方法：定义一个条件于样本奇异向量的总体 PVE 作为 estimand；利用高斯噪声下 SVD 的分布性质（特别是投影噪声的分布）推导出该 estimand 的精确条件分布；接着结合后选择推断框架，调整该分布以考虑子集选取带来的选择偏倚。
主要结论：对于任何固定的子集大小 \( k \)（或在特定选择程序如肘部规则下），都可以基于观测数据得到条件 PVE 的精确 p 值（检验原假设 \( H_0: \text{PVE}_{\text{pop}}(\mathbf{V}_k) \le \theta_0 \)）和精确置信区间。这些推断在有限样本下是有效的（不依赖大样本渐近），且在高维（\( p > n \)）下依然适用——只要噪声方差 \( \sigma^2 \) 已知或可以很好估计。数值模拟和基因表达数据实证表明该方法可给出覆盖正确的置信区间。

关键设定与假设¶

在上一节“最简例子”的基础上，完整设定包括：

模型：\( \mathbf{X} = \mathbf{M} + \mathbf{E} \)，\( \mathbf{E}_{ij} \overset{i.i.d.}{\sim} N(0, \sigma^2) \)。噪声方差 \( \sigma^2 \) 假设已知（或可由外部数据/估计获得）。这是一个很强的假设——在大多数基因表达等应用中，\( \sigma^2 \) 可能未知且难估计。作者在讨论中提到了这一点，并提出可以通过将 \( \sigma^2 \) 视为参数并使用 profile likelihood 来放宽，但未深入。
秩：\( \mathbf{M} \) 的秩 \( r \) 是任意的（但 \( r \le \min(n, p) \)）。论文未对 \( r \) 的大小做假设（可以远小于 min(n,p) 也可以是满秩）。这是一个优点。
选择程序：考虑的是一种特定但常见的选择程序：选择使得 \( \frac{d_{(k)}}{d_{(k+1)}} > \tau \) 且对所有 \( j < k \) 有 \( \frac{d_{(j)}}{d_{(j+1)}} \ge \tau \) 的最大 \( k \)（即“肘部规则”的一种形式，其中 tau 是一个用户定义的阈值，如 2）。作者强调他们的框架可以推广到其他选择规则，只要该规则可以表达为 \( \mathbf{V} \) 的线性或二次型约束。
相比已有文献：放宽了什么？传统上，PVE 推断似乎不存在，所以没有“放宽”之说。相比后选择推断的文献（如 Lee et al. (2016)），本文将该框架从线性模型（回归系数）扩展到了非线性模型（SVD 的奇异向量）。这是关键的创新点。
强化了什么？假设 \( \sigma^2 \) 已知，这是一个很强的强化。不过，在模拟中，作者使用一个初步估计（例如通过最小秩模型的残差估计）来替代，并在各种设定下验证了推断的鲁棒性。

主要结果¶

论文的主要结果集中在以下定理（以定理编号为准，可能因版本不同而异，但逻辑相同）：

Theorem 1（固定子集，无选择）：给出了条件于样本右奇异向量 \( \mathbf{V}_k \) 时，\( \text{PVE}_{\text{pop}}(\mathbf{V}_k) \) 的精确分布。具体地，其条件分布可以表示为四个独立随机变量的函数：来自投影噪声的卡方分布（\( \chi^2_k, \chi^2_{n-k}, \chi^2_{p-k} \) 等），以及一个来自噪声矩阵的其他部分的独立卡方分量（\( \chi^2_{(n-k)(p-k)} \)）。这个分布结果直接给出了无选择情况下置信区间的构造方法。
- 直觉：噪声 \( \mathbf{E} \) 在 SVD 下的行为是：它将本身集中在秩 \( r \) 信号上的方差“散开”到所有维度上。通过条件于 \( \mathbf{V}_k \)，我们相当于固定了“伸展方向”，从而可以将总体方差分解为两部分：被样本方向捕捉的（signal + noise）和未被捕捉的（pure noise）。
Lemma 2 & Theorem 3（有选择，肘部规则）：正式定义了肘部规则的数学形式（作为 \( \mathbf{V} \) 和 \( \mathbf{X} \) 的一个约束集 \( \mathcal{S} \)）。证明了给定 \( \mathbf{V}_k \) 和选择事件 \( S \)（即观测数据使得肘部规则选择了子集大小 \( k \)）时，\( \text{PVE}_{\text{pop}}(\mathbf{V}_k) \) 的条件分布可以通过一个截断的正态分布或 鞍点近似 来表征。基于此，给出了一个选择校正的 p 值和置信区间。
- 技术难点：后选择推断框架要求能将选择事件表达为关于充分统计量的线性约束。而肘部规则（\( d_{(k)}/d_{(k+1)} > \tau \)）是一个非线性约束。作者的处理方法是将这个不等式转化为：\( d_{(k)}^2 - \tau^2 d_{(k+1)}^2 > 0 \)。这是一个关于 \( \mathbf{X} \) 的二次型。关键跳跃在于引理中证明：这个二次型在条件于 \( \mathbf{V}_k \) 的情况下可以写成噪声投影的线性函数的二次型，从而可以转化为一个关于噪声分量的二次型约束，进而通过后选择推断常用的方法（如通过重要性采样或鞍点近似）求条件分布。
Theorem 5（估计 \( \sigma^2 \) 的鲁棒性）：证明了当使用一个一致估计 \( \hat{\sigma}^2 \) 替代真实 \( \sigma^2 \) 时，所构造的置信区间依然渐近有效（覆盖情况趋近于名义水平），前提是估计量 \( \hat{\sigma}^2 \) 是充分快的。这回答了一个关键的实用问题。

证明路线与技术技巧¶

整体路线（5步逻辑主干）：
1. 重写目标 estimand：将 \( \text{PVE}_{\text{pop}}(\mathbf{V}_k) \) 表达为 \( \mathbf{X} \) 和 \( \mathbf{E} \) 的已知函数：\( \theta = \frac{\sum_{j=1}^k [d_j^2 - 2 d_j \epsilon_j + \epsilon_j^2]}{\text{tr}(\mathbf{X}^\top \mathbf{X}) - 2 \text{tr}(\mathbf{X}^\top \mathbf{E}) + \text{tr}(\mathbf{E}^\top \mathbf{E})} \)，其中 \( \epsilon_j = \mathbf{u}_j^\top \mathbf{E} \mathbf{v}_j \)。
2. 构造充分统计量：给定 \( \mathbf{V}_k \)，噪声 \( \mathbf{E} \) 可以分解为三部分：（i）\( \epsilon_j \)（在 \( \mathbf{V}_k \) 方向上的投影），（ii）\( \mathbf{u}_j^\top \mathbf{E} \)（在左奇异向量方向的投影），（iii）\( \mathbf{E} \) 在 \( \mathbf{V}_k \) 正交补空间上的投影。可以证明，在给定 \( \mathbf{V}_k \) 下，这三部分独立，且分布已知（都是高斯或卡方）。
3. 消除未知参数：利用 \( \mathbf{M} = \mathbf{X} - \mathbf{E} \)，通过代数变换将分母中的 \( \mathbf{M}^\top \mathbf{M} \) 表达为 \( \mathbf{X} \) 和 \( \mathbf{E} \) 的函数之后，再用已知的噪声分布去推导 \( \theta \) 的条件分布。
4. 引入选择事件：把选择事件（肘部规则）表示为 \( \mathbf{V}_k \) 上的二次型约束。利用投影正交分解，将该二次型约束同样转化为噪声投影（\( \epsilon_j \) 等）的约束。于是问题变为：在截断的正态分布（或卡方分布的截断）下，估计 \( \theta \) 的分位数，从而构造置信区间。
5. 计算条件分布：对于无选择的精确分布（Theorem 1），可以通过直接积分得到 p 值的解析形式（涉及 4 个独立卡方分布）。对于有选择的近似（Theorem 3），使用鞍点近似或重要性采样来逼近截断分布下的条件分布。
关键跳跃点：
- 跳跃 1：将 PVE 表达为 \( \mathbf{X} \) 和 \( \mathbf{E} \) 的函数后，核心困难在于分母中的 \( \text{tr}(\mathbf{M}^\top \mathbf{M}) \)。关键观察是：在给定 \( \mathbf{V}_k \) 条件下，\( \text{tr}(\mathbf{X}^\top \mathbf{E}) \) 和 \( \text{tr}(\mathbf{E}^\top \mathbf{E}) \) 的分布完全可由噪声的独立卡方分布描述，而 \( \text{tr}(\mathbf{M}^\top \mathbf{M}) \) 就被消除了。
- 跳跃 2：选择事件 \( d_{(k)}/d_{(k+1)} > \tau \) 的非线性向二次型 \( d_{(k)}^2 - \tau^2 d_{(k+1)}^2 > 0 \) 的转化是自然的。随后用矩阵摄动理论将该二次型写为：\( d_k^2 - \tau^2 d_{k+1}^2 = (\mathbf{u}_k^\top \mathbf{M} \mathbf{v}_k)^2 - \tau^2 (\mathbf{u}_{k+1}^\top \mathbf{M} \mathbf{v}_{k+1})^2 + \text{噪声项} \)。然后巧妙地利用正交分解将关于 \( \mathbf{M} \) 的二次型转化为噪声投影的线性函数，使得选择约束变成了一个关于 \( \epsilon_k \) 和 \( \epsilon_{k+1} \) 的简单二次型约束。
技术技巧点名：
- 矩阵摄动分析：用于推导奇异值和奇异向量的扰动，特别是 Jacobian 和二阶展开，将选择事件转化为线性/二次约束。
- 高斯噪声的正交分解：这是整个推导的基石。利用 SVD 的正交性，将 \( np \) 维的噪声空间正交分解到 \( \mathbf{U} \)、\( \mathbf{V} \) 及其补空间上，并获得独立卡方分布。
- 鞍点近似：用于计算截断后分布的分位数。由于直接数值积分在高维下可能很慢，鞍点近似提供了一个快速且精确的替代方案。
- 重要性采样：用于模拟截断分布下的抽样，作为鞍点近似的验证或替代方案。

真实例子与应用¶

数据来源：一个公开的基因表达数据集（TCGA 数据，原论文引用了 Cancer Genome Atlas Research Network (2013)）。

怎么用：作者对来自乳腺癌患者的 p=5000 的基因表达矩阵（n=约 500 个样本）进行 PCA。他们采用如下步骤： 1. 对数据进行标准化预处理。 2. 对矩阵做 SVD，画出 scree plot。 3. 应用肘部规则（tau = 2），发现前 2 个主成分被选中（选择了子集大小 k=2）。 4. 计算这 2 个主成分的样本 PVE 为 14.5%（即 \( (d_1^2 + d_2^2) / \text{tr}(\mathbf{X}^\top \mathbf{X}) \)）。 5. 应用本文方法，构造出条件于这 2 个样本右奇异向量的总体 PVE 的 95% 置信区间，结果为 [8.2%, 12.7%]。同时给出了 p 值（检验原假设 \( \text{PVE}_{\text{pop}}(\mathbf{V}_k) \le 5\% \) 可以显著拒绝）。 6. 强调：这个置信区间考虑了肘部规则的选择效应——如果直接用固定子集的方法（无选择校正）推断，得出的置信区间会更窄，但会低估不确定性（即覆盖不准确）。

这个例子想说明什么： - 实证验证：展示了方法在真实高维数据上的可操作性。 - 突出后选择推断的必要性：在真实数据中，研究者通常会在看到 scree plot 后决定保留多少个主成分（数据驱动选择）。如果不做选择校正，可能会得到过于乐观的推断（如更窄的置信区间）。本文例子中，样本 PVE 14.5% 落入了选择校正后的置信区间 [8.2%, 12.7%]，说明点估计是有偏（高估）的，且真实总体 PVE 可能远小于样本值——这正是因为前两个大奇异值部分反映了噪声。 - 实用价值：对于生物学家/医学研究者，这个方法可以对他们所报告的主成分的“重要性”提供一个量化不确定性，而不仅仅是看着 scree plot 凭感觉做决定。

🔎 结论是否比证明窄¶

有几个需要注意的地方：

无选择情形下的精确分布是有用的，但选择校正需要鞍点近似。结论的陈述是中性的，但实践上，精确分布不使用鞍点近似的代价可能是在选择非常罕见时的性能问题。作者没有深入讨论这一点。
\( \sigma^2 \) 已知是强假设。在真实例子中，\( \sigma^2 \) 是通过初步估计（使用最小秩模型的残差）得到的。Theorem 5 给出了渐近鲁棒性的证明，但它依赖于估计量的一致性，且要求使用的估计程序不会引入额外的选择偏倚。在基因表达例子中，这个估计可能不够准确，但论文的数值模拟表明在合理的 SNR 下鲁棒性好。
肘部规则的 \( \tau \) 是用户定义的。作者没有给出如何选择最佳 \( \tau \) 的准则，这依赖于主观判断。一些更复杂的子集选择程序（如 BIC、交叉验证）的兼容性没有明确探讨，虽然框架在理论上可以推广，但具体如何表达为二次型约束可能很困难。
条件推断 vs 非条件推断：论文定义了一个条件于样本右奇异向量的总体参数。这确实是一个有意义的参数，它回答了“基于你用这些具体数据算出的这些方向，实际能解释的方差是多少？”这个条件性问题是合理的，但并非每个使用者都意识到它与“基于这个分布，平均前两个总体主成分能解释的方差”之间的区别。论文提醒了这一点，但不代表这是唯一的认知。

四、开放问题（点到为止，扎根具体语句）¶

鲁棒性到非高斯噪声：论文的精确推导依赖正态假设。作者在讨论中提到“Our approach relies heavily on the assumption of Gaussian noise. It is of great interest to extend our methodology to other noise distributions...” （扎根于论文讨论部分）。对于椭圆对称分布，可能可以利用类似的旋转不变性推广，但有限样本下的精确分布将不复存在，需要转向渐近理论。
对更复杂选择程序的推广：论文只处理了肘部规则（通过奇异值比）。对于更常见的准则如CPV（累积方差解释比例） > 70% 选取 k 的程序，如何将其表达为 \( \mathbf{V} \) 的简单约束？或者，对于基于交叉验证的秩选择，能否在该框架下进行后选择推断？这是一个开放且具挑战性的问题。（扎根于论文“Discussion”中对其他选择程序的开放提及。）
当 PVE 的总体参数不太“有意义”时：如果 \( \mathbf{M} \) 不是低秩的（例如，它由许多小值组成），那么条件于样本奇异向量的 PVE 可能很小、或者接近于 0，但它的样本估计值可能很大（由于噪声）。本文的框架能处理这种情况——p 值会表明不显著，但置信区间可能非常宽甚至包含 0。然而，研究者可能会问：“我们到底在推断一个什么？”——这个问题触及了框架的哲学边界。（隐含在引言的定义和论文对“样本 vs 总体”的区分中，属于内在张力。）
与经典高维 PCA 理论的更好结合：论文没有利用 Johnstone (2001) 或 Baik & Silverstein (2006) 中关于奇异值极限分布的结果。如果 \( p/n \to c > 0 \)，那么本文的有限样本精确结果在大样本下是否可退化为一个更简单的、由 M-P 定律给出的极限分布？建立这种联系不仅能加深对有限样本结果的理解，还可能得到 \( \sigma^2 \) 未知时的一个更方便的推断方法（利用特征值分布的渐近形状来估计噪声方差）。（这是一个有潜力的、基于高维渐近理论能做的工作；作者未提及，但这是该领域的一个可见的缺口。）

Maintained by 陈星宇 · Homepage · Source on GitHub