Robust Principal Components by Casewise and Cellwise Weighting¶
作者: Fabio Centofanti, Mia Hubert, Peter J. Rousseeuw
来源: Technometrics
主题: 统计计算 / 算法
相关性: 5/10
机构绿灯: KU Leuven(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是稳健主成分分析(Robust PCA),其根本科学问题是:当数据矩阵中同时存在casewise outliers(整行异常,如一个样本的所有变量都被污染)、cellwise outliers(单个单元格异常,如某个样本的某个变量被污染)以及缺失值(missing values)时,如何稳健地估计数据的低维主子空间。该方向的核心挑战在于,传统的 PCA 基于最小二乘,对任何类型的异常值都极其敏感;而现有的稳健方法往往只针对其中一种异常值设计,难以同时应对多种污染源。该方向的成熟度处于中等偏上:已有大量针对 casewise 或 cellwise 单一污染源的稳健方法,但能同时处理两者并具备完整理论性质(影响函数、渐近分布)的方法仍然稀缺。
发展脉络¶
- 奠基工作:经典 PCA 与最小二乘的脆弱性。本文引用 Jolliffe (2011) 的经典教材作为 PCA 的基准定义,并指出其平方损失函数是导致其对异常值敏感的根本原因。这是整个稳健 PCA 领域的出发点。
- Casewise 稳健 PCA 的兴起:以 ROBPCA(Hubert, Rousseeuw, and Vanden Branden 2005)为代表,这类方法通过投影寻踪或最小协方差行列式(MCD)等思想,对整行异常值进行稳健估计。其核心假设是异常值以"整行"形式出现,因此可以通过行级别的权重或截断来处理。本文引用该工作作为 casewise 稳健方法的代表。
- Cellwise 稳健方法的出现:随着数据维度升高,cellwise outliers 的问题日益突出。MacroPCA(Hubert, Rousseeuw, and Van Den Bossche 2019)是第一个尝试同时处理 cellwise、casewise 和缺失值的方法,但本文明确指出其"是组合了早期方法的元素,缺乏统一的目标函数"(见引言部分),因此无法推导统计性质。
- 基于稀疏/低秩分解的 Robust PCA:以 Candès et al. (2011) 的 Principal Component Pursuit(PCP)为代表,这类方法将数据矩阵分解为低秩部分加稀疏部分,通过凸优化(核范数 + ℓ1 范数)同时恢复两者。本文引用该工作,但指出其"对 casewise outliers 不稳健"(见引言),因为 casewise outliers 会同时污染多个单元格,破坏稀疏性假设。
- Cellwise 稳健协方差估计:cellMCD(Raymaekers and Rousseeuw 2022)将 MCD 思想推广到单元格级别,通过惩罚项控制被标记为异常的单元格数量。本文引用该工作作为 cellwise 稳健协方差估计的最新进展。
- 本文的位置:本文提出的 cellPCA 是上述脉络的"集大成者"。它首次将 casewise 和 cellwise 两种稳健损失函数统一到一个单一目标函数中,并首次为这类方法推导了影响函数和渐近分布。
子线索聚类¶
- Casewise 稳健方法:ROBPCA (Hubert et al. 2005)、She et al. (2016) 的 ROC-PCA。这类方法的核心是识别并降权/删除异常行,但对单元格级别的异常无能为力。
- Cellwise 稳健方法:cellMCD (Raymaekers and Rousseeuw 2022)、MacroPCA (Hubert et al. 2019)。这类方法能处理单元格级别的污染,但往往缺乏统一的目标函数或完整的统计理论。
- 低秩+稀疏分解方法:Candès et al. (2011) 的 PCP。这类方法理论优美,但假设稀疏误差是随机的,对结构性 casewise outliers 不稳健。
- 稳健协方差/相关矩阵估计:Agostinelli et al. (2015) 的 cellwise 稳健协方差估计,以及 Raymaekers and Rousseeuw (2021a) 的快速稳健相关估计。这类方法为 cellPCA 提供了初始的尺度估计和相关性结构。
这个方向在追问的核心问题¶
- 如何在一个统一框架下同时处理 casewise 和 cellwise outliers? 这是本文试图回答的核心问题。现有方法要么只处理一种,要么是"拼凑"式的组合(如 MacroPCA),缺乏统一的目标函数。
- 如何为这类"双重稳健"方法建立统计理论? 具体而言,能否推导出主子空间投影矩阵的影响函数(influence function)和渐近分布?这是从"算法"走向"统计推断"的关键一步。
- 如何在存在缺失值的情况下保持稳健性? 缺失值本身是一种信息缺失,与异常值混合在一起时,如何区分"缺失"与"异常"是一个难题。
- 如何在高维(p >> n)下保持计算效率和统计精度? 本文的算法复杂度为 O(np(min(n,p)+log(n)+log(p))),与经典 PCA 相当,但高维下的理论性质(如相变现象)尚未完全解决。
⚠️ 作者的 framing¶
作者将缺口 frame 成:"现有方法要么只对 casewise 或 cellwise 单一类型稳健,要么(如 MacroPCA)是缺乏统一目标函数的组合方法,因此无法推导统计性质。本文提出的 cellPCA 是第一个基于单一目标函数、同时处理两类异常值和缺失值、并具备完整统计理论(影响函数 + 渐近正态性)的稳健 PCA 方法。" 这是作者的说法,其隐含的竞争路线是:MacroPCA 虽然"全能",但缺乏理论支撑;而 PCP 虽然理论优美,但对 casewise outliers 不稳健。作者通过"统一目标函数 + 完整统计理论"这两个卖点,将自己定位为"显然的下一步"。
值得研究者去查的问题:作者在引言中淡化了 稀疏 PCA 和 鲁棒子空间恢复 领域的进展。例如,Candès et al. (2011) 的 PCP 在理论上可以处理任意稀疏的误差矩阵,包括 casewise outliers(只要每行稀疏度足够)。作者声称 PCP "对 casewise outliers 不稳健",但这一论断依赖于具体的污染模型(如污染行数比例 vs 每行污染单元格数)。此外,低秩矩阵恢复 领域(如 Candès and Recht 2009)的文献并未被引用,这可能是一个被作者刻意回避的竞争路线。
张力¶
未见明显对立引用。但存在一个微妙的张力:cellwise 稳健方法(如 cellMCD)通常假设每个变量的污染比例较低(如 <25%),而 casewise 稳健方法(如 ROBPCA)假设污染行数比例 <50%。本文的 cellPCA 试图同时满足两者,但其理论性质(如影响函数)是否在两种污染模型下都成立,作者并未给出明确的"双稳健"证明。这是一个值得研究者深挖的点。
二、最核心、最简单的例子 / 数学问题¶
第一步:把符号、模型、可观测数据交代清楚¶
- 符号:
- 数据矩阵:\( X \) 为 \( n \times p \) 的观测矩阵,\( n \) 为样本量,\( p \) 为变量数。\( x_{ij} \) 表示第 \( i \) 个样本的第 \( j \) 个变量。
- 主子空间:\( \Pi_0 \) 为 \( k \) 维线性子空间(\( k < p \)),由 \( p \times k \) 的正交矩阵 \( V \) 的列张成。投影矩阵为 \( P = V V^T \),满足 \( P^T = P, P^2 = P, \text{rank}(P) = k \)。
- 中心:\( \mu \) 为 \( p \) 维列向量,表示数据的中心(均值)。
- 得分(scores):\( U = X_0 V \),为 \( n \times k \) 矩阵,其中 \( X_0 \) 是去中心化后的数据。
- 残差:\( r_{ij} = x_{ij} - \hat{x}_{ij} \),其中 \( \hat{x}_{ij} = \mu_j + (U V^T)_{ij} \) 是拟合值。
- 尺度估计:\( \hat{\sigma}_{1,j} \) 是第 \( j \) 个变量的残差尺度(M-scale),\( \hat{\sigma}_2 \) 是 casewise 总偏差的尺度。
- 权重:\( w^{\text{cell}}_{ij} \in [0,1] \) 是单元格权重,\( w^{\text{case}}_i \in [0,1] \) 是样本权重。总权重 \( w_{ij} = w^{\text{cell}}_{ij} \cdot w^{\text{case}}_i \cdot m_{ij} \),其中 \( m_{ij} \) 是缺失指示(1 表示观测,0 表示缺失)。
-
污染模型:\( X^{\epsilon} = A \odot X + (1_p - A) \odot Z \),其中 \( A = A^{\text{case}} \odot A^{\text{cell}} \odot A^{\text{obs}} \),\( \odot \) 为 Hadamard 积。\( A^{\text{case}} \) 是行级污染指示,\( A^{\text{cell}} \) 是单元格级污染指示,\( A^{\text{obs}} \) 是缺失指示。
-
模型:数据生成机制为
\[X = X_0 + 1_n \mu^T + E\]其中 \( X_0 \) 是秩为 \( k \) 的矩阵,\( E \) 是噪声。等价地,\( X_0 = U V^T \),其中 \( U \) 是得分矩阵,\( V \) 是载荷矩阵。目标是从观测到的(可能被污染的、含缺失的)\( X \) 中估计 \( \Pi_0 \)(即 \( P \))和 \( \mu \)。 -
可观测数据:研究者实际能观测到的是 \( n \times p \) 的矩阵 \( X \),其中部分单元格可能是缺失的(\( m_{ij} = 0 \)),部分单元格可能是被污染的(异常值),部分整行可能是异常的。关键:我们不知道哪些单元格/行是异常的,也不知道哪些是缺失的。我们只能观测到 \( X \) 本身。
第二步:讲最小内核¶
最小内核:考虑最简单的情形——\( p = 2, k = 1 \),数据来自二元正态分布,中心为 \( \mu = (0,0)^T \),主子空间为 45° 线(即 \( V = (1,1)^T/\sqrt{2} \))。现在假设: 1. 有一个 casewise outlier:某个样本的两个变量都被污染,例如 \( x_i = (10, -10)^T \)。 2. 有一个 cellwise outlier:某个样本的第二个变量被污染,例如 \( x_j = (0, 10)^T \)。 3. 有一个缺失值:某个样本的第一个变量缺失,记为 \( x_k = (\text{NA}, 1)^T \)。
经典 PCA 的做法:计算样本协方差矩阵,然后取最大特征值对应的特征向量。由于 outlier 的存在,协方差矩阵被严重扭曲,估计出的主子空间可能偏离 45° 线很远。
cellPCA 的核心思想: 1. 初始化:用 MacroPCA 的初始估计(或其它稳健方法)得到 \( V^{(0)}, U^{(0)}, \mu^{(0)} \)。 2. 计算残差:对每个单元格,计算残差 \( r_{ij} = x_{ij} - \hat{x}_{ij} \)。 3. 计算权重: - Cellwise 权重:\( w^{\text{cell}}_{ij} = \psi_1(r_{ij}/\hat{\sigma}_{1,j}) / (r_{ij}/\hat{\sigma}_{1,j}) \),其中 \( \psi_1 \) 是稳健损失函数(如 Tukey 双权函数)的导数。残差大的单元格权重小。 - Casewise 权重:先计算每个样本的总偏差 \( t_i = \sqrt{\frac{1}{m_i} \sum_j m_{ij} \hat{\sigma}_{1,j}^2 \rho_1(r_{ij}/\hat{\sigma}_{1,j})} \),然后 \( w^{\text{case}}_i = \psi_2(t_i/\hat{\sigma}_2) / (t_i/\hat{\sigma}_2) \)。总偏差大的样本权重小。 4. 加权 PCA:用权重 \( w_{ij} \) 对数据进行加权,求解加权最小二乘问题,更新 \( V, U, \mu \)。 5. 迭代:重复步骤 2-4,直到收敛。
为什么这个例子能体现核心: - 它展示了 cellPCA 如何同时处理两种异常值:cellwise 权重 \( w^{\text{cell}}_{ij} \) 负责处理单个异常单元格,casewise 权重 \( w^{\text{case}}_i \) 负责处理整行异常样本。 - 它展示了缺失值如何被处理:缺失单元格的权重 \( m_{ij} = 0 \),在加权 PCA 中被自然忽略。 - 它展示了统一目标函数的优势:所有权重都从同一个目标函数(8)中推导出来,而不是像 MacroPCA 那样"拼凑"。
数学上,cellPCA 在做什么:它在最小化一个稳健损失函数
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:如何在一个统一的优化框架下,同时处理 casewise outliers、cellwise outliers 和缺失值,从而稳健地估计 PCA 的主子空间。
- 核心工具 / 方法:构造了一个结合两个稳健损失函数(\( \rho_1 \) 和 \( \rho_2 \))的单一目标函数,并设计了一个迭代重加权最小二乘(IRLS)算法来求解。该算法从 MacroPCA 的初始估计出发,交替更新载荷矩阵 \( V \)、得分矩阵 \( U \)、中心 \( \mu \) 和权重矩阵 \( W \)。
- 主要结论:推导了主子空间投影矩阵 \( \hat{P} \) 的 casewise 和 cellwise 影响函数,证明了其渐近正态性,并通过大量模拟和两个真实数据例子(电离层数据、Campi Flegrei 火山热红外图像数据)展示了 cellPCA 在同时存在多种污染和缺失值时优于现有方法。
关键设定与假设¶
- 数据模型:\( X = X_0 + 1_n \mu^T + E \),其中 \( X_0 \) 是秩为 \( k \) 的矩阵,\( E \) 是噪声。观测到的 \( X \) 可能被 casewise 和 cellwise outliers 污染,且部分单元格缺失。
- 污染模型:采用 (3) 式的混合污染模型,其中 \( A = A^{\text{case}} \odot A^{\text{cell}} \odot A^{\text{obs}} \)。casewise 污染通过 \( A^{\text{case}} \) 建模(整行被污染),cellwise 污染通过 \( A^{\text{cell}} \) 建模(单个单元格被污染),缺失通过 \( A^{\text{obs}} \) 建模。
- 损失函数:\( \rho_1 \) 和 \( \rho_2 \) 是有界的稳健损失函数(具体为 Tukey 双权函数),且 \( \rho_1(\sqrt{z}) \) 和 \( \rho_2(\sqrt{z}) \) 是凹的。这个凹性假设是算法收敛性(Proposition 1)和影响函数推导的关键。
- 尺度估计:\( \hat{\sigma}_{1,j} \) 和 \( \hat{\sigma}_2 \) 是 M-scale 估计量,具有 50% 的崩溃点。
- 初始估计:算法从 MacroPCA 的初始估计开始。这意味着 cellPCA 的理论性质(如渐近正态性)依赖于 MacroPCA 的初始估计满足一定的条件(如相合性)。
- 正则条件:影响函数和渐近正态性的推导依赖于一些正则条件,如 \( \psi_1 \) 和 \( \psi_2 \) 的连续性、有界性,以及某些矩条件。这些条件在附录 G 中给出,但作者没有明确列出所有条件。
主要结果¶
- 算法收敛性(Proposition 1):每一步迭代都降低目标函数 (8) 的值,因此算法收敛。证明依赖于 Lemma 1(加权 PCA 的更新步骤降低目标函数)和 Lemma 2(目标函数是凹的)。
- 影响函数(Proposition 2):推导了 \( \hat{P} \) 在 casewise 污染(\( IF^{\text{case}} \))和 cellwise 污染(\( IF^{\text{cell}} \))下的影响函数。关键结果是:
- Casewise IF:\( IF^{\text{case}}(z, P, H_0) = -D \left( S \cdot IF^{\text{case}}(z, \sigma, H_0) + g(\Delta_z, V_0, \sigma_0) \right) \),其中 \( D \) 和 \( S \) 是依赖于 \( H_0 \) 的矩阵。
- Cellwise IF:\( IF^{\text{cell}}(z, P, H_0) = -D \left( S \cdot IF^{\text{cell}}(z, \sigma, H_0) + p \sum_{j=1}^p g(H(G_j^1, z), V_0, \sigma_0) \right) \)。
- 这些公式表明,cellwise IF 是 \( p \) 个"单变量污染"影响的平均,而 casewise IF 是"整行污染"的影响。这体现了 cellPCA 对两种污染的不同处理机制。
- 渐近正态性(Proposition 3):在正则条件下,\( \sqrt{n} \text{vec}(\hat{P}_n - P(H)) \to N_{p^2}(0, \Theta) \),其中 \( \Theta = E_H[IF^{\text{case}}(x, P) IF^{\text{case}}(x, P)^T] \)。这个结果将影响函数与渐近方差联系起来,是统计推断的基础。
证明路线与技术技巧¶
- 整体路线:
- 建立目标函数:定义 (8) 中的稳健损失函数。
- 推导一阶条件:对 \( V, U, \mu \) 求导,得到 (12)-(14) 的方程组。
- 等价加权 PCA:证明 (12)-(14) 的解等价于加权 PCA 问题 (20) 的解,其中权重由 (15)-(17) 给出。
- IRLS 算法:设计交替更新 \( V, U, \mu, W \) 的迭代算法。
- 收敛性证明:利用凹性(Lemma 2)和加权 PCA 的最优性(Lemma 1)证明目标函数单调下降。
- 影响函数推导:将估计量视为统计泛函,利用隐函数定理(Theorem 1)对污染参数 \( \epsilon \) 求导,得到影响函数。
-
渐近正态性:利用影响函数和中心极限定理,结合 Delta 方法,得到渐近分布。
-
关键技巧:
- 凹性构造:选择 \( \rho_1 \) 和 \( \rho_2 \) 使得 \( z \mapsto \rho_i(\sqrt{z}) \) 是凹的。这个技巧使得目标函数 (8) 是凹的,从而保证 IRLS 算法的收敛性。
- 权重分解:将总权重 \( w_{ij} \) 分解为 cellwise 权重 \( w^{\text{cell}}_{ij} \) 和 casewise 权重 \( w^{\text{case}}_i \) 的乘积。这种分解使得算法可以分别处理两种异常值。
- 隐函数定理:在影响函数推导中,将估计量 \( \hat{P} \) 视为污染参数 \( \epsilon \) 的隐函数,利用隐函数定理求导。这是处理非线性估计量影响函数的标准技巧。
- 数值微分:对于 \( B \) 和 \( S \) 矩阵中无法解析计算的项,作者使用数值微分(附录 H),这在实际实现中是一个实用的技巧。
真实例子与应用¶
- 电离层数据(Ionosphere data):\( n = 351, p = 32 \),来自 R 包
rrcov。作者用 cellPCA 分析了该数据,并提出了残差 cellmap 和增强离群点图两种可视化工具。残差 cellmap 用颜色表示每个单元格的标准化残差大小,可以直观地看到哪些单元格是异常的。增强离群点图结合了 casewise 和 cellwise 信息,可以同时识别 casewise 和 cellwise outliers。这个例子展示了 cellPCA 在离群点检测方面的应用价值。 - Campi Flegrei 火山热红外图像数据(Solfatara data):\( n = 205, p = 40,000 \),来自意大利那不勒斯附近的火山监测站。这是一个超高维数据(\( p \gg n \)),cellPCA 被用来追踪火山活动的热异常。作者发现,cellPCA 识别出的异常帧(casewise outliers)和异常像素(cellwise outliers)与火山活动的已知模式相符。这个例子展示了 cellPCA 在超高维数据和图像分析中的实用性。
🔎 结论是否比证明窄¶
- 影响函数的"固定尺度"假设:在 Proposition 2 中,影响函数的推导假设尺度参数 \( \sigma_{1,j} \) 和 \( \sigma_2 \) 是固定的(即不随污染变化)。但在实际算法中,这些尺度是重新估计的。作者在附录 G 中提到,如果考虑尺度的变化,影响函数会有一个额外的项,但作者没有给出这个项的显式表达式。这意味着理论结果(Proposition 2)比实际算法(IRLS with re-estimated scales)要窄。
- 渐近正态性的"固定初始估计"假设:Proposition 3 的证明假设初始估计 \( V^{(0)} \) 是固定的。但在实际中,初始估计来自 MacroPCA,它本身是一个随机变量。作者没有讨论初始估计的随机性对渐近分布的影响。这是一个理论上的 gap。
- "双稳健"的缺失:作者声称 cellPCA 同时处理 casewise 和 cellwise outliers,但影响函数的推导是分别进行的(casewise IF 和 cellwise IF)。作者没有证明在同时存在两种污染时,估计量仍然具有好的性质(如有界影响函数)。这是一个潜在的 gap,值得研究者深挖。
- 高维性质:虽然模拟中包含了 \( p = 200 \) 的情形,但理论结果(影响函数、渐近正态性)都是固定维度(\( p \) 固定,\( n \to \infty \))下的。作者没有讨论 \( p \to \infty \) 时的高维渐近性质。这是一个明显的理论空白。
四、开放问题¶
-
高维渐近理论:本文的理论结果(Proposition 2 和 3)都是在固定维度 \( p \) 下建立的。当 \( p \to \infty \) 且 \( p/n \to c \in (0,1) \) 时,cellPCA 的估计量是否仍然相合?其收敛速度是多少?是否存在类似 BBP 相变(Baik-Ben Arous-Péché transition)的现象?——扎根于 Proposition 3 的固定维度假设。
-
尺度参数的影响函数:本文的影响函数推导假设尺度参数固定。如果考虑尺度参数的重新估计,影响函数会如何变化?是否会导致影响函数无界?——扎根于附录 G 中"尺度固定"的假设。
-
"双稳健"的正式证明:本文分别推导了 casewise 和 cellwise 影响函数,但没有证明在两种污染同时存在时,估计量仍然具有有界影响函数。能否给出一个统一的"双稳健"影响函数?——扎根于 Proposition 2 的"分别推导"。
-
初始估计的影响:本文的算法依赖于 MacroPCA 的初始估计。初始估计的选择对最终估计量的渐近性质有何影响?是否存在更好的初始估计?——扎根于 Proposition 3 的"固定初始估计"假设。
-
稀疏高维扩展:本文的方法不产生稀疏载荷。在高维场景下,如何将稀疏性约束(如 ℓ1 惩罚)融入 cellPCA 的目标函数,同时保持其稳健性和理论性质?——扎根于引言中提到的稀疏 PCA 文献(Hubert et al. 2016)的缺失。
-
张量数据的扩展:本文的方法针对矩阵数据。对于张量数据(如多模态图像、视频),如何扩展 cellwise 稳健 PCA 的思想?——扎根于结论部分提到的"张量数据"作为未来方向。
提醒:要确认上述问题是否是真 gap,建议去读同一子领域(robust PCA, cellwise robustness)近期约 5 篇论文的引言。如果多篇论文都指向同一个问题(如高维理论缺失),那很可能是共识性的真 gap;如果各篇论文对同一问题的处理方式互相矛盾,那可能是一个机会。
Maintained by 陈星宇 · Homepage · Source on GitHub