跳转至

A new categorical correlation measure

作者: Saparya Suresh, Sudheesh K. Kattumannil, Sujit Ghosh
主题: 数理统计 / 假设检验
相关性: 6/10
链接: https://arxiv.org/abs/2610.34932


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是高维分类问题中的特征筛选(feature screening)。其根本统计问题是:当预测变量维度 p 远大于样本量 n 时,如何在不依赖具体模型假设的前提下,快速、可靠地筛选出与分类响应变量 Y 相关的特征子集,从而将维度降低到可进行后续精细建模的程度。该方向的成熟度较高——自 Fan and Lv (2008) 提出 SIS 框架以来,已发展出大量基于不同依赖度量的筛选方法,但针对"分类响应 + 多元连续预测变量"这一特定组合的稳健依赖度量仍存在改进空间,本文正是切入这一缺口。

发展脉络(history)

  • 奠基工作:Fan and Lv (2008) 提出 Sure Independence Screening (SIS) 框架,利用 Pearson 相关系数作为边际效用度量,在超高维线性模型中证明了 sure screening property。这是整个方向的起点,后续大量工作都是在"替换边际效用度量"或"扩展模型设定"两个方向上展开。
  • 模型驱动的扩展:Fan, Feng and Song (2011) 将 SIS 扩展到广义线性模型(GLMs)和非参数可加模型,提出了基于边际似然的筛选方法;Fan, Feng and Song (2011) 进一步处理变系数模型;Zhao and Li (2014) 提出基于 score test 的筛选框架,适用于更广泛的模型设定。这些方法虽然扩展了适用范围,但依赖模型假设,存在模型误设风险。
  • 模型无关(model-free)方法的兴起:Li, Zhong and Zhu (2012) 提出基于距离相关(distance correlation)的 DC-SIS,首次将模型无关的依赖度量引入筛选框架;Cui, Li and Zhong (2015) 提出均值方差指数(mean-variance index);Shao and Zhang (2014) 提出鞅差相关(martingale difference correlation)。这些方法的核心优势是不需要指定回归模型,但多数针对连续响应或标量预测变量设计。
  • 分类响应的专门处理:Cui, Li and Zhong (2014) 针对判别分析中的超高维特征筛选,利用条件分布函数构造筛选指标,允许类别数发散。这是与本文最接近的前序工作之一。
  • 分组筛选:Kang, Hong and Li (2017) 提出基于边际多元回归的分组筛选;Qiu and Ahn (2020) 将 SIS 推广到分组预测变量情形。这些工作处理的是"预测变量天然成组"的场景。
  • 本文的直接前驱:Zhong et al. (2024) 提出半距离协方差(SDCov),将距离相关的思想扩展到"分类响应 + 多元连续预测变量"的组合,并用于分组特征筛选。本文的定位是:将 SDCov 中的 L2 范数替换为 L1 范数,以获得对重尾分布和异常值更稳健的度量。

子线索聚类

  1. 模型驱动的筛选方法:Fan and Song (2010)、Fan, Feng and Song (2011)、Zhao and Li (2014)。共同特征是依赖回归模型设定,优点是统计功效高,缺点是模型误设时可能失效。
  2. 基于距离/核的模型无关方法:Li, Zhong and Zhu (2012) 的 DC-SIS、Zhong et al. (2024) 的 SDCov、本文的 CM。共同特征是利用距离或核函数构造依赖度量,不依赖模型假设,适用于非线性关系。
  3. 基于条件分布/矩的模型无关方法:Cui, Li and Zhong (2014) 的判别分析筛选、Cui and Zhong (2019) 的均值方差指数、Shao and Zhang (2014) 的鞅差相关。共同特征是利用条件分布或条件矩的差异来度量依赖。
  4. 分组/结构化筛选:Kang, Hong and Li (2017)、Qiu and Ahn (2020)。处理预测变量具有天然分组结构时的筛选问题。

这个方向在追问的核心问题

  1. 如何构造既能刻画非线性依赖、又具有可处理理论性质的依赖度量? 距离相关及其变体是目前的主流答案,但不同范数的选择会影响度量的鲁棒性和效率。
  2. 如何在高维(p >> n)下保证筛选的一致性(sure screening property)和排序一致性(ranking consistency)? 这需要控制均匀偏差(uniform deviation)并利用子高斯性或重尾假设。
  3. 如何平衡稳健性与统计效率? L1 范数比 L2 范数对异常值更稳健,但可能损失在轻尾分布下的效率——这是本文的核心张力所在。
  4. 类别数 R 发散时,度量是否仍然有效? Cui, Li and Zhong (2014) 允许 R 发散,本文的 CM 是否也能处理这一情形并未明确讨论。

⚠️ 作者的 framing(这是作者的说法)

作者将缺口 frame 为:SDCov 使用 L2 范数,对重尾分布和异常值敏感,因此在高维分类的特征筛选中可能表现不佳。作者声称,将 L2 范数替换为 L1 范数后,新度量 CM 保留了 SDCov 的独立性刻画性质(CM=0 当且仅当 X 与 Y 独立),同时"更稳健、更可解释"。作者还声称 CM 的加性结构(L1 范数可分解为各坐标绝对值之和)使得理论分析和计算都更简便。注意:作者在引言中并未讨论 L1 替换 L2 可能带来的效率损失,也未与除 SDCov 之外的稳健依赖度量(如基于秩的度量)进行对比——这些是值得研究者自行查证的点。

张力

被引工作之间存在一个明显的张力:模型驱动方法(线索 1)追求统计功效,但牺牲了模型无关性;模型无关方法(线索 2、3)追求稳健性和普适性,但可能在某些模型下功效不足。本文站在模型无关一侧,但通过 L1 范数进一步向"稳健性"倾斜。另一个张力是:距离相关类度量(线索 2)在轻尾分布下通常不如专门设计的矩方法(线索 3)功效高,但在重尾和异常值下更稳健——本文的模拟设计(重尾、污染分布)正是为了凸显这一优势。未见明显对立引用。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

  • 可观测数据:\(\{(X_i, Y_i)\}_{i=1}^n\),i.i.d. 样本,其中 \(X_i \in \mathbb{R}^p\) 是连续预测变量(可能是高维的,\(p\) 可远大于 \(n\)),\(Y_i \in \{1, 2, \ldots, R\}\) 是分类响应变量,\(R\) 为类别数。
  • 概率结构:\((X, Y) \sim P\),联合分布未知。记 \(p_k = P(Y = k) > 0\) 为第 \(k\) 类的边际概率,\(F_k(x) = P(X \le x \mid Y = k)\) 为第 \(k\) 类的条件分布函数。
  • 目标参数(estimand):本文的核心 estimand 是总体层面的依赖度量
    \[\text{CM} = E\left[ |X_1 - X_2| \left(1 - \sum_{k=1}^R \frac{\mathbb{1}\{Y_1 = k, Y_2 = k\}}{p_k}\right) \right],\]
    其中 \((X_1, Y_1)\) 和 \((X_2, Y_2)\) 是 \((X, Y)\) 的独立副本。注意:CM 不是因果参数,它只是一个描述性依赖度量,不涉及反事实或干预。
  • 权重项的含义:\(D(Y_1, Y_2) := 1 - \sum_{k=1}^R \frac{\mathbb{1}\{Y_1 = k, Y_2 = k\}}{p_k}\) 是一个"类别不一致指示器"的加权版本。当 \(Y_1 = Y_2 = k\) 时,该项贡献 \(1 - 1/p_k\)(负值);当 \(Y_1 \neq Y_2\) 时,该项贡献 \(1\)。由 Lemma 4 可知 \(E[D(Y_1, Y_2)] = 0\),\(\text{Var}(D(Y_1, Y_2)) = R - 1\)。
  • 估计量:基于 U-统计量
    \[\widehat{\text{CM}} = \frac{1}{\binom{n}{2}} \sum_{1 \le i < j \le n} |X_i - X_j| \left(1 - \sum_{k=1}^R \frac{\mathbb{1}\{Y_i = k, Y_j = k\}}{\hat{p}_k}\right),\]
    其中 \(\hat{p}_k = n^{-1} \sum_{i=1}^n \mathbb{1}\{Y_i = k\}\)。
  • 归一化版本:\(\text{CMCor} = \widehat{\text{CM}} / \sqrt{\widehat{\text{Var}}(|X_1 - X_2|) \cdot (R-1)}\),取值在 \([0,1]\) 之间。

第二步:最小内核

最小内核:考虑最简单的情形——\(p = 1\)(X 是一维的),\(R = 2\)(Y 是二分类,取值为 1 和 2),且 \(p_1 = p_2 = 1/2\)。此时权重项简化为:

\[D(Y_1, Y_2) = \begin{cases} 1 - 2 = -1 & \text{if } Y_1 = Y_2 = 1 \text{ or } Y_1 = Y_2 = 2, \\ 1 & \text{if } Y_1 \neq Y_2. \end{cases}\]
于是
\[\text{CM} = E[|X_1 - X_2| \cdot \mathbb{1}\{Y_1 \neq Y_2\}] - E[|X_1 - X_2| \cdot \mathbb{1}\{Y_1 = Y_2\}].\]
展开后:
\[\text{CM} = \frac{1}{2} E|X^{(1)} - X^{(2)}| + \frac{1}{2} E|X^{(2)} - X^{(1)}| - \frac{1}{2} E|X^{(1)} - X'^{(1)}| - \frac{1}{2} E|X^{(2)} - X'^{(2)}|,\]
其中 \(X^{(k)}\) 和 \(X'^{(k)}\) 是 \(X \mid Y = k\) 的独立副本。整理得:
\[\text{CM} = E|X^{(1)} - X^{(2)}| - \frac{1}{2}\left(E|X^{(1)} - X'^{(1)}| + E|X^{(2)} - X'^{(2)}|\right).\]
这个表达式揭示了 CM 的本质:它度量的是"类别间平均距离"与"类别内平均距离"之差。如果 \(X\) 与 \(Y\) 独立,则 \(X^{(1)}\) 和 \(X^{(2)}\) 同分布,此时 \(E|X^{(1)} - X^{(2)}| = E|X^{(1)} - X'^{(1)}|\),且 \(E|X^{(1)} - X'^{(1)}| = E|X^{(2)} - X'^{(2)}|\),代入得 \(\text{CM} = 0\)。反之,如果类别间分布差异越大,CM 越大。

为什么这个内核是整篇论文的支撑: 1. 独立性刻画:Lemma 1 证明 CM=0 ⟺ X ⊥ Y,这个性质在最小内核中可以直接验证——当且仅当所有条件分布 \(F_k\) 相同时 CM 为零。 2. L1 vs L2 的差异:如果用 L2 范数(即 SDCov),则 \(E|X^{(1)} - X^{(2)}|^2\) 展开后包含 \(E[(X^{(1)})^2] + E[(X^{(2)})^2] - 2E[X^{(1)}]E[X^{(2)}]\),对尾部行为更敏感。而 L1 范数 \(E|X^{(1)} - X^{(2)}|\) 只依赖一阶矩结构,对重尾更稳健。 3. U-统计量估计:\(\widehat{\text{CM}}\) 是核为 \(h((x_1,y_1),(x_2,y_2)) = |x_1 - x_2| D(y_1,y_2)\) 的 U-统计量,其渐近正态性(Lemma 3, Theorem 1)直接来自 U-统计量理论。在最小内核中,这个核是"成对比较"的形式,计算复杂度为 \(O(n^2)\),但可以通过排序技巧加速到 \(O(n \log n)\)(一维情形)。 4. 退化情形:在独立性原假设下,核 \(h\) 是退化的(degenerate),这导致检验统计量的收敛速度为 \(O_p(n^{-1})\) 而非 \(O_p(n^{-1/2})\),且极限分布为卡方型(Theorem 3)。这是构造独立性检验的关键技术点。

一句话总结最小内核:本文在数学上做的事情是——将 SDCov 中的 L2 距离替换为 L1 距离,证明新度量仍具有"零当且仅当独立"的性质,并利用 U-统计量理论建立其估计量的渐近正态性(非退化情形)和卡方极限(退化情形),从而为高维分类特征筛选提供一个更稳健的边际效用度量。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在高维分类问题中,如何构造一个对重尾分布和异常值稳健、同时保持独立性刻画性质的依赖度量,用于特征筛选。
  2. 核心工具/方法:将 Zhong et al. (2024) 的半距离协方差(SDCov)中的 L2 范数替换为 L1 范数,得到新度量 CM;基于 U-统计量构造估计量,并利用 Jackknife Empirical Likelihood (JEL) 构造置信区间和独立性检验。
  3. 主要结论:CM 保持"零当且仅当独立"的性质;其 U-统计量估计量在非退化情形下渐近正态,在退化情形(原假设)下收敛到卡方型分布;模拟显示 CM 在重尾和异常值下优于 SDCov,在轻尾下表现相当;在 ADNI 和 Iris 数据上成功识别出有意义的特征。

关键设定与假设

  • 数据生成:\((X_i, Y_i)\) i.i.d.,\(X\) 连续,\(Y\) 取有限值 \(\{1,\ldots,R\}\),\(p_k > 0\)。
  • 矩条件:\(E|X| < \infty\)(一阶矩存在即可,不需要二阶矩——这是 L1 相比 L2 的关键优势)。
  • 类别数 R:文中假设 R 固定。注意:Cui, Li and Zhong (2014) 允许 R 发散,本文未讨论这一情形,这是一个潜在的限制。
  • 高维设定:\(p\) 可以远大于 \(n\),但筛选基于边际效用(逐变量计算 CM),因此不涉及联合分布的高维估计问题。
  • 关于 \(\hat{p}_k\):用样本频率估计 \(p_k\),在 U-统计量中代入,不影响渐近性质(由 Slutsky 定理)。

主要结果

理论结果: - Lemma 1:CM ≥ 0,且 CM = 0 ⟺ X ⊥ Y。证明思路:将 CM 重写为 \(\frac{1}{2}\sum_{i,j} p_i p_j (2m_{ij} - m_{ii} - m_{jj})\),其中 \(m_{ij} = E|X^{(i)} - X^{(j)}|\),然后利用 \(2m_{ij} - m_{ii} - m_{jj} = 2\int (F_i(t) - F_j(t))^2 dt \ge 0\)。这个积分表示是证明的关键——它将依赖度量与条件分布函数的差异联系起来。 - Lemma 2:多维情形(\(X \in \mathbb{R}^p\))下 CM=0 ⟺ X ⊥ Y。证明利用 L1 范数的可加性:\(\|X_1 - X_2\|_1 = \sum_{j=1}^p |X_{1j} - X_{2j}|\),从而 CM = \(\sum_j\) CM\(_j\),每个 CM\(_j\) 对应一维情形的结论。 - Lemma 3:\(\sqrt{n}(\widehat{\text{CM}} - \text{CM})\) 渐近多元正态(对 \((\hat{U}, \hat{U}_1, \ldots, \hat{U}_R)\) 的联合)。 - Theorem 1:\(\sqrt{n}(\widehat{\text{CM}} - \text{CM}) \xrightarrow{d} N(0, \sigma^2)\),其中 \(\sigma^2 = a^T \Sigma a\),\(a = (1, -1/p_1, \ldots, -1/p_R)\)。证明路线:先证明 \(\widehat{\text{CM}}\) 与 \(\widehat{\text{CM}}^*\)(用真实 \(p_k\) 代替 \(\hat{p}_k\))渐近等价,然后对 \(\widehat{\text{CM}}^*\) 应用 U-统计量的 CLT。 - Theorem 2:JEL 比统计量 \(-2\log R(\text{CM}) \xrightarrow{d} \chi^2_1\)。证明基于 Theorem 1 和 JEL 的一般理论(Owen, 2001)。 - Theorem 3:在独立性原假设下,\(n\widehat{\text{CM}} \xrightarrow{d} \sum_{m=1}^\infty \sum_{k=1}^R \lambda_m \eta_k (Z_{mk}^2 - 1)\),其中 \(Z_{mk}\) 是 i.i.d. 标准正态。这是退化 U-统计量的极限定理(Lee, 2019)。注意:这个极限分布不是标准的,实际应用中可能需要 bootstrap 或模拟临界值。

技术技巧: - L1 范数的可加性:\(\|X_1 - X_2\|_1 = \sum_{j=1}^p |X_{1j} - X_{2j}|\),这使得多维问题分解为 p 个一维问题,大大简化了理论分析。 - 积分表示:\(E|X^{(i)} - X^{(j)}| = \int (F_i(t) + F_j(t) - 2F_i(t)F_j(t)) dt\),将距离期望转化为分布函数的积分,便于证明非负性和独立性刻画。 - U-统计量框架:将 CM 表示为二阶 U-统计量的期望,直接利用 U-统计量的渐近理论(Hoeffding 分解、投影等)。 - JEL 方法:通过 Jackknife 伪值构造经验似然比,避免了直接估计渐近方差 \(\sigma^2\) 的困难。

模拟与实证: - 模拟设计:生成混合正态分布(类别间均值不同),比较 CM、SDCov、MV、IPC 在重尾(t 分布)、污染(加入异常值)和轻尾(正态)下的检验功效和筛选准确性。结果显示 CM 在重尾和污染下功效更高,在轻尾下与 SDCov 相当。 - Iris 数据:计算 CM 值,发现 Petal.Length 和 Petal.Width 的 CM 值远高于 Sepal 变量,与已知的分类结构一致。 - ADNI 数据:对 19 个变量计算 CM 值,排名前四的变量(ABETA、TAU、TRACBSCOR、RAVLT 遗忘百分比)与阿尔茨海默病的已知生物标志物一致。作者还指出 CM 的 elbow 比 SDCov 更陡峭,即 CM 能更清晰地区分重要和不重要的变量。

🔎 结论是否比证明窄

  • 明确窄的地方:Theorem 3 的极限分布(双重无穷和)在实际中难以直接使用,作者在模拟中也没有使用这个理论分布,而是可能用了 bootstrap 或直接比较统计量大小。作者没有明确说明检验的临界值如何确定。
  • 被泛化的地方:作者在引言和结论中声称 CM "更稳健",但没有给出任何关于稳健性的形式化定义或理论结果(如影响函数、崩溃点、B-稳健性等)。模拟只覆盖了有限的分布设定,不能支持"更稳健"这一泛化声称。
  • 未讨论的:高维下 \(p \to \infty\) 时 CM 的 sure screening property 和 ranking consistency 并未证明(作者在结论中列为 future work)。类别数 R 发散的情形也未讨论。
  • 潜在问题:CM 的定义中使用了 \(\hat{p}_k\) 作为 \(p_k\) 的估计,当某些类别的样本量很小时,\(\hat{p}_k\) 可能不稳定,导致 CM 的估计方差增大。作者未讨论这一小类问题。

四、开放问题

  1. 高维下的理论性质:作者在结论中明确说 "developing theoretical screening properties, such as the sure screening property, ranking consistency, and screening consistency under diverging dimensionality" 是 future work。要确认这是否是真 gap,建议去读 Zhong et al. (2024) 以及 Cui, Li and Zhong (2014) 中是否已对 SDCov 或类似度量证明了这些性质——如果已证明,那么本文的 L1 版本可能只需修改证明中的范数不等式即可;如果未证明,则这是一个实质性的理论缺口。

  2. L1 vs L2 的效率损失:作者声称 L1 更稳健,但未量化在轻尾分布下 L1 相比 L2 的效率损失。可以研究 CM 与 SDCov 的渐近相对效率(ARE),特别是在正态分布下的 Pitman 效率。这扎根于作者在引言中的声称 "more robust" 但缺乏理论支撑。

  3. 检验临界值的确定:Theorem 3 给出的极限分布(\(\sum_{m,k} \lambda_m \eta_k (Z_{mk}^2 - 1)\))在实际中难以计算。是否可以证明该分布可以被一个 scaled \(\chi^2\) 分布近似?或者是否可以构造一个基于 bootstrap 的有效检验?这扎根于 Theorem 3 的陈述。

  4. 类别数 R 发散:当 \(R \to \infty\) 时,CM 的行为如何?\(\hat{p}_k\) 的估计误差会如何影响 CM 的估计?这扎根于 Cui, Li and Zhong (2014) 允许 R 发散的设定,而本文未讨论。

  5. 与其他稳健度量的比较:作者只与 SDCov 比较,未与基于秩的度量(如 Spearman 距离协方差)或基于分位数的度量比较。这些度量在重尾下可能同样稳健甚至更优。这扎根于作者在模拟中只对比了 MV、IPC、SD 三种方法。

  6. 计算复杂度:CM 的 U-统计量估计需要 \(O(n^2)\) 次成对比较。在高维 \(p\) 很大时,逐变量计算 CM 的总复杂度为 \(O(p n^2)\)。是否可以借鉴距离相关的快速算法(如基于排序的 \(O(n \log n)\) 算法)来加速?这扎根于作者在结论中提到的 "computational scalability" 问题。


提醒:要确认上述哪些是真 gap,建议去读 Zhong et al. (2024) 的全文(特别是其定理证明部分),以及近 5 年关于"分类响应 + 高维特征筛选"的文献(如 Cui et al. 2014 的后续工作、基于互信息的筛选方法等)。如果多个近期工作都指向同一个缺口,那就是共识性的真 gap;如果各工作互相矛盾,那反而是机会所在。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论