跳转至

Graph-Based Testing of Conditional Mean Independence with Applications to Large Language Model Evaluation

作者: Mingshuo Liu, Qihua Zhu, Jingchi Liao, Lu Tian, Doudou Zhou
主题: 数理统计 / 假设检验
相关性: 7/10
链接: https://arxiv.org/abs/2611.01773


一、领域脉络与小综述

这个方向是什么

本文研究的核心问题是条件均值独立性检验:给定协变量 \( Z \),预测变量 \( X \) 是否对响应变量 \( Y \) 的条件均值 \( E(Y|X,Z) \) 有额外贡献。形式化地,原假设为

\[H_0: E(Y|X,Z) = E(Y|Z) \quad \text{almost surely}.\]

这是一个在统计推断中基础且应用广泛的问题,涵盖变量重要性检验、因果推断中的无混杂检验、以及模型诊断等场景。该方向的成熟度较高,已有大量方法,但多数方法在处理高维或非欧几里得(结构化)预测变量 \( X \) 时面临困难,这正是本文试图填补的缺口。

发展脉络

  1. 奠基工作:核方法与平滑方法。早期方法如 Fan and Li (1996) 和 Lavergne and Vuong (2000) 使用核平滑估计条件均值,但受限于 \( X \) 的维度(维数灾难)。
  2. 机器学习时代的模型无关方法。Williamson et al. (2023) 提出基于 R² 的变量重要性框架,允许使用灵活机器学习方法估计 nuisance 函数,但其有效性和功效仍依赖于对涉及 \( X \) 的 nuisance 函数的准确估计。Cai et al. (2022)、Dai et al. (2024)、Cai et al. (2025) 等后续工作沿此路线,但同样受限于高维 \( X \) 下的估计困难。
  3. 投影方法。Lundborg et al. (2024) 的投影协方差方法(PCM)试图通过学习与条件均值信号对齐的投影来降低维度,但投影的学习本身可能在高维嵌入下具有挑战性。
  4. 图基方法(本文的定位):图基方法在双样本检验中已有成熟应用(Friedman and Rafsky, 1979; Schilling, 1986; Rosenbaum, 1987; Chen and Friedman, 2017; Chen et al., 2018; Zhou and Chen, 2023; Cai et al., 2024),其核心思想是通过图结构捕捉样本间的相似性,避免显式密度或回归估计。本文首次将这一原则系统性地推广到条件均值独立性检验,通过仅在 \( X \) 上构造图、在 \( Z \) 上做回归,绕过了对涉及 \( X \) 的高维 nuisance 函数的估计。

子线索聚类

  • 线索 A:基于残差的检验。这类方法先估计 \( E(Y|Z) \),再检验残差与 \( X \) 的独立性或均值独立性。代表:Delgado and González Manteiga (2001)、Cai et al. (2022)、Dai et al. (2024)。瓶颈:需要估计涉及 \( X \) 的 nuisance 函数。
  • 线索 B:投影/降维方法。代表:Lundborg et al. (2024) 的 PCM。瓶颈:投影学习在高维下困难。
  • 线索 C:图基方法。代表:双样本检验中的 Chen and Friedman (2017)、Chen et al. (2018)、Zhou and Chen (2023)、Cai et al. (2024)。本文将其推广至条件均值独立性检验,属于该线索的新应用。

这个方向在追问的核心问题

  1. 如何在高维或结构化 \( X \) 下构造有效且可计算的检验统计量?
  2. 如何避免对涉及 \( X \) 的高维 nuisance 函数进行估计?
  3. 如何在不依赖 bootstrap/置换检验的情况下获得解析的零分布近似?

⚠️ 作者的 framing

作者将缺口 frame 为:现有方法(核方法、机器学习方法、投影方法)都需要估计涉及 \( X \) 的 nuisance 函数,这在 \( X \) 高维或结构化时困难甚至不可行。作者声称 CLEAR 通过图基边计数原则,仅需估计基线回归 \( E(Y|Z) \),从而绕开这一瓶颈。作者淡化了图基方法对图构造(如近邻数 \( k \))的敏感性,以及图粗糙/平滑备择下功效的权衡。值得研究者去查的问题:作者未在 intro 中讨论图基方法在超高维 \( X \)(如 \( d_X \gg n \))下的行为,也未与基于距离协方差(distance covariance)的方法(如 Székely et al., 2007)进行对比——这些方法同样不依赖显式 nuisance 估计。

张力

未见明显对立引用。但存在一个潜在张力:PCM 类方法(Lundborg et al., 2024)强调投影学习的重要性,而本文认为可以完全避免投影学习,仅依赖图结构。两者在理论上各有适用条件,但作者未在 intro 中直接回应这一竞争关系。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

  • 观测数据:\( \{(X_i, Y_i, Z_i)\}_{i=1}^N \),i.i.d. 来自联合分布 \( P_{X,Y,Z} \)。
  • \( X \in \mathcal{X} \):预测变量,可以是高维向量、图像、网络等,不要求欧几里得结构,只需定义成对不相似度 \( \rho(\cdot, \cdot) \)。
  • \( Y \in \mathbb{R} \):标量响应。
  • \( Z \in \mathbb{R}^{d_Z} \):低维调整变量。
  • 参数 / estimand:原假设 \( H_0: E(Y|X,Z) = E(Y|Z) \) 是非参数假设,没有有限维参数。检验的"效应量"是条件均值信号 \( g(X,Z) := E(Y|X,Z) - E(Y|Z) \)。
  • 基线回归:\( m(z) = E(Y|Z=z) \),是唯一的 nuisance 函数,需要估计。
  • 潜在量:残差 \( \varepsilon_i = Y_i - m(Z_i) \)。在 \( H_0 \) 下,\( E(\varepsilon_i | X_i, Z_i) = 0 \)。这是检验的核心——残差在 \( X \) 图上不应有系统性模式。
  • 图结构:在 \( X \) 上构造对称 \( k \)-近邻图 \( G_n = (V_n, E_n) \),\( V_n = \{1,\dots,n\} \) 为评估集样本索引,\( E_n \) 为无向边集。邻接矩阵 \( A_n = (a_{ij}) \),\( a_{ij} = 1 \) 若 \( i,j \) 相连。度矩阵 \( D_n = \text{diag}(d_1,\dots,d_n) \),\( d_i = \sum_j a_{ij} \)。图拉普拉斯 \( L_n = D_n - A_n \)。

第二步:最小内核

核心思想:在 \( H_0 \) 下,残差 \( \varepsilon_i \) 与 \( X_i \) 条件独立(均值意义下),因此在 \( X \) 图上,相邻节点的残差乘积期望为零。检验统计量聚合图上所有边的残差乘积。

最简特例:假设 \( m \) 已知(无估计误差),\( n \) 个评估样本,图 \( G_n \) 固定。定义 oracle 统计量:

\[Q_n^\circ = -2 \sum_{\{i,j\} \in E_n} \varepsilon_i \varepsilon_j\]

在 \( H_0 \) 下,给定 \( (X_i, Z_i) \),残差 \( \varepsilon_i \) 条件独立且均值为零,因此:

\[E(Q_n^\circ | X, Z) = -2 \sum_{\{i,j\} \in E_n} E(\varepsilon_i)E(\varepsilon_j) = 0\]

方差为:

\[v_n^2 = \text{Var}(Q_n^\circ | X, Z) = 4 \sum_{\{i,j\} \in E_n} \sigma_i^2 \sigma_j^2\]

其中 \( \sigma_i^2 = E(\varepsilon_i^2 | X_i, Z_i) \)。

为什么成立:\( Q_n^\circ \) 是独立(条件)随机变量乘积的和。虽然边共享节点导致项之间相关,但若图足够稀疏(最大度 \( \Delta_n = o(n) \)),相关结构可控,可证明标准化统计量 \( Q_n^\circ / v_n \) 依分布收敛到标准正态。这本质上是图上的中心极限定理,与双样本图基检验的理论一脉相承。

当 \( m \) 未知时:用训练样本估计 \( \hat{m} \),在评估样本上计算残差 \( r_i = Y_i - \hat{m}(Z_i) \)。估计误差 \( \delta_i = m(Z_i) - \hat{m}(Z_i) \) 会污染统计量。CLEAR 的关键技术难点在于证明:只要 \( \hat{m} \) 的预测误差足够小(如 \( n^{-1}\sum_i \delta_i^2 = o_p((nk)^{-1/2}) \)),估计误差对统计量的影响可忽略,零分布仍然近似标准正态。

最小内核一句话:CLEAR 检验的是"残差在 \( X \) 图上是否随机分布"——若 \( X \) 对 \( Y \) 有额外预测力,则相邻节点的残差会呈现系统性正相关或负相关,导致边乘积和偏离零。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在高维或结构化预测变量 \( X \) 下,如何检验条件均值独立性 \( H_0: E(Y|X,Z) = E(Y|Z) \),且不依赖对涉及 \( X \) 的 nuisance 函数的估计。
  2. 核心方法:提出 CLEAR(Conditional mean independence testing via Local Edge Aggregation of Residual products),在 \( X \) 上构造 \( k \)-近邻图,聚合图上边的留出残差乘积,并发展样本分裂(CLEAR-SS)和两折交叉拟合(CLEAR-CF)两个版本。
  3. 主要结论:在正则条件下,两个版本的统计量在零假设下渐近标准正态,提供解析 \( p \) 值;在图光滑和图粗糙两类备择下均具有一致性;模拟和 LLM 评估应用显示良好的尺寸控制和功效优势。

关键设定与假设

  • 数据生成:\( (X_i, Y_i, Z_i) \) i.i.d.,\( Y \) 可为连续或二元。
  • 基线回归:\( m(z) = E(Y|Z=z) \),用训练样本估计,要求估计器满足一定的 \( L_2 \) 收敛速率(如 \( n^{-1}\sum_i \delta_i^2 = O_p(a_n^2) \),\( a_n = o((nk)^{-1/4}) \))。这比现有方法(如 PCM)要求估计涉及 \( X \) 的 nuisance 函数要宽松得多。
  • 图构造:对称 \( k \)-近邻图,\( k = k_n \to \infty \),\( k/n \to 0 \)。最大度 \( \Delta_n = O_p(k) \)(标准近邻图性质)。
  • 矩条件:条件四阶矩有界(Assumption 3.1),保证中心极限定理适用。
  • 方差下界:\( v_n^2 \) 以正概率下界(如 \( \min_i \sigma_i^2 \geq \tau > 0 \)),保证统计量非退化。
  • 备择假设:图光滑备择(相邻节点残差均值同号)和图粗糙备择(残差均值在图上高频振荡但边乘积和仍偏离零)。

主要结果

  • 定理 3.1(CLEAR-SS 零分布):在零假设和上述条件下,\( T_n = Q_n / \hat{v}_n \xrightarrow{d} N(0,1) \),其中 \( Q_n = -2\sum_{E_n} r_i r_j \),\( \hat{v}_n^2 = 4\sum_{E_n} r_i^2 r_j^2 \)。
  • 定理 3.2(CLEAR-CF 零分布):两折交叉拟合版本同样渐近标准正态,且允许每个样本同时参与训练和评估,提升功效。
  • 定理 3.3 / 推论 3.4(一致性):在信号强度 \( \|g\|_2^2 \sqrt{k/M} \to \infty \)(\( M \) 为评估样本数)和图对齐条件下,检验功效趋于 1。图光滑备择通过 Lipschitz 条件验证,图粗糙备择通过图拉普拉斯二次型验证。
  • 命题 2.1(二元响应):当 \( Y \in \{0,1\} \) 时,原假设等价于条件独立性 \( Y \perp X | Z \),且统计量退化为加权边计数,与 Chen et al. (2018) 的加权边计数统计量一致。

证明路线与技术技巧

  1. 整体路线:
  2. 将统计量分解为 oracle 项 + 估计误差项:\( Q_n = Q_n^\circ + 2\varepsilon^\top B_n \delta + \delta^\top B_n \delta \)。
  3. 证明 oracle 项 \( Q_n^\circ / v_n \) 渐近正态(图上的 CLT,利用鞅差分解或 Stein 方法)。
  4. 证明估计误差项在条件 \( \|\delta\|_2^2 = o_p((nk)^{-1/2}) \) 下可忽略。
  5. 证明 \( \hat{v}_n^2 / v_n^2 \xrightarrow{P} 1 \)(方差估计一致性)。

  6. 关键跳跃点:

  7. 图上 CLT:边乘积 \( \varepsilon_i \varepsilon_j \) 不是独立的(共享节点),需要处理依赖结构。作者利用图的最大度 \( \Delta_n = O_p(k) \) 和 \( k = o(n) \) 控制依赖范围,结合鞅差中心极限定理或 Stein's method 证明正态近似。
  8. 估计误差控制:\( \delta^\top B_n \delta \) 涉及图拉普拉斯的二次型,需要图的正则性条件(如最大度)来保证 \( \|\delta^\top B_n \delta\| = O_p(\Delta_n \|\delta\|_2^2) \)。交叉验证的估计误差在训练样本上条件独立,利用条件矩条件控制。
  9. 方差估计:\( \hat{v}_n^2 \) 用残差平方替代方差,需要证明 \( r_i^2 \) 对 \( \sigma_i^2 \) 的估计误差在图上聚合后仍可忽略。

  10. 技术技巧点名:

  11. 图拉普拉斯二次型:\( \delta^\top B_n \delta \) 的界通过 \( \|B_n\|_{op} \leq \Delta_n \) 和 \( \|\delta\|_2^2 \) 控制。
  12. 交叉拟合:两折交叉验证打破训练/评估相关性,使条件独立结构成立。
  13. 鞅差序列:将 \( Q_n^\circ \) 按图遍历顺序分解为鞅差和,应用 CLT。
  14. Stein's method:用于处理非独立项的标准化统计量的正态逼近误差界。

真实例子与应用

  • 模拟研究:覆盖向量(\( d_X = 30 \))、图像(\( 12 \times 12 \) 像素)和网络(20 节点加权图)预测变量,比较 CLEAR-SS/CF 与 PCM、PCMM、VIT、pMIT 等。结果显示 CLEAR-CF 在非线性信号下功效显著优于 PCM 类方法,且尺寸控制稳定。
  • LLM 评估应用:
  • OpenAssistant 人类质量评分:\( Y \) 为质量评分,\( X \) 为 Sentence-BERT 嵌入,\( Z \) 为长度等特征。CLEAR-CF 检测到嵌入与评分显著关联(\( p = 0.002 \)),而 PCM 不显著。
  • PRM800K 数学错误标签:\( Y \) 为错误指示,\( X \) 为问题-解答嵌入,\( Z \) 为长度等。CLEAR-CF 边缘显著(\( p = 0.068 \)),提示内容信息有限。
  • Chatbot Arena LLM 评判偏好:\( Y \) 为偏好指示,\( X \) 为响应对嵌入,\( Z \) 为长度和模型身份。CLEAR 检测到显著关联(\( p = 0.0008 \)),表明 LLM 评判存在内容驱动的偏好。

🔎 结论是否比证明窄

  • 定理 3.1 和 3.2 的证明依赖于图最大度 \( \Delta_n = O_p(k) \) 和 \( k = o(n) \),但作者在模拟中使用了默认 \( k = n^{1/4} \),未系统探讨 \( k \) 的选择对有限样本表现的影响。
  • 一致性结果(定理 3.3)要求信号与图对齐(通过 Rayleigh 商刻画),但作者未给出如何在实际中验证或选择图构造以最大化功效的指导。
  • 作者在 intro 中声称"仅需估计基线回归 \( E(Y|Z) \)",但定理 3.1 的证明中估计误差控制需要 \( \hat{m} \) 的 \( L_2 \) 收敛速率,这在 \( Z \) 高维时仍需注意(尽管比估计 \( X \) 的 nuisance 容易)。
  • 作者在讨论部分承认图粗糙备择下功效可能依赖于图构造,但未给出具体的理论刻画。

四、开放问题

  1. 图构造的自适应选择:如何根据数据自适应选择 \( k \) 或距离度量以最大化对未知备择的检验功效?作者在讨论中提出"构造 \( (X,Z) \) 上的联合图"作为扩展方向,但未给出理论分析。
  2. 多折交叉拟合的推广:两折交叉拟合已建立理论,但更多折(如 \( V \)-折)是否能进一步提升功效?作者在讨论中提及"更多折"但未展开。
  3. 高维 \( Z \) 下的基线回归:定理 3.1 要求 \( \hat{m} \) 的 \( L_2 \) 误差 \( o_p((nk)^{-1/4}) \),当 \( Z \) 维度较高时,这一条件是否容易满足?作者未讨论 \( d_Z \) 与 \( n \) 的关系。
  4. 图粗糙备择的精细刻画:作者通过 Rayleigh 商刻画图粗糙备择,但未给出具体的备择函数类(如 Sobolev 球)下的 minimax 功效下界。
  5. 与距离协方差方法的理论对比:作者未在 intro 或讨论中对比基于距离协方差的检验(如 Székely et al., 2007),后者同样不依赖 nuisance 估计。值得研究者去查证:CLEAR 与距离协方差方法在功效和计算复杂度上的理论关系。

提示:若要确认某条是否为真 gap,建议去读近 5 年关于条件均值独立性检验的综述或论文 intro(如 Lundborg et al., 2024; Cai et al., 2025; Zhang et al., 2025),看它们是否都指向"高维 \( X \) 下 nuisance 估计困难"这一共识。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论