跳转至

SPARK: A General Goodness-of-Fit Assessment via Residual Projection

作者: Xingwei Liu, Yuhong Yang, Wangli Xu
主题: 数理统计 / 假设检验
相关性: 7/10
链接: https://arxiv.org/abs/2609.37705


一、领域脉络与小综述

这个方向是什么:拟合优度检验(goodness-of-fit testing)要回答的根本问题是:一个已拟合的模型或学习器是否已经捕捉了预测变量 X 对响应 Y 的全部系统性信息?传统上,这等价于检验残差的条件均值是否为零,即检验 E(Y−m̂(X)|X) 是否为 0。该子方向的核心张力在于:当模型是参数化的(如线性回归)时,检验有经典理论支撑;但当模型是黑箱学习器(随机森林、神经网络等)时,缺乏统一的检验框架。本文 SPARK 试图填补的正是这一缺口——它声称对"任何学习器、任何响应类型、任何维度"都适用。

发展脉络(按引言与参考文献重构):

  1. 奠基:参数模型的全局拟合优度检验。Stute (1997)、Stute et al. (1998, 2008) 基于残差经验过程构造检验统计量,Härdle and Mammen (1993)、Zheng (1996) 用非参数估计残差的条件均值。这些方法的问题是:只适用于低维参数模型,且对维度敏感。
  2. 高维化:残差预测检验。Shah and Bühlmann (2018) 提出残差预测检验(residual prediction test),用 lasso 等稀疏方法在高维线性模型中检验残差是否仍含信号。Janková et al. (2020) 将其推广到广义线性模型。核心思想是:把残差当作新的响应,用灵活的预测器去拟合,看能否预测成功。
  3. 黑箱化:分类器的拟合优度。Zhang et al. (2023) 和 Javanmard and Mehrabi (2024) 提出针对二分类黑箱分类器的检验框架。He et al. (2026) 进一步推广到高维、连续与二元响应,但只取若干特殊投影方向(如累积协方差)。
  4. 本文位置:SPARK 声称在三个方面超越上述工作——(i) 统一处理传统模型与黑箱学习器;(ii) 统一处理连续与二元响应、低维与高维;(iii) 通过核方法在所有投影方向上取上确界,从而"完全刻画"原假设,而 He et al. (2026) 只取有限个特殊方向。

子线索聚类:

  • 线索 A:基于残差经验过程的全局检验(Stute 系列)。优点:分布收敛理论成熟;缺点:维度诅咒,只适用于参数模型。
  • 线索 B:基于残差可预测性的检验(Shah-Bühlmann, Janková)。优点:高维可行;缺点:依赖稀疏性假设,且只针对广义线性模型。
  • 线索 C:黑箱分类器的拟合优度(Zhang, Javanmard-Mehrabi, He)。优点:不依赖模型结构;缺点:He et al. 只取有限方向,理论上无法保证对所有偏离都敏感。
  • 线索 D(本文):核投影 + 去偏 + 数据分割。用 RKHS 中的单位球作为"所有方向"的替代,用数据分割避免过拟合,用去偏处理黑箱学习器的估计误差。

这个方向在追问的核心问题:

  1. 如何定义"拟合充分"?——用 sup 范数(He et al. 的 H0 定义)还是 L2 范数?这决定了检验能检测到哪类偏离。
  2. 如何在高维下控制尺寸?——黑箱学习器的估计误差会污染残差,数据分割是常用手段,但分割比例如何选?
  3. 如何保证对"所有"偏离敏感?——有限方向投影(He et al.)会漏掉正交方向上的偏离;核方法取 RKHS 单位球上的 sup,理论上更完备,但代价是极限分布复杂(特征值加权卡方)。
  4. 如何做临界值校准?——极限分布非 pivotal,需要 bootstrap。bootstrap 在退化 U-statistic 下是否一致?本文 Theorem 3.3 回答的是这个问题。

⚠️ 作者的 framing(这是作者的说法,不是客观结论):作者在引言和 Section 3 中反复强调,SPARK 的核投影"完全刻画"了原假设("fully characterize the null hypothesis"),而 He et al. (2026) 只取特殊方向。这个说法依赖于 Lemma 3.1 的等价性证明,而该证明要求核是universal 的(如 Gaussian 核),且 RKHS 在 L1(P_X) 中稠密。作者在 Lemma 3.1 中确实给出了这个条件,但没有讨论当核不是 universal 时检验会漏掉哪些偏离——这是读者可以追问的点。另外,作者声称"适用于高维",但 Theorem 3.1 的证明是固定维度 p 的;维度发散的结果被推到 Appendix D,且需要额外条件(Assumption D2–D5),这些条件在正文中未加解释。

张力:未见明显对立引用。但有一个值得注意的隐含张力:He et al. (2026) 用五阶 U-statistic 换取对特殊方向的敏感性,而 SPARK 用二阶 U-statistic 换取对所有方向的覆盖。二阶 U-statistic 的极限分布是特征值加权卡方,收敛速度可能慢;五阶 U-statistic 虽然理论复杂,但在有限样本下可能更稳定。作者在模拟中展示了 SPARK 的优势,但没有讨论这种"方向覆盖 vs 收敛速度"的 trade-off。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

数据:观测到 n 个独立同分布样本 D_n = {(X_i, Y_i)}_{i=1}^n,其中 X ∈ S ⊆ R^p,Y ∈ R。

数据分割:D_n 被随机分成训练集 D_{n1}(大小 n_1)和测试集 D_{n2}(大小 n_2),n_1 + n_2 = n。

模型: - 真实条件均值:m(x) = E(Y | X = x) - 学习器输出:m̂{D{n1}}(x),即用训练集拟合的模型(可以是线性回归、lasso、随机森林、神经网络等任何算法) - 残差:ε_{n2,i} = Y_{2,i} − m̂{D{n1}}(X_{2,i}),i = 1, …, n_2

目标(estimand):检验学习器是否已充分拟合,即检验 H_0 : sup_{x ∈ S} |m̂{D{n1}}(x) − m(x)| = O_p(r_{n1}) 其中 r_{n1} 是学习器在零假设下的收敛速度(如参数模型的 n_1^{-1/2},非参数模型的 n_1^{-β/(2β+p)})。

关键量: - 核函数 k: S × S → R,对称正定,如 Gaussian 核 k(x, x') = exp(−||x − x'||² / γ²) - RKHS H_k,范数 ||·||{H_k} - 中心化核: U(x, x') = k(x, x') − E_X(k(X, x')) − E{X'}(k(x, X')) + E_{X,X'}(k(X, X')) 其样本版本 Û(x, x') 用训练集 D_{n1} 的经验均值替代上述期望。

检验统计量: T_k = (1 / n_2(n_2 − 1)) Σ_{i≠j} ε_{n2,i} ε_{n2,j} Û(X_{2,i}, X_{2,j})

可观测 vs 不可观测: - 可观测:X_i, Y_i, m̂{D{n1}}(X_{2,i})(把测试集 X 喂给训练好的模型即可) - 不可观测:m(x)(真实条件均值)、ε_i = Y_i − m(X_i)(真实误差)、r_{n1}(收敛速度,通常由理论给出)

第二步:最小内核

把论文的所有技术细节剥掉,SPARK 的核心思想可以归结为下面这个最小检验问题:

假设我们只有一个二元组 (X, Y),且已经有一个模型 m̂。我们想知道:残差 ε̂ = Y − m̂(X) 中是否还含有 X 的信息?

最简情形:假设 X 是一维的,m̂ 是线性回归。那么传统的检验是看残差与 X 的相关系数是否为零。但相关系数只检测线性相关——如果真实 m(x) 是二次函数而 m̂ 是线性的,残差与 X 的相关可能为零,但残差与 X² 的相关不为零。

SPARK 的推广:把"所有可能的函数 f(X)"都作为方向来检验。如果残差与任何 f(X) 都不相关,那么残差的条件均值就是零,模型就是充分的。数学上: sup_{||f||_{H_k} ≤ 1} |E[ε̂ f(X)]| = 0 ⟺ E(ε̂ | X) = 0(当 H_k 在 L1 中稠密时)

为什么用核:因为 RKHS 中的单位球包含了足够丰富的函数,而且 sup 有闭式解。具体来说,对固定的残差向量 ε̂ = (ε̂1, …, ε̂{n2})ᵀ, sup_{||f||{H_k} ≤ 1} (1/n_2) Σ_i ε̂i f(X{2,i}) = ||(1/n_2) Σ_i ε̂i k(X{2,i}, ·)||{H_k}

这个范数的平方恰好等于 (1/n_2²) ε̂ᵀ K ε̂,其中 K 是 Gram 矩阵。加上中心化项 Û 是为了消除训练集估计 m̂ 带来的偏差(去偏),使得统计量在零假设下有可处理的极限分布。

为什么用数据分割:如果直接用同一份数据既训练 m̂ 又计算残差,m̂ 会过拟合,残差被人为缩小,检验会失去功效(甚至尺寸失真)。分割后,训练集只负责产生 m̂,测试集只负责评估,残差中的信号不会被过拟合掩盖。

最小内核的数学表述: - 零假设下:n_2 T_k → Σ_{r≥1} λ_r (Z_r² − 1),其中 Z_r ~ N(0,1) i.i.d.,λ_r 是某个积分算子的特征值。 - 备择假设下:n_2 T_k → ∞(发散到无穷),因此检验是一致的。

为什么这个内核成立:关键在于残差 ε̂ = ε + (m − m̂)。在零假设下,m − m̂ = O_p(r_{n1}),而 n_2 = o(r_{n1}^{-2}) 保证了这个估计误差项在统计量中可忽略;在备择假设下,m − m̂ 含有与 X 相关的信号,这个信号与核函数的乘积的期望不为零,导致统计量发散。

一句话总结最小内核:SPARK 做的事情就是——把残差投影到 RKHS 单位球的所有方向上,取最大的投影平方作为检验统计量,用数据分割和去偏保证这个统计量在零假设下有已知的极限分布,在备择假设下发散。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:如何对任意学习器(从线性回归到黑箱模型)构造一个统一的拟合优度检验,同时适用于连续/二元响应、低维/高维预测变量,并且对"所有"方向的偏离敏感。
  2. 核心方法:将残差投影到 RKHS 单位球的所有方向,构造核基 U-statistic T_k,用数据分割 + 去偏(中心化核)消除学习器估计误差的影响,用 wild bootstrap 校准临界值。
  3. 主要结论:在零假设下 n_2 T_k 收敛到特征值加权卡方分布(Theorem 3.1);在备择假设下 n_2 T_k 发散(Theorem 3.2);bootstrap 一致逼近零假设分布(Theorem 3.3),从而检验有正确的渐近尺寸和一致的功效(Theorem 3.4)。模拟和真实数据展示了相对 He et al. (2026)、HCZ、RP、AN 等方法的优势。

关键设定与假设

设定: - 数据分割:D_{n1} 训练,D_{n2} 测试。n_1, n_2 → ∞,且 n_2 = o(r_{n1}^{-2})。这个条件很关键:它要求测试集不能太大(相对于学习器的收敛速度),否则 m̂ 的估计误差会主导统计量。 - 核函数:对称正定、连续、universal(如 Gaussian 核)。带宽用中位数启发式。 - 学习器:可以是任何算法,只要满足 Assumption 2(见下)。

假设(逐条说明统计含义):

  • Assumption 1:0 < E(ε² | X) ≤ C a.s.。这是矩条件,保证残差平方有界条件二阶矩,是 U-statistic 中心极限定理的最低要求。它允许异方差,但不允许条件方差发散。
  • Assumption 2:E{Δ_{n1}(X)² | D_{n1}} 和 E{Δ_{n1}(X)² k(X, X) | D_{n1}} 依概率有界,其中 Δ_{n1} = m − m̂{D{n1}}。这是对学习器收敛速度的 L2 条件。注意:它不要求 Δ_{n1} 以某个特定速率收敛,只要求条件均方误差有界。这比 Shah-Bühlmann (2018) 对 lasso 的稀疏性假设弱得多——这是本文能统一处理黑箱学习器的关键。
  • Assumption 3:存在序列 J_{n1} 和 ρ_{n1} ∈ [0,1),使得 Δ_{n1} 在核积分算子前 J_{n1} 个特征函数上的投影占其 L2 范数的 (1−ρ_{n1}) 比例,且 n_2 λ_{J_{n1}} (1−ρ_{n1}) E(Δ_{n1}²) → ∞。这个假设刻画了备择假设下信号能被核特征空间"捕捉"的程度。它要求信号不能完全落在核积分算子的零空间里——这是 universal 核可以保证的,但对一般核不一定成立。

相比已有文献的放宽/强化: - 相比 Shah-Bühlmann (2018)、Janková et al. (2020):不要求线性模型或稀疏性,适用于任意学习器。 - 相比 Zhang et al. (2023)、Javanmard-Mehrabi (2024):从二分类推广到连续响应。 - 相比 He et al. (2026):从有限特殊方向推广到 RKHS 单位球的所有方向(声称完全刻画 H0);但 He et al. 允许 p 发散,本文的 Theorem 3.1 是固定 p 的。

主要结果

Theorem 3.1(零假设极限分布):在 Assumptions 1–2 下,若 n_2 = o(r_{n1}^{-2}),则 n_2 T_k → Σ_{r≥1} λ_r (Z_r² − 1), 其中 Z_r ~ N(0,1) i.i.d.,λ_r 是积分算子 T_h 的特征值,h(z, z') = ε ε' U(x, x')。

直觉:T_k 是退化 U-statistic,其极限分布不是正态,而是特征值加权卡方(即高斯混沌分布)。λ_r 刻画了核函数和数据分布之间的交互。这个分布非 pivotal,所以需要 bootstrap。

Theorem 3.2(备择假设下发散):在 Assumptions 1–3 下,若 n_1 = O(n_2) 且 b_{n1} = O_p(1),则 n_2 T_k → ∞ 依概率。

直觉:只要残差中的信号在核特征空间中有非零投影,统计量就会以 n_2 的速率发散。b_{n1} = O_p(1) 是信号不能太弱的技术条件。

Theorem 3.3(bootstrap 一致性):在零假设下,wild bootstrap 的分布一致逼近 n_2 T_k 的极限分布。

Theorem 3.4(功效):结合 Theorem 3.2 和 3.3,检验的拒绝域 {n_2 T_k > 临界值} 在备择假设下以概率趋于 1 拒绝。

证明路线(从假设到结论的逻辑主干):

  1. 去偏:将 T_k 分解为 T_k = T̃k + (误差项),其中 T̃k 用真实 m 代替 m̂。误差项由 Δ{n1} = m − m̂ 控制。数据分割 + n_2 = o(r{n1}^{-2}) 保证误差项可忽略。这一步是整篇论文的技术核心,也是"去偏"的含义——不是传统意义上的偏差校正,而是用数据分割让 m̂ 的估计误差不影响极限分布。
  2. 退化 U-statistic 极限:T̃_k 是核为 h 的退化 U-statistic。用 Hilbert-Schmidt 算子谱分解,将 h 展开为 Σ λ_r φ_r(z) φ_r(z'),然后利用退化 U-statistic 的 CLT(Lee 1990, Section 3.2)得到加权卡方极限。
  3. bootstrap 一致性:对 T_k^b 做同样的分解,证明条件分布(给定数据)与零假设极限分布的距离依概率收敛到 0。关键工具是退化 U-statistic 的 bootstrap CLT(Dehling-Mikosch 1994, Theorem 3.1)。
  4. 功效:在备择假设下,E(T_k | D_{n1}) = S_c(Δ) ≥ λ_{J_{n1}} (1−ρ_{n1}) δ_{n1}²,而 Var(T_k | D_{n1}) 相对较小。用条件 Chebyshev 不等式得到 T_k / S_c(Δ) → 1,从而 n_2 T_k → ∞。

技术技巧点名:

  • 数据分割(sample splitting):不是新技巧,但在这里用得干净——它把"学习器估计误差"从检验统计量的极限分布中完全剔除,避免了 Donsker 类或经验过程理论的复杂性。
  • 退化 U-statistic 谱分解:将核函数 h 的特征值展开,把无限维问题化为可数维高斯混沌。这是处理核方法的经典工具(类似 HSIC 检验)。
  • Wild bootstrap with Rademacher multipliers:对二阶 U-statistic 的 bootstrap 一致性,用的是 Dehling-Mikosch 的结论,而非普通 bootstrap。Rademacher 乘子保证条件分布是零均值,简化了矩计算。
  • 中心化核 Û:减去训练集上的均值项,使得 E(Û(X, X') | X) = 0 和 E(Û(X, X') | X') = 0,这是退化性的来源。没有这一步,T_k 就不是退化的,极限分布会不同。
  • Cauchy-Schwarz 和 Hölder 不等式的反复使用:在证明误差项可忽略时,所有界都是通过 L2 范数和核的有界性得到的,没有用到任何学习器特定的结构——这正是"通用性"的来源。

真实例子与应用

论文有三个真实数据例子:

  1. Wine Quality Dataset(n = 4898, p = 11):评估 LASSO、SCAD、SVR、RF、XGBoost、FNN 六种学习器对白葡萄酒质量的拟合充分性。SPARK 的结论是 SVR 和 XGBoost 在 25% 训练比例下 p 值较大(不拒绝 H0),而 LASSO、SCAD、FNN 在所有比例下都拒绝。作者用测试 MSE 佐证:SVR 和 XGBoost 的测试 MSE 确实最低。这个例子想说明 SPARK 的评估结果与 MSE 一致,但提供了 MSE 无法给出的信息——是否还有系统性的未捕捉结构。

  2. MNIST 手写数字分类(n = 1000, p = 784):二分类任务(区分 4 和 9)。SPARK 显示 XGBoost 和较深的 FNN 在 75% 训练比例下不拒绝 H0,而浅层 FNN 和逻辑回归在所有比例下都拒绝。作者用这个例子说明 SPARK 能区分"模型容量不足"和"模型容量足够但训练不充分"。

  3. Cortisol Stress Reactivity 数据(n = 85, p = 385882,筛后 p = 1000):高维小样本场景。SPARK 显示线性模型被拒绝,而随机森林和 XGBoost 在部分比例下不拒绝。作者用这个例子说明 SPARK 在高维小样本下的可行性。

每个例子的作用:验证方法在不同维度(低维、高维、超高维)、不同响应类型(连续、二元)、不同样本量(n = 85 到 4898)下的表现。但注意:这些例子的结论依赖于特定的核带宽选择和特定的学习器超参数,论文没有做敏感性分析——这是读者可以追问的点。

🔎 结论是否比证明窄

是,有多处:

  1. "完全刻画 H0"的说法:Lemma 3.1 的等价性依赖于 H_k 在 L1(P_X) 中稠密。作者在正文中只说了"当核是 universal 时成立",但 Theorem 3.1 的证明并没有显式使用 universality——它只需要 E(k(X,X)) < ∞ 和特征值可和。这意味着:如果核不是 universal,统计量仍然有定义、有极限分布,但检验可能对某些方向的偏离不敏感。作者没有讨论这个 gap。

  2. 固定维度 vs 高维:Theorem 3.1–3.4 是固定 p 的结果。Appendix D 声称有维度发散的结论,但需要 Assumption D2–D5(谱极限、Lindeberg 条件等),这些条件在正文中完全没有解释,也没有验证。模拟中 p = 500 甚至 p = 1000 的场景,严格来说并不被 Theorem 3.1 覆盖。

  3. 功效分析只针对固定备择:Theorem 3.2 证明的是"如果 Δ_{n1} 的 L2 范数不趋于 0,则检验以概率 1 拒绝"。但实际中更有意义的是局部备择(Δ_{n1} 以某个速率趋于 0,检验能否以非平凡功效检测)。论文没有给出局部功效分析,也没有讨论检验的 minimax 最优性。

  4. bootstrap 一致性的条件:Theorem 3.3 的证明依赖于 U-statistic 的 bootstrap CLT,但该定理通常要求核函数有界或矩条件。论文的 Assumption 1 只给了条件二阶矩,没有讨论更高阶矩——如果 ε 的尾部很重,bootstrap 可能失效。

  5. "适用于黑箱学习器"的限定:Assumption 2 要求 E{Δ_{n1}(X)² | D_{n1}} = O_p(1)。这对大多数学习器成立,但没有给出任何学习器满足该条件的验证。对于过参数化的神经网络,Δ_{n1} 的 L2 范数可能以很慢的速度收敛,n_2 = o(r_{n1}^{-2}) 的条件可能要求 n_2 非常小,影响检验功效。


四、开放问题

以下问题均扎根于论文的具体语句或证明中的 gap,供你自行判断哪些值得追:

  1. 局部备择功效与 minimax 最优性(扎根于 Theorem 3.2 只处理固定备择):能否刻画 SPARK 在局部备择 H_1: ||m − m̂||_{L2} ≍ n^{-α} 下的功效?是否存在一个"最小可检测偏离速度"?这与你的 minimax 理论工具箱直接相关——可以尝试推导检验的 minimax 分离率,并与 HSIC 型检验(Gretton et al., 2012)的已知结果对比。

  2. 核选择的敏感性(扎根于模拟中只用了 Gaussian 核 + 中位数启发式):检验的功效和尺寸对核带宽有多敏感?是否存在数据自适应选择带宽的准则,使得检验在零假设下有正确的尺寸、在备择假设下有最优功效?这可以联系到核检验中的"median heuristic vs. 最大化功效"的已知张力。

  3. 维度发散时的谱条件(扎根于 Appendix D 的 Assumption D2–D5 未经验证):当 p → ∞ 时,核积分算子的特征值谱如何变化?Assumption D3 的 Lindeberg 条件是否对 Gaussian 核 + 亚高斯设计自动成立?这需要随机矩阵论的工具——你熟悉高维统计,可以从协方差矩阵谱收敛的角度切入。

  4. bootstrap 的高阶改进(扎根于 Theorem 3.3 只证明一阶一致性):wild bootstrap 对 U-statistic 的收敛速度是 O_p(n^{-1/2}) 还是更慢?能否用 Edgeworth 展开或 Stein 方法得到二阶校正,从而改进有限样本的尺寸精度?这直接连接你的高阶 U-statistic 和 Stein 方法背景。

  5. 去偏策略的替代方案(扎根于数据分割 + 中心化核):数据分割浪费了训练数据。能否用交叉拟合(cross-fitting)或 leave-one-out 构造类似统计量,同时保持零假设下的极限分布不变?Chernozhukov et al. (2018) 的 DML 框架是自然参照——但 DML 处理的是估计方程,这里处理的是 U-statistic,需要新的证明。

  6. 二元响应的特殊结构(扎根于模拟 3 中 logistic 回归的设定):当 Y ∈ {0,1} 时,残差 ε = Y − m(X) 是有界随机变量,但 m̂ 的估计误差可能不满足 Assumption 2 的 L2 条件(例如极大似然估计在分离情形下发散)。SPARK 在完全分离数据下是否仍然有效?这需要检查证明中 Hölder 不等式的每一步在 m̂ 无界时是否仍然成立。

  7. 与因果推断的连接(扎根于引言提到的"评估学习器是否充分"):在因果推断中,一个常见问题是检验"倾向得分模型是否充分"或"结果回归模型是否充分"。SPARK 的框架能否直接用于检验 unmeasured confounding 的敏感性分析?具体来说,能否把残差投影的思想用到 IV 或代理变量的检验上?这与你的一级兴趣(causal inference)直接相关。

提醒:要确认上述某条是否真是 gap,建议去读同子领域近期约 5 篇论文的引言和讨论部分——例如 HSIC 检验的后续工作(Zhang et al., 2023 之后的引用)、DML 框架下的模型检验、以及 He et al. (2026) 的讨论。如果多篇论文都指向同一个未解决问题,那大概率是真 gap;如果各说各话,则可能是不同框架下的伪 gap。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论