Neural Wasserstein Two-Sample Tests¶

讲者: Zhenhua Lin
会场: Statistical Learning for High-Dimensional Inference and Specific Applications
报告题目: Neural Wasserstein Two-Sample Tests
链接: arXiv
来源: JCSDS 2026 · 返回会议总览

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向解决的根本问题是：在高维（维度d随样本量n增长甚至远大于n）场景下，如何构造一个有效且高效的双样本同质性检验，即判断两组独立样本是否来自同一分布。当前成熟度：这是一个经典问题，但在高维下，传统非参数检验（如基于核的MMD、能量距离）面临严重的维数灾难和功率衰减，因此近年来涌现了大量针对高维设定的新方法，但尚无公认的“最优解”。

发展脉络（history）¶

奠基工作：双样本检验的经典方法包括基于经验分布函数的Wald-Wolfowitz检验（1940）和Smirnov检验（1948），以及基于核的MMD（Gretton et al., 2006）和能量距离（Székely and Rizzo, 2004）。Sejdinovic et al.（2013）统一了这两类方法，证明能量距离等价于特定核下的MMD。

主要进展（高维下的挑战与应对）： - MMD在高维下的功率衰减：Ramdas et al.（2015）首次系统论证了MMD在高维“公平备择假设”下功率随维度多项式衰减，揭示了核方法的固有局限。Zhu and Shao（2021）研究了高维下基于距离的检验（包括MMD和能量距离）的不一致性，指出它们主要捕捉边际均值和方差差异，对更复杂的分布差异（如相同边际但不同联合分布）无能为力。 - 高维MMD的渐近理论：Gao and Shao（2023）和Yan and Zhang（2023）分别提出了学生化MMD，并建立了维度与样本量同时发散下的中心极限定理，但其渐近零分布依赖于维度和样本量的具体关系，实际应用中难以判断何时适用。 - 基于Wasserstein距离的方法：Wasserstein距离能保持分布空间的几何结构，但经验估计受维数灾难困扰（Fournier and Guillin, 2015）。为缓解此问题，投影Wasserstein距离（Paty and Cuturi, 2019; Niles-Weed and Rigollet, 2022）被提出。Wang et al.（2021）将其用于双样本检验，但采用置换检验，计算开销大，且使用单一投影维度，功率有限。Hu and Lin（2025）提出了基于max-sliced Wasserstein距离的检验，但仍需bootstrap。 - 学习辅助方法：Liu et al.（2020）提出用深度神经网络学习核函数（MMD-D），但未专门针对高维设计。Kübler et al.（2022）提出KFDA witness test，利用样本分割和渐近正态分布避免置换，但其功率在高维下仍受限。

当前frontier：如何设计一个无调参、计算高效、对多种分布差异（均值、方差、高阶矩、相关性）都敏感、且理论上有严格保证的高维双样本检验。

本文的位置：本文提出了一种基于投影1-Wasserstein距离的学习辅助检验方法，通过深度神经网络学习判别性投影方向和1-Lipschitz witness函数，并利用max-type聚合避免调参。其核心创新在于：① 通过数据分割解耦估计与检验，使得检验统计量在零假设下渐近服从与维度无关的枢轴分布（标准高斯向量的绝对最大值），从而避免重采样；② 通过聚合多个投影维度和稀疏参数，自适应地捕捉分布差异，并理论上证明一致性。

子线索聚类¶

基于核的方法：MMD（Gretton et al., 2006）、能量距离（Székely and Rizzo, 2004）、MMD-D（Liu et al., 2020）、KFDA（Kübler et al., 2022）。核心：将分布嵌入RKHS，用距离作为检验统计量。瓶颈：高维下功率衰减，渐近零分布依赖维度。
基于Wasserstein距离的方法：投影Wasserstein距离（Wang et al., 2021）、max-sliced Wasserstein距离（Hu and Lin, 2025）。核心：利用投影缓解维数灾难。瓶颈：重采样计算开销大，单一投影维度功率有限。
高维渐近理论：学生化MMD（Gao and Shao, 2023; Yan and Zhang, 2023）、基于距离的检验（Zhu and Shao, 2021）。核心：建立维度与样本量同时发散下的渐近分布。瓶颈：零分布依赖维度，实际应用困难。

这个方向在追问的核心问题¶

如何在高维下保持检验的功率？ 当前主流方法（MMD、能量距离）在维度增加时功率急剧下降（Ramdas et al., 2015）。本文的回应：通过投影Wasserstein距离和深度神经网络学习判别性方向，将高维问题转化为低维判别问题。
如何避免重采样（置换/bootstrap）的计算开销？ 现有Wasserstein方法（Wang et al., 2021; Hu and Lin, 2025）依赖重采样，在大样本下计算昂贵。本文的回应：通过数据分割和max-type聚合，构造枢轴检验统计量，零分布为标准高斯向量的绝对最大值，无需重采样。
如何自适应地选择投影维度和稀疏参数？ 现有方法（Wang et al., 2021）需要手动选择投影维度，不恰当的选择会严重损失功率。本文的回应：通过max-type聚合多个候选参数，避免调参，且理论上证明只要有一个候选参数满足信号条件，检验就一致。

⚠️ 作者的framing¶

作者把缺口frame成：现有Wasserstein检验（Wang et al., 2021）使用单一投影维度且依赖置换，功率有限且计算昂贵；现有核方法（MMD、MMD-D）在高维下功率衰减严重；现有学生化MMD（Gao and Shao, 2023; Yan and Zhang, 2023）的渐近零分布依赖维度，实际应用困难。因此，本文的“显然的下一步”是：结合深度神经网络的学习能力和max-type聚合，构造一个无调参、计算高效、高维下功率优越的Wasserstein检验。

被淡化或回避的竞争路线： - MMD-D（Liu et al., 2020）：作者在引言中提及，但仅说“not particularly developed for high-dimensional contexts”，未深入讨论其在高维下的理论性质。实际上，MMD-D也使用深度神经网络学习核，但本文的方法通过投影Wasserstein距离和max-type聚合，可能在高维下更具优势。 - KFDA（Kübler et al., 2022）：作者在模拟中将其作为baseline，但未在引言中详细讨论其与本文方法的理论联系与区别。KFDA也使用样本分割和渐近正态分布，但基于核方法，本文基于Wasserstein距离。 - Hu and Lin (2025)：作者在引言中提及，但仅说“can suffer from relatively low power due to the use of a single projection dimension and substantial computational overhead arising from resampling”，未深入比较两种方法的理论差异。

什么明显该被引/该存在、却没出现在intro里？ - 更近期的Wasserstein测试变体：例如基于sliced Wasserstein距离的检验（Nietert et al., 2021; Goldfeld et al., 2022），这些工作研究了低维固定维度下的分布极限，但作者未在引言中提及它们在高维下的局限性。 - 基于随机投影的方法：例如基于随机投影的MMD或能量距离检验，这些方法也试图缓解维数灾难，但作者未在引言中讨论。

张力¶

未见明显对立引用。各被引工作基本在各自的设定下成立，且作者在引言中已明确指出各方法的局限性（如MMD高维功率衰减、Wasserstein维数灾难、学生化MMD零分布依赖维度），这些观点与被引文献的结论一致。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号： - \(X \in \mathbb{R}^d\)：来自分布 \(\mu\) 的随机向量。 - \(Y \in \mathbb{R}^d\)：来自分布 \(\nu\) 的随机向量。 - \(n_x, n_y\)：\(X\) 和 \(Y\) 的样本量。 - \(d\)：数据维度。 - \(k\)：投影维度（\(1 \leq k \leq d\)）。 - \(U \in \mathbb{R}^{d \times k}\)：投影矩阵，满足 \(U^\top U = I_k\)（即属于Stiefel流形 \(\mathcal{S}_{d,k}\)）。 - \(f: \mathbb{R}^k \to \mathbb{R}\)：1-Lipschitz函数，且 \(f(0) = 0\)，属于函数类 \(\mathcal{F}\)。 - \(\hat{U}, \hat{f}\)：从训练数据中估计得到的投影矩阵和判别函数。 - \(\hat{g}(x) = \hat{f}(\hat{U}^\top x)\)：最终的判别函数。 - \(n = n_x + n_y\)：总样本量。 - \(\tilde{n}_x, \tilde{n}_y\)：训练集（拟合集）中 \(X\) 和 \(Y\) 的样本量。 - \(\bar{n}_x, \bar{n}_y\)：测试集中 \(X\) 和 \(Y\) 的样本量。 - \(T_n\)：最终的max-type检验统计量。 - \(q_{1-\alpha}\)：标准高斯向量绝对最大值的 \(1-\alpha\) 分位数。

模型： - 数据生成机制：\(X_1, \ldots, X_{n_x} \overset{\text{i.i.d.}}{\sim} \mu\)，\(Y_1, \ldots, Y_{n_y} \overset{\text{i.i.d.}}{\sim} \nu\)，其中 \(\mu, \nu \in \mathcal{P}(\mathbb{R}^d)\) 是未知的Borel概率测度，具有有限一阶矩。 - 要检验的假设：\(H_0: \mu = \nu\) vs \(H_1: \mu \neq \nu\)。 - 已知量：样本量 \(n_x, n_y\)，维度 \(d\)，候选超参数集 \(\mathcal{C}\)（包含投影维度 \(k\) 和稀疏参数 \(\tau\) 或 \(\varpi\)）。 - 要估计的对象：最优投影方向 \(U_0\) 和最优判别函数 \(f_0\)，它们最大化投影1-Wasserstein距离 \(PW_k(\mu, \nu) = \sup_{U \in \mathcal{S}_{d,k}} W(U_\#\mu, U_\#\nu)\)。

可观测数据： - 可观测：两组独立样本 \(\{X_i\}_{i=1}^{n_x}\) 和 \(\{Y_j\}_{j=1}^{n_y}\)，每个样本是 \(d\) 维向量。 - 不可观测/潜在：真实的分布 \(\mu\) 和 \(\nu\)，最优投影方向 \(U_0\)，最优判别函数 \(f_0\)，以及投影1-Wasserstein距离 \(PW_k(\mu, \nu)\) 本身。 - 识别策略：通过Kantorovich-Rubinstein对偶，\(PW_k(\mu, \nu) = \sup_{U \in \mathcal{S}_{d,k}} \sup_{f \in \mathcal{F}} \{\mathbb{E}f(U^\top X) - \mathbb{E}f(U^\top Y)\}\)。因此，只要存在一个 \(U\) 和 \(f\) 使得 \(\mathbb{E}f(U^\top X) \neq \mathbb{E}f(U^\top Y)\)，就拒绝 \(H_0\)。本文通过数据分割，先用训练集估计 \(\hat{U}\) 和 \(\hat{f}\)，再用测试集构造检验统计量，从而解耦估计与检验。

第二步：讲最小内核¶

最简特例：设投影维度 \(k=1\)，且不使用任何稀疏正则化（即 \(\mathcal{U}(\varrho) = \mathcal{S}_{d,1}\)，即所有单位向量）。此时，投影1-Wasserstein距离退化为：

\[PW_1(\mu, \nu) = \sup_{U \in \mathbb{R}^d: \|U\|_2 = 1} W(U^\top \mu, U^\top \nu) = \sup_{U: \|U\|_2=1} \sup_{f \in \mathcal{F}_1} \{\mathbb{E}f(U^\top X) - \mathbb{E}f(U^\top Y)\},\]

其中 \(\mathcal{F}_1 = \{f: \mathbb{R} \to \mathbb{R} \mid f \text{ is 1-Lipschitz}, f(0)=0\}\)。

核心思路：本文的核心想法是，与其直接估计 \(PW_1(\mu, \nu)\)（这需要求解一个复杂的双层优化），不如分两步走： 1. 先估计最优投影方向 \(U_0\)：通过求解一个基于训练数据的优化问题（公式(6)），找到使投影后两个经验分布之间的Wasserstein距离最大的方向 \(\hat{U}\)。 2. 再估计最优判别函数 \(f_0\)：在投影后的数据 \(\{\hat{U}^\top X_i\}\) 和 \(\{\hat{U}^\top Y_j\}\) 上，用深度神经网络（公式(7)）学习一个1-Lipschitz函数 \(\hat{f}\)，使得 \(\hat{f}(\hat{U}^\top X)\) 和 \(\hat{f}(\hat{U}^\top Y)\) 的样本均值差异最大。

为什么这样能行？ 关键在于数据分割。将数据分成训练集和测试集： - 在训练集上，我们得到 \(\hat{U}\) 和 \(\hat{f}\)。 - 在测试集上，我们构造检验统计量 \(S_n(\hat{g}) = \frac{1}{\bar{n}_x} \sum_{i \in \mathcal{I}_X} \hat{g}(X_i) - \frac{1}{\bar{n}_y} \sum_{j \in \mathcal{I}_Y} \hat{g}(Y_j)\)，其中 \(\hat{g}(x) = \hat{f}(\hat{U}^\top x)\)。

关键性质：由于 \(\hat{U}\) 和 \(\hat{f}\) 仅依赖于训练集，在给定训练集的条件下，测试集上的 \(S_n(\hat{g})\) 是独立同分布随机变量的加权平均。因此，条件于训练集，\(S_n(\hat{g})\) 的分布是已知的（近似正态），其方差 \(\sigma^2\) 可以很容易地从测试数据中估计。这避免了复杂的重采样过程。

最简例子下的检验：在 \(k=1\) 且无正则化时，检验统计量简化为：

\[T_n = \sqrt{\frac{\bar{n}_x \bar{n}_y}{\bar{n}_x + \bar{n}_y}} \frac{|S_n(\hat{g})|}{\hat{\sigma}},\]

其中 \(\hat{\sigma}^2\) 是测试集上 \(\hat{g}(X)\) 和 \(\hat{g}(Y)\) 的样本方差的加权平均。在 \(H_0\) 下，\(T_n \xrightarrow{d} |Z|\)，其中 \(Z \sim N(0,1)\)。这就是一个标准的两样本t检验，只不过“特征” \(\hat{g}(X)\) 是从训练数据中学习到的。

推广到一般情况：当有多个候选投影维度 \(k\) 和稀疏参数时，我们得到多个这样的t统计量，然后取它们的最大值（经过协方差矩阵白化后），得到最终的max-type统计量 \(T_n\)。在 \(H_0\) 下，\(T_n \xrightarrow{d} \max_{j=1,\ldots,m} |Z_j|\)，其中 \(Z \sim N(0, I_m)\)。

核心数学困难：证明 \(T_n\) 在 \(H_0\) 下收敛到 \(\max |Z_j|\) 需要处理两个问题：① 神经网络估计 \(\hat{f}\) 的误差；② 多个统计量之间的相关性。本文通过数据分割和Berry-Esseen型界解决了这两个问题。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：高维双样本同质性检验问题，旨在判断两组高维样本是否来自同一分布。
核心工具/方法：基于投影1-Wasserstein距离，通过深度神经网络学习判别性投影方向和1-Lipschitz witness函数，并利用max-type聚合多个候选超参数（投影维度、稀疏参数）构造检验统计量。
主要结论：① 检验统计量在零假设下渐近服从标准高斯向量绝对最大值的分布（枢轴分布），与维度、分布和估计算法无关，并给出了Berry-Esseen型界；② 在适当的信号条件下，检验是一致的；③ 模拟和真实数据表明，该方法在功率上显著优于MMD、能量距离、MMD-D、KFDA和投影Wasserstein距离等现有方法。

关键设定与假设¶

数据分割：将数据随机分为训练集 \(\mathcal{D}_{\text{fit}}\) 和测试集 \(\mathcal{D}_{\text{test}}\)，比例由Assumption 1控制（\(n_x/n_y\) 和 \(\tilde{n}_x/n_x\) 等有界）。这是本文方法的核心，用于解耦估计与检验。
函数类：判别函数 \(f\) 属于1-Lipschitz函数类 \(\mathcal{F}\)，但用深度ReLU神经网络类 \(\mathcal{N}(D, p, s, B)\) 来近似。网络结构（层数 \(D\)、宽度 \(p\)、稀疏度 \(s\)、范数界 \(B\)）随样本量增长，以满足逼近理论的要求（Schmidt-Hieber, 2020）。
投影方向：投影矩阵 \(U\) 属于Stiefel流形 \(\mathcal{S}_{d,k}\)，并可附加 \(\ell_1\) 或 \(\ell_0\) 稀疏约束。
Assumption 1（样本量比例）：\(n_x/n_y\)、\(\tilde{n}_x/n_x\)、\(\tilde{n}_y/n_y\) 均远离0和1。这比标准收敛假设（如Pan et al., 2018; Zhu and Shao, 2021; Yan and Zhang, 2023）更弱，后者通常要求样本量比例收敛到一个常数。
Assumption 2（协方差矩阵条件）：条件于训练集，多个检验统计量 \(S_n(\hat{g}_j)\) 的协方差矩阵 \(\Sigma\) 的特征值有界且远离0。这保证了白化矩阵 \(\hat{\Sigma}^{-1/2}\) 的数值稳定性，可通过后向消除法实现（Remark 4）。
Assumption 3（子高斯尾）：\(X\) 和 \(Y\) 在任何一维投影上的子高斯范数一致有界。这是高维统计中的常见假设（Van de Geer et al., 2014; Lopes, 2022），用于控制截断误差和神经网络逼近误差。

与已有文献的对比： - 相比MMD（Gretton et al., 2012a）：本文不假设核函数固定，而是通过神经网络学习判别函数，且零分布是枢轴的，不依赖维度。 - 相比学生化MMD（Gao and Shao, 2023; Yan and Zhang, 2023）：本文的零分布与维度无关，而学生化MMD的渐近零分布依赖于维度与样本量的关系。 - 相比投影Wasserstein检验（Wang et al., 2021）：本文学习判别函数（而非仅用经验Wasserstein距离），且通过max-type聚合避免调参和重采样。

主要结果¶

定理1（零假设下的渐近分布与Berry-Esseen界）： - 陈述：在Assumptions 1和2下，\(H_0\) 成立时，\(T_n \xrightarrow{d} \max_{j=1,\ldots,m} |Z_j|\)，其中 \(Z \sim N(0, I_m)\)。进一步，若 \(\hat{g}_j(X)\) 和 \(\hat{g}_j(Y)\) 满足子高斯条件，则Berry-Esseen界为 \(O(n^{-1/2} \log n)\)（忽略常数和矩项）。 - 直觉：数据分割使得条件于训练集，\(S_n(\hat{g}_j)\) 是独立随机变量的和，因此条件分布近似正态。白化后，多个统计量近似独立标准正态。取最大值后，极限分布即为 \(\max |Z_j|\)。 - 必要条件：Assumptions 1和2，以及 \(\hat{g}_j\) 的子高斯尾条件（可通过网络范数界 \(B\) 或Lipschitz约束保证）。 - 解决的技术难点：① 处理神经网络估计 \(\hat{f}\) 带来的额外变异性（通过数据分割解耦）；② 建立多个相关统计量的联合渐近正态性（通过Cramér-Wold定理和Berry-Esseen型界）。

定理2（无正则化下的功率分析）： - 陈述：在Assumptions 1-3下，若存在 \(k_* \in \mathcal{C}\) 使得 \(PW_{k_*}(\mu, \nu) \geq c_a R_n(k_*, d)\)，其中 \(R_n(k_*, d)\) 是包含 \(n^{-1/(k_*+2)}\) 等项的复杂速率，则 \(P(T_n > q_{1-\alpha}) \to 1\)。 - 直觉：只要投影Wasserstein距离大于某个与 \(n\) 和 \(d\) 有关的阈值，检验就能以概率1拒绝 \(H_0\)。该阈值由神经网络逼近误差和估计误差决定。 - 必要条件：信号强度 \(PW_{k_*}(\mu, \nu)\) 不能太弱，且神经网络结构需随 \(n\) 适当增长（\(D \asymp \log n\)，\(N \asymp n^{k/(2+k)}\)）。 - 解决的技术难点：① 证明神经网络能有效逼近1-Lipschitz函数类（利用Schmidt-Hieber, 2020的逼近理论）；② 将 \(S_n(\hat{f}, \hat{U})\) 与 \(PW_k(\mu, \nu)\) 联系起来（通过一系列近似不等式，见定理3的证明概要）。

定理3（\(\ell_1\) 正则化下的功率分析）： - 陈述：类似定理2，但信号条件为 \(PW^{(1)}_{k_*, \tau_*}(\mu, \nu) \geq c_a R_n^{(1)}(k_*, \tau_*, d)\)，其中 \(PW^{(1)}\) 是带 \(\ell_1\) 约束的投影Wasserstein距离，\(R_n^{(1)}\) 包含 \(\tau\) 因子。 - 直觉：\(\ell_1\) 正则化通过约束 \(\|U\|_1 \leq \tau\) 降低有效维度，从而在投影方向稀疏时提高功率。代价是信号条件中的阈值随 \(\tau\) 增大而增大。 - 必要条件：存在一个 \((k_*, \tau_*)\) 使得带约束的投影Wasserstein距离足够大。不要求真实投影方向 \(U_0\) 本身稀疏，只要求约束集足够丰富以捕捉分布差异（Remark 10）。

定理4（\(\ell_0\) 正则化下的功率分析）： - 陈述：类似定理3，但信号条件为 \(PW^{(0)}_{k_*, \varpi_*}(\mu, \nu) \geq c_a R_n^{(0)}(k_*, \varpi_*, d)\)，其中 \(R_n^{(0)}\) 包含 \(\varpi\) 因子。 - 直觉：\(\ell_0\) 正则化（\(\|U\|_0 \leq \varpi\)）比 \(\ell_1\) 更直接地控制稀疏性，因此在投影方向高度稀疏时，信号条件可以更弱（\(\varpi_* \ll \tau_*\) 时，\(R_n^{(0)} \ll R_n^{(1)}\)）。 - 必要条件：存在一个 \((k_*, \varpi_*)\) 使得带 \(\ell_0\) 约束的投影Wasserstein距离足够大。

证明路线与技术技巧¶

整体路线（以定理3为例）： 1. 数据分割与条件分布：将数据分为训练集和测试集。条件于训练集，测试集上的 \(S_n(\hat{g}_j)\) 是独立随机变量的和，因此其条件分布近似正态。 2. 联合渐近正态性：通过Cramér-Wold定理，证明 \((\bar{n}_x \bar{n}_y / (\bar{n}_x + \bar{n}_y))^{1/2} \hat{\Sigma}^{-1/2} \hat{S}_n\) 的任意线性组合条件渐近正态。这需要验证Lindeberg条件，可通过 \(\hat{g}_j\) 的有界性或子高斯尾条件保证。 3. 协方差矩阵估计：证明 \(\hat{\Sigma}\) 是 \(\Sigma\) 的一致估计。这依赖于 \(\hat{g}_j\) 的矩条件和样本量。 4. 连续映射定理：由联合渐近正态性和 \(\hat{\Sigma}\) 的一致性，得到 \(T_n\) 的极限分布为 \(\max |Z_j|\)。 5. Berry-Esseen界：利用高阶矩和Stein方法或基于特征函数的方法，得到收敛速率。

关键跳跃点： - 从“条件分布近似正态”到“无条件分布近似正态”：由于 \(\hat{U}\) 和 \(\hat{f}\) 是随机变量，条件分布本身是随机的。需要证明无条件分布与条件分布的极限相同。这通过证明条件分布（几乎必然）收敛到同一极限，然后应用控制收敛定理或类似论证实现。 - 处理神经网络估计误差：证明 \(S_n(\hat{f}, \hat{U})\) 能有效逼近 \(PW_k(\mu, \nu)\)。这需要一系列不等式（见定理3的证明概要）： - \(S_n(\hat{f}, \hat{U}) \approx \mathbb{E} S_n(\hat{f}, \hat{U})\)（均匀大数定律） - \(\mathbb{E} S_n(\hat{f}, \hat{U}) \approx \mathbb{E} \tilde{S}_n(\hat{f}, \hat{U})\)（训练集和测试集分布相同） - \(\mathbb{E} \tilde{S}_n(\hat{f}, \hat{U}) \geq \mathbb{E} \tilde{S}_n(\tilde{f}, \hat{U})\)（\(\hat{f}\) 是最大化器） - \(\mathbb{E} \tilde{S}_n(\tilde{f}, \hat{U}) \approx \mathbb{E} \tilde{S}_n(\breve{f}, \hat{U})\)（神经网络逼近误差） - \(\mathbb{E} \tilde{S}_n(\breve{f}, \hat{U}) \approx \mathbb{E} \tilde{S}_n(f^{(1)}_{0,*}, U^{(1)}_{0,*})\)（均匀大数定律） - \(\mathbb{E} \tilde{S}_n(f^{(1)}_{0,*}, U^{(1)}_{0,*}) \approx PW^{(1)}_{k_*, \tau_*}(\mu, \nu)\)（截断误差）

技术技巧点名： - 数据分割（sample splitting）：用于解耦估计与检验，是本文方法的核心技巧，使得条件分布易于处理。 - 均匀大数定律（uniform law of large numbers）：用于处理函数类上的经验过程，需要控制函数类的复杂度（通过截断和神经网络稀疏性）。 - 神经网络逼近理论（Schmidt-Hieber, 2020）：用于证明稀疏ReLU网络能有效逼近1-Lipschitz函数，并给出逼近误差的显式界。 - Berry-Esseen型界：用于给出收敛速率，需要控制 \(\hat{g}_j\) 的高阶矩。 - Stiefel流形优化：用于求解带约束的投影方向估计问题，采用近端梯度法（ManPG, Chen et al., 2020）。 - 谱归一化（spectral normalization, Miyato et al., 2018）：用于在实践中保持神经网络的Lipschitz性质。

真实例子与应用¶

数据：TCGA项目的DNA甲基化数据，包含511个低级别胶质瘤（LGG）和150个胶质母细胞瘤（GBM）肿瘤样本，涉及207个与脑癌相关的候选预后基因。

方法应用： 1. 将数据分为训练集和测试集。 2. 在训练集上，使用 \(\ell_1\) 和 \(\ell_0\) 正则化估计投影方向 \(\hat{U}\)，然后用深度神经网络学习判别函数 \(\hat{f}\)。 3. 在测试集上，构造max-type检验统计量 \(T_n\)，并与标准高斯向量绝对最大值的 \(1-\alpha\) 分位数比较。

结果：在 \(\ell_1\) 和 \(\ell_0\) 正则化下，p值均小于0.001，表明LGG和GBM的DNA甲基化模式存在显著差异。这与现有研究（Mazor et al., 2015; Klughammer et al., 2018）一致，即DNA甲基化的异质性与LGG向GBM的进展有关。

这个例子想说明什么： - 验证方法有效性：在真实高维生物数据上，本文方法能检测到已知的生物学差异。 - 展示实用性：方法能处理 \(n=661, p=207\) 的数据，且无需手动调参。 - 提供可视化佐证：通过展示均值差异图（图2）和协方差热力图（图3），直观说明两组在均值和相关性结构上均存在差异，从而解释为什么本文方法能检测到信号。

🔎 结论是否比证明窄¶

定理1的Berry-Esseen界：证明中假设 \(\hat{g}_j(X)\) 和 \(\hat{g}_j(Y)\) 满足子高斯条件（\(\mathbb{E}_* \exp(\hat{g}_j^2(X)/M_n^2) \leq 2\)）。作者指出，对于有界网络（\(\|\hat{g}_j\|_\infty \leq B\)），\(M_n \leq 2B\)，但“bounding the sub-Gaussian norm by the upper bound \(B\) could be overly conservative”。这意味着，如果网络范数界 \(B\) 很大，定理1给出的收敛速率可能不是最优的。作者在Remark 6中建议使用Lipschitz约束网络（Anil et al., 2019）来获得更好的常数，但未在主要理论中证明这一点。
定理2-4的功率分析：信号条件（如公式(12)）中的阈值 \(R_n(k, d)\) 依赖于神经网络的具体结构（\(D \asymp \log n\)，\(N \asymp n^{k/(2+k)}\)）。作者在Remark 8和9中承认，如果 \(f_0\) 具有低维结构或使用全连接网络，该阈值可能可以改进，但“leave the exploration of this direction for future work”。因此，定理2-4给出的功率条件是充分的，但可能不是必要的。
max-type聚合的功率增益：作者在Remark 11和模拟中声称max-type聚合能提高功率，但定理2-4只证明了“存在一个 \((k_*, \tau_*)\) 满足信号条件时检验一致”，并未从理论上证明聚合多个弱信号能比单个强信号获得更高的功率。模拟结果（图S.6）支持了这一说法，但缺乏严格的理论证明。

四、开放问题¶

样本分割是否不可避免？ 作者在结论中提到“it is unclear whether such a loss of sample size is unavoidable”，并指出“Investigating this question is beyond the scope of this paper and left for future investigation”。这是一个明确的开放问题：能否在不分割数据的情况下，构造一个同样具有枢轴零分布且无需重采样的检验？这可能涉及更复杂的去相关技术或自归一化方法。
神经网络结构的最优选择：定理2-4中的网络结构（\(D \asymp \log n\)，\(N \asymp n^{k/(2+k)}\)）是为了平衡逼近误差和估计误差而选择的。但作者在Remark 8和9中承认，如果 \(f_0\) 具有低维结构或使用全连接网络，可能获得更快的收敛速率。因此，一个开放问题是：对于给定的数据生成机制，如何自适应地选择神经网络结构以最大化检验功率？ 这可能需要发展数据驱动的网络结构选择方法。
max-type聚合的功率增益理论：作者在模拟中观察到max-type聚合能提高功率，但缺乏严格的理论证明。一个开放问题是：在什么条件下，聚合多个弱信号（每个信号单独不足以拒绝 \(H_0\)）能产生一个强信号？这类似于多假设检验中的“信号聚合”问题，可能需要发展新的理论框架。
稀疏性假设的鲁棒性：定理3和4假设投影方向 \(U\) 是稀疏的（\(\ell_1\) 或 \(\ell_0\) 约束）。但作者在Remark 10和13中指出，不要求真实 \(U_0\) 稀疏，只要求约束集足够丰富。一个开放问题是：当真实投影方向不稀疏时，稀疏正则化是否会损失功率？ 模拟中（表1）显示，在非稀疏的Model A和B中，本文方法仍优于其他方法，但理论上如何刻画这种鲁棒性？

Maintained by 陈星宇 · Homepage · Source on GitHub