USAD: Uncertainty-aware Statistical Adversarial Detection¶

讲者: Liuhua Peng
会场: Learning for Voice, Adversarials, Digital Twin and Changepoints
报告题目: USAD: Uncertainty-Aware Statistical Adversarial Detection
链接: arXiv
来源: JCSDS 2026 · 返回会议总览

一、领域脉络与小综述¶

这个方向是什么¶

本文研究的子方向是统计对抗性检测（Statistical Adversarial Detection, SAD）。它将对抗性样本（AE）的检测问题形式化为一个双样本假设检验问题：给定一个由干净样本（CE）构成的参考集 \(X \sim P\) 和一个由待查询样本构成的批次 \(Y \sim Q\)，SAD 的目标是判断 \(Q\) 是否显著偏离了 \(P\)（即 \(H_0: P=Q\) vs \(H_1: P \neq Q\)），同时控制假阳性率（Type-I error）。这个方向的核心优势在于：它不依赖攻击类型或分类器结构的先验知识，是一种“模型无关”和“攻击无关”的轻量级防御层。其成熟度处于方法提出与改进阶段：核心框架（MMD-based SAD）已被提出并验证有效，但存在样本效率低、对特定分布差异（如不确定性模式）不敏感等瓶颈，本文正是针对这些瓶颈提出改进。

发展脉络¶

奠基工作：对抗性攻击的发现与早期检测尝试
- Szegedy et al. (2014) & Goodfellow et al. (2015)：首次发现并系统解释了深度神经网络对对抗性扰动的脆弱性。Goodfellow 等人提出“线性假说”，认为神经网络对 AE 的脆弱性主要源于其线性性质，并提出了快速梯度符号法（FGSM）。这些工作奠定了整个对抗性攻击与防御领域的基础。
- Carlini & Wagner (2017b)：提出了更强大的 C&W 攻击，并系统性地评估了多种防御方法，指出“防御性蒸馏”等早期防御手段可以被轻易绕过。这项工作极大地推动了对抗性鲁棒性评估的标准化。
- Madry et al. (2018)：将对抗性鲁棒性研究置于“鲁棒优化”的框架下，提出了投影梯度下降（PGD）攻击，并指出 PGD 是一种“一阶”通用攻击。该工作为后续的对抗性训练提供了理论基础和标准基准。
主要进展：从单样本检测到统计检测
- 早期单样本检测方法：如 Ma et al. (2018) 提出的基于局部本征维度（LID）的方法，以及 Feinman et al. (2017) 提出的基于贝叶斯不确定性的方法。这些方法试图为每个输入样本单独判断其是否为 AE。然而，Carlini & Wagner (2017a) 在“Adversarial Examples Are Not Easily Detected”一文中，通过构造新的损失函数，成功绕过了当时主流的十种检测方法，揭示了单样本检测的固有困难。
- 统计检测的兴起：Gao et al. (2021) 在“Maximum Mean Discrepancy Test is Aware of Adversarial Attacks”中，开创性地将对抗性检测形式化为一个双样本假设检验问题，并证明了通过精心设计核函数（深度核）和最大化检验功效，基于最大均值差异（MMD）的统计检测（SAMMD）可以有效区分 CE 和 AE 的分布。这是 SAD 方向的奠基性工作，它提供了严格的假阳性率控制，并展示了对抗未知攻击的潜力。
- 当前 Frontier 与本文位置：当前 SAD 的 Frontier 是解决 MMD-based 方法的样本效率低和对特定分布特征不敏感的问题。本文（USAD）明确指出了 MMD 的局限性：MMD 主要捕捉分布的一阶矩（均值嵌入）差异，而对 AE 特有的二阶不确定性模式（如特征方差和局部扰动敏感性）不敏感。因此，本文提出了两个新的统计量——方差差异（VD）和基于扰动的协方差差异（PCD），分别捕捉全局和局部不确定性，并通过相关性感知聚合（借鉴 Zhou et al., 2025 的 DUAL 框架）来提升检测功效，尤其是在小样本场景下。

子线索聚类¶

对抗性攻击方法：这条线索关注如何生成更强大、更隐蔽的 AE。包括 FGSM (Goodfellow et al., 2015)、BIM (Kurakin et al., 2017)、PGD (Madry et al., 2018)、C&W (Carlini & Wagner, 2017b)、AutoAttack (Croce & Hein, 2020b) 以及稀疏攻击 Sparse-PGD (Zhong & Liu, 2025)。这些工作是 SAD 方法需要对抗的“对手”。
对抗性检测方法：这条线索关注如何识别 AE。早期有基于 LID (Ma et al., 2018)、贝叶斯不确定性 (Feinman et al., 2017) 的单样本方法。统计检测（SAD）是其中一条重要分支，以 MMD-based 方法（如 SAMMD, Gao et al., 2021）为代表。本文提出的 USAD 属于这一分支。
双样本检验与核方法：这条线索为 SAD 提供了理论基础和工具。核心是 MMD (Gretton et al., 2012) 和核均值嵌入 (Muandet et al., 2017)。为了提升检验功效，研究者提出了多种聚合核方法，如 MMDAgg (Schrab et al., 2023)、MMD-FUSE (Biggs et al., 2023) 和 MMD-DUAL (Zhou et al., 2025)。本文的 USAD 借鉴了 DUAL 的聚合思想，但将基础统计量从 MMD 替换为 VD 和 PCD。
对抗性样本的特性分析：这条线索试图理解 AE 的本质，为检测提供理论依据。Ilyas et al. (2019) 提出“对抗性样本不是bug，而是特征”，认为 AE 利用了数据中“非鲁棒但高度预测性”的特征。Cohen et al. (2019) 提出的随机平滑为认证鲁棒性提供了方法。这些工作解释了 AE 为何会表现出异常的不确定性（如高方差、对局部扰动敏感），为本文设计 VD 和 PCD 提供了动机。

核心问题与瓶颈¶

核心问题 1：如何设计一个样本高效的 SAD 方法，使其在查询批次（\(|Y|\)）很小时（如 \(|Y|=10\)）也能保持高检测功效？现有 MMD-based 方法在批次较小时功效急剧下降。
核心问题 2：如何设计一个对 AE 特有的分布特征（而非仅仅是均值差异）敏感的统计量？MMD 主要捕捉一阶矩差异，而 AE 的异常方差和局部不稳定性是二阶或更高阶的特征。
核心问题 3：如何将多个互补的统计量（如 VD 和 PCD）有效地聚合起来，以应对不同类型的攻击，同时保证假阳性率可控？
当前主流方法与瓶颈：主流方法是基于 MMD 的 SAD（如 SAMMD）。其瓶颈在于：1) 样本效率低；2) 对 AE 的不确定性模式不敏感，导致在 AE 主要改变分布形状而非均值时检测失效。

⚠️ 作者的 framing¶

作者的缺口框架：作者将缺口 frame 为“MMD-based SAD 对 AE 特有的不确定性模式（全局方差和局部扰动敏感性）不敏感”，因此需要设计新的、直接针对这些模式的统计量。他们通过图 1 的实证（MMD 值在 CE 和 AE 间重叠，尽管方差差异显著）来支撑这一论点。这使得他们的工作（提出 VD 和 PCD）成为“显然的下一步”。
被淡化或回避的竞争路线：作者明确淡化了单样本检测方法（如 LID, EPS-AD），指出它们“依赖于攻击特定的假设”或“易受自适应攻击”。他们强调 SAD 的“批次级”检测优势，即通过聚合多个样本的信息来获得更鲁棒的检测。他们也在附录 A 中承认 SAD 的局限性（样本效率），但将其定位为“与单样本检测互补”而非替代。
值得研究者去查的问题：作者在引言中引用了 Tramèr (2022) 的“Detecting adversarial examples is (nearly) as hard as classifying them”，但并未深入讨论该论点对 SAD 的潜在影响。Tramèr 的论点可能暗示，任何检测方法（包括 SAD）在理论上都存在根本性的局限。作者回避了这种“不可能性”的讨论，而是专注于工程上的改进。研究者可以查阅 Tramèr (2022) 来评估 SAD 的理论上限。

张力¶

未见明显对立引用。被引工作之间在“AE 是否可检测”这一根本问题上存在张力（Carlini & Wagner (2017a) 的悲观结论 vs. Gao et al. (2021) 的乐观结论），但作者通过将问题从“单样本检测”转向“批次级统计检测”来调和这种张力。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
- \(x \in \mathcal{X} \subseteq \mathbb{R}^d\)：一个干净样本（Clean Example, CE），是输入空间中的一个点。
- \(y \in \mathcal{X}\)：一个对抗样本（Adversarial Example, AE），由 \(x\) 加上一个小的对抗性扰动 \(\zeta\) 生成。
- \(f: \mathcal{X} \to \mathcal{C}\)：一个已训练好的分类器，将输入映射到类别标签。在本文中，\(f\) 也被用作特征提取器，其倒数第二层的输出记为 \(f(\cdot) \in \mathcal{F} \subseteq \mathbb{R}^q\)，称为“语义特征”。
- \(X = \{x_i\}_{i=1}^n\)：参考集，由 \(n\) 个 CE 组成，独立同分布于分布 \(P\)。
- \(Y = \{y_j\}_{j=1}^m\)：查询集，由 \(m\) 个样本组成，独立同分布于分布 \(Q\)。在 \(H_1\) 下，\(Y\) 中包含 AE。
- \(P, Q\)：CE 和查询样本的分布。SAD 的目标是检验 \(H_0: P = Q\) vs \(H_1: P \neq Q\)。
- \(\kappa(\cdot, \cdot)\)：一个特征核函数，用于定义再生核希尔伯特空间（RKHS）\(\mathcal{H}_\kappa\)。MMD 使用它。
- \(\ell(\cdot, \cdot)\)：一个核函数，用于 VD 统计量，定义在语义特征空间 \(\mathcal{F}\) 上。
- \(\rho(\cdot, \cdot)\)：一个核函数，用于 PCD 统计量，定义在协方差矩阵空间上。
- \(\Sigma_x\)：样本 \(x\) 在 \(K\) 次高斯扰动下的特征协方差矩阵，用于 PCD。
- \(\mu_P, \mu_Q\)：分布 \(P\) 和 \(Q\) 的核均值嵌入。
- \(V_P, V_Q\)：分布 \(P\) 和 \(Q\) 的语义特征方差。
- \(\mu_{\Sigma_P}, \mu_{\Sigma_Q}\)：分布 \(P\) 和 \(Q\) 的协方差矩阵的核均值嵌入。
- \(n, m\)：参考集和查询集的样本量。
- \(\alpha\)：显著性水平，即假阳性率的上限。
- \(t_\alpha\)：检验阈值，由置换检验确定。
- \(\epsilon\)：对抗性扰动的预算（\(\ell_p\) 范数约束）。
- \(K\)：计算 PCD 时，对每个样本施加的高斯扰动次数。
- \(B\)：用于估计统计量相关性的自助法（bootstrap）重抽样次数。
- \(R\)：置换检验中的置换次数。
模型：
- 数据生成机制：CE \(x\) 来自一个未知的干净数据分布 \(P\)。AE \(y\) 是通过在 CE \(x\) 上添加一个小的、有目的的扰动 \(\zeta\) 生成的，即 \(y = x + \zeta\)，其中 \(\zeta\) 通过求解一个优化问题（如公式 1）得到，旨在使分类器 \(f\) 误分类。
- 统计模型：SAD 是一个非参数的双样本检验问题。我们不对 \(P\) 和 \(Q\) 的参数形式做任何假设。检验基于从 \(P\) 和 \(Q\) 中抽取的独立样本 \(X\) 和 \(Y\)。
- 已知量：分类器 \(f\) 是已知的（白盒设定），我们可以访问其语义特征。参考集 \(X\) 是已知的、干净的。
- 待估对象：我们想要判断 \(Q\) 是否等于 \(P\)。这通过计算一个检验统计量 \(T(X, Y)\) 并比较其与零分布下的阈值来实现。
可观测数据：
- 可观测：研究者可以观测到参考集 \(X = \{x_i\}_{i=1}^n\) 和查询集 \(Y = \{y_j\}_{j=1}^m\)。对于每个样本，可以提取其语义特征 \(f(x_i)\) 和 \(f(y_j)\)。
- 潜在/不可观测：我们无法直接观测到 \(P\) 和 \(Q\) 的真实分布。我们也不知道 \(Y\) 中哪些样本是 AE，哪些是 CE（在 \(H_1\) 下，\(Y\) 是一个混合分布）。我们想要推断的是 \(Q\) 是否与 \(P\) 不同，而不是识别出 \(Y\) 中的每一个 AE。

第二步：讲最小内核¶

本文的核心思路是：AE 的分布 \(Q\) 与 CE 的分布 \(P\) 的差异，不仅体现在均值（一阶矩）上，更显著地体现在方差（二阶矩）和局部扰动敏感性（一种高阶或局部性质）上。因此，与其使用对均值敏感的 MMD，不如直接构造对方差差异和局部协方差差异敏感的统计量。

最简特例：一维特征空间，比较方差差异

假设我们只考虑一个一维的语义特征（\(q=1\)），并且我们只使用 VD 统计量。

设定：
- 参考集 \(X = \{x_1, ..., x_n\}\)，其语义特征为 \(\{f(x_i)\}\)，服从分布 \(P\)。
- 查询集 \(Y = \{y_1, ..., y_m\}\)，其语义特征为 \(\{f(y_j)\}\)，服从分布 \(Q\)。
- 我们使用一个简单的线性核 \(\ell(a, b) = a \cdot b\)。
计算 VD：
- 首先，计算 \(P\) 和 \(Q\) 的方差：
  - \(V_P = \mathbb{E}_{x \sim P}[f(x)^2] - (\mathbb{E}_{x \sim P}[f(x)])^2\)
  - \(V_Q = \mathbb{E}_{y \sim Q}[f(y)^2] - (\mathbb{E}_{y \sim Q}[f(y)])^2\)
- 然后，VD 统计量定义为方差之差的平方：\(\text{VD}(P, Q) = (V_P - V_Q)^2\)。
- 其经验估计为：
  - \(\hat{V}(X) = \frac{1}{n}\sum_i f(x_i)^2 - \left(\frac{1}{n}\sum_i f(x_i)\right)^2\)
  - \(\hat{V}(Y) = \frac{1}{m}\sum_j f(y_j)^2 - \left(\frac{1}{m}\sum_j f(y_j)\right)^2\)
  - \(\widehat{\text{VD}}(X, Y) = (\hat{V}(X) - \hat{V}(Y))^2\)
核心思路：
- 假设 AE 的生成过程（如 PGD）使得它们的语义特征分布 \(Q\) 比 CE 的分布 \(P\) 更“分散”。例如，\(P\) 是均值为 0、方差为 1 的正态分布，而 \(Q\) 是均值为 0、方差为 2 的正态分布。
- 在这种情况下，MMD（使用高斯核）可能很难区分 \(P\) 和 \(Q\)，因为它们的均值相同（均为 0），且 MMD 的有限样本功效依赖于核的选择。如果核的带宽选择不当，MMD 可能无法捕捉到方差的变化。
- 然而，VD 统计量直接计算方差差异，因此 \(\text{VD}(P, Q) = (1-2)^2 = 1 > 0\)，能够明确地检测到分布差异。
- 通过置换检验，我们可以确定 \(\widehat{\text{VD}}(X, Y)\) 是否显著大于在 \(H_0\)（即 \(P=Q\)）下可能出现的值。如果显著，我们就拒绝 \(H_0\)，认为 \(Y\) 是 AE。

这个最简例子揭示了本文的核心数学思想：与其通过复杂的核技巧间接推断分布差异，不如直接构造对 AE 特有属性（如方差变化）敏感的统计量。 这比 MMD 更直接、更高效，尤其是在样本量小的时候。PCD 统计量是这一思想的推广，它通过比较局部扰动下的协方差矩阵，来捕捉更精细的、样本级别的“局部不确定性”差异。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：本文研究了统计对抗性检测（SAD）中，现有基于最大均值差异（MMD）的方法对对抗样本（AE）特有的不确定性模式（全局方差和局部扰动敏感性）不敏感，导致在小样本场景下检测功效低下的问题。
核心工具/方法：本文提出了不确定性感知统计对抗性检测（USAD），它包含两个新的检验统计量：方差差异（VD） 用于捕捉全局不确定性差异，和基于扰动的协方差差异（PCD） 用于捕捉局部不确定性差异。USAD 通过一个相关性感知的加权聚合（借鉴 DUAL 框架）将 VD 和 PCD 结合成一个统一的检验统计量。
主要结论：在 CIFAR-10 和 ImageNet-1K 数据集上，USAD 在多种未见过的攻击（AA, BIM, CW, FGSM, PGD）、不同扰动预算、不同批次大小（低至 \(|Y|=10\)）和不同 CE/AE 混合比例下，一致且显著地优于基于 MMD 的基线方法（SAMMD, MMDAgg, MMD-FUSE, MMD-DUAL），同时保持了严格的假阳性率控制。

关键设定与假设¶

SAD 设定：将对抗性检测视为一个双样本假设检验问题（公式 2）。参考集 \(X\) 完全由 CE 组成。查询集 \(Y\) 可能包含 CE 和 AE 的混合。检验目标是判断 \(Y\) 的分布 \(Q\) 是否偏离了 \(X\) 的分布 \(P\)。
特征空间：所有统计量（MMD, VD, PCD）都在分类器 \(f\) 的语义特征空间（通常是倒数第二层）中计算，而非原始像素空间。这是一个关键假设，因为语义特征被认为更能捕捉到 AE 的分布差异。
核函数：VD 使用核 \(\ell\)，PCD 使用核 \(\rho\)。本文在实验中使用高斯核和 log-RBF 核，并通过中位数启发式选择带宽。这是一个标准但重要的假设，核的选择会影响检验功效。
PCD 的扰动机制：PCD 假设对每个样本施加 \(K\) 个独立同分布的高斯扰动 \(\delta_k \sim \mathcal{N}(0, \sigma^2 I)\)，并基于这些扰动下的特征响应计算协方差矩阵 \(\Sigma_x\)。\(\sigma\) 和 \(K\) 是超参数（本文设 \(\sigma=1/255, K=200\)）。
相关性估计：USAD 的聚合权重依赖于 VD 和 PCD 在零假设下的相关性矩阵 \(\hat{\Sigma}_A\)。这个矩阵是通过一个独立的、干净的校准集 \(X_{\text{cal}}\) 进行自助法（bootstrap）估计的。这假设存在一个额外的干净数据集用于校准。
相比已有文献的放宽/强化：
- 放宽：相比单样本检测方法（如 LID），USAD 不假设攻击类型或分类器结构，是“攻击无关”的。
- 强化：相比 MMD-based SAD，USAD 明确假设 AE 会改变分布的不确定性模式（方差和局部协方差），并为此设计了专门的统计量。这使得 USAD 在 AE 主要改变分布形状而非均值时，比 MMD 更有效。

主要结果¶

定理 1 (Type-I Error Control)：VD、PCD 和 USAD 与置换检验结合时，在显著性水平 \(\alpha\) 下，能够控制假阳性率不超过 \(\alpha\)。这是 SAD 方法的基本要求，保证了方法的统计有效性。
定理 2 (VD 的检验功效)：在备择假设 \(H_1^V: V_P \neq V_Q\) 下，当 \(n, m \to \infty\) 且 \(n/m \to c \in (0, \infty)\) 时，VD 检验的功效趋近于 1。这证明了 VD 是一个一致的检验。
定理 3 (PCD 的检验功效)：在备择假设 \(H_1^C: \mu_{\Sigma_P} \neq \mu_{\Sigma_Q}\) 下，当 \(n, m \to \infty\) 时，PCD 检验的功效趋近于 1。这证明了 PCD 也是一个一致的检验。
推论 4 (USAD 的检验功效)：如果 \(H_1^V\) 或 \(H_1^C\) 中至少一个成立，当 \(n, m \to \infty\) 时，USAD 检验的功效趋近于 1。这保证了聚合后的 USAD 继承了其组成部分的一致性。
实证结果：
- 小样本优势：在 \(|Y|=10\) 的极端小样本场景下，USAD 对 PGD 攻击（\(\epsilon=4/255\)）的检测功效达到 1.0，而最强的 MMD 基线（MMD-DUAL）仅为 0.752，SAMMD 仅为 0.292（表 1）。
- 对自适应攻击的鲁棒性：在面对专门为最小化 USAD 统计量而设计的自适应 PGD 攻击时，USAD 在 \(|Y|=10\) 时仍能达到 0.818 的功效，显著优于 VD（0.186）和 PCD（0.388）单独使用时的表现（表 2）。
- 对 CE 混合比例的鲁棒性：当查询批次中 CE 比例高达 80% 时，USAD 仍能保持 0.350 的检测功效，而所有 MMD 基线均低于 0.1（表 3）。
- 跨攻击、跨模型、跨范式的泛化能力：在 \(\ell_\infty\)、\(\ell_2\)、\(\ell_0\)、\(\ell_1\) 攻击下，在 ResNet、ViT、WideResNet 等不同架构上，以及在迁移攻击和视频检测任务中，USAD 均表现出色（图 3, 4, 表 4-11）。

证明路线与技术技巧¶

整体路线：
1. 定义统计量：首先，严格定义 VD 和 PCD 的总体版本和经验版本。VD 是方差之差的平方，PCD 是协方差矩阵的 MMD。
2. 证明 Type-I 误差控制：利用置换检验的可交换性（exchangeability）性质。在 \(H_0\) 下，\(X\) 和 \(Y\) 的样本是独立同分布的，因此将它们的标签随机置换后，新形成的“参考集”和“查询集”的联合分布不变。基于此，可以证明通过置换得到的 \(p\) 值是超均匀的（super-uniform），从而控制假阳性率（附录 B, D.1）。
3. 证明检验功效一致性：
  - 将 VD 和 PCD 的估计量表示为U-统计量（U-statistics）的形式（附录 D.2, D.3）。
  - 利用 Hoeffding 不等式（定理 6）证明，在备择假设下，经验 VD 和 PCD 会依概率收敛到其总体版本的正值。
  - 利用 Kim et al. (2022) 关于置换 U-统计量的集中不等式（定理 7）证明，在零假设下，置换后的统计量会依概率收敛到 0。
  - 通过 Slutsky 定理，比较观测到的统计量（收敛到正值）和置换分布的分位数（收敛到 0），得出检验功效趋近于 1 的结论。
4. 证明 USAD 的一致性：基于 VD 和 PCD 的一致性，以及聚合矩阵 \(\hat{\Sigma}_A\) 是固定的，证明 USAD 统计量在备择假设下收敛到正值，在零假设下收敛到 0，从而功效趋近于 1（附录 D.4）。
关键跳跃点：
- 从 MMD 到 VD/PCD 的跳跃：这是概念上的关键。作者没有试图改进 MMD 的核或估计方法，而是从根本上改变了要捕捉的分布特征（从一阶矩到二阶矩和局部结构）。这个跳跃的动机来自于对 AE 特性的深入分析（Factor 1 和 Factor 2）。
- PCD 的构造：将“局部不确定性”量化为“高斯扰动下的特征协方差矩阵”，并进一步用 MMD 来比较这些协方差矩阵的分布。这是一个巧妙的两步法，将局部性质转化为全局分布比较问题。
- 相关性感知聚合：作者没有简单地将 VD 和 PCD 相加，而是借鉴 DUAL 框架，通过估计它们在零假设下的相关性矩阵 \(\hat{\Sigma}_A\) 来构建一个二次型统计量 \(T^A = T^\top \hat{\Sigma}_A^{-1} T\)。这个跳跃解决了两个统计量可能高度相关的问题，使得聚合后的统计量能更有效地利用互补信息。
技术技巧点名：
- U-统计量：用于无偏估计 VD 和 PCD 的总体值，并利用其渐近性质进行理论分析。
- Hoeffding 不等式：用于证明 U-统计量在备择假设下的收敛性。
- Kim et al. (2022) 的置换 U-统计量集中不等式：用于证明置换后的统计量在零假设下收敛到 0。这是证明检验功效一致性的关键工具。
- Slutsky 定理：用于结合观测统计量和置换分布分位数的收敛性，得出功效收敛的结论。
- 置换检验：用于非参数地估计零分布，控制假阳性率。
- 自助法（Bootstrap）：用于从独立的校准集中估计 VD 和 PCD 的相关性矩阵 \(\hat{\Sigma}_A\)。

真实例子与应用¶

数据/场景：CIFAR-10 和 ImageNet-1K 图像分类任务。使用的分类器包括 ResNet-18/50 和 ViT-B-16。
方法应用：
1. 从分类器 \(f\) 的倒数第二层提取 CE 参考集 \(X\) 和查询集 \(Y\) 的语义特征。
2. 对于 VD：直接计算两个特征集的方差，并求其差的平方。
3. 对于 PCD：对 \(X\) 和 \(Y\) 中的每个样本，施加 \(K=200\) 次高斯噪声，提取扰动后的特征，计算每个样本的 \(q \times q\) 协方差矩阵 \(\Sigma\)。然后，计算这些协方差矩阵集合之间的 MMD。
4. 对于 USAD：使用一个独立的校准集 \(X_{\text{cal}}\) 通过自助法估计 VD 和 PCD 的相关性矩阵 \(\hat{\Sigma}_A\)。然后，将 VD 和 PCD 的值组合成二次型 \(T^A\)。
5. 对所有统计量（VD, PCD, USAD）进行置换检验，得到 \(p\) 值，并与显著性水平 \(\alpha=0.05\) 比较。
结果：如上“主要结果”所述，USAD 在所有评估场景下都显著优于基线方法。
例子想说明什么：
- 图 1：说明 MMD 对 AE 和 CE 之间的方差差异不敏感，为提出 VD 提供了直接动机。
- 表 1：说明 USAD 在小样本场景下的巨大优势，这是本文的核心贡献。
- 表 2：说明 USAD 对自适应攻击的鲁棒性，特别是聚合策略（USAD）比单一统计量（VD 或 PCD）更鲁棒。
- 表 3：说明 USAD 在 AE 被 CE“稀释”时仍能保持一定的检测能力，更贴近实际场景。

🔎 结论是否比证明窄¶

定理 2 和 3 的证明：证明 VD 和 PCD 的检验功效在 \(n, m \to \infty\) 时趋近于 1。这是一个渐近结果。论文在实证中展示了在小样本（如 \(n=m=10\)）下的优势，但理论证明并未覆盖这种小样本情况。作者在 Remark 1 中讨论了混合比例的影响，但并未给出小样本下功效的有限样本界。
对自适应攻击的鲁棒性：论文在实证中展示了 USAD 对一种特定的自适应 PGD 攻击具有鲁棒性。然而，没有理论保证 USAD 对所有可能的自适应攻击都是鲁棒的。作者在结论中承认“我们的方法在面对精心设计的自适应攻击时仍然保持鲁棒”，但这是一个基于实验的 claim，而非理论证明。
聚合框架的通用性：Corollary 4 的证明依赖于 VD 和 PCD 的一致性。作者在 Remark 1 中声称“聚合框架是通用的，可以包含额外的统计量，如 MMD”。然而，论文并未证明当加入 MMD 或其他统计量时，聚合后的 USAD 是否仍然能控制 Type-I 误差并保持一致性。这需要额外的理论分析。

四、开放问题¶

有限样本下的理论保证：本文证明了 VD、PCD 和 USAD 的渐近一致性。一个重要的开放问题是，能否为这些统计量在有限样本下（特别是小 \(n, m\) 时）的检验功效提供非渐近的下界？这需要更精细的浓度不等式分析。扎根点：定理 2, 3 和推论 4 的证明依赖于 \(n, m \to \infty\) 的渐近条件。
对更广泛自适应攻击的理论鲁棒性：本文仅实证评估了一种特定的自适应 PGD 攻击。一个核心的开放问题是：是否存在一个理论框架来刻画 SAD 方法（特别是 USAD）对一类自适应攻击的鲁棒性？例如，能否证明在某种计算约束下，不存在一个自适应攻击可以同时最大化分类损失并最小化 USAD 统计量？这涉及到统计-计算权衡。扎根点：第 6 节“Performance against Adaptive Attack”和附录 E.3 中描述的自适应攻击。
聚合框架的理论扩展：本文的 USAD 聚合了 VD 和 PCD。一个自然的扩展是：如何理论上保证当聚合更多不同类型的统计量（如 MMD、LID 的批次版本等）时，USAD 的 Type-I 误差控制和检验功效？特别是，当加入一个“弱”统计量时，是否会损害整体性能？扎根点：Remark 1 中声称“聚合框架是通用的，可以包含额外的统计量，如 MMD”，但未提供理论证明。
与高阶 U-统计量的潜在联系：本文的 VD 和 PCD 本质上都是二阶 U-统计量（或可转化为 U-统计量）。一个更深层的开放问题是：能否利用高阶 U-统计量（如三阶或四阶）来捕捉 AE 更细微的分布特征（如偏度、峰度或更复杂的相关性结构）？这与研究者的高阶 U-统计量工作有潜在联系。扎根点：附录 D 中 VD 和 PCD 被表示为 U-统计量。

Maintained by 陈星宇 · Homepage · Source on GitHub