Adversarially robust multiple testing in high dimensions¶

作者: Anders Bredahl Kock, David Preinerstorfer
主题: 数理统计 / 假设检验
相关性: 7/10
链接: https://arxiv.org/abs/2607.29507

一、领域脉络与小综述¶

这个方向是什么¶

本文研究的核心问题是：在高维（维度 d 可随样本量 n 指数增长）且数据可能遭受对抗性污染（adversarial contamination）的设定下，如何对均值向量的坐标进行多重假设检验（multiple testing），并近似控制族系错误率（FWER）。这是一个将“稳健统计”（robust statistics）与“高维多重检验”交叉的子方向。其成熟度处于早期发展阶段：稳健统计在均值估计和全局检验上已有较成熟的理论，但将其系统性地扩展到多重检验（尤其是 step-down 程序）并给出有限样本 FWER 上界的工作，本文是首篇。

发展脉络（history）¶

奠基工作：高维均值检验与高斯近似
- Chernozhukov et al. (2013)：建立了基于算术均值（arithmetic mean）的高维高斯近似理论，并利用 Romano & Wolf (2005) 的 step-down 方法构造了多重检验程序。这是本文的直接方法学起点。留下的口子：该方法对矩条件要求较强（通常需要次指数尾），且对对抗性污染完全不稳健——单个异常值即可破坏算术均值。
- Romano & Wolf (2005)：提出了通用的 step-down 多重检验框架，为本文的算法设计提供了蓝图。
主要进展：稳健均值估计与高维高斯近似
- Lugosi & Mendelson (2021)：证明了修剪均值（trimmed mean）在对抗性污染下对均值向量的最优估计性质。留下的口子：该工作聚焦于估计，而非假设检验，更未涉及多重检验。
- Kock & Preinerstorfer (2025a, 2025b, 2026b)：这是本文作者的前期系列工作，构成了本文的直接技术基础。
  - Kock & Preinerstorfer (2025b)：建立了分位数-缩尾均值（quantile-winsorized mean）在对抗性污染下的估计理论。
  - Kock & Preinerstorfer (2025a)：证明了高维缩尾均值的高斯近似不等式，允许 d 指数增长且仅需略高于二阶矩。这是本文单样本结果的核心工具。
  - Kock & Preinerstorfer (2026b)：将上述结果用于全局零假设（global null）的检验，并证明“稳健性不损失一阶渐近势”（robustness for free）。留下的口子：该工作只检验“所有坐标均值是否全为零”，不回答“哪些坐标不为零”——这正是本文要解决的多重检验问题。
当前 Frontier 与本文位置
- Resende (2024), Liu & Lopes (2024)：独立地发现了稳健均值在高维高斯近似中的优势（更好的维度依赖、更弱的矩条件）。这些工作与 Kock & Preinerstorfer 系列平行，但未涉及多重检验。
- 本文：将 Kock & Preinerstorfer (2025a, 2026b) 的高斯近似结果与 Romano & Wolf (2005) 的 step-down 框架结合，首次构造了对抗性稳健的高维多重检验程序，并给出了 FWER 的有限样本上界。同时，本文还将单样本结果扩展到了双样本情形，为此发展了新的双样本高斯近似定理和协方差估计量。

子线索聚类¶

稳健均值估计与推断：Lugosi & Mendelson (2021), Minsker & Ndaoud (2021), Depersin & Lecué (2022), Kock & Preinerstorfer (2025b)。这一簇的核心是构造对污染不敏感的均值（及协方差）估计量，并研究其最优性。
高维高斯近似与 Bootstrap：Chernozhukov et al. (2013, 2017), Zhang & Wu (2017), Kock & Preinerstorfer (2024, 2025a), Resende (2024), Liu & Lopes (2024)。这一簇研究如何用高斯分布或 Bootstrap 近似高维统计量的分布，核心挑战是维度与矩条件之间的权衡。
高维均值检验：Bai & Saranadasa (1996), Cai et al. (2014), Xue & Yao (2020), Kock & Preinerstorfer (2026b)。这一簇关注全局或两样本均值检验，但大多基于非稳健的算术均值。
多重检验：Romano & Wolf (2005), Belloni et al. (2018)。这一簇提供通用的多重检验框架（如 step-down），但通常假设基础检验统计量有良好的性质（如高斯近似）。

这个方向在追问的核心问题¶

如何在高维且污染存在的设定下，构造一个既能控制 FWER 又具有良好势（power）的多重检验程序？
稳健估计（如缩尾均值）带来的“稳健性红利”是否能从全局检验无损地迁移到多重检验？ 即，是否也能实现“robustness for free”？
在双样本情形下，如何构造稳健的协方差估计量（池化或非池化），并建立相应的两样本高斯近似定理？
当 Bootstrap 临界值必须通过蒙特卡洛近似时，如何将这种近似误差显式地纳入 FWER 的理论分析中？

⚠️ 作者的 framing¶

作者的缺口 frame：作者将缺口 frame 为“现有高维多重检验（Chernozhukov et al., 2013）不稳健，而现有稳健方法（Kock & Preinerstorfer, 2026b）只处理全局检验”。因此，将稳健估计与多重检验结合是“显然的下一步”。
被淡化的竞争路线：作者淡化了基于中位数（median）或其它稳健估计量的多重检验路线。文中只引用了基于算术均值的 Chernozhukov et al. (2013)，并指出其不稳健。对于其他可能的稳健多重检验方法（如基于 U-统计量的），文中未作讨论。
值得研究者去查的问题：为什么没有引用基于“中位数”或“M-估计”的高维多重检验工作？ 是否存在这类工作？如果存在，它们与本文的缩尾方法在理论保证（如矩条件、维度依赖）和计算复杂度上有何差异？这可能是作者有意回避的竞争路线，值得去检索确认。

张力¶

未见明显对立引用。所有被引工作基本沿着“非稳健 → 稳健”、“全局检验 → 多重检验”的线性发展脉络展开，彼此之间没有在核心假设或结论上出现矛盾。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
- d：维度（假设数量）。
- n_X, n_Y：单样本和双样本情形下的样本量。
- X_i, Y_i：原始的、未被污染的 i.i.d. d 维随机向量。
- µ_X, µ_Y：X_i, Y_i 的均值向量（参数/estimand）。
- Σ_X, Σ_Y：X_i, Y_i 的协方差矩阵。
- ˜X_i, ˜Y_i：被对抗性污染后，研究者实际观测到的随机向量。
- η_X, η_Y：已知的、非随机的污染比例上界（η ∈ [0, 1/2)）。
- ε_X, ε'_X：缩尾参数（winsorization parameters），由 η_X, d, n_X 和调优参数 λ 决定（见公式 (3)）。
- S^{†,X}_W：基于缩尾均值的 d 维统计量（未归一化）。
- S^X_W：归一化后的缩尾均值统计量（S^{†,X}_W 除以估计的标准差 ˜σ^X_j）。
- ˜Σ_X：基于缩尾的协方差矩阵估计量。
- ˜Σ^X_0：由 ˜Σ_X 导出的相关矩阵（correlation matrix）。
- c_{β, A}：标准正态分布 max_{j∈A} |Z_j| 的 β 分位数（Z ~ N(0, I_d)）。
- c_{β, A}(˜Σ_0)：给定估计的相关矩阵 ˜Σ_0 后，max_{j∈A} |(˜Σ_0^{1/2} Z)_j| 的条件 β 分位数。
- J(µ_X)：真实零假设的指标集，即 {j: µ^X_j = 0}。
- ˆΠ：多重检验程序输出的、被判定为“不拒绝”的指标集（即认为 µ_j = 0 的坐标集）。
- FWER：族系错误率，即 P(J(µ_X) ⊄ ˆΠ)（至少有一个真零假设被错误拒绝的概率）。
模型：
- 数据生成：X_1, ..., X_{n_X} 是 i.i.d. 的 d 维随机向量，其分布仅需满足：存在 m_X > 2 阶矩，且各坐标的方差有正下界，m_X 阶中心矩有上界（Assumption 2.1）。
- 污染模型：一个“对手”在观察原始数据后，可以任意篡改至多 ⌊η_X n_X⌋ 个观测值。研究者只能看到被篡改后的 ˜X_i，且知道 η_X。
- 目标：检验 H_{0,j}: µ^X_j = 0 vs H_{1,j}: µ^X_j ≠ 0，并控制 FWER。
可观测数据：
- 可观测：被污染的样本 ˜X_1, ..., ˜X_{n_X}，以及污染比例上界 η_X。
- 不可观测：原始样本 X_1, ..., X_{n_X}，哪些观测被污染、如何被污染，以及真实的均值 µ_X 和协方差 Σ_X。

第二步：讲最小内核¶

本文的最小内核是单样本情形下，基于“最坏情况”临界值（worst-case critical values）的 step-down 多重检验程序（Algorithm 1）。它剥离了 Bootstrap 和协方差估计的复杂性，直接展示了核心思想。

最简特例：假设 d=2，n_X 较大，η_X=0（无污染），且 X_i 的坐标独立同分布（即 Σ_X = I_2）。此时，缩尾参数 ε_X 主要由 log(dn_X)/n_X 项决定，很小。缩尾均值 S^X_W 近似于归一化的样本均值。
核心思路：
1. 构造检验统计量：对每个坐标 j，计算归一化的缩尾均值 S^X_{W,j}。在原假设 H_{0,j} 下，S^X_{W,j} 应近似于标准正态分布。
2. 确定临界值：为了控制 FWER，需要找到一个临界值 c，使得 P( max_{j∈J(µ_X)} |S^X_{W,j}| > c ) ≤ α。由于 J(µ_X) 未知，最保守的做法是假设所有 d 个坐标都是零假设，并使用 c_{1-α, [d]}，即 max_{j=1,...,d} |Z_j| 的 (1-α) 分位数（Z ~ N(0, I_d)）。这就是“最坏情况”临界值，因为它假设了最坏的相关结构（独立）。
3. Step-down 过程：
  - Step 0：令 ˆΠ_0 = {1, ..., d}。计算 c_{1-α, ˆΠ_0}。拒绝所有 |S^X_{W,j}| > c_{1-α, ˆΠ_0} 的假设。令 ˆΠ_1 为未被拒绝的假设集。
  - Step k：令 ˆΠ_k 为上一轮未被拒绝的假设集。计算 c_{1-α, ˆΠ_k}（注意，|ˆΠ_k| < |ˆΠ_{k-1}|，所以 c_{1-α, ˆΠ_k} ≤ c_{1-α, ˆΠ_{k-1}}，临界值变小了）。拒绝所有 |S^X_{W,j}| > c_{1-α, ˆΠ_k} 的假设。更新 ˆΠ_{k+1}。
  - 终止：当没有新的假设被拒绝时，停止。最终输出的 ˆΠ 就是所有未被拒绝的假设。
为什么这样能控制 FWER？
- 关键在于，在 step-down 过程的每一步，当我们在检查当前集合 ˆΠ_k 时，J(µ_X) 一定是 ˆΠ_k 的子集（因为我们从未错误地拒绝过真零假设，这是归纳假设）。
- 因此，max_{j∈J(µ_X)} |S^X_{W,j}| ≤ max_{j∈ˆΠ_k} |S^X_{W,j}|。
- 而临界值 c_{1-α, ˆΠ_k} 是 max_{j∈ˆΠ_k} |Z_j| 的分位数。由于 |ˆΠ_k| ≥ |J(µ_X)|，根据单调性（公式 (14)），c_{1-α, ˆΠ_k} ≥ c_{1-α, J(µ_X)}。
- 所以，只要 P( max_{j∈J(µ_X)} |S^X_{W,j}| > c_{1-α, J(µ_X)} ) ≤ α，那么整个 step-down 过程的 FWER 就近似被 α 控制。而 S^X_{W,j} 的高斯近似性质（Theorem A.2）保证了这一点。
这个最小内核揭示了什么？
- 本文的核心技术贡献不是 step-down 框架本身（那是 Romano & Wolf (2005) 的），而是证明了缩尾均值 S^X_W 满足进行 step-down 所需的高斯近似性质，并且这种性质在对抗性污染和弱矩条件下依然成立。
- Algorithm 1 是最简单的实现，它避免了协方差估计，直接使用独立正态的分位数，因此是保守的。Algorithm 2 和 3 则通过估计相关矩阵来减少保守性，但代价是增加了技术复杂性（需要处理数据依赖的临界值）。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在高维（d 可指数增长）且数据可能遭受对抗性污染的设定下，如何构造单样本和双样本的多重检验程序，以近似控制 FWER。
核心工具/方法：基于分位数-缩尾（quantile-winsorization）技术构造稳健的均值和协方差估计量，并利用这些估计量的高维高斯近似性质，结合 Romano & Wolf (2005) 的 step-down 框架，构造了三种类型的程序（基于最坏情况临界值、基于精确高斯临界值、基于 Bootstrap 近似临界值）。
主要结论：为所有提出的程序（Algorithm 1-6）提供了 FWER 的有限样本上界（Theorems 2.1, 2.2, 2.4, 3.6, 3.7, 3.8）。这些上界在仅需略高于二阶矩的条件下，收敛到名义水平 α，且允许 d 指数增长、污染比例 η 发散。此外，为双样本情形发展了新的高斯近似定理（Theorem 3.3, 3.4）和协方差估计量（Proposition 3.1）。

关键设定与假设¶

Assumption 2.1 (单样本)：
- X_i i.i.d.，E|X_{1,j}|^{m_X} < ∞ 对某个 m_X ∈ (2, ∞) 成立。
- 各坐标方差有正下界 b^X_1，m_X 阶中心矩有上界 b^X_2。
- 观测到的是被污染的 ˜X_i，且污染比例不超过已知的 η_X。
- 含义：这是非常弱的矩条件（仅比二阶矩多一点），远弱于 Chernozhukov et al. (2013) 所需的次指数条件。η_X 是已知的，这是对抗性污染文献的标准设定。
Assumption 2.2 (渐近 regime)：
- √(n_X) log(d) η_X^{1 - 1/m_X} → 0 且 log(d) / n_X^{(m_X-2)/(5m_X-2)} → 0。
- 含义：第一个条件限制了污染比例 η_X 的衰减速度；第二个条件允许 d 随 n_X 指数增长（因为 log(d) = o(n_X^c)）。这是保证 FWER 上界收敛到 α 的充分条件。
Assumption 3.1 & 3.2 (双样本)：与 Assumption 2.1 类似，但分别应用于 X 和 Y 样本，并假设两个被污染的样本相互独立。
Assumption 3.3 (双样本渐近 regime)：是 Assumption 2.2 在双样本下的直接推广。

主要结果¶

Theorem 2.1 (单样本，Algorithm 1)：FWER 上界为 α + C × (A^X_{n_X} + B^X_{n_X})。其中 A^X 和 B^X 是依赖于 d, n_X, η_X, m_X 的误差项（公式 (20)），在 Assumption 2.2 下收敛到 0。直觉：使用最坏情况临界值（独立正态分位数）的 step-down 程序，其 FWER 被名义水平加上高斯近似误差所控制。
Theorem 2.2 (单样本，Algorithm 2)：FWER 上界为 α + C × (A^X_{n_X} + B^X_{n_X} + C^X_{n_X})。多出的 C^X_{n_X} 项（log(d) × √(d^X_{n_X})）来自于用估计的相关矩阵 ˜Σ^X_0 替代真实相关矩阵 Σ^X_0 所产生的误差（通过 Proposition B.1 量化）。直觉：使用数据依赖的临界值会引入额外的估计误差，但仍在可控范围内。
Theorem 2.4 (单样本，Algorithm 3)：FWER 上界为 α + B^{-1} + C × (A^X_{n_X} + B^X_{n_X} + C^X_{n_X})。多出的 B^{-1} 项来自于用 B 个 Bootstrap 样本的次序统计量来近似真实分位数（通过 Lemma 2.3 量化）。直觉：这是第一个将 Bootstrap 近似误差显式纳入 FWER 分析的理论结果，具有重要的实践意义。
Theorem 3.3 & 3.4 (双样本高斯近似)：证明了基于缩尾均值的双样本统计量 S^{†,∆}_W 和归一化版本 S^∆_W 可以用高斯分布近似，近似误差由 A^X_{n_X} + A^Y_{n_Y} 和 A^X_{n_X} + A^Y_{n_Y} + B^∆ 控制。这是本文在双样本情形下的核心技术贡献。
Theorem 3.6, 3.7, 3.8 (双样本多重检验)：分别是 Algorithm 4, 5, 6 的 FWER 上界，结构与单样本情形完全对应，只是误差项替换为双样本版本。

证明路线与技术技巧（以 Theorem 2.2 为例）¶

整体路线：
1. 第一步：将 FWER 事件转化为统计量超过临界值的事件。通过 step-down 过程的单调性，证明 {J(µ) ⊄ ˆΠ_B} ⊆ { max_{j∈J(µ)} |S_{W,j}| > c_{1-α, J(µ)}(˜Σ_0) }。
2. 第二步：处理数据依赖的临界值。由于 c_{1-α, J(µ)}(˜Σ_0) 依赖于数据，不能直接应用高斯近似定理（该定理是对固定超矩形成立的）。因此，使用 Proposition B.1 将 c_{1-α, J(µ)}(˜Σ_0) 与一个数据独立的临界值 c_{(1-α-s_n)∨0, J(µ)}(Σ_0) 联系起来，其中 s_n 是 ˜Σ_0 估计 Σ_0 的误差。这一步是关键跳跃点。
3. 第三步：应用高斯近似。在 c_{1-α, J(µ)}(˜Σ_0) ≥ c_{(1-α-s_n)∨0, J(µ)}(Σ_0) 的高概率事件上，将概率上界转化为 P( max_{j∈J(µ)} |S_{W,j}| > c_{(1-α-s_n)∨0, J(µ)}(Σ_0) )。然后应用 Theorem A.2（单样本缩尾均值的高斯近似），将 S_{W,j} 替换为高斯向量 Z。
4. 第四步：利用 Khatri-Šidák 不等式。P( max_{j∈J(µ)} |Z_j| > c_{(1-α-s_n)∨0, J(µ)}(Σ_0) ) ≤ (1-α) + s_n。这是因为 c_{·, J(µ)}(Σ_0) 是基于相关矩阵 Σ_0 的分位数，而 c_{·, J(µ)} 是基于独立正态的分位数，且 c_{·, J(µ)}(Σ_0) ≤ c_{·, J(µ)}。
5. 第五步：合并误差项。将高斯近似误差、协方差估计误差、以及概率为 24/n 的坏事件概率合并，得到最终的 FWER 上界。
关键跳跃点：Proposition B.1 的证明。它需要证明，如果协方差估计量 ˜Σ 在最大范数下足够接近 Σ，那么基于 ˜Σ 的条件分位数 c_{β, A}(˜Σ_0) 与基于 Σ 的分位数 c_{β, A}(Σ_0) 也足够接近。这本质上是一个关于分位数函数的 Lipschitz 性质，证明依赖于高斯过程的浓度不等式和反函数定理。
技术技巧点名：
- 分位数-缩尾（Quantile-winsorization）：核心的稳健化技术，通过截断极端观测值来抵抗污染。
- 高维高斯近似不等式：来自 Kock & Preinerstorfer (2025a)，是连接缩尾统计量和正态分布的关键工具。
- Step-down 过程：来自 Romano & Wolf (2005)，是多重检验的标准框架。
- Khatri-Šidák 不等式：用于处理相关正态随机变量最大值分布的尾部概率，是得到最坏情况临界值的基础。
- Proposition B.1 (分位数比较引理)：处理数据依赖临界值的核心技巧，将估计误差转化为分位数误差。
- Lemma 2.3 (Bootstrap 分位数引理)：将 Bootstrap 蒙特卡洛近似误差显式地纳入理论分析，通过二项分布分位数来保证经验分位数以高概率超过真实分位数。

真实例子与应用¶

本文为纯理论，无实证例子。 文中没有模拟实验或真实数据分析。作者在 Remark 2.1 中给出了调优参数 λ 的建议值（λ_{1,X}=1.01, λ_{2,X}=0.1, λ'_{2,X}=0.07），并指出这些建议基于 Kock & Preinerstorfer (2025a) 的数值结果。Tables 1-4 展示了不同 B, α, d 下 m(B,α,d)/B 的值，但这只是为 Algorithm 3 和 6 的实践者提供参考，并非实证研究。

🔎 结论是否比证明窄¶

窄的地方：所有 FWER 上界都是有限样本上界，但包含未知常数 C。因此，这些上界的主要价值在于定性地揭示 FWER 如何依赖于 d, n, η, m 等参数，以及证明其在特定渐近 regime 下收敛到 α。它们不能直接用于实际中计算精确的 p 值或调整临界值。
泛化的地方：作者在结论（Section 4）中声称“我们的程序对对抗性污染是稳健的”。这个结论是严格证明了的，因为所有定理的证明都明确考虑了污染模型（公式 (2)），且上界中的 η_X 项确实反映了污染的影响。没有发现未经证明的泛化 claim。

四、开放问题¶

势（Power）的理论分析：本文只提供了 FWER 的控制，没有分析程序的势（power），即正确拒绝错误零假设的概率。扎根点：作者在引言中引用了 Kock & Preinerstorfer (2026b) 对全局检验的势分析，但本文未对多重检验的势给出任何理论保证。这是一个自然且重要的后续问题。
调优参数的自动选择：缩尾参数 ε_X 依赖于调优参数 λ_{1,X}, λ_{2,X} 等。作者在 Remark 2.1 中给出了基于经验的建议值，但没有提供数据驱动的选择方法（如交叉验证）。扎根点：公式 (3) 定义了 ε_X，但如何在实际中根据数据选择 λ 是一个开放问题。
更一般的污染模型：本文假设污染比例 η 是已知的。如果 η 未知或需要估计，程序会如何？扎根点：Assumption 2.1 明确要求 η_X 是已知的。放松这一假设是重要的扩展方向。
计算-统计的权衡：Algorithm 3 和 6 需要大量的 Bootstrap 抽样（B 通常为 5000-10000），计算成本较高。是否存在计算上更高效（例如，基于解析近似而非 Monte Carlo）的方法来逼近临界值，同时保持理论保证？扎根点：Theorem 2.4 和 3.8 显式地包含了 B^{-1} 项，揭示了计算精度与统计精度之间的权衡。这与研究者的“统计-计算权衡”兴趣直接相关。

Maintained by 陈星宇 · Homepage · Source on GitHub