Multivariate Quantile-Based Permutation Tests with Application to Functional Data¶

作者: Zdeněk Hlávka, Daniel Hlubinka, Šárka Hudecová
来源: Journal of Computational and Graphical Statistics
主题: 数理统计 / 假设检验
相关性: 6/10
链接: 期刊页 · arXiv

一、领域脉络与小综述¶

这个方向是什么¶

本文研究的核心问题是：如何对多元检验统计量进行置换检验（Permutation Test）。置换检验是一种非参数检验方法，它通过随机重排样本标签来近似检验统计量的零分布，从而避免对总体分布做出参数假设。当检验统计量是多元的（例如，多个变量的联合检验、多重比较问题中的多个p值），如何将这些多元信息整合成一个单一的、有效的p值，同时控制检验的水平和功效，是一个经典且活跃的研究方向。当前的主流方法是使用“组合函数”（Combining Functions）将多元统计量或部分p值向量降为一维，再计算置换p值。本文提出的新方法则利用最优传输（Optimal Measure Transportation） 和经验中心-外围分布函数（Empirical Center-Outward Distribution Function） 来直接处理多元置换统计量，避免了组合函数这一中间步骤。

发展脉络（history）¶

根据论文引言和参考文献，该方向的发展脉络可以梳理如下：

奠基工作：置换检验的提出与多元扩展
- Pesarin (2001) 和 Pesarin & Salmaso (2010)：这是多元置换检验的奠基性著作。他们系统性地提出了“组合函数”（Combining Functions）方法，例如Fisher组合函数、Liptak组合函数、Tippett组合函数等。这些函数将多个部分p值（或部分检验统计量）映射为一个一维的全局检验统计量。作者在引言中明确提到，这是“最常用的方法”（the most common approach），并指出其核心思想是“通过一个合适的组合函数将多元检验统计量转化为一个一维统计量”（transforming the multivariate test statistic into a one-dimensional statistic via a suitable combining function）。留下的口子：组合函数的选择是主观的，不同的组合函数对不同的备择假设模式（如所有分量都偏离、只有少数分量偏离）有不同的敏感度，且无法直接解释每个分量对整体拒绝的贡献。
主要进展：从组合函数到更灵活的整合策略
- Arboretti et al. (2018)：提出了“非参数组合方法”（Nonparametric Combination, NPC）的进一步应用和扩展。作者引用它作为组合函数方法的一个现代实例，说明该方法仍在被积极使用和发展。
- Chung & Romano (2013)：提出了“多重性调整的置换检验”（Multiple Testing Adjusted Permutation Tests），直接处理多重比较问题，而不是先组合再检验。作者引用它作为处理多元检验统计量的另一种思路，即通过控制族系错误率（FWER）或错误发现率（FDR）来直接进行多元决策。留下的口子：这种方法虽然避免了组合函数的选择问题，但计算量可能很大，且其焦点是多重比较，而非生成一个单一的全局p值。
当前Frontier：最优传输与中心-外围分布函数的引入
- 本文（Hlávka, Hlubinka, Hudecová, 2024）：作者将最优传输和中心-外围分布函数（由Chernozhukov et al., 2017 等提出）引入多元置换检验。核心创新在于：不先将多元统计量降维，而是直接计算多元置换统计量在经验中心-外围分布函数下的“非一致性得分”（non-conformity score），然后通过一个简单的置换过程得到最终的单一p值。作者声称，这种方法“避免了计算部分p值，且易于实现”（avoids computation of the partial p-values and it is easy to be implemented），并且“允许计算和解释多元检验统计量各分量对整体非一致性得分的贡献”（allows to compute and interpret contributions of the components of the multivariate test statistic to the overall non-conformity score）。本文的位置：它试图用最优传输这一几何/概率工具，为经典的组合函数问题提供一个更直接、更可解释的替代方案。

子线索聚类¶

这些被引文献大致落在两条子线索上：

线索一：组合函数（Combining Functions）路线
- 核心工作：Pesarin (2001), Pesarin & Salmaso (2010), Arboretti et al. (2018)。
- 做什么：将多元检验统计量（或部分p值向量）通过一个预定义的函数（如Fisher、Liptak、Tippett）映射为一维统计量，然后进行标准置换检验。
- 优点：理论成熟，计算简单，有现成软件包。
- 缺点：组合函数的选择影响检验功效，且对备择假设的模式敏感；无法直接分解各分量的贡献。
线索二：直接多元置换检验（Direct Multivariate Permutation Tests）路线
- 核心工作：Chung & Romano (2013), 本文。
- 做什么：不进行显式的降维，而是直接处理多元统计量。Chung & Romano 通过控制多重比较的错误率来实现。本文则通过最优传输和中心-外围分布函数来定义一个“多元非一致性得分”，从而生成一个全局p值。
- 优点：避免了组合函数的选择问题，本文的方法还提供了可解释性。
- 缺点：Chung & Romano的方法计算量大；本文的方法依赖于中心-外围分布函数的估计，其小样本性质可能不如组合函数稳健。

这个方向在追问的核心问题¶

如何最优地整合多元检验信息？ 是否存在一个“最优”的组合函数或整合策略，能在各种备择假设模式下都保持高功效？
如何提升多元置换检验的可解释性？ 当拒绝原假设时，是哪些变量/分量导致了拒绝？它们的贡献有多大？
如何应对高维或函数型数据？ 当变量维度p远大于样本量n时，传统的多元检验方法（如Hotelling T²）失效，置换检验能否提供有效的替代方案？本文通过函数型数据应用触及了这个问题。

⚠️ 作者的Framing¶

作者的缺口Frame：作者将缺口frame为“组合函数方法虽然常用，但存在主观性和不可解释性”。他们声称自己的方法“避免了计算部分p值”（即避免了组合函数这一步），并且能“分解各分量的贡献”。这使得他们的方法看起来是组合函数方法的一个“显然的下一步”——更直接、更透明。
被淡化或回避的竞争路线：作者淡化了组合函数方法的成熟性和广泛接受度。他们回避了讨论在哪些具体场景下，他们的方法在功效上显著优于精心选择的组合函数（例如，当备择假设是稀疏的时，Tippett组合函数可能非常有效）。他们也没有深入比较两种方法在计算复杂度上的差异（组合函数方法通常更快）。
什么明显该被引/该存在、却没出现在intro里？ 作者没有引用关于中心-外围分布函数的渐近理论文献，例如Chernozhukov et al. (2017) 关于其一致性和收敛速度的工作。虽然他们引用了Hallin (2017) 等关于中心-外围分位数的理论，但未引用其经验版本的渐近性质。这可能是为了简化引言，但了解这些性质对于评估该方法的统计可靠性至关重要。（这是一个值得研究者去查的问题：经验中心-外围分布函数的收敛速度是多少？它是否足够快以支持置换检验的渐近有效性？）

张力¶

未见明显对立引用。所有被引工作都承认组合函数方法是主流，并在此基础上提出改进或替代方案，没有出现彼此矛盾或在略不同条件下得相反结论的情况。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
- \(\mathbf{X}\)：一个 \(n \times p\) 的观测数据矩阵，其中 \(n\) 是样本量，\(p\) 是变量维度。每一行是一个观测，每一列是一个变量。
- \(G\)：一个分组变量，将 \(n\) 个观测分为两组（例如，处理组和对照组）。\(G\) 是一个长度为 \(n\) 的向量，取值为0或1。
- \(T(\mathbf{X}, G)\)：一个多元检验统计量，它是一个 \(p\) 维向量。例如，\(T\) 可以是每个变量的两样本t统计量组成的向量：\(T = (t_1, t_2, ..., t_p)\)。
- \(T_{obs}\)：在原始数据 \((\mathbf{X}, G)\) 上计算得到的观测多元检验统计量。
- \(T^{(b)}\)：在第 \(b\) 次置换后，基于置换后的分组变量 \(G^{(b)}\) 计算得到的多元检验统计量。\(b = 1, ..., B\)，\(B\) 是置换总次数。
- \(\hat{F}_n\)：基于所有 \(B\) 个置换统计量 \(T^{(1)}, ..., T^{(B)}\) 构建的经验中心-外围分布函数。这是一个从 \(\mathbb{R}^p\) 映射到 \([0,1]\) 的函数。
- \(S(T)\)：一个非一致性得分（non-conformity score），定义为 \(S(T) = 1 - \hat{F}_n(T)\)。它衡量了统计量 \(T\) 相对于置换分布“外围”的程度。值越大，表示越极端。
- \(p_{final}\)：最终的单一p值，用于检验全局原假设 \(H_0\)（两组分布相同）。
模型：
- 这是一个非参数模型。原假设 \(H_0\) 是：两组样本来自同一个分布（或更一般地，在分组变量 \(G\) 下，观测 \(\mathbf{X}\) 的分布是可交换的）。没有对 \(\mathbf{X}\) 的分布形式（如正态性）做出任何假设。
- 检验统计量 \(T(\mathbf{X}, G)\) 是研究者选择的，可以是任何能反映组间差异的多元函数。本文中，\(T\) 通常是一个 \(p\) 维向量，其每个分量对应一个变量的组间差异度量（如t统计量、Wilcoxon秩和统计量等）。
可观测数据：
- 研究者实际能观测到的是：数据矩阵 \(\mathbf{X}\) 和分组变量 \(G\)。
- 想要但观测不到的是：在 \(H_0\) 下，\(T\) 的真实零分布。置换检验通过随机重排 \(G\) 来近似这个分布。因此，我们观测到的是 \(T_{obs}\) 和通过置换生成的 \(T^{(1)}, ..., T^{(B)}\)。

第二步：讲最小内核¶

本文的核心思路可以用一个最简特例来理解：\(p=2\)（两个变量），\(n\) 较大，我们想检验两组在这两个变量上的联合分布是否相同。

传统方法（组合函数）：
- 计算两个变量的t统计量，得到 \(T_{obs} = (t_1, t_2)\)。
- 对数据进行 \(B\) 次置换，每次得到 \(T^{(b)} = (t_1^{(b)}, t_2^{(b)})\)。
- 选择一个组合函数，比如Fisher组合函数：\(C(T) = -2(\log(p_1) + \log(p_2))\)，其中 \(p_1, p_2\) 是 \(t_1, t_2\) 的置换p值。
- 计算 \(C(T_{obs})\) 和所有 \(C(T^{(b)})\)，然后看 \(C(T_{obs})\) 在 \(C(T^{(1)}), ..., C(T^{(B)})\) 中的排序位置，得到最终p值。
- 问题：需要先计算部分p值，且组合函数的选择会影响结果。
本文方法（最优传输/中心-外围）：
- 同样，计算 \(T_{obs} = (t_1, t_2)\) 和所有 \(T^{(b)} = (t_1^{(b)}, t_2^{(b)})\)。
- 关键想法：我们不降维，而是直接在二维平面上看 \(T_{obs}\) 相对于所有 \(T^{(b)}\) 的“外围程度”。
- 如何度量外围程度？ 使用经验中心-外围分布函数 \(\hat{F}_n\)。对于二维平面上的任意一点 \(T\)，\(\hat{F}_n(T)\) 的值大致等于“落在以原点为中心、经过点 \(T\) 的某个‘中心-外围’等高线内部的置换统计量的比例”。这个等高线是通过最优传输定义的，它使得所有置换统计量在变换后的空间中是均匀分布的。
- 非一致性得分：\(S(T_{obs}) = 1 - \hat{F}_n(T_{obs})\)。如果 \(T_{obs}\) 非常外围（远离原点），那么 \(\hat{F}_n(T_{obs})\) 会很小（因为很少有置换统计量比它更外围），所以 \(S(T_{obs})\) 会很大。
- 得到最终p值：\(p_{final} = \frac{1 + \#\{b: S(T^{(b)}) \ge S(T_{obs})\}}{B + 1}\)。这实际上是一个标准的置换p值，只不过它是在“非一致性得分”这个一维统计量上计算的。
- 为什么这能工作？ 因为 \(S(T)\) 是一个一维的“排名”函数，它忠实地反映了多元统计量 \(T\) 在置换分布中的极端程度。在 \(H_0\) 下，\(S(T_{obs})\) 和所有 \(S(T^{(b)})\) 是近似可交换的，因此这个置换p值是有效的。
- 可解释性：\(S(T)\) 可以分解为每个变量 \(t_1, t_2\) 的贡献。例如，可以计算 \(S(T)\) 对 \(t_1\) 的偏导数，从而知道 \(t_1\) 的变化对整体非一致性得分的影响有多大。这回答了“是哪个变量导致了拒绝”的问题。

总结：本文的核心数学操作是用经验中心-外围分布函数将多元统计量映射为一个一维的“非一致性得分”，然后对这个得分进行标准置换检验。它避免了组合函数的选择，并提供了可分解的贡献度量。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：针对多元置换检验中，传统组合函数方法存在主观性和不可解释性的问题，提出了一种基于最优传输和中心-外围分布函数的新方法。
核心工具/方法：利用经验中心-外围分布函数（基于最优传输）将多元置换统计量直接映射为一个单一的非一致性得分，然后对该得分进行标准置换检验以得到最终p值。同时，也提出了将最优传输应用于部分p值向量本身，作为组合函数的替代。
主要结论：通过蒙特卡洛模拟和函数型数据实例，作者展示了所提出的方法在控制第一类错误方面表现良好，并且在某些备择假设模式下（特别是当所有变量都偏离原假设时）具有与最佳组合函数相当或更优的功效。该方法的一个关键优势是能够分解各变量对整体检验结果的贡献，从而提供解释性。

关键设定与假设¶

设定：两组比较的置换检验。观测数据为 \(n \times p\) 矩阵 \(\mathbf{X}\) 和分组变量 \(G\)。原假设 \(H_0\) 为两组分布相同（可交换性）。
假设：
1. 可交换性（Exchangeability）：在 \(H_0\) 下，观测数据 \(\mathbf{X}\) 在分组变量 \(G\) 的置换下分布不变。这是所有置换检验的基础假设。
2. 检验统计量的选择：\(T(\mathbf{X}, G)\) 是一个 \(p\) 维向量，其每个分量对应一个变量的检验统计量。作者在模拟和例子中使用了t统计量和Wilcoxon秩和统计量，但方法本身不限于此。
3. 中心-外围分布函数的定义：依赖于一个“参考分布”（通常是均匀分布或球形分布），并通过最优传输将置换统计量的经验分布映射到这个参考分布。作者在文中使用了球形均匀分布作为参考。
4. 计算可行性：对于 \(p\) 维数据，计算经验中心-外围分布函数需要求解一个最优传输问题，其计算复杂度随 \(p\) 增长。作者在文中提到，对于高维数据，可能需要降维或使用近似方法。（相比已有文献的放宽/强化）：相比组合函数方法，本文方法放宽了对组合函数选择的依赖，但强化了对计算资源的需求，并引入了中心-外围分布函数估计的统计误差。

主要结果¶

本文主要是一个方法型论文，核心结果是模拟研究和真实数据应用，而非理论定理。

核心量化结论（来自模拟）：
- 第一类错误控制：所有方法（包括本文提出的方法和组合函数方法）在大多数模拟设置下都能很好地控制第一类错误率在名义水平（如0.05）附近。
- 功效比较：
  - 当所有变量都偏离原假设时，本文提出的基于中心-外围分布函数的方法（记为CO）和基于最优传输的组合函数（记为OT）通常具有与Fisher组合函数相当或更高的功效。
  - 当只有少数变量偏离原假设时，Tippett组合函数通常功效最高，而CO和OT方法的功效可能略低，但优于Fisher组合函数。
  - 在函数型数据的例子中，CO方法在检测某些类型的备择假设时表现出色。
- 与Baseline对比：主要与Fisher、Liptak、Tippett这三种经典组合函数进行了系统比较。
稳健性：模拟考虑了不同的变量维度（\(p=2, 5, 10\)）、不同的样本量、不同的效应大小和不同的相关结构（独立、相关）。结果表明，CO和OT方法在多种设定下表现稳健。

证明路线与技术技巧（本文为方法型，无严格理论证明）¶

本文没有提供关于中心-外围分布函数估计的渐近性质或检验的渐近有效性的理论证明。其“证明”主要依赖于模拟验证。

整体路线：方法设计 → 模拟验证 → 真实数据应用。
关键跳跃点：从“多元统计量”到“单一p值”的跳跃，是通过经验中心-外围分布函数实现的。这个函数的设计是本文的核心技术贡献。
技术技巧点名：
- 最优传输（Optimal Measure Transportation）：用于定义中心-外围分布函数。具体地，它寻找一个从置换统计量的经验分布到参考分布（如球面均匀分布）的最优映射。这个映射定义了“中心-外围”的等高线。
- 经验中心-外围分布函数（Empirical Center-Outward Distribution Function）：基于最优传输映射，计算每个点相对于参考分布中心的“深度”或“外围度”。这是将多元信息压缩为一维的关键。
- 置换检验（Permutation Test）：在计算出的非一致性得分上应用标准置换检验，以获得最终的p值。这是整个框架的统计推断基础。

真实例子与应用¶

使用的数据/场景：一个函数型数据的例子，来自一个关于“儿童步态”（gait analysis）的研究。数据包含39名儿童（20名健康，19名患有脑瘫）在行走过程中，膝盖角度随时间变化的曲线。目标是检验两组儿童的膝盖角度曲线是否存在显著差异。
如何把本文方法用上去：
1. 函数型数据离散化：将每条膝盖角度曲线在多个时间点（如100个点）上采样，得到一个高维向量（\(p=100\)）。
2. 定义多元检验统计量：在每个时间点上，计算一个两样本t统计量（或Wilcoxon统计量），得到一个100维的统计量向量 \(T\)。
3. 应用本文方法：使用CO方法（基于中心-外围分布函数）对这个100维的 \(T\) 进行置换检验，得到全局p值。同时，也使用OT方法（基于最优传输的组合函数）和经典组合函数方法进行比较。
4. 解释结果：CO方法不仅给出了一个显著的全局p值（拒绝两组曲线相同的原假设），还通过分解非一致性得分，指出了哪些时间点（即膝盖角度的哪个阶段）对拒绝的贡献最大。这为临床解释提供了有价值的信息。
得到什么结果：所有方法都拒绝了原假设。CO方法成功识别出了贡献最大的时间点，这与临床知识（脑瘫儿童在摆动相末期和支撑相初期的膝盖角度异常）相符。
这个例子想说明什么：主要想说明本文方法在高维（\(p=100\)）和函数型数据场景下的实用性和可解释性。它证明了该方法能够处理比传统多元检验（如Hotelling T²）更复杂的设定，并且能提供比组合函数方法更丰富的诊断信息。

🔎 结论是否比证明窄¶

是的。本文的结论主要基于模拟和实例，没有提供严格的渐近理论证明。例如，作者没有证明： * 基于经验中心-外围分布函数的置换检验是否是渐近有效的（即当 \(n \to \infty\) 时，其第一类错误率是否收敛于名义水平）。 * 在什么条件下，该方法在功效上一致优于或渐近等价于最优的组合函数。 * 经验中心-外围分布函数的估计误差对检验结果的影响。

因此，论文的结论（“该方法有效”）是经验性的，而非理论保证的。作者在文中也承认了这一点，并指出理论分析是未来工作。（务必点名具体语句：作者在结论部分提到“Theoretical properties of the proposed tests are left for future research.”）

四、开放问题¶

渐近理论：本文提出的置换检验的渐近有效性和渐近相对效率（相对于最优组合函数）是什么？需要证明在什么条件下，基于中心-外围分布函数的检验是渐近无偏的，并且其功效能收敛到某个最优值。（扎根于：作者在结论部分明确将理论性质留作未来工作。）
高维挑战：当变量维度 \(p\) 远大于样本量 \(n\) 时，经验中心-外围分布函数的估计会变得非常不稳定（维数灾难）。如何将本文方法与高维统计技术（如正则化、随机投影、稀疏假设）结合，以处理超高维数据？（扎根于：模拟中 \(p\) 最大为10，函数型数据例子中 \(p=100\) 但 \(n=39\)，作者未讨论 \(p \gg n\) 的情况。）
计算复杂度：计算 \(p\) 维经验中心-外围分布函数需要求解一个最优传输问题，其计算复杂度通常是 \(O(n^3 \log n)\) 或更高（取决于算法）。对于大规模数据（\(n\) 很大）或高维数据（\(p\) 很大），计算可能成为瓶颈。是否存在更高效的近似算法或随机化算法？（扎根于：作者在引言中提到了计算可行性，但未深入讨论。）
与其他非参数检验的联系：本文的方法与能量距离（Energy Distance）、最大均值差异（MMD） 等基于核的多元检验有何联系与区别？能否将中心-外围分布函数的思想与这些方法结合，产生新的检验统计量？（扎根于：作者在引言中未引用这些相关文献，这是一个潜在的连接点。）

Maintained by 陈星宇 · Homepage · Source on GitHub