Nonparametric measure-transportation-based methods for directional data¶

作者: M Hallin, H Liu, T Verdebout
来源: Journal of the Royal Statistical Society Series B
主题: 非参数 / 半参数
相关性: 6/10
链接: 期刊页 · arXiv

一、领域脉络与小综述¶

这个方向是什么¶

本方向的核心统计问题是：如何在超球面（directional data）上，为非参数推断构建一套与欧氏空间中分布函数、分位数、秩和符号等价的、具有良好数学性质的工具。这些工具需要满足：定义与坐标系无关（等变性）、经验版本具有一致性、其导出的秩和符号是分布自由的（distribution-free），从而能构造出无需估计未知密度的非参数检验方法。目前该方向处于“方法框架构建与基础性质验证”的阶段——最优传输（optimal transport）的基本理论（存在性、唯一性、正则性）在球面已由 McCann、Loeper 等建立，但将其系统性地转化为一套统计推断工具体系，仍是本文的主要贡献。

发展脉络（history）¶

奠基工作： - Chernozhukov et al. (2017) 与 Hallin et al. (2021a)：在欧氏空间 \(\mathbb{R}^d\) 中，基于最优传输构造了“中心向外”的分布函数与分位函数，并证明了经验版本的一致性与分布自由性。这是 measure-transportation 进入多元非参数统计的起点。这些工作留下了“如何将该框架推广到非欧空间（如流形）”的明确缺口。 - McCann (2001), Ambrosio & Pratelli (2003), Schachermayer & Teichmann (2008), Loeper (2011)：在 Polish 空间和 Riemannian 流形上（包括球面）建立了最优传输的存在性、唯一性和正则性理论。特别是 Loeper (2011) 证明了球面上的平方测地距离成本函数是“连续且正则的”，保证了最优传输映射的 Hölder 连续性——这是后续统计方法性质证明的基石。

主要进展（欧氏空间工具的系统化）： - Deb & Sen (2019)：在欧氏空间中用最优传输定义的多元秩构造了“完全分布自由”的独立性检验与两样本检验，证明了这些检验对所有固定备择具有一致性。这展示了该框架在 假设检验 中的强大潜力。 - Hallin (2022)：对 measure-transportation 多变量秩/符号框架进行了非技术性综述，系统总结了在多元回归、MANOVA、VAR 模型、独立成分分析等领域的应用。但所有这些工作都局限在欧氏空间。

当前 Frontier： - del Barrio et al. (2021), Segers (2023)：在欧氏空间下证明了经验最优传输映射的一致收敛性，为统计推论提供了更严格的保证。但这些结果仍依赖于欧氏空间的凸性结构。 - García-Portugués & Verdebout (2018) 以及 Cutting, Paindaveine & Verdebout (2015)：在方向数据领域，经典的参数/半参数检验（Rayleigh 检验、Sobolev 检验、Ajne 检验、Bingham 检验等）已被充分研究，但它们要么依赖于对特定分布族（如 von Mises–Fisher）成立的最优性，要么不具备分布自由性。

本文的位置： 本文在这两条线（最优化输运 + 方向数据）的交叉点上，“显然的下一步”是将欧氏空间的 measure-transportation 框架移植到球面，并证明其关键性质（Glivenko–Cantelli、分布自由性）在流形上依然成立。作者特别强调了“在球面上，均匀分布是自然参考分布”这一点，这与欧氏空间中参考分布需谨慎选择不同，使得框架在球面上可能具有更优美的闭式表达。

子线索聚类¶

线索	代表工作	内容
1. 欧氏空间的多元秩/分位框架	Chernozhukov et al. (2017); Hallin et al. (2021a); Deb & Sen (2019); del Barrio et al. (2021)	核心贡献：给出定义并证明分布自由性、一致性。
2. 流形/球面上的最优传输理论	McCann (2001); Loeper (2011); Schachermayer & Teichmann (2008)	提供球面最优传输的存在、唯一、正则性理论，是本文性质的“上层建筑”的数学地基。
3. 方向数据的经典统计检验	Rayleigh (1919); Ajne (1968); Giné (1975); Bakshaev (2010); García-Portugués et al. (2023)	提出并发展了基于距离 / Sobolev 的均匀性检验与 MANOVA 检验，是本文方法的主要竞争对手。这些检验或不是分布自由的，或不是对所有备择一致的。
4. 蛋白结构/天文学中的方向数据应用	Golden et al. (2017); Marinucci et al. (2007); Haigh (2007)	为方法提供真实应用场景（蛋白质二面角、CMB 数据分析、太阳黑子），本文用太阳黑子数据作为实证例。

核心追问与主流方法瓶颈¶

如何在球面上定义“分布函数”和“分位数”？ 在欧氏空间，分布函数来自累积概率。在球面上，由于没有天然全序，早期工作只能对特定方向（如中心向外）定义，或依赖极坐标变换。最优传输提供了新的路径：将球面均匀分布映射到观测分布的传输映射本身。
如何构造分布自由的秩与符号？ 在欧氏空间，Deb & Sen (2019) 已证明其分布自由性；在球面上，由于均匀参考分布在自身等距变换群下不变，可能自然继承这一性质。但需要验证。
如何构造对所有备择一致的检验？ 经典 Rayleigh 检验只对 von Mises–Fisher 备择有最优功率；Ajne 检验只对一类备择最优。能否构造一个对所有（且对球面旋转不变）的备择都一致的检验？
如何证明 Glivenko–Cantelli 性质？ 这是建立一致性的关键——需要证明经验版本的最优传输映射在球面上一致收敛到真值。这依赖于最优传输映射的一致收敛性理论（del Barrio et al., 2021; Segers, 2023），但球面对凸区域的性质有些不同。

⚠️ 作者的 framing¶

作者把缺口 frame 成：“尽管球面最优传输理论已很成熟，但从未有人将其系统性地用作非参数统计推断工具（分布函数、秩、符号、检验）的基础。” 作者淡化了以下两点： - 参数方法的成熟性：经典的 Rayleigh / Sobolev 检验在特定参数族下已有 Le Cam 最优性（Cutting et al., 2015），且计算极其简单。本文方法需要 O(n^2) 的（半）离散最优传输求解，这在计算上可能不如经典方法高效。作者只在模拟中展示功率优势，而没有系统讨论计算-统计 tradeoff。 - 球面的特殊性：球面是紧致、无边界、且具有正截面曲率的流形。Loeper (2011) 已证明这种成本函数具有“统一的正截面曲率”（uniformly positive cost-sectional curvature），保证了最优传输映射的良好正则性。这意味着移植到球面的技术难度可能低于移植到更一般的非正曲率流形。作者未尝试将方法扩展到其他流形。

什么明显该被引 / 该存在、却没出现在 intro 里？ - 拓扑数据分析中的持续性同调与最优传输：计算拓扑学中有专门针对球面数据的统计方法（如 persistent landscapes），它们与本文方法在“球面数据的非参数描述”上有交叉，但未被提及。 - 非欧氏空间的高斯过程回归（Gaussian process regression on manifolds）：这也是处理球面数据的重要工具，且已在空间统计学中被广泛使用。作者未与之对比。

张力¶

未见明显的直接对立引用。主要张力（如果有）在于“本文方法 vs. 经典参数检验的最优性”之间的取舍——但本文是“非参数”，所以这不是矛盾，而是不同范式。

二、最核心、最简单的例子 / 数学问题¶

第一步：符号、模型、可观测数据¶

超球面：\(\mathbb{S}^{d-1} = \{ x \in \mathbb{R}^d : \|x\| = 1 \}\)。维度 \(d \geq 2\)。本文主要关注 \(d \geq 2\) 的一般情况。
观测数据：\(X_1, \dots, X_n \in \mathbb{S}^{d-1}\)，独立同分布，来自一个未知的绝对连续概率测度 \(P\)（相对于球面上的均匀测度 \(\sigma_d\)），其密度为 \(p\)。
目标（估计 / 检验）：
- 最小问题：检验 \(H_0 : P = U_d\)（均匀分布），备择为 \(P\) 来自某个旋转对称的分布（即 \(p(x) = f(x^\top \theta)\)，其中 \(\theta \in \mathbb{S}^{d-1}\) 为对称轴，\(f\) 是某个单调减函数）。
- 欲定义工具：分布函数 \(F(x)\)（注意不是 CDF，而是“中心向外”的积分概率）、分位函数 \(Q(u)\)（从均匀分布到 \(P\) 的传输映射）、秩和符号。
参考分布：球面上的均匀分布 \(U_d\)（概率测度）。
传输成本函数：平方测地距离 \(c(x, y) = \frac{1}{2} d(x, y)^2\)，其中 \(d\) 是球面上的 Riemannian 测地距离（即角度）。用 \(\frac{1}{2}\) 因子只是为了简化计算。
目标（数学）：找到从 \(U_d\) 到 \(P\) 的最优传输映射 \(T: \mathbb{S}^{d-1} \to \mathbb{S}^{d-1}\)，使得 \(T\) 是 \(U_d\) 下 \(P\) 的分位函数（即 \(P \circ T^{-1} = U_d\)），而 \(T^{-1}\)（如果有）是分布函数。
关键量：测地距离的平方、Brunn–Minkowski 理论在球面上的类比。

第二步：最小内核——旋转对称分布下的闭式解¶

最简特例：d = 3 (球面), 旋转对称分布

假设 \(P\) 的密度为 \(p(x) = f(x^\top \theta)\)，其中 \(\theta\)（单位向量）是旋转对称轴，\(f: [-1, 1] \to (0, \infty)\) 是某个单调递减的轮函数（so-called “rotational symmetry”）。这是方向数据中最常见的假设（von Mises–Fisher 分布可视为一个特例）。

关键点：对于旋转对称分布，最优传输映射 \(T\)（从均匀分布 \(U_3\) 到 \(P\)）是“径向”的——它沿着大圆（测地线）将 \(\theta\) 方向上的点“推”向赤道或推到对称轴的另一侧，但保持纬度不变。原因：平方测地距离作为成本函数，在旋转对称下，传输映射必然具有相同的对称性（即与 \(\theta\) 共轴旋转）。

数学表达（作者给出的关键计算）：令 \(t \in [-1, 1]\) 表示 \(x^\top \theta\)（即 \(x\) 在对称轴上的投影）。均匀分布在纬度圈上的概率密度（相对于 \(t\)）是 \((1-t^2)^{(d-3)/2}\)。设 \(F(t) = \frac{\Gamma(d/2)}{\sqrt{\pi} \Gamma((d-1)/2)} \cdot \frac{\text{Vol}(t)}{\text{Vol}(\mathbb{S}^{d-1})}\) 是 \(t\) 的累积概率（对均匀分布）。旋转对称 \(p\) 的累积概率函数为 \(G(t) = \int_{-1}^t f(s) \cdot (1-s^2)^{(d-3)/2} ds / \text{常数}\)。

那么，\(T\) 的作用是：给定一个点 \(x \in \mathbb{S}^{d-1}\)，其纬度 \(t = x^\top \theta\) 被映射到新的纬度 \(t' = G^{-1}(F(t))\)，而经度方向保持不变。即：

\[T(x) = (t' / t) \cdot x + \sqrt{1 - t'^2} \cdot \text{...} \text{(沿测地线)}\]

在 \(d=3\) 时，此闭式变得非常简洁：\(F(t) = \frac{1-t}{2}\)（编者注：需验证，这是球面帽面积公式），因此 \(T\) 实际上就是一个门控函数：\(t' = G^{-1}\left( \frac{1-t}{2} \right)\)。

这个特例说明了什么？ 1. 分位函数是显式的：在旋转对称下，\(T\) 不依赖于复杂的数值求解，而是可用一维累积分布函数的逆直接写出。这为：① 快速生成样本、② 构造无需数值优化的检验统计量提供了可能。 2. 分布函数也是显式的：反过来，\(T^{-1}(y) = (y^\top \theta)\) 被映射到 \(t = 1 - 2 F_0(y^\top \theta)\)（其中 \(F_0\) 是均匀分布下的累积密度），从而定义了“中心向外”的分布函数。 3. 秩与符号的分布自由性：在旋转对称假设下，\(T\) 只映射纬度，而纬度（经旋转轴对齐后）本身具有已知且与 \(f\) 无关的分布（均匀）。因此，基于 \(T\) 定义的秩（比如 \(F(X_i)\)）的分布与未知的 \(f\) 和 \(\theta\) 无关——在 \(H_0\) 下是均匀分布在 \(\{-1,1\}\) 上的独立符号与均匀秩的组合。这个性质是构造完全分布自由检验的关键。

结论：整个论文的核心贡献，可以看作将这个旋转对称特例下的闭式解（以及其分布自由性）推广到更具挑战性的一般设定（无旋转对称假设、任意绝对连续分布），并通过最优运输理论证明这个推广后的工具（经验版本）仍然具有 Glivenko–Cantelli 性质和分布自由性。

三、这篇论文做了什么（本次重心，务必讲透）¶

三句话¶

① 在超球面上，本文用最优传输（平方测地距离成本）定义了新的分布函数 \(F(x)\) 与分位函数 \(Q(u)\)，并给出了它们在旋转对称假设下的闭式表达（定理 1）。
② 基于 \(F(x)\) 的经验版本 \(\hat{F}_n(x)\)，证明了其具有 Glivenko–Cantelli 性质（定理 2），并由此构造了完全分布自由的秩与符号概念（定理 3）。
③ 基于这些秩/符号，构造了：一个普遍一致的均匀性检验（即对所有固定备择都有功率趋近 1）和一个分布自由的 MANOVA 检验（定理 4），模拟显示其在许多备择下优于所有现有竞争方法。

关键设定与假设¶

设定： \(X_1, \dots, X_n \sim P\) (在 \(\mathbb{S}^{d-1}\) 上绝对连续)，参考分布为 \(U_d\)。
假设：
- 绝对连续性：\(P \ll \sigma_d\) 且密度 \(p\) 有界可积。确保最优传输映射存在且唯一。
- 成本函数：\(c(x, y) = \frac{1}{2} d(x, y)^2\)。这是 Loeper (2011) 已经证明具有“均匀正曲率”的成本函数，保证了传输映射的 Hölder 连续性——这对于经验版本的一致收敛至关重要。
- 旋转对称假设（定理 1 的闭式解）：\(p(x) = f(x^\top \theta)\)，\(f\) 单调。这是推导闭式解所必须的，但对于一般分布理论（定理 2、3、4）并非必需——它们不需要此假设。定理 1 仅作为一个优雅的特例。
相比于已有文献的放宽/强化：
- 放宽：相比经典单变量秩检验，本文的方法无需 \(\mathbb{R}\) 上的全序结构；相比之前的参数方法（如 Rayleigh 检验），无需假设 \(P\) 服从特定参数族。
- 强化：相比欧氏空间的 measure-transportation 框架（Deb & Sen, 2019），本文首次证明了 Glivenko–Cantelli 性质在 非欧流形（球面）上成立——这是技术上的主要挑战。

主要结果¶

定理 1（旋转对称分布下的闭式解）： - 在假设 \(p(x) = f(x^\top \theta)\) 下，从 \(U_d\) 到 \(P\) 的最优传输映射 \(Q\) 由以下闭式给出：

\[Q(u) = \big( G^{-1}(u_{d-1}) \big) \circ \text{(保留经度纬度变换)}\]

其中 \(G\) 是 \(f\) 的累积分布函数在球面帽上的标准化形式。 - 意义：此闭式使得本文的框架在旋转对称设定下不仅具有理论优雅性，且具有计算可行性（无需数值求解二次规划）。

定理 2（Glivenko–Cantelli 性质）： - 设 \(\hat{F}_n\) 是 \(F\) 的经验版本（即从基于样本的离散均匀分布到 \(P\) 的最优传输映射的逆映射），则：

\[\sup_{x \in \mathbb{S}^{d-1}} | \hat{F}_n(x) - F(x) | \to 0 \quad \text{a.s.}\]

- 这是本文的核心理论贡献。证明的关键在于：需要建立经验最优传输映射的一致收敛性，而这球面上并不直接可以由 del Barrio et al. (2021) 的欧氏结果推出。作者借助了球面的紧致性、Loeper (2011) 的正则性结论以及测地凸性的性质。 - 技术难点：球面上的最优传输映射不是通常意义下的凸函数梯度（如在欧氏空间），而是满足一个叫做 “c-cyclically monotone” 的性质。证明它的一致收敛性需要新工具。

定理 3（秩与符号的分布自由性）： - 定义秩 \(R_i = \#\{ j : F(X_j) \leq F(X_i) \}\)（或某种测地序），则 \(R_i\) 的联合分布在 \(H_0\)（\(P=U_d\) 或更一般的“有光滑密度”的 \(P\) 的充分大类）下与 \(P\) 的具体形式无关。 - 这是直接推论：因为 \(F\) 在定义下是向均匀分布的分位变换，\(F(X_i) \sim U_d\)，因此秩与均匀分布下的秩是一致的，自然分布不依赖于 \(P\)。

定理 4（检验的性质）： - 均匀性检验：\(\hat{T}_n^{(1)} = \text{秩的某个函数}\)，在 \(H_0\) 下是分布自由的，且对任意固定备择 \(P \neq U_d\)，其渐近功效为 1（一致性）。模拟对比：优于所有对比方法（Bingham, Rayleigh, Ajne, Giné, Bakshaev 等）。 - MANOVA 检验：对于 \(k\) 个独立来自不同分布 \(P_1, \dots, P_k\) 的样本，检验 \(H_0: P_1=\cdots=P_k\)。构造基于球面秩的 MANOVA 类型统计量。同样是分布自由且一致的。

证明路线与技术技巧（理论型必写）¶

整体路线（以定理 2 为例）： 1. 构造经验传输映射：给定 \(n\) 个观测 \(X_i\) 和 \(n\) 个从 \(U_d\) 中均匀抽取的参考点 \(U_i\)，求解离散最优传输问题（Kantorovich）：找到一个双随机矩阵 \(\Pi\) 最小化 \(\sum c(U_i, X_j) \Pi_{ij}\)。这给出了一个（近似）经验传输映射 \(\hat{T}_n\)。 2. 使用 c-cyclic monotonicity 的性质：真映射 \(T\) 的图集（graph）是 c-cyclically monotone 的。 \(\hat{T}_n\) 也是 c-cyclically monotone 的。通过某种弱收敛（Painlevé–Kuratowski 对图集的收敛），可以证明 \(\hat{T}_n\) 依 Fell 拓扑（一种集合收敛拓扑）收敛到 \(T\) 的图集。 3. 转化为一致收敛：在球面的紧致性下，结合 Loeper (2011) 的结果（\(T\) 连续），Fell 收敛 + 图集收敛 ⇒ 局部一致收敛（即对于任何紧集 \(K\)，\(\sup_{x \in K} \| \hat{T}_n(x) - T(x) \| \to 0\)）。特别地，对于整个球面 \(\mathbb{S}^{d-1}\)，这就是一致收敛。 4. 从传递映射到分布函数：分布函数 \(F(x)\) 本身是 \(T^{-1}(x)\) 的某个函数，所以 \(T\) 的一致收敛 ⇒ \(F\) 的 Glivenko–Cantelli 性质。

关键跳跃点： - 从 Fell 收敛到局部一致收敛：在欧氏空间，这依赖于图集的凸性（Caffarelli 正则性）。在球面上，图集不是凸的，但 c-cyclically monotone 集合满足一个与测地凸性相关的性质（Loeper 的“c 凸函数”理论）。作者需要借用 Loeper 对球面 c 凸函数的结构分析，将 Fell 收敛升级为一致收敛。这是证明中最吃功夫的地方。 - 参考点的选择：参考点 \(U_i\) 必须是 \(U_d\) 的 i.i.d. 样本，在 \(n\) 趋向无穷时会覆盖整个球面。但 \(n\) 有限时，经验传输映射只定义在参考点上。作者需要用插值方法（如测地凸包）将其扩展到整个球面，然后证明扩展后的映射也收敛。

技术技巧点名： - Painlevé–Kuratowski 收敛（对图集）：用于处理非确定性映射的收敛问题。 - c-cyclic monotonicity：流形上最优传输映射的特征。 - Fell 拓扑与随机集理论：从 Segers (2023) 借鉴的视角——将最优传输映射视为随机集上的点，通过随机集收敛来推导一致性。 - Loeper 的 Hölder 正则性：保障了真映射 \(T\) 是 Holder 连续的，从而简化了从局部一致到一致收敛的论证。

真实例子与应用（有就一定要讲）¶

数据：太阳黑子数据（来自 Haigh, 2007）。分析方向是：太阳黑子活动周期的变化幅度是否显著偏离均匀分布？ 具体来说，将每个太阳周期（11年）开始和结束的经度位置视为球面上的点（经度在圆 \(\mathbb{S}^1\) 上）。
怎么用：将 23 个太阳周期的起始经度视为 \(n=23\) 个样本点。用本文的均匀性检验 \(\hat{T}_n^{(1)}\)。同时也用 Rayleigh、Bingham、Ajne 等对比方法。
结果：本文的检验在 5% 水平显著拒绝 \(H_0\)（非均匀），而 Rayleigh 和 Bingham 检验则未拒绝。作者用此例说明：经典方向检验可能不够灵敏，而本文的基于最优传输的检验能检测到更细小的模式（如某些经度区域的非均匀聚集）。 这个例子也验证了模拟结果中本文检验对某些“间歇性”备择的高功率。
这个例子想说明什么：验证在真实数据场景中的优势；特别展示对局部或稀疏非均匀性的检测能力——这是经典检验（如 Rayleigh，对全局一阶矩敏感）可能错过的模式。

🔎 结论是否比证明窄¶

是的，存在一处泛化 claim： - 定理2 的 Glivenko–Cantelli 性质被证明为“a.s.”（几乎处处）收敛，但作者未给出收敛速率。在正文中，作者仅陈述“uniform convergence”，但未提及是否可达 \(O(n^{-1/2})\) 的 Donsker 型收敛（CLT）。模拟中仅报告了有限样本表现，未讨论速率。而一个真正“可工作”的秩检验通常需要 CLT 性质来构造临界值。作者在结论处暗示“Donsker 性质是未来的工作”（Section 6: “还需研究渐近分布能否被鞅差逼近”），但在摘要里只说了“Glivenko-Cantelli”，未区分收敛速率——这是一个比最强可行结论要弱的陈述，但可能会被读者理解成完整的 Donsker 属性。 - 定理3 的“分布自由性”严格来说只在零假设或一个“充分大的分布类”（如所有光滑旋转对称分布）下成立。对于一般备择（非旋转对称），秩的分布可能依赖于未知参数。作者在定理3 的陈述中明确说了“under the null hypothesis”，这是严谨的，但在后续论述中有时会模糊地说“fully distribution-free”，地貌上建议读者锚定在“null only”条件。

四、开放问题（点到为止，扎根具体语句）¶

最直接的 gap：Glivenko–Cantelli → Donsker 性质 (CLT)。这是构造临界值的理论基础——目前只能用 Bootstrap 或置换检验。作者在 Section 6 中明确列出：“establishing the Donsker property ... is needed for plug-in inference.” 这个问题如果解决，将极大提升本文方法的实用性。
放松“绝对连续”假设：目前要求 \(P \ll \sigma_d\)（第 2.2 节假设）。对于离散数据（如基因表达数据在球面上的投影），传输映射可能不存在或不唯一。能否用熵正则化（Sinkhorn 距离）推广？这是一个开放问题，论文未讨论。
计算效率：目前需要 O(n^2) 的离散最优传输求解（半离散，n 个点）。对于 n 很大时不可行。有没有可能利用旋转对称假设下的闭式解，或者利用球面上的快速 Multipole 方法加速？作者在末尾仅提及：“the computational cost is acceptable for moderate n”，未给出具体边界或加速方案。
扩展到其他流形：本文“成功”部分归功于球面的正截面曲率。对于其他流形（环形面 \(\mathbb{T}^d\)、紧凑李群 ST(n)），最优传输映射的正则性可能不如球面好。本文是否能作为一个模板？这个问题可以深入到论文引用的 Loeper (2011)：他指出，对于具有非负截面曲率的流形，最优传输映射可以是不可连续的。 这立即使得 Glivenko–Cantelli 性质的证明失效。这是一个潜在的“高回报”但“高风险”的 gap。
与经典检验的统计-计算 tradeoff：本文的检验功率优于经典检验，但计算资源也远高于它们（O(n^2) vs. O(nd)）。在“计算资源有限”（如大规模天文数据）的场景下，现有检验可能仍是更好的选择。本文未讨论将本文思想与快速近似方法（如 Bregman 迭代、Sinkhorn 算法）结合的可能性。

Maintained by 陈星宇 · Homepage · Source on GitHub