跳转至

The exact Spearman rho-footrule region via optimal transport with applications to finite rankings, mixability, and Chatterjee's rank correlation

作者: Jonathan Ansari, Marcus Rockel
主题: 数理统计 / 假设检验
相关性: 6/10
链接: https://arxiv.org/abs/2608.20176

一、领域脉络与小综述

这个方向是什么

这个子方向研究的是秩相关系数之间的精确可达区域（exact attainable region）。具体来说，给定两个度量关联性的统计量（如 Spearman's ρ 和 Spearman's footrule φ），问在所有可能的二元 copula（即所有可能的二维联合分布，其边际为均匀分布）上，这两个统计量的取值对 (ρ, φ) 能构成一个什么样的二维区域。这个区域的上、下边界给出了一个统计量在另一个统计量取固定值时所能达到的最大/最小值，从而提供了两者之间最紧的定量比较。该方向目前处于从“已知部分边界”向“完全刻画”过渡的阶段。

发展脉络（history）

  1. 奠基工作：经典不等式与 Frechet 界。Nelsen et al. (2004) [6] 等早期工作建立了给定边际分布下二元分布函数的 Frechet-Hoeffding 型最佳可能界，为后续研究提供了基础工具（copula 与 quasi-copula）。Schreyer, Paulin, Trutschnig (2017) [8] 解决了经典的 Kendall's τ 与 Spearman's ρ 的精确区域问题，证明了 Durbin-Stuart 不等式在可数集外不紧，并给出了一个连续、严格递增的分段凹函数作为区域边界。这项工作树立了解决此类问题的范式：利用 shuffle of min 等组合工具构造极值 copula。

  2. 主要进展：Spearman's ρ 与 φ 的部分边界。Kokol Bukovšek & Stopar (2022) [2] 确定了给定 φ 时 ρ 的下界（由 Bertino copula 族达到），并给出了一个上界 u(x) = 1 - 2/3 (1-x)^2，但证明该上界仅在可数多个点 x_N = 1 - 3/(2N) 处是可达的（由等距偶数 shuffle of min 达到），因此不是全局紧的。Tschimpke, Schreyer, Trutschnig (2025) [32] 改进了可达上界，构造了一条分段函数 s(x)，并猜想 s(x) 在 (-1/8, 1) \ {x_N} 上不是最优的。

  3. 当前 Frontier 与本文位置。本文（Ansari & Rockel, 2026）完全解决了这个开问题，给出了 ρ 在给定 φ 时的精确最大值 \bar{ρ}(x) 的闭式表达式（定理 1.1），并证明了达到该最大值的 copula C_x 是唯一的。本文的位置是该子问题的终结者，它完成了 (ρ, φ) 区域的精确刻画。同时，本文将此结果推广到了三个新的应用领域：有限排序、广义可混合性、以及 Chatterjee's ξ 与 copula 相关比 η 的关系。

子线索聚类

  1. 经典秩相关系数之间的精确区域：这是最核心的线索。包括 Kendall's τ vs. Spearman's ρ [8], Spearman's ρ vs. Spearman's φ [2, 32, 本文], Spearman's φ vs. Gini's γ [15], Kendall's τ vs. φ [14] 等。这些工作通常使用 shuffle of min、Bertino copula、以及最优运输等工具。
  2. Chatterjee's ξ 与其他度量之间的关系：这是一个新兴的、活跃的线索。Chatterjee (2021) [4] 提出了 ξ，它能检测任意函数依赖。随后，大量工作研究 ξ 与经典度量（ρ, φ, τ）之间的可达区域和不等式，如 Ansari & Rockel (2025) [18] 研究 ξ-ρ 区域，Rockel (2025) [21] 研究 ξ-φ 区域，Rockel (2026) [22] 研究正相依下的 ξ-τ 和 ξ-ρ 界。本文则研究了 ξ 与 copula 相关比 η 之间的关系。
  3. 广义可混合性（Generalized Mixability）：Bignozzi & Puccetti (2015) [3] 将经典的可混合性（和是否为常数）推广到超模聚合函数。本文将其与秩相关系数的极值问题联系起来，刻画了 |U'+V'| 的可达常数集。

这个方向在追问的核心问题

  1. 精确区域刻画：给定两个度量 κ1 和 κ2，它们所有可能取值构成的区域 Ω_{κ1,κ2} 是什么？边界由哪些极值 copula 达到？
  2. 不等式的紧性：已知的 Cauchy-Schwarz 型不等式（如 ρ ≤ 1 - 2/3 (1-φ)^2）在什么条件下是紧的？如何改进？
  3. 新度量（如 ξ）的解释：Chatterjee's ξ 的数值如何与更传统的、可解释的度量（如解释方差的比例 η）联系起来？ξ 的值能告诉我们多少关于预测能力的信息？
  4. 极值 copula 的结构：达到区域边界的 copula 具有什么样的结构（如 shuffle of min、Bertino copula、或本文构造的具有分段线性支撑的 copula）？它们是否唯一？

⚠️ 作者的 framing

  • 作者把缺口 frame 成什么：作者将问题定位为“完成 (ρ, φ) 精确区域的开问题”，并强调其核心是改进 Cauchy-Schwarz 不等式。他们指出，已知的上界 u(x) 来自平凡的 Cauchy-Schwarz，而他们的贡献在于找到了在均匀边际约束下，Cauchy-Schwarz 不等式能被改进多少，即 V_min(m) 项。这使得他们的工作看起来是“显然的下一步”：既然已知上界不紧，那么找到那个紧的界就是最自然的问题。
  • 哪些竞争路线被他淡化或回避了：作者淡化了 Tschimpke et al. (2025) [32] 的工作，虽然承认他们构造了 s(x) 并猜想其非最优，但本文直接给出了精确解，并指出 s(x) 在 (-1/8, 1/4) 上是最优的，而在其他区间不是。作者没有深入讨论为什么 Tschimpke 的构造（基于分段线性对角线）无法达到最优，而是直接转向了最优运输的框架。
  • 什么明显该被引 / 该存在、却没出现在 intro 里？：本文的 intro 非常全面，引用了几乎所有关键文献。一个值得注意的点是，作者在讨论 ξ-η 关系时，引用了 Shih & Emura (2021) [13] 的 copula 相关比，但未引用更早的、关于“解释方差比例”在非参数设定下的更一般性工作（如 Sobol 指数）。这可能是因为本文聚焦于秩变换后的版本。未见明显缺失的关键引用。

张力

未见明显对立引用。该领域的工作是累积性的：Schreyer et al. 解决了 τ-ρ 问题，Kokol Bukovšek & Stopar 解决了 ρ-φ 的下界和部分上界，Tschimpke et al. 改进了上界，本文最终完成。这是一个典型的“逐步逼近”过程，没有根本性的矛盾。唯一的“张力”可能存在于不同方法之间（如 shuffle of min vs. 最优运输），但作者将其视为互补工具而非对立。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：

    • C: 一个二元 copula，即 [0,1]^2 上的分布函数，其边际分布是 [0,1] 上的均匀分布 U(0,1)。
    • (U, V) ~ C: 服从 copula C 的随机向量。U 和 V 都是 U(0,1) 随机变量。
    • ρ(C): Spearman's rho，定义为 ρ(C) = 12 E[UV] - 3。
    • φ(C): Spearman's footrule，定义为 φ(C) = 6 ∫_0^1 C(t,t) dt - 2。
    • Z = |U - V|: 绝对秩差。
    • m = E[Z]: 绝对秩差的期望。
    • ϱ(x): 在 φ(C) = x 的约束下，ρ(C) 的最大可能值。这是本文要计算的核心目标。
    • Π: 所有 U(0,1) 边际的耦合（coupling）的集合，与 copula 的集合一一对应。
    • T = {(a,b) in [0,1]^2: a ≤ b}: 下三角区域（包含对角线）。
    • Π_T: 定义在 T 上的测度 ν，满足 ν_1 + ν_2 = λ，其中 ν_1 和 ν_2 是 ν 的两个边际，λ 是 [0,1] 上的 Lebesgue 测度。这是对称耦合的“一半”表示。

  • 模型：

    • 数据生成机制：我们考虑所有可能的二元 copula C。这意味着 U 和 V 的边际分布固定为 U(0,1)，但它们的相依结构可以是任意的。
    • 参数/估计目标：ρ(C) 和 φ(C) 是两个由 C 决定的泛函。我们关心的是在给定 φ(C) = x 时，ρ(C) 的取值范围，特别是其最大值 ϱ(x)。

  • 可观测数据：

    • 可观测：(U, V) 的联合分布，即 copula C。在统计应用中，这通常来自连续随机变量 (X,Y) 的秩变换。
    • 想要但观测不到：这里没有潜在变量。问题完全是关于 copula 空间上的一个优化问题。我们想要的是 ρ 和 φ 之间的精确关系，而不是从数据中估计它们。

第二步：讲最小内核

本文的核心数学问题可以简化为一个带有线性矩约束的最优运输问题。

最简特例：理解为什么 Cauchy-Schwarz 不是紧的

  1. 核心关系：从 Lemma 3.2，我们有：

    • ρ(C) = 1 - 6 E[Z^2]
    • φ(C) = 1 - 3 E[Z] 因此，最大化 ρ 给定 φ 等价于最小化 E[Z^2] 给定 E[Z] = m。

  2. Cauchy-Schwarz 给出的平凡下界：对于任何非负随机变量 Z，Cauchy-Schwarz 给出 E[Z^2] ≥ (E[Z])^2 = m^2。这等价于 ρ ≤ 1 - 6m^2 = u(x)，即已知的非紧上界。

  3. 为什么平凡下界不紧？：Cauchy-Schwarz 等号成立当且仅当 Z 是常数（几乎必然），即 |U-V| = m a.s.。问题在于：是否存在一个耦合 (U,V) 使得 |U-V| 是常数？

  4. 最小内核问题：对于给定的 m，我们能否构造一个 (U,V) 耦合，使得 U, V ~ U(0,1) 且 |U-V| = m a.s.？

    • 如果 m = 0，可以，取 U=V（comonotonic copula）。
    • 如果 m = 1/2，可以，取 V = 1-U（countermonotonic copula）。
    • 如果 m = 1/4，可以吗？可以！构造一个 shuffle of min：将 [0,1] 分成 4 等份，让 V 在每份内是 U 的平移，使得 |U-V| = 1/4。例如，V = U + 1/4 for U in [0, 3/4]，V = U - 3/4 for U in [3/4, 1]。这对应 N=2 时的等距偶数 shuffle。
    • 如果 m = 1/3，可以吗？不可以。因为 U, V ~ U(0,1)，|U-V| 的分布受到边际均匀性的强烈约束。|U-V| 的支撑和概率密度不能任意。当 m 不是 1/(2N) 形式时，无法让 |U-V| 是常数。

  5. 本文的关键想法：当 |U-V| 不能是常数时，我们只能让它“尽可能接近常数”。这意味着我们要最小化 Var(Z) = E[Z^2] - m^2。本文通过最优运输理论，找到了在给定 E[Z]=m 下，能最小化 Var(Z) 的那个最优耦合 C_x。这个最优耦合的 Z 的分布是：一个点质量（在最近的“可达到的常数” ℓ 上）加上一段连续的均匀分布。这个“额外”的方差 V_min(m) 就是 Cauchy-Schwarz 不等式被改进的量。

一句话总结：本文的核心是证明了，在 U, V ~ U(0,1) 的约束下，|U-V| 的方差不能任意小，其最小值 V_min(m) 由一个分段函数给出，从而得到了 ρ 和 φ 之间的精确最优边界。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：解决了 Spearman's rho (ρ) 和 Spearman's footrule (φ) 之间精确可达区域的开问题，即对于给定的 φ 值，ρ 的最大可能值 \bar{ρ}(x) 是什么。
  2. 核心工具 / 方法：将原 copula 优化问题重新表述为一个带有线性矩约束的最优运输问题，利用 Kantorovich 对偶性，通过构造匹配的可行对偶势函数及其接触集，找到了唯一的最优耦合。
  3. 主要结论：给出了 \bar{ρ}(x) 的闭式表达式（定理 1.1），证明了达到该最大值的 copula C_x 是唯一的，并将此结果应用于有限排序、广义可混合性以及 Chatterjee's ξ 与 copula 相关比 η 之间的界。

关键设定与假设

  • 设定：(X,Y) 是连续随机变量，因此其相依结构由唯一的 copula C 完全刻画。C 是 [0,1]^2 上的分布函数，边际为 U(0,1)。
  • 假设：
    • 连续性假设：X 和 Y 的分布函数连续。这是 Sklar 定理保证 copula 唯一性的标准假设。
    • 对称性假设（用于简化）：由于 ρ 和 φ 对 (U,V) 和 (V,U) 对称，可以假设最优 copula 是对称的。这通过 Lemma 3.3 将问题从所有耦合 Π 简化为对称耦合 Π_sym，并进一步简化为三角区域上的测度 Π_T。
    • 与已有文献的比较：相比 Kokol Bukovšek & Stopar (2022) [2] 和 Tschimpke et al. (2025) [32]，本文没有引入新的假设，而是在相同的设定下解决了他们未能完全解决的问题。本文的假设是标准的，没有放宽或强化。

主要结果

  • 定理 1.1（核心定理）：给出了 \bar{ρ}(x) 的闭式表达式。对于 x ∈ I_N = [1 - 3/(2N), 1 - 3/(2N+2))，令 m = (1-x)/3，ℓ 是 m 最近的端点（1/(2N) 或 1/(2N+2)），Δ = |m-ℓ|，则： \bar{ρ}(x) = 1 - 6ℓ(2m-ℓ) - (4 Δ^{3/2}) / sqrt(N(N+1))。 这个公式精确量化了 Cauchy-Schwarz 不等式 u(x) = 1 - 6m^2 被改进的程度。改进项 (4 Δ^{3/2}) / sqrt(N(N+1)) - 6Δ^2 在 Δ=0（即 m 是 1/(2N) 形式）时为零，此时 \bar{ρ}(x) = u(x)，说明 Cauchy-Schwarz 是紧的。在其他情况下，\bar{ρ}(x) < u(x)。
    • 技术难点：难点在于证明这个表达式是可达的且是上界。作者通过构造一个复杂的、具有分段线性支撑的 copula C_x（定义 4.1）来证明可达性，并通过构造一个匹配的对偶势函数（定义 5.1）来证明最优性。
  • 推论 1.2：完整刻画了 (ρ, φ) 的精确区域 Ω_{ρ,φ}，其下界由 Kokol Bukovšek & Stopar (2022) 给出，上界由定理 1.1 给出。
  • 命题 1.6（改进的 Cauchy-Schwarz）：将定理 1.1 重新表述为概率论语言：对于 U, V ~ U(0,1)，E[(U-V)^2] ≥ (E|U-V|)^2 + V_min(m)，其中 V_min(m) 是严格非负的校正项，当且仅当 m ∈ C = {0} ∪ {1/(2N): N∈N} 时为零。
  • 定理 2.6（ξ-η 界）：对于 Chatterjee's ξ 和 copula 相关比 η，给出了外边界： max(0, \underline{ρ}(ξ)) ≤ η ≤ min(\bar{ρ}(ξ), 2ξ)。 这个界不是紧的（如例 2.9 所示），但提供了一个有用的定量比较。
  • 命题 2.10（ξ-η 内区域）：构造了一个大的、可达的内区域，占据了外区域约 81.4% 的面积，为精确刻画 (ξ, η) 区域提供了重要参考。

证明路线与技术技巧

整体路线（证明定理 1.1）：

  1. 问题转化：利用 ρ 和 φ 的矩表示（Lemma 3.2），将最大化 ρ 给定 φ 的问题转化为最小化 E[Z^2] 给定 E[Z]=m 的最优运输问题 P(m)（公式 10）。
  2. 对偶化：利用 Kantorovich 对偶性（带线性约束的版本，Zaev, 2015 [1]），将原问题转化为对偶问题 D(m)（公式 12），即寻找一个势函数 f 和一个拉格朗日乘子 θ，使得 f(a)+f(b)+θ(|b-a|-m) ≤ (b-a)^2 对所有 (a,b) 成立，并最大化 2∫f。
  3. 构造候选解：对于每个 x（或 m），构造一个候选耦合 π_x（即 copula C_x，定义 4.1）和一个候选对偶势函数 (f_x, θ)（定义 5.1）。
  4. 验证最优性：
    • 可行性：验证 π_x 满足边际均匀和矩约束（Lemma 4.3, 4.4）。验证 (f_x, θ) 满足不等式约束（Lemma 5.5）。
    • 接触集条件：证明 π_x 的支撑集完全落在 (f_x, θ) 的接触集上（Lemma 5.4），即在该支撑上不等式取等号。根据 Corollary 3.7，这意味着 π_x 是原问题的最优解，(f_x, θ) 是对偶问题的最优解。
  5. 计算最优值：利用 π_x 的构造，计算 E[Z] 和 E[Z^2]（Lemma 4.5, Proposition 4.6），从而得到 \bar{ρ}(x) 的表达式。
  6. 证明唯一性：利用接触集的图结构（Lemma 5.7）和 Lemma 5.6（一个关于平移不变测度的引理），证明任何最优解都必须与 π_x 一致（Proposition 5.8）。

关键跳跃点：

  • 构造候选耦合 C_x：这是最吃功夫的部分。C_x 的支撑结构非常复杂（见公式 65-73 和图 6, 7），由多条斜率为 ±1 的线段组成，其长度和位置由参数 N, v, p, θ 精确控制。这个构造的灵感来源于对偶势函数的形式，是“猜”出来的。
  • 构造对偶势函数 g_x：g_x 是一个分段线性函数（定义 5.1），其导数 g'_x 是分段常数（Lemma 5.3）。证明 g_x 的可行性（Lemma 5.5）需要巧妙地利用其周期性和导数性质，通过分析函数 G_x(u, r) = k_x(r) - g_x(u) - g_x(u+r) 的凸性，证明其最小值在 r = r^*(u) 处为零。
  • 证明接触集条件：Lemma 5.4 通过直接计算，验证了在 C_x 支撑的每条线段上，g_x(a) + g_x(b) = k_x(b-a) 成立。这需要利用 g_x 的周期性和分段线性性质，以及 C_x 支撑的几何结构。

技术技巧点名：

  • 最优运输（Optimal Transport）：核心框架。将 copula 优化问题转化为带约束的 Monge-Kantorovich 问题。
  • Kantorovich 对偶性（Kantorovich Duality）：用于将原问题转化为对偶问题，并建立最优性条件（接触集条件）。使用了带线性约束的扩展版本 [1]。
  • 接触集方法（Contact Set / Complementary Slackness）：证明最优性的标准技巧。通过构造一个对偶可行解，并证明原问题的候选解集中在其接触集上，从而证明两者都是最优的。
  • Shuffle of Min：候选 copula C_x 的支撑结构是 shuffle of min 的推广（包含斜率为 ±1 的线段）。
  • 分段线性势函数：对偶势函数 g_x 是分段线性的，其导数分段常数，这使得分析其凸性和可行性成为可能。
  • 平移不变测度引理（Lemma 5.6）：一个简洁的测度论引理，用于证明最优解的唯一性。它指出，如果一个有限符号测度在平移映射下（平移量严格为正）是反不变的（μ = -τ_#μ），则该测度必须为零。

真实例子与应用

本文包含三个应用，但没有使用真实数据集的数值实验。

  1. 有限排序（Section 2.1）：

    • 场景：比较两个排名（permutation）的差异，使用 Spearman's footrule 距离 D_π 和二次秩差 S_π。
    • 方法：将有限排名嵌入到一个连续的 shuffle of min copula 中（公式 27），从而将 D_π 和 S_π 与 E[Z] 和 E[Z^2] 联系起来。
    • 结果：得到了一个改进的 Cauchy-Schwarz 不等式（定理 2.1）：S_π ≥ D_π^2 / n + n^3 V_min(m_π)，其中 V_min(m_π) 是来自 Proposition 1.6 的校正项。
    • 说明：这个例子展示了理论结果如何直接应用于离散组合问题，并给出了比经典不等式更紧的界。

  2. 广义可混合性（Section 2.2）：

    • 场景：研究中心化均匀分布 U(-1/2, 1/2) 在超模聚合函数 Ψ(u,v)=|u+v| 下的可混合性。
    • 方法：通过变换 U' = U - 1/2, V' = 1/2 - V，将问题转化为 |U-V| 是否为常数的问题。
    • 结果：证明了 Ψ(U', V') 能几乎必然为常数 m 当且仅当 m ∈ C = {0} ∪ {1/(2N): N∈N}（Lemma 2.3）。当不能为常数时，给出了最小方差 V(m) = V_min(m)（定理 2.4）。
    • 说明：这个例子将秩相关系数的极值问题与风险管理和组合优化中的可混合性概念联系起来，揭示了均匀分布在这种特定聚合函数下的一个有趣性质（可数无穷多个中心）。

  3. Chatterjee's ξ 与 copula 相关比 η（Section 2.3）：

    • 场景：解释 Chatterjee's ξ 的数值。ξ 衡量函数依赖强度，η 衡量解释方差比例。两者都是 [0,1] 上的值。
    • 方法：利用 ξ 和 η 与 Spearman's φ 和 ρ 的关系（公式 36, 40）：ξ(C) = φ(C*C)，η(C) = ρ(C*C)，其中 C*C 是 Markov 积。
    • 结果：通过将本文的 (ρ, φ) 区域应用于 C*C，得到了 ξ 和 η 之间的外边界（定理 2.6）。同时，通过构造一个条件 i.i.d. 模型族，得到了一个大的内区域（命题 2.10）。
    • 说明：这个例子展示了本文的核心结果如何被“提升”到更复杂的统计量上。虽然得到的界不是紧的，但它为理解 ξ 的实践含义提供了第一个定量工具。

🔎 结论是否比证明窄

  • 定理 2.6（ξ-η 界）：作者明确指出，上界 η ≤ \bar{ρ}(ξ) 不是紧的（例 2.9）。这是因为 \bar{ρ}(ξ) 是对所有 copula 的最优上界，但 η 和 ξ 只能由形如 C*C 的 copula（即 Markov 积）达到，而这类 copula 只是所有 copula 的一个真子集（对称 copula）。因此，将 (ρ, φ) 区域直接应用于 C*C 只能给出一个外边界，而不是精确区域。作者在 Remark 2.7(b) 中明确指出了这一点。
  • 命题 2.10（ξ-η 内区域）：作者构造的内区域覆盖了外区域约 81.4% 的面积，但没有声称它是紧的。确定 (ξ, η) 的精确区域被明确列为开放问题（Remark 2.11(a)）。
  • 定理 2.1（有限排序不等式）：作者指出，对于有限 n，该不等式是渐近紧的，但对于每个固定的 n 不一定是最优的（Remark 2.2）。这是因为嵌入到连续 copula 的过程会引入一个近似误差。

四、开放问题

  1. (ξ, η) 的精确区域：本文给出了 (ξ, η) 的外边界和内区域，但精确区域 Ω_{ξ,η} 仍是开放的。特别是，上边界 η ≤ \bar{ρ}(ξ) 和下边界 η ≥ \underline{ρ}(ξ) 是否能在 Markov 积 C*C 的子类上达到？或者是否存在一个更紧的、仅适用于 Markov 积的 (ρ, φ) 区域？扎根点：Remark 2.11(a) "Determining the exact region Ω_{ξ,η}, and in particular whether either η_ℓ or η_u is sharp, remains open."

  2. 有限排序不等式的紧性：定理 2.1 给出的不等式是渐近紧的，但对于给定的有限 n，其最优性如何？是否存在一个针对离散排名的、精确的 (D_π, S_π) 区域？扎根点：Remark 2.2 "the bounds in (29) are sharp for the continuum problem of copulas and asymptotically sharp for finite rankings, but need not be optimal for each fixed n."

  3. 其他聚合函数下的广义可混合性：本文研究了 Ψ(u,v)=|u+v| 下的可混合性。对于其他超模聚合函数（如 max(u,v) 或更一般的 L^p 范数），均匀分布的可达常数集和最小方差是什么？扎根点：Section 2.2 的框架和 Bignozzi & Puccetti (2015) [3] 的工作。

  4. 高维推广：本文的结果局限于二元 copula。能否将最优运输的方法推广到高维，研究多个秩相关系数（如 ρ 和 φ 的多元版本）之间的约束关系？扎根点：本文的方法高度依赖于二元结构（如对称性、三角区域表示 Π_T），推广到高维将面临维数灾难和更复杂的几何结构。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论