跳转至

Kendall and Spearman bounds for Chatterjee's rank correlation under positive dependence

作者: Marcus Rockel
主题: 非参数 / 半参数
相关性: 7/10
链接: https://arxiv.org/abs/2606.22074

一、领域脉络与小综述

这个方向是什么

这个子方向关注的是秩相关系数之间的比较，特别是不同秩相关系数在正相依假设下的大小关系。核心问题是：对于一个给定的二元分布（由其copula描述），经典秩相关系数（如Kendall's τ和Spearman's ρ）与较新的、方向性的Chatterjee's ξ之间是否存在确定性的不等式？这一研究既有助于理解这些系数的本质差异，也为实际应用中选择哪个系数提供了理论指导。目前，经典系数（τ, ρ）之间的关系已基本清晰，而关于ξ与它们的关系，则是在Chatterjee (2021)提出ξ后才逐渐展开的，当前正处在“建立基本界限”的阶段。

发展脉络

  1. 奠基工作：经典秩相关与早期不等式

    • Kendall (1938)：提出了Kendall's τ，定义为一致对概率减不一致对概率，是衡量单调关联的经典指标。
    • Spearman (1904)：提出了Spearman's ρ，定义为秩的Pearson相关系数，同样是经典指标。
    • Capéraà & Genest (1993)：证明了在“左尾递减 (LTD)”和“右尾递增 (RTI)”这两个正相依条件下，有 τ(C) ≤ ρ(C)。（这是经典结论，本文用它作为背景）。

  2. 主要进展：Chatterjee's ξ的提出与初步比较

    • Chatterjee (2021)：提出了一个全新的、方向性的秩相关系数ξ，它能衡量一个变量多大程度上是另一个变量的函数（包括非单调函数），取值范围为[0,1]。
    • Ansari & Rockel (2026a)（即本文引用的[3]，作者自己的工作）：证明了在随机递增 (SI) 条件下，有 ξ(C) ≤ ρ(C)。这是第一个将ξ与经典系数联系起来的严格不等式。

  3. 当前Frontier与本文位置

    • 此前的工作留下一个口子：数值实验表明，对于大量常见的SI copula，似乎还有 ξ(C) ≤ τ(C) 这个更强的结论成立。但尚无理论证明。作者（Ansari & Rockel, 2024）在[2]中明确将其作为一个猜想提出。
    • 本文的位置：本文正是为了填补这个口子。它证明了ξ(C) ≤ τ(C)对于所有SI copula成立，从而将不等式链（0≤ ξ ≤ τ ≤ ρ）补全。此外，它还将已知的Spearman bound（ξ ≤ ρ）从SI条件弱化到LTD & RTI条件，并给出了等号成立的充要条件。因此，本文是这个子领域一个重要的、收尾性的理论工作。

子线索聚类

这些被引文献大致落在两个子线索上：

  1. 经典秩相关的比较与正相依关系：以Nelsen (2006) [15] 的教科书为集大成者，系统性地研究Kendall's τ、Spearman's ρ与各种正相依条件（SI, LTD, RTI, TP2等）的关系。核心结果是τ ≤ ρ。
  2. 基于Chatterjee's的新度量与扩张：以Chatterjee (2021)为首，Dette, Siburg & Stoimenov (2013) [9] 为其copula版本。其后续工作（如[1,2,3]以及本文）专注于界定ξ与经典系数的关系，以及研究其连续性等性质。

这个方向在追问的核心问题

  1. ξ与τ的关系：在什么正相依假设下，可以有ξ ≤ τ？本文在SI假设下给出了答案（是），并指出LTD & RTI不足（否，见反例4.4）。
  2. ξ与ρ的关系：能否用比SI更弱的条件保证ξ ≤ ρ？本文给出的答案是LTD & RTI联合（是），并且指出单个条件不足（见例5.3, 5.4）。
  3. 方向性：ξ是一个方向性度量（衡量V对U的函数依赖程度）。这些不等式（ξ ≤ τ, ξ ≤ ρ）是否对转置后的copula（即ξ(C^⊤)）也成立？本文明确回答否（见例4.5和5.5），表明不等式依赖于ξ定义的方向。
  4. 等号成立的刻画：当不等式ξ ≤ τ或ξ ≤ ρ取等号时，对应的copula是什么结构？本文给出了清晰刻画：ξ=τ的等号为常矩阵copula（如序数和积）；ξ=ρ的等号仅为独立copula Π或共单调copula M。

⚠️ 作者的framing（必须明确标注成"这是作者的说法"）

作者将缺口frame成一个具体猜想的证明：“Numerical evidence across a wide variety of copula families led [2] to conjecture that ξ(C) ≤ τ(C) also holds for stochastically increasing copulas. Our main result confirms this conjecture”（引言）。同时，另一个战果是弱化了ξ≤ρ的条件。

  • 淡化/回避的竞争路线：作者专注于copula框架下的直接分布函数分析（通过Markov kernel）。他淡化了利用ξ的U-统计量结构进行高阶投影分析的可能性。对于回答核心问题，这是一个“死胡同”吗？对于研究“如何在更弱条件下（如非连续分布）证明类似不等式”，U-统计量的道路可能更宽。作者完全没有提它。
  • 什么明显该被引/该存在、却没出现在intro里？：不出所料。Chatterjee (2021) 原文中其实有一个关于ξ与τ的“经验”不等式（比如在给定实验下的一个粗略结果），但本文没有引用它去定位其与严格不等式的关系。这是巧合还是故意？（值得研究者去查的问题）。

张力

  • 未见明显对立引用：所有被引工作在本结论的框架下是一致的（Capéraà & Genest (1993) 证明 τ ≤ ρ; Ansari & Rockel (2026a) 证明 ξ ≤ ρ under SI; 本文证明 ξ ≤ τ under SI）。它们形成了一条逻辑链，没有矛盾的结论。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：

    • \(C\): 二元copula，是 [0,1]²上的分布函数，边际分布为均匀分布U(0,1)。代表了两个随机变量 (U, V) 的相依结构，边际已被归一化。
    • \(\xi(C)\): Chatterjee's rank correlation，衡量 \(V\) 对 \(U\) 的函数依赖强度 (\(0\le \xi\le 1\))。是本文要比较的“左侧”的系数。
    • \(\tau(C)\): Kendall's tau，测一致对与不一致对概率之差 (\(-1\le \tau\le 1\))。
    • \(\rho(C)\): Spearman's rho，是U和V的Pearson相关系数 (\(-1\le \rho\le 1\))。
    • \(K_C(t, \cdot)\): 给定 \(U=t\) 时 \(V\) 的条件分布的Markov kernel。是概率测度。
    • \(h_v(t) = K_C(t, [0, v])\): 给定 \(U=t\) 时 \(V \le v\) 的条件概率。即条件分布函数。它是关键对象。
    • \(\lambda\): 勒贝格测度。

  • 模型：

    • 数据生成机制：从某个copula \(C\) 中生成独立同分布的观测对 \((U_i, V_i)\)。
    • 结构：固定 \(U = t\)，\(V\) 的条件分布由 \(H_t = K_C(t, \cdot)\) 决定。
    • 本文的研究对象是copula本身，不是估计。所以假设我们已经完全知道copula \(C\)。

  • 可观测数据：

    • 可观测：\((U, V)\) 的联合分布被 copula \(C\) 完全决定。我们可以计算 \(\xi(C), \tau(C), \rho(C)\)（这些是参数，不是估计量）。
    • 潜在/不可观测物：\(V\) 对 \(U\) 的潜在函数依赖关系（即 \(V\) 是否是 \(U\) 的某个可测函数）是潜在的，但 \(\xi\) 作为整体量会捕捉它。

第二步：讲最小内核

本文的核心思路是通过将一个局部的“随机序违反概率”用一个局部的“交叉秩方差泛函”控制住，然后积分得到全局的不等式。

最小特例：离散k-秩情况（k = 2, 即只有两个“组”），再退到更简单的彩票模型。

不用具体的copula记号，想象一个离散的场景（这其实就是k=2的序数和积copula的框架）：

  • 设定：我们有一个随机变量 \(U\)，取两个值：\(U = t\) 或 \(U = s\)，各占一半概率。记 \(P(U=t) = P(U=s) = 1/2\)。
  • 条件分布：
    • 当 \(U = t\) 时，\(V\) 的条件分布记为 \(F\)。
    • 当 \(U = s\) 时，\(V\) 的条件分布记为 \(G\)。
    • 假设 \(F\) “随机序地”小于等于 \(G\)，即对于任意y，\(F(y) \ge G(y)\)。这对应了“stochastically increasing”的性质。

  • 我们需要计算两种“相关”程度：

    • Kendall's tau 在这个简单模型里测的是什么呢？它测一个随机序违反的概率：\(P_{t,s} = P(V_t > V_s)\)，其中 \(V_t \sim F, V_s \sim G\) 独立。因为 \(U\) 只有两个值，所以 \(\tau\) 只依赖于这个违反概率。
    • Chatterjee's xi \(\xi\) 在这个模型里测的是条件分布的方差：\(\text{Var}(F(V_s))\) 和 \(\text{Var}(G(V_t))\) 的平均。因为当 \(U=t\) 时，\(V\) 的“位置”在原 \(F\) 的秩上（\(F(V)\) 是均匀的），但如果用错误的分布 \(G\) 去排序，即计算 \(G(V_t)\)，它的分布就不是均匀的了，其方差可以度量条件分布之间的差异。

  • 论文要证的“最小情形”：在这离散两水平模型中，\(P(V_t > V_s) \le \frac{3}{2} \left( \text{Var}(F(V_s)) + \text{Var}(G(V_t)) \right)\)。

    • 左边：Kendall中的局部违反概率。
    • 右边：Chatterjee中的局部方差泛函的线性组合。
    • 直觉：如果两个分布很不同（\(F\) 和 \(G\) 差距大），那么违反概率（\(V_t\) 大但 \(V_s\) 小）是比较难发生的（因为大部分情况下一个的秩应该跟着另一个的秩走），同时方差也大。关键是要证明这个二次的关系（右边）比一次的关系（左边）增长得更快，从而给出一个常数倍数的容纳。

  • 为什么难？：左边是一个线性泛函（\(P(V_t > V_s) = \int F(y) dG(y)\)），而右边是交叉方差项（\(\int F(y)(1-F(y)) dG(y) + ...\)），它们是二次的。从一次到二次，并证明一个恒定的因子3/2，是核心的数学困难。

本文的Theorem 3.1就是这个从离散两水平推广到任意连续条件分布的局部不等式。那么一般化（积分）就变成：对copula中所有对 \((t < s)\)，积分这个局部不等式，就得到全局的 \(\xi(C) \le \tau(C)\)。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在随机递增（SI）及更弱的左尾递减/右尾递增（LTD/RTI）正相依条件下，比较Chatterjee's \(\xi\) 与Kendall's \(\tau\) 和Spearman's \(\rho\) 的大小关系。
  2. 核心工具：一个新提出的sharp的随机序违反概率界（Theorem 3.1），该界利用交叉秩方差泛函控制序违反概率，并结合了Stieltjes积分、分段线性函数在polytope上取极值的论证、以及高斯copula Markov乘积的平滑化技巧。
  3. 主要结论：对所有SI copula，有 \(\xi(C) \le \tau(C)\)（证实了一个猜想）；对所有LTD & RTI copula，有 \(\xi(C) \le \rho(C)\)（弱化了已知猜想）；并且两个不等式是方向性的。

关键设定与假设

  • 连续性：所有边际分布（即copula的边际）是均匀分布，核心假设是“对于 \(\lambda\)-a.e. \(t\)，条件分布 \(H_t\) 是连续的”（kernel-regular，Definition 4.1）。最终的定理1.1针对任意SI copula（包括不满足这个规则的）通过高斯copula平滑证明成立。
  • 随机递增 (SI)：即对于所有 \(v\)，\(t \mapsto K_C(t,[0, v])\) 非增。
  • 左尾递减 / 右尾递增：
    • LTD: \(u \mapsto C(u, v)/u\) 非增。
    • RTI: \(u \mapsto (v - C(u, v))/(1-u)\) 非增。
  • 单调性假设的强弱：SI ⇒ LTD & RTI ([17, Thm. 5.2.12])，所以定理1.2的假设（LTD & RTI）弱于定理1.1（SI）。
  • 与已有文献比较：相比经典结果τ ≤ ρ (Capéraà & Genest, 1993) 需要相似的LTD & RTI条件，本文的定理1.2是针对 \(\xi\) 的（而不是 \(\tau\)），并且将 \(\xi\) 与 \(\rho\) 比较的条件从SI（Ansari & Rockel, 2026a）放宽到LTD & RTI。

主要结果

  • 定理1.1 (SI条件下的Kendall bound)：If \(C\) 是 SI copula，则 \(\xi(C) \le \tau(C)\)。等号成立的一个例子是序数和积copula（Proposition 4.3），它插值了从0到1的整个范围，因此不等式是sharp的。
  • 定理1.2 (LTD & RTI条件下的Spearman bound)：If \(C\) 是 LTD & RTI copula，则 \(\xi(C) \le \rho(C)\)。等号成立当且仅当 \(C\) 是独立copula Π (\(\xi=\rho=0\)) 或共单调copula M (\(\xi=\rho=1\))。
  • 反例：
    • 示例4.4证明LTD & RTI联合不足以保证 \(\xi \le \tau\)（反例给出 \(\xi=23/36 > 7/12=\tau\)）。
    • 示例4.5、5.5证明SI或LTD&RTI都不足以保证转置方向的 \(\xi\) 与 \(\tau\) 或 \(\rho\) 的不等式（反例 \(C\) 是SI，但 \(\xi(C^{\top}) > \tau(C), \rho(C)\)）。
    • 示例5.3、5.4分别证明单独的LTD或RTI不足以保证 \(\xi \le \rho\)。

证明路线与技术技巧

1. Kendall bound的证明 (定理1.1)

  • 整体路线：

    1. 核心引理：Theorem 3.1（抽象的交叉秩方差控制）。这是全文的基石。
    2. 应用于SI copula的核 (Proposition 4.2)：对于满足连续、严格递增条件的“kernel-regular” SI copula，利用SI条件 \(h_y(t) \ge h_y(s)\) (for \(t < s\))，将Theorem 3.1应用到每一对条件分布 \((F = h_{\cdot}(t), G = h_{\cdot}(s))\)，得到局部不等式 (4.3)。
    3. 积分：将(4.3)在整个三角区域 \(0<t<s<1\) 上积分，并通过积分交换技巧（将两倍三角域转为整个正方形），得到最终的积分不等式 (4.1)，即 \(\xi(C) \le \tau(C)\)。
    4. 正则化：对于一般的SI copula（可能不满足kernel-regular条件），作者使用一个 高斯copula (Markov乘积) 技巧。对SI copula \(C\) 与高斯copula \(G_r\) 做Markov乘积 \(C_r = C * G_r\)。证明 \(C_r\) 仍为SI，并且是kernel-regular。对 \(C_r\) 应用Proposition 4.2，得到 \(\xi(C_r) \le \tau(C_r)\)。然后令 \(r \uparrow 1\)（高斯相关性趋近于1），利用 \(\xi\) 和 \(\tau\) 关于copula点态收敛的连续性（引用[1, Cor. 3.6]），极限传递到 \(\xi(C) \le \tau(C)\)。这用高斯copula的“卷积平滑”处理了非正则核，是一个优雅的技巧。

  • 关键跳跃点：

    • Theorem 3.1的证明：这是技术核心。其子步骤包括：
      • Lemma 3.2：一个关键的一维积分不等式。对于一个非减函数 \(\eta(t) \le t\)，需要证明 \(\int_0^1 (t-\eta(t))^2 dt \le \frac{2}{3} \int_0^1 (t-\eta(t)) dt\)。证明过程（图1所示）利用了“单调分段常数函数构成一个polytope，最大值在顶点取得”的几何思想。作者用有限个区间上的分段常数近似 \(\eta\)，然后在有限维polytope的顶点处（所有分段常数均“顶到”上界）验证不等式，最后取极限。这个“polytope顶点论证”非常漂亮且具有几何直感。
      • 从Lemma 3.2到Theorem 3.1：通过将 \(\eta\) 定义为 \(G(F^{-1})\)，并利用Stieltjes积分将（3.1）和（3.12）两项转化为 \(\int \eta(t)(2t-\eta(t)) dt\)，从而归结为Lemma 3.2。

  • 技术技巧点名：

    • 理论核心：Polytope顶点论证（在有限维线性约束下最大化凸函数）、Stieltjes积分、随机序的test-function表征。
    • 正则化：Markov乘积（它是一种卷积平滑）、高斯copula核（\(K_r\) 连续严格增）、连续性定理（引用于[1]）。
    • 反例构造：Checkerboard copula（块状均匀分布，便于闭式计算）。

2. Spearman bound的证明 (定理1.2)

  • 整体路线：
    1. 转化为一维函数问题：固定 \(v\)，定义 \(g_v(u) = h_v(u) - v\) 和 \(G_v(u) = C(u,v) - uv\)。LTD和RTI条件可以转化为关于 \(g_v\) 和 \(G_v\) 的三个不等式（即(5.7)-(5.9)）。
    2. 利用一维不等式：作者证明了Lemma 5.1：在那些条件下，有 \(Q(g_v) \le P(g_v) \le 2B(g_v)\)，其中 \(Q, P, B\) 分别是 \(g_v\) 的平方积分、正部分积分、和 \(G_v\) 积分。最后一项正好是 \(\int(C(u,v)-uv)du\) 的两倍。
    3. 积分：积分后得到 \(\xi = 6 \int Q_v dv \le 12 \int B_v dv = \rho\)。
    4. 等号刻画：若 \(\xi = \rho\)，上不等式又需逐点 \(Q_v = 2B_v\)。然后利用Lemma 5.2（其证明需要再次用到积分等式逐项为零的分析），得到两个可能：\(g_v \equiv 0\) 或 \(g_v\) 为一个特定的“阶梯函数”（\(1_{u\le v} - v\)）。通过单调性论证，不能同时有正测度的两个情形，从而推出 \(C\) 只能是 Π 或 M。

真实例子与应用

本文的“例子”是构造性的反例，而非真实数据应用。论文使用了大量的4×4 checkerboard copula（图3）来验证边界、反驳猜想。

  • Checkerboard copula：将单位正方形划分为 \(4 \times 4\) 的网格，每个单元格内密度恒定。这使得条件分布函数 \(h_v(u)\) 是分段常数（在每个 \(u\) 垂直条带内），方便闭式计算 \(\rho, \tau, \xi\)（使用[18]的公式）。
  • 例子功能：
    • 例4.4（图3左1）：通过一个 \(C\) 不SI但LTD & RTI的checkerboard copula，展示了 \(\xi > \tau\)。这个反例的目的是证明：定理1.1中的SI条件不能减弱到LTD & RTI。
    • 例4.5（图3左2）：通过一个SI的checkerboard copula，展示 \(\xi(C^{\top}) > \tau(C)\)。目的是证明Kendall bound的方向性。
    • 例5.3/5.4（图3右2, 右1）：分别展示只有LTD或缺RTI，导致 \(\xi > \rho\)。表明定理1.2中LTD和RTI必须同时满足。
    • 所有这些例子都是纯理论构造，没有真实数据应用。

🔎 结论是否比证明窄

  • 窄结论1：Theorem 3.1（抽象的序违反界）的证明要求 \(F\) 是严格递增的分布函数。但在定理1.1和1.2的应用中，作者通过kernel-regular和高斯平滑，确保了这个条件在对SI copula的应用是正确的。但在非连续或绑定的情况下（分布函数可能有平段），这个界可能不直接成立。作者在推论时仅限于连续情况的讨论。
  • 窄结论2：Theorem 1.1（Kendall bound）的证明完全建立在Theorem 3.1上的局部不等式（4.3）。这个不等式的sharp性（通过顶点论证保证）是整体sharp性的关键来源。作者只能确保序数和积copula是边界（满足等号），但无法说这个界是否对所有能取到的边界都是“唯一等号形式”（除了序数和积）。Profile Likelihood式的分析没有给出。
  • 泛化上的约束：所有结论都针对bivariate copula，且\(\xi, \tau, \rho\)都是对二维的排名。高维推广（即用多元copula或多个\(\xi\)）完全是另一回事，但作者未作任何conjecture，显得谨慎。

四、开放问题

  1. Kendall bound在非SI条件下的推广：本文证明了在SI假设下 \(\xi \le \tau\)，并展示了即使在LTD & RTI条件下也可能违反。那么是否存在一个比SI更弱、但能确保 \(\xi \le \tau\) 保持的正相依条件？比如，是否是“正象限依赖 (PQD)”？或者其他更一般的条件？（扎根于Theorem 1.1中SI的必要性及Example 4.4中LTD&RTI的反例之间的矛盾）。

  2. 高维或广义相依度量的拓展：本文所有结果都在二元copula框架下。多个经典的二元相依度量（如\(\tau, \rho\)）可以在高维或通过可交换性拓展。Chatterjee's \(\xi\) 是否能与这些高维版本\(\tau, \rho\)建立类似的不等式关系？（扎根于作者对低维copula的完全聚焦，以及没有讨论高维推广的现状。）

  3. 条件独立检验中的直接应用：Chatterjee's \(\xi\) 的一个核心应用是条件独立性检验。本文的序违反界（Theorem 3.1）提供了一个局部控制。能否将这个局部界整合到检验的渐近性质中，为检验的local power在特定正相依备择下提供更紧的界？（扎根于Theorem 3.1的“局部”控制性质，但论文没有将其与假设检验连接）。

  4. 非连续分布下的界：Theorem 3.1的证明要求分布函数严格递增。本文通过kernel-regular和高斯平滑绕过了这个要求，但最终所证的Kendall bound对于一般的可间断分布是否依然成立？ 若成立，它是否会有一个依赖于不连续点集的更紧的形式？这需要研究 \(\xi, \tau\) 在有界情况下的精确表达式。（扎根于模型中“连续边际”这一核心假设以及高斯平滑的使用）。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论