跳转至

Weighted k-Sample Kolmogorov-Smirnov, Cramer-von Mises, and Anderson-Darling Tests for Assessing Covariate Balance

作者: Ariel Linden
主题: 数理统计 / 假设检验
相关性: 6/10
链接: https://arxiv.org/abs/2608.02929


一、领域脉络与小综述

这个方向是什么

这个子方向解决的根本问题是:在因果推断中,如何严格地检验倾向性评分加权(或匹配、分层)后,处理组与对照组(或多组)在协变量分布上是否达到了平衡。传统的平衡性诊断依赖标准化均值差(SMD)等一阶矩汇总统计量,但这些量可能遗漏分布形状(方差、偏度、尾部)上的差异。因此,研究者转向使用完整的分布性拟合优度检验(Kolmogorov-Smirnov、Anderson-Darling、Cramér–von Mises),将其推广到加权数据,以提供更全面的平衡性评估。当前该子方向的成熟度处于方法推广与实证验证阶段:加权两样本版本已有,但加权多样本(k≥3)版本是空白。

发展脉络(history)

  1. 奠基工作(经典非参数检验)
  2. Kolmogorov (1933)Smirnov (1948) 提出了两样本 KS 检验,基于经验分布函数(ECDF)的最大垂直距离。
  3. Cramér (1928)von Mises (1931) 提出了 Cramér–von Mises 检验,基于 ECDF 与理论分布之间平方偏差的积分。
  4. Anderson & Darling (1952) 提出了 Anderson–Darling 检验,通过在方差项中引入权重(1/[F(x)(1-F(x))]),使其对尾部差异更敏感。
  5. 这三者构成了分布性检验的经典三件套,其相对优势(KS 对中心差异敏感、AD 对尾部差异敏感、AD 与 CVM 对弥散差异表现相当)由 Stephens (1974)D'Agostino & Stephens (1986) 系统总结。

  6. 多样本推广(k≥2)

  7. Kiefer (1959) 将 KS 和 CVM 推广到 k 样本,用每个组与合并 ECDF 的平方偏差之和(或上确界)代替两两比较。这是本文 KS 和 CVM 多样本统计量的直接来源。
  8. Scholz & Stephens (1987) 将 AD 检验推广到 k 样本,并给出了离散(有结)数据的修正项。这是本文 AD 多样本统计量的直接来源。
  9. 这些推广在经典(未加权)文献中已存在,但未考虑权重,且其渐近零分布依赖于查表,不适用于加权数据。

  10. 加权两样本推广(Linden 2026b)

  11. Linden (2026b) 将 KS、AD、CVM 三个检验推广到加权两样本设定,核心创新是:用加权 ECDF 替换原始 ECDF,用 Kish 有效样本量替换原始样本量(用于 AD 的方差标准化项),并采用标签置换推断(而非渐近分布)来获得 p 值。该工作验证了加权后三个检验的相对优势保持不变。
  12. 本文的位置:Linden (2026b) 留下了“仅限两组比较”的缺口。本文直接将其推广到任意 k≥2 组,并引入事后两两比较程序。

  13. 当前 frontier 与本文的位置

  14. 当前 frontier 是:将加权分布性检验从两样本推广到多样本,并解决伴随的多重比较问题。本文是这一 frontier 上的直接一步:它采用了 Kiefer (1959) 和 Scholz & Stephens (1987) 的多样本统计量形式,套入 Linden (2026b) 的加权置换框架,并新增了事后两两比较程序。本文声称其 k 样本统计量在 k=2 时精确退化为两样本版本(不仅是渐近等价),从而保证了向后兼容性。

子线索聚类

这些被引文献大致落在 3 条子线索上:

  1. 经典分布性检验的理论与推广(Kolmogorov 1933, Smirnov 1948, Cramér 1928, von Mises 1931, Anderson & Darling 1952, Kiefer 1959, Scholz & Stephens 1987, Stephens 1974, D'Agostino & Stephens 1986):这一簇在做什么?建立和推广 KS、AD、CVM 检验的统计量形式、渐近分布和相对优势。这是本文统计量的数学基础。

  2. 因果推断中的平衡性诊断(Rubin 2008, Linden 2014, Linden et al. 2016, Hainmueller 2012, Robins et al. 2000):这一簇在做什么?强调协变量平衡是因果推断的必要步骤,并发展各种加权/匹配/分层方法(如倾向性评分加权、熵平衡、边际均值加权)。本文的应用场景完全落在此簇。

  3. 加权分布性检验(Linden 2026b, 以及本文):这一簇在做什么?将经典分布性检验推广到加权数据,使用置换推断而非渐近分布,以处理权重来源未知的问题。本文是此簇从两样本到多样本的直接扩展。

这个方向在追问的核心问题

  1. 如何将加权分布性检验从两样本推广到多样本? 当前主流方法是 Linden (2026b) 的两样本加权框架。已知瓶颈是:多样本统计量的形式选择(Kiefer vs. Scholz-Stephens)、加权 ECDF 与加权合并 ECDF 的定义、以及 Kish 有效样本量在多样本下的推广。

  2. 多样本检验的功效如何随组数 k 变化? 本文发现了一个关键机制:对于固定大小的单个离群组,增加非差异组会扩大零分布(自由度增加),导致临界值增大,从而降低整体检验的功效。这不是信号被稀释,而是零分布本身变宽了。

  3. 如何在多样本检验拒绝后定位具体差异组? 本文提出了事后两两比较程序,并提供了四种多重比较校正方法(Bonferroni、Šidák、Holm、Benjamini-Hochberg)。这是一个没有两样本类比的新问题。

  4. 不同检验(KS、AD、CVM)在多样本下的相对优势是否保持不变? 本文通过模拟验证了:是的,KS 对中心差异最敏感、AD 对尾部差异最敏感、AD 与 CVM 对弥散差异表现相当。

⚠️ 作者的 framing(必须明确标注成"这是作者的说法")

  • 作者把缺口 frame 成什么:作者将缺口 frame 成“加权分布性检验目前仅限于两组比较,当需要评估三组或更多组时,研究者只能要么做无原则多重比较的成对检验,要么退回到会丢失分布信息的汇总统计量(如 SMD)”。因此,本文成为“显然的下一步”:直接推广到任意 k≥2,并附带事后两两比较程序。
  • 哪些竞争路线被他淡化或回避了:作者淡化了直接使用两两比较(不控制多重比较) 的路线,将其描述为“没有原则性的方式控制多重比较问题”。但事实上,如果研究者只关心特定组(如处理组 vs. 每个对照组),使用 Bonferroni 校正后的两两比较(使用 Linden 2026b 的两样本加权检验)在概念上更简单,且可能功效更高(因为避免了多样本检验的零分布膨胀)。作者在讨论中承认了这一点(“事后程序...往往是更灵敏的工具”),但将其定位为“补充”而非“替代”。
  • 什么明显该被引 / 该存在、却没出现在 intro 里? 作者没有引用基于能量距离(energy distance)或最大均值差异(MMD)的多样本检验(如 Gretton et al. 2012 的核方法)。这些方法天然支持加权数据和多样本比较,且已有成熟的置换推断程序。作者在 future work 中提到了 Wasserstein 检验(Ramdas et al. 2017),但未提及能量距离/MMD。这是一个值得研究者去查的问题:能量距离/MMD 的多样本加权版本是否已被研究?如果已有,本文的贡献是否被高估?如果未被研究,为什么?

张力

未见明显对立引用。所有被引工作(Kiefer, Scholz-Stephens, Linden 2026b)在各自的设定下都是自洽的,且本文的模拟结果与 Linden (2026b) 的两样本结果在定性上一致(相对优势保持、Type I error 控制良好)。唯一的“张力”是本文发现的一个新现象:在极端权重变异性(r_e=0.2)下,k=3 的 Type I error 没有像两样本那样膨胀到 30% 以上,反而略低于名义水平。作者将其归因于“可能是两样本与多样本置换程序之间的真正差异”,但未给出理论解释。这是一个值得注意的开放点。


二、最核心、最简单的例子 / 数学问题

第一步:把符号、模型、可观测数据交代清楚

  • 符号
  • k:组数(整数,≥2)。本文主要关注 k=3 的模拟。
  • j:组索引,j = 1, ..., k。
  • n_j:第 j 组的原始样本量(未加权计数)。
  • N = Σ_j n_j:总原始样本量。
  • i:组内观测索引,i = 1, ..., n_j。
  • x_{ji}:第 j 组第 i 个观测的协变量值(实数)。这是可观测的
  • w_{ji} > 0:第 j 组第 i 个观测的权重(实数)。这是可观测的(由倾向性评分加权、熵平衡等方法产生)。
  • F_j(x):第 j 组的真实累积分布函数(CDF)。这是不可观测的(潜在量)。
  • F̂^w_j(x):第 j 组的加权经验累积分布函数(加权 ECDF)。这是可计算的(从可观测数据计算)。
  • F̄^w(x):所有 k 组的加权合并 ECDF。这是可计算的
  • W_j = Σ_i w_{ji}:第 j 组的权重和。
  • n_{e,j} = W_j^2 / Σ_i w_{ji}^2:第 j 组的 Kish 有效样本量。
  • n_e = Σ_j n_{e,j}:总 Kish 有效样本量。
  • h_l:在合并样本中,第 l 个唯一值上原始(未加权)观测的个数(用于处理结数据)。
  • R:置换复制的次数(本文用 1000)。
  • α:显著性水平(本文用 0.05)。

  • 模型

  • 数据生成机制:对于每个组 j,观测值 x_{ji} 独立同分布于某个连续分布 F_j。权重 w_{ji} 是独立于 x_{ji} 和组标签生成的(在模拟中,权重来自对数正态分布,与数据生成过程独立)。没有假设权重是如何产生的——这是置换推断的优势。
  • 要检验的零假设:H_0: F_1 = F_2 = ... = F_k(所有组的协变量分布相同)。
  • 要估计的对象:检验统计量(KS、AD、CVM)的观测值,以及其置换零分布下的 p 值。

  • 可观测数据

  • 实际能观测到的是什么:对于每个观测 i,我们能观测到:组标签 j、协变量值 x_{ji}、权重 w_{ji}。这些是研究者实际拥有的数据。
  • 想要但观测不到的是什么:我们想要知道真实的 CDF F_j,但只能通过加权 ECDF F̂^w_j 来估计。我们想要知道检验统计量在零假设下的精确分布,但无法解析计算(因为权重来源未知),只能通过置换来近似。

第二步:讲最小内核

本文的核心思路可以用一个最简特例来理解:k=2,且所有权重都等于 1(即未加权情况)。在这个特例下,本文的 k 样本统计量退化为经典的两样本统计量,置换推断退化为经典的两样本置换检验。这个特例已经包含了本文的全部核心数学困难与解决思路。

最简特例:未加权两样本 KS 检验

  • 设定:有两组,组 1(处理组)有 n_1 个观测,组 0(对照组)有 n_0 个观测。所有权重 w_{ji} = 1。零假设 H_0: F_1 = F_0。
  • 可观测数据(x_{1i}, i=1,...,n_1)(x_{0i}, i=1,...,n_0)
  • 经典 KS 统计量
    D = sup_x |F̂_1(x) - F̂_0(x)|
    
    其中 F̂_j(x) = (1/n_j) Σ_i I(x_{ji} ≤ x) 是未加权 ECDF。
  • 本文的 k 样本 KS 统计量(k=2 时):根据本文的定义,当 k=2 时,直接报告 D(而不是 Kiefer 的 T)。所以统计量就是 D
  • 置换推断
  • 计算观测统计量 D_obs
  • N = n_1 + n_0 个观测的组标签随机打乱,保持组大小 n_1n_0 不变。
  • 在打乱后的数据上重新计算 KS 统计量,得到 D_perm
  • 重复步骤 2-3 共 R 次(例如 R=1000)。
  • 计算 p 值:p = (1 + #{r: D_perm_r ≥ D_obs}) / (R + 1)
  • 如果 p < α,拒绝 H_0。

这个特例如何体现本文的核心思路?

  1. 统计量形式:本文的 k 样本 KS 统计量(Kiefer 形式)在 k=2 时与经典 D 是等价的(单调变换),所以本文的框架向后兼容
  2. 置换推断:置换推断是本文的核心推断工具。它不依赖于权重的分布假设,也不依赖于渐近分布表。在未加权特例下,它等价于经典的两样本置换检验。
  3. 从两样本到多样本的推广:当 k>2 时,唯一的变化是:
  4. 统计量从 sup_x |F̂_1 - F̂_0| 变为 sup_x Σ_j W_j (F̂^w_j - F̄^w)^2(KS 的 Kiefer 形式)。
  5. 置换时,组标签从 2 类变为 k 类。
  6. 其他一切(置换过程、p 值计算)完全相同。

这个特例揭示了本文的数学本质:本文不是发明了新的统计量,而是将已有的多样本统计量(Kiefer, Scholz-Stephens)与已有的加权置换框架(Linden 2026b)组合起来,并解决了向后兼容性和事后两两比较的问题。核心数学困难不在于统计量的推导(已有),而在于证明这种组合在加权多样本设定下仍然有效(Type I error 控制、相对优势保持),以及理解功效随 k 增加而下降的机制(零分布膨胀)。


三、这篇论文做了什么(本次重心,务必讲透)

三句话

  1. 研究了什么问题:将加权 Kolmogorov-Smirnov、Anderson-Darling 和 Cramér–von Mises 检验从两样本推广到任意 k≥2 组,并引入事后两两比较程序,用于因果推断中多组协变量平衡性的诊断。
  2. 核心工具/方法:采用 Kiefer (1959) 的 KS/CVM 多样本统计量和 Scholz & Stephens (1987) 的 AD 多样本统计量,将其与加权 ECDF、Kish 有效样本量以及标签置换推断(Linden 2026b)结合,确保 k=2 时精确退化为两样本版本。
  3. 主要结论:在 k=3 的模拟中,所有三个检验的 Type I error 接近名义水平,且两样本下建立的相对优势(KS 对中心差异最敏感、AD 对尾部差异最敏感、AD 与 CVM 对弥散差异表现相当)得以保持。但整体检验功效低于对应的两样本设定,原因是增加组数扩大了零分布(自由度增加),而非信号被稀释。事后两两比较程序(其成对统计量无此惩罚)是定位具体差异组的更灵敏工具。

关键设定与假设

在第二节最小记号的基础上,补全完整设定:

  • 加权 ECDF(公式 1):F̂^w_j(x) = (Σ_i w_{ji} I(x_{ji} ≤ x)) / (Σ_i w_{ji})。这是加权两样本推广的直接扩展。
  • 加权合并 ECDF(公式 2):F̄^w(x) = (Σ_j Σ_i w_{ji} I(x_{ji} ≤ x)) / (Σ_j Σ_i w_{ji})。这是多样本特有的:每个组不是与另一个组比较,而是与所有组的加权平均比较。
  • Kish 有效样本量n_{e,j} = W_j^2 / Σ_i w_{ji}^2n_e = Σ_j n_{e,j}。用于 AD 统计量的方差标准化项,替代原始样本量 N。这是对权重变异性的一种校正:权重越不均匀,有效样本量越小。
  • 权重假设:权重必须严格为正(w_{ji} > 0),且不需要归一化到任何特定尺度(因为所有公式只涉及权重比)。权重被视为观测的固定属性,不假设其生成机制。
  • 数据假设:各组观测独立,且来自连续分布(但统计量通过 h_l 项处理了结数据)。
  • 零假设H_0: F_1 = F_2 = ... = F_k(所有组的协变量分布相同)。
  • 相比已有文献的放宽/强化
  • 放宽:相比经典多样本检验(Kiefer, Scholz-Stephens),本文允许任意权重,且不依赖渐近分布表(使用置换推断)。
  • 强化:相比两样本加权检验(Linden 2026b),本文要求 k≥2 的统计量在 k=2 时精确(而非渐近)退化为两样本版本。这通过设计选择实现(对 KS/CVM 报告两样本统计量而非 Kiefer 的 T;对 AD 在 k=2 时使用两样本版本而非 Scholz-Stephens 公式)。

主要结果

本文的核心结果是模拟研究(k=3)和真实数据例子。理论结果(定理)较少,主要是统计量的定义和置换推断程序。

  1. Type I error 控制(表 2):在 k=3、n=1000-4000 下,所有三个检验的拒绝率在 0.044-0.057 之间,紧密围绕名义水平 0.05。与两样本结果(Linden 2026b)基本一致。关键发现:在极端权重变异性(r_e=0.2)下,k=3 的 Type I error(0.044-0.048)没有像两样本那样膨胀到 0.064-0.067,反而略低于名义水平。作者未给出理论解释,但指出这不是抽样误差。

  2. 功效:中心差异(表 3a):KS 最敏感(n=4000 时功效 0.984),AD 次之(0.714),CVM 最弱(0.579)。所有两两比较在 n≥2000 时均显著(p<.001)。与两样本结果一致

  3. 功效:尾部差异(表 3b):AD 压倒性最敏感(n=4000 时功效 0.618),KS 和 CVM 均接近 Type I error 水平(0.064 和 0.069)。与两样本结果一致

  4. 功效:弥散差异(表 3c):AD 和 CVM 表现相当,均优于 KS。AD 在 n≥2000 时略优于 CVM(p=.010, .008, <.001)。与两样本结果一致

  5. 功效下降机制(讨论 5.2):这是本文最重要的非模拟发现。作者证明,对于单个离群组(占比 π)与 k-1 个相同参考组,Kiefer 的 T 统计量在总体水平上简化为 nπ(1-π)(F_3 - F_ref)^2,与两样本比较相同——信号未被稀释。但零分布(所有统计量的渐近零分布由 k-1 个自由度索引)随 k 增加而随机增大,导致临界值变大。这是零分布膨胀,而非信号稀释。作者将其类比为 ANOVA F 检验在增加非差异组时功效下降。

  6. 权重变异性敏感性(表 5):在 r_e ∈ {0.2, 0.4, 0.6, 0.8, 0.9} 下,所有三个检验的相对优势保持不变。关键发现:在 r_e=0.2(最极端权重变异性)下,Type I error 没有像两样本那样膨胀。

  7. 真实数据例子(第 4 节):使用心力衰竭疾病管理项目的 7971 名患者数据(3 组:Control n=6612, Calls n=654, RTM n=705)。在 MMWS 加权前,所有三个检验均显著(p=.001,置换下限)。加权后,所有三个检验均不显著(KS p=.1359, AD p=.1499, CVM p=.8002),且事后两两比较也均不显著。这个例子想说明:本文的方法能够检测到加权前后的平衡性变化,且加权后达到了平衡。

证明路线与技术技巧(理论型必写,要具体)

本文是方法型论文,没有复杂的数学证明。核心“证明”是模拟验证和机制解释。但我们可以拆解其统计量定义和置换推断的逻辑路线。

  • 整体路线
  • 定义加权多样本统计量:将 Kiefer (1959) 的 KS/CVM 统计量和 Scholz & Stephens (1987) 的 AD 统计量中的 ECDF 替换为加权 ECDF,样本量替换为权重和(W_j)或 Kish 有效样本量(n_e)。
  • 确保向后兼容性:通过设计选择(k=2 时报告两样本统计量而非多样本统计量),确保 k=2 时统计量精确等于两样本版本。
  • 置换推断:将两样本置换程序(Linden 2026b)直接扩展到 k 类标签。这是核心推断工具,不依赖渐近分布。
  • 事后两两比较:在整体检验拒绝后,对每对组运行两样本加权检验,并应用四种多重比较校正。
  • 模拟验证:通过 k=3 的模拟,验证 Type I error 控制、相对优势保持、以及功效下降机制。

  • 关键跳跃点

  • 从两样本到多样本的统计量选择:为什么选 Kiefer 和 Scholz-Stephens 的形式?因为它们是经典多样本推广,且与两样本版本有已知的代数关系。作者没有比较其他多样本统计量(如基于能量距离的)。
  • Kish 有效样本量的使用:在 AD 统计量中,用 n_e 替代 N 是加权两样本推广的直接扩展。作者没有证明这是最优选择,但模拟显示 Type I error 控制良好。
  • 功效下降机制的解析:作者在讨论中给出了一个简洁的代数论证(T = nπ(1-π)(F_3 - F_ref)^2),证明信号未被稀释。这个论证是理解本文核心发现的关键。

  • 技术技巧点名

  • 置换推断:核心推断工具。用于处理权重来源未知的问题,避免对渐近分布表的依赖。计算成本为 O(R N log N)。
  • Kish 有效样本量:用于校正权重变异性对方差的影响。在 AD 统计量中,用 n_e 替代 N 是加权两样本推广的直接扩展。
  • 多重比较校正:Bonferroni、Šidák、Holm、Benjamini-Hochberg。用于事后两两比较,控制族系错误率或错误发现率。

真实例子与应用

  • 用的什么数据/场景:心力衰竭疾病管理项目数据,3 组(Control, Calls, RTM),共 7971 名患者。协变量是“医疗风险评分”(基于既往医疗利用情况预测的近期医疗成本)。
  • 怎么把本文方法用上去:首先,使用多分类逻辑回归估计广义倾向性评分,然后通过边际均值加权(MMWS)构建权重。然后,对加权前后的医疗风险评分,分别运行 k=3 的 KS、AD、CVM 检验(R=1000 置换),并报告事后两两比较结果。
  • 得到什么结果:加权前,所有三个检验均显著(p=.001),所有九组成对比较也均显著。加权后,所有三个检验均不显著(p 值在 0.14-0.80 之间),所有九组成对比较也均不显著。
  • 这个例子想说明什么:验证本文方法能够检测到加权前后的平衡性变化。加权前的不平衡被成功检测,加权后的平衡被成功确认。但这个例子没有展示更复杂的情况(如整体检验拒绝但只有部分成对比较显著),作者在讨论中承认了这一点。

🔎 结论是否比证明窄

  • 结论:“AD remains a reasonable general-purpose default with more than two groups, as it was with two”。比证明窄:模拟只验证了 k=3 且只有一个离群组的情况。作者没有证明 AD 在 k>3 或更复杂的离群结构(如多个离群组、离群组之间相互抵消)下仍然是好的默认选择。作者在讨论中明确承认了这一点(“other structures possible only at k>2 remain untested”)。
  • 结论:“every omnibus test loses power...as non-differing groups are added”。比证明窄:这个结论是基于 Kiefer 统计量的代数论证和模拟(k=3)。作者没有证明这个机制对所有多样本统计量(如能量距离)都成立,也没有量化功效下降的速度(线性、次线性?)。作者在 future work 中提到了这一点。
  • 结论:“Type I error remained close to nominal”。比证明窄:模拟只覆盖了 n=1000-4000 和特定的权重分布(对数正态)。作者没有证明在更小的样本量、更极端的权重分布、或非正态基础分布下 Type I error 仍然可控。

四、开放问题(点到为止,扎根具体语句)

  1. 功效下降的量化:“characterizing how the power reduction and post-hoc performance documented here scale beyond k=3”(Discussion 最后一句)。要证什么:对于固定大小的单个离群组,功效随 k 增加而下降的速率(线性、次线性、对数?)。扎根于:本文只模拟了 k=3,未测试 k>3。

  2. 事后两两比较程序的操作特性:“the post-hoc procedure's own Type I error and power were not evaluated by simulation here”(Discussion 5.4 第三点)。要估什么:在整体检验拒绝后,运行所有成对比较并应用多重比较校正,其族系错误率和发现率如何?扎根于:本文只在真实数据例子中展示了事后程序,未进行模拟评估。

  3. 其他多样本分布性检验的扩展:“extending the same framework to other k-sample distributional tests, such as the Kuiper and Wasserstein statistics”(Discussion 最后一句)。要算什么:将本文的加权置换框架扩展到 Kuiper 检验(对循环数据敏感)和 Wasserstein 检验(基于最优传输距离)。扎根于:本文只扩展了 KS、AD、CVM。

  4. 极端权重变异性下 Type I error 的异常行为:“Whether this reflects a genuine difference between the two-group and k-sample permutation procedures under extreme weight variability...is addressed further in the Discussion”(Section 3.6)。要证什么:为什么在 r_e=0.2 下,k=3 的 Type I error 没有像两样本那样膨胀,反而略低于名义水平?这是否是普遍现象,还是特定于本文的 DGP?扎根于:本文模拟发现了一个与两样本结果不一致的现象,但未给出理论解释。

提醒:要确认第 4 条是否是真 gap,可以去读 Linden (2026b) 的讨论部分,看作者是否对两样本下的 Type I error 膨胀给出了解释。如果两样本下的膨胀已被解释(例如,极端权重导致置换分布离散化),那么 k=3 下未膨胀可能只是偶然。如果两样本下的膨胀未被解释,那么这是一个值得深挖的开放问题。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论