Energy distances for statistical inference on infinite dimensional Hilbert spaces without moment conditions¶
作者: Jiajun Tang, Holger Dette
来源: Bernoulli
主题: 数理统计 / 假设检验
相关性: 6/10
机构绿灯: Harvard University(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv
一、领域脉络与小综述¶
这个方向是什么¶
本文属于非参数假设检验与分布间距离度量的交叉领域,其根本科学问题是:在数据取值于无穷维 Hilbert 空间(如函数型数据、随机过程轨迹)且不满足任何矩条件(如有限一阶矩、二阶矩)的情况下,如何构造具有良好理论性质(相合性、可控第一类错误、minimax 最优性)的两样本同分布检验与独立性检验。该方向的成熟度处于"经典方法已建立、但推广到无矩条件无穷维设定仍有缺口"的阶段——经典的能量距离(energy distance)和距离协方差(distance covariance)在有限维欧氏空间已有成熟理论(Szekely and Rizzo, 2007; Szekely et al., 2007),但推广到无穷维时,要么需要矩条件(如 Lyons, 2013 要求 E∥X∥ < ∞),要么需要额外的正则性假设。
发展脉络¶
- 奠基工作:Szekely and Rizzo (2007) 与 Szekely et al. (2007) 在有限维欧氏空间定义了能量距离与距离协方差,建立了"分布相等 ⟺ 距离为零"的刻画,并给出基于经验估计的检验统计量。这是整个领域的出发点。
- 推广到度量空间:Lyons (2013) 将距离协方差推广到一般度量空间,证明了在强负型(strongly negative type)度量空间上距离协方差为零 ⟺ 独立。但 Lyons (2013) 的框架要求 E[d(X, x)] < ∞ 形式的矩条件,这在重尾分布(如柯西型)或某些无穷维设定下不成立。
- 函数型数据的检验:Zhu and Wang (2023) 针对稀疏观测的函数型数据提出基于能量距离的同质性检验;Wynne and Duncan (2022) 在 RKHS 中构造函数型数据的两样本检验。但这些工作或依赖特定观测模式(稀疏/密集),或依赖核函数的选取,且矩条件问题未完全解决。
- 本文的位置:作者在引言中明确指出,已有工作的共同缺陷是需要矩条件(如 E∥X∥ < ∞),而本文通过引入"参考测度 ν"并定义积分形式的能量距离(定义 2.2),完全去掉了矩条件。这是本文相对于 Lyons (2013) 和 Zhu and Wang (2023) 的核心推进。
子线索聚类¶
- 能量距离与 MMD 的等价性线索:这条线索关注"分布间距离"的构造与刻画。代表工作包括 Szekely and Rizzo (2007)、Lyons (2013)、Gretton et al. (2012) 的 MMD。本文的命题 2.11 证明了新定义的能量距离等价于 RKHS 中的 MMD(以参考测度 ν 诱导的核),从而将这条线索与核方法联系起来。
- 独立性度量线索:这条线索关注"距离协方差/距离相关性"作为独立性的度量。代表工作包括 Szekely et al. (2007)、Lyons (2013)。本文的定理 3.3 给出了新距离协方差为零 ⟺ 独立的充要条件,并证明了其与 HSIC 的等价性(Remark 3.4)。
- minimax 最优检验线索:这条线索关注检验的最优性,即分离速率的下界与上界匹配。代表工作包括 Baraud (2002) 的信号检测 minimax 框架、Ingster (1987, 1993) 的 minimax 检验理论。本文的定理 4.4、4.5、4.8 分别给出了独立性检验和两样本检验的分离速率上界与下界,证明其 minimax 最优性。
核心问题与已知瓶颈¶
- 无矩条件下的距离定义:经典能量距离 E∥X − Y∥ 需要 E∥X∥ < ∞ 才能保证有限。本文用 ∫|φ_X − φ_Y|²dν 替代,由于 |φ| ≤ 1,积分自动有限,完全绕开了矩条件。这是本文的核心技术贡献。
- 参考测度的特征性(characteristic property):距离为零 ⟺ 分布相等,需要参考测度 ν 满足支撑条件 supp(ν) = H(定理 2.4)。这是一个充分必要条件,但如何在实际中验证一个给定的 ν 是否满足 supp(ν) = H,以及如何选择 ν 以优化检验功效,文中未给出系统性指导。
- 检验统计量的极限分布:命题 4.2 和 4.7 给出了检验统计量的渐近分布,但涉及未知算子(S_ν, R_ν)的特征值,实际中难以直接使用,因此作者转向置换检验。置换检验的有限样本性质(如对 B 的依赖、功效损失)未在文中深入讨论。
- 测量误差情形:命题 4.9 表明在测量误差下距离仍然有效,但分离速率(定理 4.8 的推广)在测量误差下是否仍为 n^{-1/2},文中未给出明确结果,仅在命题 4.10 中给出了上界。
⚠️ 作者的 framing¶
作者将缺口 frame 为"已有能量距离/距离协方差方法在无穷维 Hilbert 空间上需要矩条件,而实际数据(如重尾函数型数据)常违反这些条件"。因此本文的贡献被定位为"在无矩条件下建立能量距离与距离协方差的完整理论,并证明基于置换的检验具有 minimax 最优性"。作者在引言中淡化了以下竞争路线:(i) 基于投影的方法(Miao et al., 2023; Krzysko et al., 2022),认为其依赖基函数选取;(ii) 基于核 MMD 的方法(Wynne and Duncan, 2022),认为其核选取缺乏指导。但作者未在文中对这两条路线做定量比较。
张力¶
未见明显对立引用。但存在一个值得注意的内部张力:定理 2.4 要求 supp(ν) = H 才能保证特征性,而实际计算中 ν 必须取为某个可采样的分布(如高斯或拉普拉斯)。文中证明了高斯和拉普拉斯参考测度在非退化条件下满足 supp(ν) = H(推论 2.6 和命题 2.8),但非退化条件(协方差算子严格正定)在无穷维空间中如何验证,文中未给出可操作的准则。这可能是作者留给读者的一个隐含开放问题。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号清单(逐个点名):
| 记号 | 含义 | 类型 |
|---|---|---|
| H | 实可分无穷维 Hilbert 空间,内积 ⟨·,·⟩,范数 ∥·∥ | 样本空间 |
| P(H) | H 上所有 Borel 概率测度的集合 | 参数空间(无穷维) |
| X, Y | H 值随机变量,分布分别为 P_X, P_Y | 随机变量 |
| φ_X(w) = E exp(i⟨X,w⟩) | X 的特征泛函,w ∈ H | 随机变量 X 的变换(可观测数据的函数) |
| ν | 参考概率测度,满足对称性(A1)和 supp(ν) = H(A2) | 设计参数(由研究者选择) |
| Ed_ν²(P_X, P_Y) | 能量距离平方 = ∫_H |φ_X(w) − φ_Y(w)|² ν(dw) | 目标 estimand(两样本检验) |
| dCov_ν²(X, Y) | 距离协方差平方 = ∫{H²} |φ{X,Y}(w₁,w₂) − φ_X(w₁)φ_Y(w₂)|² ν(dw₁)ν(dw₂) | 目标 estimand(独立性检验) |
| dVar_ν(X) | 距离方差 = dCov_ν(X, X) | 辅助量 |
| dCor_ν²(X, Y) | 距离相关性 = dCov_ν²(X,Y) / [dVar_ν(X) dVar_ν(Y)] | 归一化的独立性度量 |
| (X′, Y′), (X″, Y″) | (X, Y) 的独立副本 | 用于构造 U-统计量 |
| n, n₁, n₂ | 样本量(总样本、第一组、第二组) | 标量 |
| T_n = {(X₁,Y₁),…,(X_n,Y_n)} | 可观测样本(i.i.d.) | 可观测数据 |
| φ_ν(x) = ∫_H exp(i⟨w,x⟩) ν(dw) | 参考测度 ν 的特征泛函 | 已知函数(由 ν 决定) |
| d_ν(x,y) = 1 − φ_ν(x−y) | 由 ν 诱导的平移不变半度量 | 辅助量 |
| K_ν(x,y) = 1 − φ_ν(x) − φ_ν(y) + φ_ν(x−y) | 由 ν 诱导的 RKHS 核 | 辅助量 |
| S_ν, R_ν | 积分算子(特征值 λ_{ν,j}, τ_{ν,j}) | 渐近分布中的未知量 |
| Π_b | 随机置换 | 置换检验的随机化机制 |
| B, B₁, B₂ | 置换次数 | 算法参数 |
模型(数据生成机制):
- 两样本检验:X₁,…,X_{n₁} i.i.d. ∼ P_X,Y₁,…,Y_{n₂} i.i.d. ∼ P_Y,X 与 Y 独立。原假设 H₀ : P_X = P_Y。无任何矩条件,即 P_X, P_Y 可以是任意 Borel 概率测度。
- 独立性检验:(X₁,Y₁),…,(X_n,Y_n) i.i.d. ∼ P_{X,Y}。原假设 H₀ : P_{X,Y} = P_X ⊗ P_Y。同样无矩条件。
可观测数据:研究者实际能观测到的是 H 值样本点 X_i, Y_j(或配对样本 (X_i, Y_i))。不可观测的是特征泛函 φ_X(w) 本身——它只能通过经验特征泛函 φ̂_X(w) = (1/n)Σ exp(i⟨X_i,w⟩) 来估计。参考测度 ν 是研究者可以自由选择的设计参数,但一旦选定,φ_ν(x) = ∫ exp(i⟨w,x⟩) ν(dw) 就是已知函数。
第二步:最小内核¶
最小内核(两样本检验):假设 H = ℝ(一维实数轴),ν 取为标准高斯测度 N(0,1)。此时:
- 特征泛函 φ_X(w) = E[e^{iwX}] 就是普通的一维特征函数。
- 能量距离平方 Ed_ν²(P_X, P_Y) = ∫_ℝ |φ_X(w) − φ_Y(w)|² · (1/√(2π)) e^{−w²/2} dw。
- 由于 |φ_X − φ_Y|² ≤ 4,积分自动有限,不需要 E|X| < ∞。这就是"无矩条件"的直观含义:高斯参考测度的权重 e^{−w²/2} 在无穷远处衰减极快,压制了特征函数差的高频振荡。
为什么这个内核能支撑整篇论文? 因为所有后续结果——定理 2.4(特征性)、命题 2.11(MMD 等价)、定理 3.3(独立性刻画)、定理 4.4/4.5/4.8(minimax 最优性)——都建立在这个"积分特征函数差平方"的构造之上。一般化到无穷维 H 时,只需将 ℝ 换成 H,将高斯测度换成任意满足 A1(对称)和 A2(全支撑)的参考测度 ν,并将普通积分换成关于 ν 的积分。证明的核心困难在于:
-
特征性(定理 2.4):需要证明 supp(ν) = H 是"Ed_ν²(P,Q) = 0 ⟹ P = Q"的充要条件。充分性用特征泛函的唯一性定理(Kukush, 2020, Corollary 4.1);必要性通过构造两个不同的概率测度,使其特征泛函在 supp(ν) 的补集上不同、在 supp(ν) 上相同。
-
minimax 下界(定理 4.5):需要构造"难以区分"的备择假设集合,利用 Le Cam 方法或 Ingster 方法(Ingster, 1987, 1993)证明任何检验的分离速率不可能优于 n^{-1/2}。这里的困难在于无穷维——备择假设的构造需要利用 H 的无穷维结构(例如在无穷多个正交方向上各放一点扰动),使得总分离距离达到 ρ,但每个方向上的信号强度都低于噪声水平。
-
置换检验的分离速率(定理 4.4):需要证明置换检验的分离速率与最优检验匹配。这里的困难在于置换分布的条件性——需要控制置换分布下的尾概率,且保证在备择假设下检验统计量以高概率超过置换分位数。作者通过 decoupling 技巧(Kim et al., 2022)和 Hanson-Wright 不等式(Rudelson and Vershynin, 2013)来处理。
一句话总结最小内核:本文在数学上干的事情是——用参考测度 ν 对特征泛函差的模平方做积分,构造了一个无需矩条件的分布间距离,并证明了基于该距离的置换检验在 minimax 意义下达到最优分离速率 n^{-1/2}。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在无穷维 Hilbert 空间上、无任何矩条件下,构造能量距离与距离协方差,并基于此开发两样本同分布检验与独立性检验,证明其 minimax 最优性。
- 核心工具/方法:以参考测度 ν 为积分权的特征泛函差模平方积分(定义 2.2 和 3.1),结合置换检验;理论工具包括特征泛函唯一性定理、RKHS 嵌入、U-统计量渐近理论、Hanson-Wright 不等式、Ingster 的 minimax 下界方法。
- 主要结论:(i) 参考测度 ν 满足 supp(ν) = H 当且仅当能量距离是特征性的(定理 2.4);(ii) 新距离等价于 RKHS 中的 MMD(命题 2.11),新距离协方差等价于 HSIC(Remark 3.4);(iii) 基于置换的独立性检验和两样本检验的分离速率均为 n^{-1/2}(定理 4.4、4.8),且该速率是最优的(定理 4.5);(iv) 在测量误差下检验仍然有效(命题 4.9、4.10)。
关键设定与假设¶
- 假设 A1(对称性):ν 是对称概率测度,即 ν(B) = ν(−B) 对所有 Borel 集 B 成立。统计含义:保证 φ_ν(x) = ∫ cos⟨w,x⟩ ν(dw) 是实值函数,从而 d_ν(x,y) = 1 − φ_ν(x−y) 是良定义的实值半度量。相比已有文献(如 Lyons, 2013 要求度量空间具有强负型性质),这是一个更弱且更易验证的条件。
- 假设 A2(全支撑):supp(ν) = H。统计含义:保证特征泛函在 ν 的支撑上完全区分所有概率测度。这是特征性的充要条件(定理 2.4),相比已有文献(如 Sriperumbudur et al., 2010 对核的要求),本文给出了精确刻画而非仅充分条件。
- 无矩条件:本文不假设 E∥X∥ < ∞ 或任何高阶矩。这是相对于 Lyons (2013)、Zhu and Wang (2023) 的关键放宽。代价是:检验统计量的渐近分布(命题 4.2、4.7)涉及未知算子特征值,无法直接用于临界值计算,因此作者转向置换检验。
- 测量误差设定(4.3 节):观测为 X̃ = X + U,其中 U 独立于 X,特征泛函 φ_U 不消失。统计含义:即使观测被噪声污染,只要噪声的特征泛函不消失,距离仍然有效。这是一个比经典 deconvolution 更弱的条件——不需要噪声分布已知,只需要其特征泛函非零。
主要结果¶
定理 2.4(特征性):设 ν 对称。则 supp(ν) = H ⟺ 对所有 P,Q ∈ P(H),Ed_ν²(P,Q) = 0 ⟹ P = Q。
- 直觉:如果 ν 的支撑不是全空间,那么存在一个非空开集 U ⊂ H \ supp(ν)。可以构造两个概率测度 P₁, P₂,它们的特征泛函在 supp(ν) 上相同、在 U 上不同,从而 Ed_ν²(P₁,P₂) = 0 但 P₁ ≠ P₂。充分性则直接来自特征泛函的唯一性定理。
- 与已有工作的关系:Sriperumbudur et al. (2010) 对 RKHS 嵌入给出了类似条件(积分严格正定核),但本文的证明更直接,且条件(supp(ν) = H)更易验证。
命题 2.11(MMD 等价):Ed_ν(P,Q) = MMD(P,Q; H_{K_ν,1}),其中 K_ν 由 (2.16) 定义。
- 意义:将能量距离嵌入 RKHS 框架,从而可以借用核方法的工具(如 HSIC、MMD 的渐近理论)。但注意:这里的 RKHS 是由参考测度 ν 诱导的,而非任意选择的核。这为核的选择提供了数据无关的指导——选 ν 等价于选核。
定理 3.3(独立性刻画):设 ν 对称且 supp(ν) = H。则 dCov_ν²(X,Y) = 0 ⟺ X ⊥⊥ Y。
- 证明思路:利用特征泛函的乘积分解。dCov_ν²(X,Y) = 0 意味着 φ_{X,Y} = φ_X ⊗ φ_Y 在 supp(ν⊗ν) = H² 上成立,由唯一性定理得 X ⊥⊥ Y。
- 与 HSIC 的关系(Remark 3.4):dCov_ν²(X,Y) = HSIC_ν²(X,Y),即新距离协方差就是 HSIC。这统一了距离相关性与核方法两条文献线。
定理 4.4(独立性检验分离速率上界):对任意 α, β ∈ (0,1) 满足 α + β < 1,置换检验的分离速率满足 ρ{ψ̂_{ν,n}(α), β} ≤ c n^{-1/2} {log(α^{-1}) + log(β^{-1})}。
定理 4.5(独立性检验分离速率下界):存在常数 c > 0,使得 ρ*(α, β) ≥ c n^{-1/2}。结合定理 4.4,置换检验是 minimax 最优的。
定理 4.8(两样本检验分离速率):类似地,两样本置换检验的分离速率上界为 c(n₁+n₂)^{-1/2},下界也为 c'(n₁+n₂)^{-1/2},故 minimax 最优。
命题 4.9(测量误差下的有效性):若 φ_U 不消失,则 Ed_ν²(P_{X̃}, P_{Ỹ}) = 0 ⟺ Ed_ν²(P_X, P_Y) = 0。即测量误差不改变检验的有效性。
命题 4.10(测量误差下的分离速率):在测量误差下,两样本检验的分离速率仍为 (n₁+n₂)^{-1/2},但常数依赖于噪声特征函数的下界。
证明路线与技术技巧¶
整体路线(以定理 4.4/4.5 为例):
- 将检验统计量表示为 V-统计量:由命题 4.1,dCov̂_ν²(X,Y) 可写成四重求和的形式,进而分解为 U-统计量的线性组合(引理 A.4)。
- 在独立零假设下建立渐近分布:利用 Hoeffding 分解(引理 A.5),证明在 H₀ 下 n·dCov̂_ν² 依分布收敛到加权 χ² 分布(命题 4.2(ii))。关键步骤是证明 h₁ ≡ 0(一阶投影消失),从而主导项是二阶 U-统计量。
- 置换检验的分离速率:利用 decoupling 技巧(Kim et al., 2022),将置换分布下的统计量条件分布与独立副本的分布联系起来。然后利用 Hanson-Wright 不等式(Rudelson and Vershynin, 2013)控制二次型的尾概率,得到分离速率上界。
- minimax 下界:构造备择假设 P_{X,Y}^{(k)}(k = 2, …, M),使得每个备择与零假设的距离协方差 ≥ ρ,但任意两个备择之间的总变差距离很小。利用 Ingster 方法(Ingster, 1987, 1993)和 Radon-Nikodym 导数(引理 A.7)计算二阶矩,得到 ρ*(α, β) ≥ c n^{-1/2}。
关键技术技巧:
- V-统计量到 U-统计量的分解(引理 A.4):将四重求和分解为不同阶数的 U-统计量,使得在独立零假设下高阶项可忽略。
- Hoeffding 分解(引理 A.5):证明在独立零假设下 h₁ ≡ 0,从而统计量的渐近分布由二阶 U-统计量决定。这是整个渐近理论的核心。
- Decoupling + Hanson-Wright(定理 4.4 证明):将置换分布下的二次型转化为独立副本的二次型,然后用 Hanson-Wright 不等式控制尾概率。这个技巧来自 Kim et al. (2022),但本文将其推广到 Hilbert 空间值数据。
- Gaussian 备择构造(定理 4.5 证明):利用高斯测度的 Radon-Nikodym 导数(引理 A.7)计算二阶矩,构造难以区分的备择假设集合。关键是用协方差算子的特征值衰减来控制备择之间的重叠。
🔎 结论是否比证明窄¶
是,存在若干处结论比证明窄的情况:
-
定理 4.4 的分离速率上界:证明中假设了参考测度 ν 的协方差算子有界迹(tr(C_ν) < ∞),但定理陈述中只写了"ν 是参考测度",未明确列出这一条件。虽然从命题 2.8 的证明看,tr(C_ν) < ∞ 是隐含假设,但定理陈述未明确说明,读者可能误以为对所有参考测度成立。
-
命题 4.10 的测量误差结果:证明中假设噪声特征函数满足 |φ_U(w)| ≥ c_U(1 + ∥w∥)^{-s}(多项式衰减),但定理陈述中只写了"φ_U 不消失"。虽然多项式衰减条件在 (4.24) 中定义了,但命题 4.10 的陈述没有明确引用这一条件,可能让读者误以为"不消失"就足够。
-
定理 4.5 的 minimax 下界:证明中构造的备择假设是高斯测度,且协方差算子的特征值按 k^{-2} 衰减。但定理陈述中未说明下界是否对所有备择假设成立,还是仅对高斯备择成立。从证明看,下界仅对高斯备择成立,但定理陈述的"ρ*(α, β) ≥ c n^{-1/2}"可能被误读为对所有备择成立。
-
模拟研究:文中模拟仅考虑了高斯和拉普拉斯参考测度,且协方差核为 (5.1) 中的五种。对于其他参考测度(如 t 分布、稳定分布)的表现,文中未给出证据。因此"对重尾数据稳健"的结论仅对拉普拉斯参考测度有模拟支持,对其他重尾参考测度缺乏证据。
四、开放问题¶
-
参考测度的最优选择:文中证明了 supp(ν) = H 是特征性的充要条件,但未讨论如何选择 ν 以最大化检验功效。不同参考测度(高斯 vs 拉普拉斯 vs 其他)对功效的影响,文中仅有模拟证据(拉普拉斯略优于高斯),缺乏理论指导。扎根于:定理 2.4 后的讨论和 5.1 节的模拟。
-
分离速率中的常数:定理 4.4 和 4.8 只给出了分离速率的阶 n^{-1/2},但常数 c 依赖于参考测度 ν 的具体形式(如协方差算子的迹)。如何刻画常数对 ν 的依赖,以及是否存在最优常数对应的 ν,文中未讨论。扎根于:定理 4.4 证明中的 (A.57) 和 (A.58)。
-
测量误差下的 minimax 下界:命题 4.10 只给出了上界,未给出下界。在测量误差下,分离速率是否仍为 n^{-1/2},还是因噪声而变慢(如 n^{-s/(2s+1)} 之类的 deconvolution 速率),文中明确说"left for future work"。扎根于:4.3 节最后一段。
-
非高斯参考测度的特征性验证:文中证明了高斯和拉普拉斯参考测度在非退化条件下满足 supp(ν) = H,但如何验证一个任意给定的 ν 是否满足 supp(ν) = H,文中未给出可操作的准则。扎根于:命题 2.8 的证明和推论 2.6 的陈述。
-
高阶矩不存在时的收敛速率:文中证明了无矩条件下统计量的强相合性(命题 4.2(i)),但未给出收敛速率。当分布只有 p 阶矩(p < 2)时,经验特征泛函的收敛速率会变慢,这如何影响检验的分离速率,文中未讨论。扎根于:命题 4.2 的陈述。
提示:若要确认上述开放问题是否为真 gap,建议去读以下近期文献的引言部分(约 5 篇):(i) 关于能量距离在 Banach 空间上的推广(如 Lyons 2013 的后续工作);(ii) 关于函数型数据独立性检验的近期论文(如 Miao et al., 2023 的后续);(iii) 关于无矩条件假设检验的文献(如 deconvolution 检验方向)。若这些文献的引言都未提及"参考测度选择"或"测量误差下 minimax 下界",则这些确实是值得投入的 gap。
Maintained by 陈星宇 · Homepage · Source on GitHub