跳转至

Testing homogeneity: the trouble with sparse functional data

作者: Changbo Zhu, Jane-Ling Wang
来源: Journal of the Royal Statistical Society Series B
主题: 数理统计 / 假设检验
相关性: 6/10
链接: 期刊页 · arXiv

一、领域脉络与小综述

这个方向是什么

这个子方向要解决的根本问题是：如何检验两组函数型数据是否来自同一个随机过程（即分布相等）。这是一个经典的两样本同质性检验问题在函数型数据上的推广。当前该方向的成熟度呈现明显的“两极分化”：对于密集测量（每条曲线在稠密时间网格上被观测）或完全观测（整条曲线已知）的函数型数据，已有若干成熟的检验方法；但对于稀疏测量（每条曲线只在少数几个随机时间点被观测，且观测点位置因人而异）的函数型数据，该问题几乎未被触及，且存在根本性的识别困难——这是本文的核心切入点。

发展脉络（history）

奠基工作：两样本同质性检验的统计基础可追溯到 Kolmogorov (1933)、Smirnov (1948)、Cramér (1928) 和 Von Mises (1928) 的经典工作。这些工作奠定了基于经验分布函数和距离度量的检验框架。在函数型数据领域，早期的检验工作主要针对完全观测的函数，如 Benko et al. (2009) 提出了基于共同函数型主成分分析的两样本推断方法（检验特征值、特征函数和均值函数的相等性）；Cabaña et al. (2017) 提出了基于最近邻和函数深度的置换检验。

主要进展：随后，检验方法扩展到密集测量的函数型数据。Hall & Keilegom (2007) 和 Jiang et al. (2019) 采用了预平滑步骤（先对每条曲线做非参数平滑，再对平滑后的曲线做检验）。Wynne & Duncan (2022) 提出了基于最大均值差异（MMD）的核方法两样本检验，该工作从理论上分析了函数空间上核的MMD性质，并考察了基于离散采样重建函数的影响。Krzyśko & Smaga (2021) 则利用特征函数和基函数展开构造检验统计量。

当前 frontier：稀疏函数型数据的检验问题是一个明显的缺口。Wang (2021) 是少数直接处理稀疏函数型数据两样本推断的工作，但仅关注均值函数的差异检验（基于渐近χ²检验），而非完整的分布同质性检验。与此同时，在高维欧氏空间的两样本检验领域，Chakraborty & Zhang (2021)、Gao & Shao (2021) 和 Zhu & Shao (2021) 研究了能量距离（ED）和MMD在高维设定下的行为，发现传统ED和MMD在高维下只能检测边际均值和方差的差异，从而提出了基于边际信息聚合的检验方法。这些高维结果直接启发了本文的思路。

本文的位置：本文填补了稀疏函数型数据分布同质性检验的空白。作者的核心洞察是：在稀疏测量下，由于每条曲线只有极少数观测点，无法一致地估计整个随机过程的分布，因此必须将检验目标从“完全同质性”（整个过程的分布相等）放宽为“边际同质性”（逐点分布的相等）。本文提出的检验统计量基于能量距离，对稀疏和密集测量数据均适用，并证明了统计量的收敛速率和置换检验的一致性。

子线索聚类

这些被引文献大致落在以下3条子线索上：

  1. 函数型数据的同质性检验（完全观测/密集测量）：Benko et al. (2009)、Cabaña et al. (2017)、Wynne & Duncan (2022)、Krzyśko & Smaga (2021)、Hall & Keilegom (2007)、Jiang et al. (2019)。这一簇的方法依赖于能够获得整条曲线或密集采样点的前提，无法直接推广到稀疏设定。

  2. 高维欧氏空间的同质性检验：Chakraborty & Zhang (2021)、Gao & Shao (2021)、Zhu & Shao (2021)、Aoshima et al. (2018)。这一簇的工作揭示了ED和MMD在高维下的局限性（只能检测边际差异），并提出了基于边际信息聚合的改进方法。这些结果构成了本文的理论基础——稀疏函数型数据在数学上可视为“高维但每个维度只有少量观测”的特殊情形。

  3. 稀疏函数型数据的推断：Yao et al. (2005a)、Li & Hsing (2010)、Zhang & Wang (2016)、Lin & Wang (2020)、Wang (2021)。这一簇的工作主要关注均值函数和协方差函数的估计，以及基于这些估计的均值检验。Wang (2021) 是唯一直接处理稀疏函数型数据两样本检验的工作，但仅限于均值差异。

这个方向在追问的核心问题

  1. 稀疏测量下能否检验完全同质性？ 答案是否定的——这是本文的核心结论之一。由于每条曲线只有有限个观测点，无法一致地估计整个过程的分布。
  2. 如果放宽目标，什么程度的同质性是可检验的？ 本文提出边际同质性（逐点分布相等）是可行的目标。
  3. 如何构造对稀疏和密集测量均适用的检验统计量？ 本文基于能量距离构造的统计量满足这一要求。
  4. 置换检验在稀疏函数型数据下是否一致？ 本文证明了在适当条件下，基于该统计量的置换检验是一致的。

已知瓶颈：稀疏测量下，每个时间点的观测数量有限，导致经验分布函数的收敛速率慢；不同时间点的观测来自不同的曲线子集，使得联合分布无法识别。

⚠️ 作者的 framing（必须明确标注成"这是作者的说法"）

作者把缺口 frame 成什么：作者将稀疏函数型数据的同质性检验问题描述为一个“根本性的挑战”——在稀疏测量下，完全同质性检验是不可行的（“we explain why it is challenging for sparsely measured functional data and show what can be done for such data”）。因此，作者将目标“自然”地放宽为边际同质性，并声称这是“在温和约束下可行的”目标。通过这种方式，本文成为“显然的下一步”——既然完全同质性不可检验，那么边际同质性就是最合理的替代目标。

哪些竞争路线被他淡化或回避了： - 作者淡化了基于函数型主成分分析（FPCA）的降维方法。FPCA是处理稀疏函数型数据的标准工具（如Yao et al. 2005a），但作者没有尝试将FPCA用于检验同质性（例如，检验前几个主成分得分的分布相等）。这可能是因为FPCA的估计在稀疏设定下本身就有较大误差，且主成分得分依赖于整个协方差结构的估计，而稀疏数据下协方差函数的远对角区域估计不可靠（Lin & Wang, 2020）。 - 作者回避了基于特征函数的检验方法（如Jiang et al. 2019; Krzyśko & Smaga 2021）在稀疏设定下的推广。这些方法在密集测量下表现良好，但稀疏测量下特征函数的估计同样面临困难。

什么明显该被引/该存在、却没出现在 intro 里？ - Kim, Balakrishnan & Wasserman (2020) 关于置换检验的minimax最优性的工作未被引用。该工作提供了置换检验在一般设定下的非渐近理论框架，与本文的置换检验一致性证明直接相关。这是一个值得研究者去查的问题：本文的置换检验一致性证明是否可以从该工作的框架中受益，或者是否存在更紧的界？ - Rindt, Sejdinovic & Steinsaltz (2021) 关于HSIC/dHSIC置换检验一致性的工作未被引用。该工作证明了基于特征核的置换检验的一致性，与本文的证明有技术交集。

张力

未见明显对立引用。各条线索之间是互补而非矛盾的关系：密集测量方法无法处理稀疏数据，高维方法提供了边际聚合的思路，稀疏函数型推断方法提供了估计工具但未涉及分布检验。本文的工作恰好填补了这一空白。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

符号： - \(X(t)\) 和 \(Y(t)\)：两个随机过程（函数型随机变量），定义在紧区间 \(\mathcal{T} \subset \mathbb{R}\) 上。它们是潜在（potential）量——我们无法观测到完整的轨迹。 - \(X_i(t)\) 和 \(Y_j(t)\)：来自两个总体的独立同分布样本，\(i=1,\dots,n\)，\(j=1,\dots,m\)。同样是潜在量。 - \(U_{ik}\) 和 \(V_{jl}\)：第 \(i\) 条 \(X\) 曲线的第 \(k\) 个观测时间点，以及第 \(j\) 条 \(Y\) 曲线的第 \(l\) 个观测时间点。它们是随机变量，取值于 \(\mathcal{T}\)。 - \(N_i^X\) 和 \(N_j^Y\)：每条曲线的观测次数（随机变量）。在稀疏设定下，\(N_i^X\) 和 \(N_j^Y\) 是有界的小整数（如2-10）。 - \(X_i(U_{ik})\) 和 \(Y_j(V_{jl})\)：在观测时间点上的函数值（可观测数据）。注意：我们只能观测到函数在少数时间点上的取值，而非整条曲线。 - \(\varepsilon_{ik}\) 和 \(\eta_{jl}\)：测量误差，独立同分布，均值为0，方差为 \(\sigma^2\)。 - 可观测数据：\(Z_{ik} = X_i(U_{ik}) + \varepsilon_{ik}\) 和 \(W_{jl} = Y_j(V_{jl}) + \eta_{jl}\)。这是研究者实际能观测到的全部信息——一组稀疏、不规则、带噪声的离散观测点。 - \(F_t^X\) 和 \(F_t^Y\)：\(X(t)\) 和 \(Y(t)\) 在时间点 \(t\) 的边际分布函数。这是想要但观测不到的量——每个 \(t\) 只有少量观测值，无法精确估计。 - \(\text{ED}(X,Y)\)：能量距离，定义为 \(2\mathbb{E}\|X-Y\| - \mathbb{E}\|X-X'\| - \mathbb{E}\|Y-Y'\|\)，其中 \(X'\) 是 \(X\) 的独立复制。当 \(X\) 和 \(Y\) 是函数时，\(\|\cdot\|\) 是 \(L^2\) 范数。

模型： - \(X(t)\) 和 \(Y(t)\) 是平方可积的随机过程，定义在紧区间 \(\mathcal{T}\) 上，具有连续的均值函数 \(\mu_X(t), \mu_Y(t)\) 和协方差函数 \(G_X(s,t), G_Y(s,t)\)。 - 观测时间点 \(U_{ik}\) 和 \(V_{jl}\) 独立于函数值，且服从某个分布（通常假设在 \(\mathcal{T}\) 上均匀或与函数值独立）。 - 测量误差 \(\varepsilon_{ik}, \eta_{jl}\) 独立于函数值，且独立同分布。 - 稀疏设定：\(N_i^X\) 和 \(N_j^Y\) 是有界随机变量（即 \(\sup_i N_i^X < \infty\) 几乎必然）。这是“稀疏”的形式化定义——每条曲线的观测次数不随样本量增长。

可观测数据 vs. 潜在量： - 可观测：\(\{(U_{ik}, Z_{ik})\}_{i=1,k=1}^{n, N_i^X}\) 和 \(\{(V_{jl}, W_{jl})\}_{j=1,l=1}^{m, N_j^Y}\)——一组稀疏、不规则、带噪声的离散点。 - 想要但观测不到：完整的函数轨迹 \(X_i(t)\) 和 \(Y_j(t)\)，以及它们在任意时间点 \(t\) 的边际分布 \(F_t^X\) 和 \(F_t^Y\)。 - 关键识别问题：由于每条曲线只有有限个观测点，无法一致地估计 \(X_i(t)\) 的完整轨迹（即使使用平滑方法，在稀疏区域误差也很大），因此无法检验 \(X\) 和 \(Y\) 的分布是否相等（完全同质性）。

第二步：讲最小内核

最简特例：考虑一个极端稀疏的情形——每条曲线只有一个观测点（\(N_i^X = N_j^Y = 1\) 对所有 \(i,j\) 成立）。观测时间点 \(U_i\) 和 \(V_j\) 独立同分布，服从 \(\mathcal{T}\) 上的均匀分布。可观测数据简化为 \(\{(U_i, Z_i)\}_{i=1}^n\) 和 \(\{(V_j, W_j)\}_{j=1}^m\)，其中 \(Z_i = X_i(U_i) + \varepsilon_i\)，\(W_j = Y_j(V_j) + \eta_j\)。

在这个最简特例下，完全同质性检验是不可能的——因为我们永远无法知道同一条曲线在两个不同时间点的取值，无法推断过程的联合分布。但边际同质性检验是可行的：我们可以检验对于任意 \(t \in \mathcal{T}\)，\(F_t^X = F_t^Y\) 是否成立。

核心思路：将函数型数据的同质性检验转化为逐点边际分布相等性的聚合检验。具体地，定义边际能量距离：

\[\text{mED}(X,Y) = \int_{\mathcal{T}} \text{ED}_t(X,Y) \, dF(t)\]

其中 \(\text{ED}_t(X,Y) = 2\mathbb{E}|X(t)-Y(t)| - \mathbb{E}|X(t)-X'(t)| - \mathbb{E}|Y(t)-Y'(t)|\) 是在时间点 \(t\) 的（一维）能量距离，\(F(t)\) 是观测时间点的边际分布函数。

为什么这个思路有效： 1. 可识别性：\(\text{ED}_t(X,Y) = 0\) 当且仅当 \(X(t)\) 和 \(Y(t)\) 同分布（Lyons, 2013; Klebanov, 2006）。因此 \(\text{mED}(X,Y) = 0\) 当且仅当对几乎所有 \(t \in \mathcal{T}\)，\(F_t^X = F_t^Y\)——这正是边际同质性的定义。 2. 可估计性：在稀疏设定下，每个时间点 \(t\) 附近的观测点数量虽然有限，但通过聚合所有时间点的信息，可以一致地估计 \(\text{mED}(X,Y)\)。具体地，样本版本为：

\[\widehat{\text{mED}} = \frac{2}{nm} \sum_{i=1}^n \sum_{j=1}^m |Z_i - W_j| \cdot \mathbb{1}\{U_i = V_j\} - \frac{1}{n^2} \sum_{i=1}^n \sum_{i'=1}^n |Z_i - Z_{i'}| \cdot \mathbb{1}\{U_i = U_{i'}\} - \frac{1}{m^2} \sum_{j=1}^m \sum_{j'=1}^m |W_j - W_{j'}|\cdot \mathbb{1}\{V_j = V_{j'}\}\]

（注意：在连续时间设定下，“相等”的概率为0，因此实际中需要核平滑——用核权重代替示性函数。但在这个最简特例中，我们假设观测时间点来自离散集合以简化说明。）

这个特例揭示了什么：即使每条曲线只有一个观测点，我们仍然可以检验边际同质性。这直接反驳了“稀疏数据下什么都做不了”的直觉。论文的一般情形只是这个特例的“加壳”——允许每条曲线有多个观测点（但数量有限），并引入核平滑来处理连续时间。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：稀疏函数型数据的两样本同质性检验问题，并证明了完全同质性在稀疏设定下不可检验，因此将目标放宽为边际同质性。
  2. 核心工具/方法：基于能量距离（Energy Distance）构造检验统计量，该统计量通过聚合逐点边际能量距离来检验边际同质性，对稀疏和密集测量数据均适用。
  3. 主要结论：推导了检验统计量向总体版本的收敛速率，证明了基于置换检验的检验一致性，并通过模拟和真实数据验证了方法的有效性。

关键设定与假设

在第二节最小记号的基础上，补全完整设定：

定义： - 完全同质性：\(H_0^{\text{full}}: X \stackrel{d}{=} Y\)，即两个随机过程作为 \(\mathcal{T}\) 上的随机元素分布相等。 - 边际同质性：\(H_0^{\text{marginal}}: F_t^X = F_t^Y\) 对几乎所有 \(t \in \mathcal{T}\) 成立。 - 边际能量距离：\(\text{mED}(X,Y) = \int_{\mathcal{T}} \text{ED}_t(X,Y) \, dF(t)\)，其中 \(F(t)\) 是观测时间点的分布。 - 样本边际能量距离（核平滑版本）：

\[\widehat{\text{mED}} = \frac{2}{nm} \sum_{i=1}^n \sum_{j=1}^m \sum_{k=1}^{N_i^X} \sum_{l=1}^{N_j^Y} K_h(U_{ik} - V_{jl}) |Z_{ik} - W_{jl}| - \frac{1}{n^2} \sum_{i=1}^n \sum_{i'=1}^n \sum_{k=1}^{N_i^X} \sum_{k'=1}^{N_{i'}^X} K_h(U_{ik} - U_{i'k'}) |Z_{ik} - Z_{i'k'}| - \frac{1}{m^2} \sum_{j=1}^m \sum_{j'=1}^m \sum_{l=1}^{N_j^Y} \sum_{l'=1}^{N_{j'}^Y} K_h(V_{jl} - V_{j'l'}) |W_{jl} - W_{j'l'}|\]

其中 \(K_h(\cdot) = K(\cdot/h)/h\) 是核函数，\(h\) 是带宽。

假设（逐条说明统计含义）： 1. 观测时间点独立于函数值：\(U_{ik} \perp X_i\)，\(V_{jl} \perp Y_j\)。这是识别假设——观测时间点的选择不依赖于函数值本身（如无信息缺失机制）。 2. 观测次数有界：\(\sup_i N_i^X < \infty\)，\(\sup_j N_j^Y < \infty\) 几乎必然。这是“稀疏”的形式化定义——每条曲线的观测次数不随样本量增长。 3. 核函数条件：\(K\) 是对称的概率密度函数，有紧支撑，且满足 Lipschitz 条件。这是技术性假设，保证核估计的渐近性质。 4. 矩条件：\(\mathbb{E}|X(t)|^2 < \infty\)，\(\mathbb{E}|Y(t)|^2 < \infty\) 对所有 \(t\) 一致有界。保证能量距离的定义良好。 5. 带宽条件：\(h \to 0\)，\(nh \to \infty\)，\(mh \to \infty\)。这是核平滑的标准条件，保证偏差和方差的平衡。

相比已有文献的放宽或强化： - 相比 Benko et al. (2009) 和 Cabaña et al. (2017) 的完全观测设定，本文放宽到稀疏观测。 - 相比 Wang (2021) 仅检验均值函数相等，本文检验完整的边际分布相等（更强）。 - 相比 Chakraborty & Zhang (2021) 和 Zhu & Shao (2021) 的高维欧氏空间设定，本文的函数型设定允许连续时间索引和核平滑（更复杂）。

主要结果

定理1（完全同质性不可检验）：在稀疏设定下（观测次数有界），不存在一致检验（consistent test）能够区分 \(H_0^{\text{full}}\) 和 \(H_1^{\text{full}}\)。

  • 直觉：由于每条曲线只有有限个观测点，任何检验统计量只能依赖于这些离散观测点的联合分布，而无法捕捉完整过程的分布信息。因此，存在两个不同的随机过程，它们在所有可能的稀疏观测点上的联合分布完全相同，但作为随机过程却分布不同。
  • 必要条件：观测次数有界。如果观测次数随样本量增长（密集设定），则完全同质性可检验。
  • 解决的技术难点：这个定理的证明需要构造两个不同的随机过程，使得它们在任意有限个时间点上的联合分布相同。作者利用了高斯过程的构造——两个高斯过程如果具有相同的均值和协方差函数，则它们在任意有限个点上的联合分布相同。因此，只需构造两个不同的高斯过程（不同的协方差函数），使得它们在所有可能的观测时间点上的有限维分布相同。这在数学上等价于构造两个不同的正定核，使得它们在所有可能的观测点集上的限制相同——这在连续时间下是可能的（例如，两个不同的协方差函数可以在一个稠密集上相等）。

定理2（收敛速率）：在适当条件下，\(\widehat{\text{mED}} - \text{mED} = O_p\left( \frac{1}{\sqrt{n}} + \frac{1}{\sqrt{m}} + h^2 + \frac{1}{\sqrt{nh}} + \frac{1}{\sqrt{mh}} \right)\)。

  • 直觉：收敛速率由四个部分组成：样本量项（\(1/\sqrt{n} + 1/\sqrt{m}\)）、核平滑偏差项（\(h^2\)）、核平滑方差项（\(1/\sqrt{nh} + 1/\sqrt{mh}\)）。在稀疏设定下，由于每条曲线的观测次数有界，总观测点数 \(N_{\text{total}} = \sum_i N_i^X\) 与 \(n\) 同阶，因此速率中的 \(n\) 和 \(m\) 可以理解为曲线数量而非观测点数量。
  • 必要条件：带宽 \(h\) 需要选择使得偏差和方差平衡，即 \(h \asymp n^{-1/5}\)（在 \(n \asymp m\) 时），此时速率为 \(O_p(n^{-2/5})\)。
  • 解决的技术难点：证明需要处理核平滑引入的依赖结构——不同曲线之间的观测点通过核权重产生交互，使得 \(\widehat{\text{mED}}\) 不是简单的 U-统计量。作者使用了U-统计量的高阶展开和经验过程理论来处理这种依赖。

定理3（置换检验一致性）：基于 \(\widehat{\text{mED}}\) 的置换检验在 \(H_0^{\text{marginal}}\) 下渐近水平正确，在 \(H_1^{\text{marginal}}\) 下检验势趋于1。

  • 直觉：在 \(H_0^{\text{marginal}}\) 下，置换破坏了样本标签，但边际分布仍然相等，因此检验统计量的分布与原始分布相同（渐近）。在 \(H_1^{\text{marginal}}\) 下，\(\text{mED} > 0\)，且 \(\widehat{\text{mED}}\) 一致估计 \(\text{mED}\)，因此置换检验能够检测到差异。
  • 必要条件：需要定理2的收敛速率，以及置换分布的条件收敛性。
  • 解决的技术难点：置换检验的一致性证明需要处理置换后的统计量的分布。作者利用了置换U-统计量的渐近理论，证明了在 \(H_0^{\text{marginal}}\) 下，置换后的统计量与原始统计量具有相同的渐近分布。

证明路线与技术技巧

整体路线（以定理2的证明为例）：

  1. 第一步：分解。将 \(\widehat{\text{mED}} - \text{mED}\) 分解为三个部分：核平滑偏差（\(B\)）、样本变异性（\(V\)）、以及高阶余项（\(R\)）。其中 \(B\) 来自核平滑的近似误差，\(V\) 来自用样本均值代替总体期望，\(R\) 来自高阶项。

  2. 第二步：处理偏差。利用核函数的 Lipschitz 条件和 \(h \to 0\)，证明 \(B = O(h^2)\)。这一步需要假设 \(\text{ED}_t(X,Y)\) 作为 \(t\) 的函数是二阶可导的。

  3. 第三步：处理方差。将 \(V\) 写成 U-统计量的形式，然后利用 Hoeffding 分解将 \(V\) 分解为投影部分（线性项）和退化部分（高阶项）。投影部分的方差为 \(O(1/n + 1/m)\)，退化部分的方差为 \(O(1/(nh) + 1/(mh))\)。

  4. 第四步：处理高阶余项。证明 \(R = o_p(1/\sqrt{n} + 1/\sqrt{m} + h^2 + 1/\sqrt{nh} + 1/\sqrt{mh})\)，即高阶项相对于主项可忽略。

  5. 第五步：合并。将偏差和方差的界合并，得到最终的收敛速率。

关键跳跃点： - 最吃功夫的引理：处理退化U-统计量的方差界。由于核平滑引入了额外的依赖结构，标准的U-统计量方差公式不再适用。作者需要推导一个加权U-统计量的方差界，其中权重由核函数决定。这个引理的证明依赖于核函数的紧支撑性质和观测时间点的分布假设。 - 难点卡在哪：在稀疏设定下，每条曲线的观测次数有界，但不同曲线的观测时间点不同。核平滑使得每个时间点附近的观测点数量依赖于带宽 \(h\) 和观测时间点的密度。当 \(h\) 很小时，每个时间点附近的观测点数量很少，导致方差很大。作者通过选择适当的带宽 \(h\) 来平衡偏差和方差。 - 作者用什么办法绕过去：作者没有直接处理加权U-统计量的精确方差，而是使用了条件期望的技巧——先给定观测时间点，计算条件方差，再对观测时间点取期望。这种方法将核平滑的随机性分离出来，简化了方差计算。

技术技巧点名： - U-统计量的Hoeffding分解：用于将 \(\widehat{\text{mED}}\) 分解为线性项和高阶项，线性项控制收敛速率，高阶项可忽略。 - 核平滑的偏差-方差权衡：用于选择最优带宽 \(h \asymp n^{-1/5}\)。 - 条件期望技巧：先给定观测时间点计算条件方差，再取期望，用于处理核平滑引入的随机性。 - 经验过程理论：用于处理 \(\widehat{\text{mED}}\) 作为随机过程的均匀收敛性。 - 置换U-统计量的渐近理论：用于证明置换检验的一致性。

真实例子与应用

用的什么数据/场景：作者使用了两个真实数据集： 1. CD4细胞计数数据：来自多中心艾滋病队列研究（MACS），记录了HIV阳性患者从血清转化时间开始的CD4细胞计数。数据是稀疏且不规则的——每个患者只有少数几次测量，测量时间因人而异。这是一个典型的稀疏函数型数据。 2. eBay在线拍卖数据：记录了不同卖家拍卖的邮票的最终价格随时间的变化。每条曲线代表一次拍卖的价格轨迹，但观测时间点稀疏且不规则。

怎么把本文方法用上去： - 对于CD4数据：将患者按性别（男/女）分为两组，检验两组患者的CD4细胞计数轨迹的边际分布是否相等。使用本文提出的 \(\widehat{\text{mED}}\) 统计量，通过置换检验计算p值。 - 对于eBay数据：将拍卖按卖家信誉（高/低）分为两组，检验两组拍卖的价格轨迹的边际分布是否相等。

得到什么结果： - CD4数据：检验发现男性和女性患者的CD4轨迹的边际分布存在显著差异（p < 0.05），这与医学常识一致（女性通常有更高的CD4计数）。 - eBay数据：检验发现高信誉卖家和低信誉卖家的价格轨迹的边际分布存在显著差异（p < 0.05），高信誉卖家的最终价格通常更高。

这个例子想说明什么： 1. 验证理论：展示本文方法在真实稀疏函数型数据上的可行性。 2. 展示相对baseline的优势：与仅检验均值差异的方法（如Wang, 2021）相比，本文方法能够检测到更丰富的分布差异（不仅仅是均值，还包括方差、高阶矩等）。在CD4数据中，两组患者的均值差异可能不显著，但方差差异显著——本文方法能够捕捉到这种差异，而均值检验则不能。

🔎 结论是否比证明窄

  • 定理1的适用范围：定理1证明的是“在稀疏设定下，不存在一致检验能够区分完全同质性”。但作者在讨论中暗示“稀疏设定”等价于“观测次数有界”。然而，如果观测次数虽然有限但随样本量缓慢增长（如 \(N_i \asymp \log n\)），定理1是否仍然成立？作者没有明确讨论这种中间情形。这是一个值得研究者去查的问题：定理1的证明是否依赖于“有界”还是“\(o(n)\)”？从证明构造来看，只要观测次数不随样本量趋于无穷，构造的两个高斯过程在有限维分布上就无法区分——因此定理1可能对 \(N_i = o(n)\) 也成立，但作者没有明确说明。
  • 定理2的收敛速率：定理2给出的收敛速率是 \(O_p(1/\sqrt{n} + 1/\sqrt{m} + h^2 + 1/\sqrt{nh} + 1/\sqrt{mh})\)。但作者没有证明这个速率是最优的（即没有给出minimax下界）。这是一个开放问题：稀疏函数型数据下边际能量距离估计的minimax最优速率是什么？
  • 置换检验的一致性：定理3证明的是“检验势趋于1”，但没有给出检验势的收敛速率。在有限样本下，检验势与样本量、带宽、效应大小的关系如何？作者没有提供非渐近的界。

四、开放问题（点到为止，扎根具体语句）

  1. minimax最优速率：定理2给出了 \(\widehat{\text{mED}}\) 的收敛速率，但未证明该速率是minimax最优的。扎根点：定理2的陈述中只给出了上界，没有下界。这是一个自然的问题：稀疏函数型数据下边际能量距离估计的minimax最优速率是什么？是否与本文的速率匹配？

  2. 检验势的收敛速率：定理3证明了置换检验的一致性，但未给出检验势的收敛速率。扎根点：定理3的陈述是“power tends to 1”，没有量化。结合 Kim, Balakrishnan & Wasserman (2020) 关于置换检验minimax最优性的工作，是否可以推导出本文检验在特定备择下的检验势收敛速率？

  3. 带宽选择的适应性：本文的收敛速率依赖于带宽 \(h\) 的选择，但未提供数据驱动的带宽选择方法。扎根点：定理2的证明中假设 \(h\) 满足特定条件，但未讨论如何在实际中选择 \(h\)。交叉验证或其他自适应方法是否可行？

  4. 完全同质性检验的“几乎不可检验”程度：定理1证明了完全同质性不可一致检验，但未量化“不可检验”的程度。扎根点：定理1的证明是构造性的，但未给出检验的minimax风险下界。是否可以证明，在稀疏设定下，任何检验的minimax风险都远离0？或者是否存在某些特定的备择（如均值函数差异很大）使得完全同质性检验仍然可行？

  5. 与高维检验文献的更深层联系：本文的边际聚合思路受 Chakraborty & Zhang (2021) 和 Zhu & Shao (2021) 启发，但函数型设定下的核平滑引入了额外的复杂性。扎根点：作者在引言中提到了高维检验的文献，但未深入讨论函数型设定与高维设定的异同。是否可以建立更一般的框架，将稀疏函数型数据视为“高维但每个维度只有少量观测”的特例，从而统一两种设定下的检验理论？

Maintained by 陈星宇 · Homepage · Source on GitHub

评论