跳转至

Two-sample inference for sparse functional data

作者: Chi Zhang, Peijun Sang, Yingli Qin
来源: Electronic Journal of Statistics
主题: 数理统计 / 假设检验
相关性: 6/10
链接: 期刊页 · arXiv

一、领域脉络与小综述

1. 这个方向是什么

这个子方向关注的是稀疏函数型数据的两样本推断问题。具体而言，研究者只能观测到潜在随机过程在每个个体上的稀疏、不规则、带噪声的时间点采样，目标是检验两组独立样本的均值函数是否相同。这是一个经典的非参数假设检验问题，但难点在于：观测稀疏（每个个体只有几个点）、观测时间随机、且两组的协方差结构可能不同。该方向目前已有成熟的理论框架，但如何在异质协方差设定下构造有良好有限样本表现（特别是第一类错误控制）的检验统计量，仍是活跃的研究点。

2. 发展脉络

奠基工作：稀疏 FDA 的估计与推断基础 - Yao, Müller & Wang (2005) 与 Li & Hsing (2010)：建立了稀疏函数型数据的非参数估计框架，利用局部线性光滑估计均值与协方差函数，给出了收敛速度。这些工作确立了"先估计个体轨迹，再做总体推断"的范式，但主要关注估计，未触及两样本检验。 - Cai & Yuan (2011)：在 RKHS 框架下研究了均值函数估计的极小极大收敛速度，揭示了"共同设计"与"独立设计"下的相变现象。本文作者引用此工作是为了对比权重分配方式——Cai & Yuan 给每个观测点等权重，而本文给每个个体等权重，后者更自然地导向 i.i.d. 结构。

主要进展：两样本检验方法的出现 - Pomann, Staicu & Ghosh (2016)：提出了基于边际函数型主成分分析的两样本分布检验。核心思路是将高维函数数据投影到前几个主成分方向，转化为多元非参数检验。本文作者明确指出：这类方法通常假设两组具有同质协方差结构，这在实际中难以验证。 - Wang (2021)：针对稀疏函数型数据提出了渐近 \(\chi^2\) 检验。同样，作者指出该方法依赖于协方差函数的估计与截断，隐含了对协方差结构的某种约束。

当前 Frontier：异质协方差下的检验 - Zhang & Chen (2007)：研究了"先光滑后推断"的替代效应，证明了在一定条件下预光滑带来的误差可以忽略。这为基于预估计量的检验提供了理论支撑。 - Pigoli et al. (2014)：针对协方差算子本身的两样本推断，发展了无限维 Procrustes 距离与置换检验。这代表了另一条路线——直接比较协方差，而非均值。

本文的位置 本文试图填补一个明确的 gap：在稀疏、不规则采样、异质协方差设定下，构造一个无需 FPCA 截断、易于实现、且能正确控制第一类错误的均值函数两样本检验。作者将自己定位为"同质协方差假设的解放者"——通过 RKHS 框架下的线性近似技术，绕过 FPCA，从而自然避开协方差异质性带来的麻烦。

3. 子线索聚类

线索一：基于 FPCA 的降维检验 - 代表工作：Pomann et al. (2016), Wang (2021), Staicu et al. (2014) - 核心思路：利用函数型主成分分析将无限维问题降为有限维，再套用经典多元检验（如 Energy distance, \(\chi^2\) 检验）。 - 瓶颈：需要估计协方差算子并选择截断点，且通常显式或隐式假设两组协方差同质，否则投影方向不可比。

线索二：基于 RKHS 的非参数检验 - 代表工作：本文, Cai & Yuan (2011)（估计部分）, Sun et al. (2018)（回归部分） - 核心思路：在再生核希尔伯特空间中构造检验统计量，利用核函数的再生性质避免显式降维。 - 优势：可以更灵活地处理不规则采样，且本文声称能绕过协方差同质性假设。

线索三：基于 Bahadur 表示的渐近理论 - 代表工作：Shang & Cheng (2013, 2015), Hao et al. (2021) - 核心思路：建立非参数估计量的函数型 Bahadur 表示，将估计量表示为 i.i.d. 随机元素之和，从而导出弱收敛与推断工具。本文的技术路线直接继承这一脉络。

4. 这个方向在追问的核心问题

  1. 异质协方差下的均值检验：当两组的协方差结构不同时，如何构造不依赖于协方差同质性的检验统计量？
  2. 稀疏性与不规则采样的处理：当每个个体只有少量、且位置随机的观测点时，如何有效借用个体间信息？
  3. 无限维检验统计量的分布逼近：如何构造检验统计量的临界值或 \(p\)-值？Bootstrap 是否有效？弱收敛到什么极限过程？

5. ⚠️ 作者的 Framing

作者把缺口 frame 成什么？ - "Existing methods... assume a homogeneous covariance structure for two groups... justifying this assumption in real-world scenarios can be challenging." - "Our proposed method... eliminates the need for a homogeneous covariance structure."

作者的叙事策略： 1. 强调同质协方差假设的不现实性（难以验证）。 2. 将 FPCA 方法与协方差同质假设绑定，暗示"用 FPCA 就要承担同质假设的风险"。 3. 将 RKHS 线性近似包装成"自然绕过"该假设的优雅方案。

被淡化或回避的竞争路线： - 置换检验：在均值检验问题中，如果原假设是"两组分布相同"，置换检验是天然无分布的。但本文的原假设是"均值相同"，此时置换检验的理论保证需要额外条件。作者未深入讨论为何不采用或对比置换方案。 - 加权组合检验：另一种处理异质协方差的方式是构造加权统计量，作者未提及。

缺失的引用： - 纯理论视角的函数型检验文献似有遗漏，如更早期的 Cuevas et al. (2004, JASA) 关于两样本均值检验的 ANOVA 型方法。 - 关于自助法在函数型数据中的有效性，Bücher & Kojadinovic (2017) 被引用，但更早期的开创性工作（如 González-Manteiga & Horváth 系列）未出现。

6. 张力

未见明显对立引用。各工作在不同设定下给出不同方案，本文主要是在"异质协方差 + 稀疏采样"这一特定组合上推进。

二、最核心、最简单的例子 / 数学问题

第一步：符号、模型与可观测数据

符号约定 - \(\mathcal{T} = [0, 1]\)：时间域。 - \(X_i^{(k)}(t)\)：第 \(k\) 组第 \(i\) 个个体的潜在随机过程（函数），\(k \in \{1, 2\}\)，\(i = 1, \ldots, n_k\)。 - \(\mu^{(k)}(t) = \mathbb{E}[X_i^{(k)}(t)]\)：第 \(k\) 组的均值函数（目标参数）。 - \(C^{(k)}(s, t) = \text{Cov}(X_i^{(k)}(s), X_i^{(k)}(t))\)：第 \(k\) 组的协方差函数。 - \(T_{ij}^{(k)}\)：第 \(k\) 组第 \(i\) 个个体的第 \(j\) 个观测时间点，\(j = 1, \ldots, N_i^{(k)}\)。 - \(Y_{ij}^{(k)} = X_i^{(k)}(T_{ij}^{(k)}) + \epsilon_{ij}^{(k)}\)：可观测数据，带测量误差 \(\epsilon_{ij}^{(k)}\)。 - \(N_i^{(k)}\)：第 \(i\) 个个体的观测点数（稀疏设定下为有限、小的随机数）。 - \(\mathcal{H}_K\)：由核函数 \(K(\cdot, \cdot)\) 生成的再生核希尔伯特空间（RKHS）。

模型 数据生成机制： 1. 潜在过程：\(X_i^{(k)}(\cdot) = \mu^{(k)}(\cdot) + \sum_{l=1}^{\infty} \xi_{il}^{(k)} \phi_l^{(k)}(\cdot)\)，其中 \(\phi_l^{(k)}\) 是第 \(k\) 组的特征函数，\(\xi_{il}^{(k)}\) 是主成分得分。 2. 观测机制：在随机时间点 \(T_{ij}^{(k)} \overset{\text{iid}}{\sim} f_T^{(k)}\) 处观测，叠加独立测量误差 \(\epsilon_{ij}^{(k)} \sim \mathcal{N}(0, \sigma^2)\)。

可观测数据 vs. 不可观测量 - 可观测：\(\{Y_{ij}^{(k)}, T_{ij}^{(k)}\}\)，即带噪声的稀疏采样点及其时间位置。 - 不可观测：潜在过程 \(X_i^{(k)}(\cdot)\) 的完整轨迹、均值函数 \(\mu^{(k)}\)、协方差函数 \(C^{(k)}\)。 - 目标：检验 \(H_0: \mu^{(1)}(t) = \mu^{(2)}(t), \forall t \in \mathcal{T}\)。

第二步：最小内核

最简特例：单时间点情形（退化视角） 假设 \(\mathcal{T} = \{t_0\}\) 退化为单点。此时： - 潜在过程退化为随机变量 \(X_i^{(k)}\)。 - 观测 \(Y_i^{(k)} = X_i^{(k)} + \epsilon_i^{(k)}\)。 - 均值函数退化为标量 \(\mu^{(k)}\)。 - 原假设 \(H_0: \mu^{(1)} = \mu^{(2)}\)。

经典解法：两样本 \(t\) 检验或 Welch 检验（后者允许两组方差不等）。

本文的核心困难在于：将这个"允许方差不等的两样本检验"推广到函数情形。 - 困难 1：函数情形下，"方差"变成协方差算子 \(C^{(k)}\)，是无限维的。 - 困难 2：观测是稀疏的，每个个体只提供函数的一个"碎片"，无法直接估计个体均值。 - 困难 3：检验统计量是无限维的，需要建立弱收敛到某个极限过程（如布朗桥），才能计算临界值。

本文的最小数学内核： 在 RKHS 框架下，构造均值估计量 \(\hat{\mu}^{(k)}\) 的线性近似：

\[\hat{\mu}^{(k)} - \mu^{(k)} \approx \frac{1}{n_k} \sum_{i=1}^{n_k} Z_i^{(k)}\]
其中 \(Z_i^{(k)}\) 是一个 i.i.d. 的 \(\mathcal{H}_K\)-值随机元素（构造见下文）。这个近似将复杂的非参数估计量"线性化"为经典的大数定律形式，从而： 1. 直接导出点态渐近正态性。 2. 通过经验过程理论，建立弱收敛到 \(\mathcal{H}_K\) 中的高斯过程。 3. 构造检验统计量 \(T_n = \|\hat{\mu}^{(1)} - \hat{\mu}^{(2)}\|_{\mathcal{H}_K}^2\)，并在 \(H_0\) 下导出其极限分布。

为什么这个近似能绕过协方差同质假设？ 传统 FPCA 方法需要估计 \(C^{(k)}\) 并做谱分解，投影方向依赖于协方差结构。若两组协方差不同，投影方向不可比，检验失效。 本文的 RKHS 线性近似不依赖于协方差算子的谱分解，而是利用核函数的再生性质，将估计误差表示为关于个体的独立求和。协方差结构的影响被"吸收"进 \(Z_i^{(k)}\) 的协方差算子中，不影响均值差的估计与推断——这与 Welch 检验在标量情形下"不需要方差相等"的逻辑一致。

三、这篇论文做了什么

三句话

  1. 研究了稀疏、不规则采样的函数型数据在两组协方差可能不同时的均值函数两样本检验问题。
  2. 核心方法是在 RKHS 框架下建立均值估计量的线性近似（Bahadur 表示），导出其弱收敛，并构造范数型检验统计量。
  3. 主要结论是证明了检验统计量在原假设下的渐近分布，并通过模拟与实例展示了该方法在控制第一类错误上的优势。

关键设定与假设

设定 - 两组独立样本，每组内个体独立。 - 观测时间点 \(T_{ij}^{(k)}\) 随机生成，密度 \(f_T^{(k)}\) 有界远离 0 与 \(\infty\)。 - 测量误差 \(\epsilon_{ij}^{(k)}\) 独立同分布，均值为 0，方差 \(\sigma^2\) 有界。

核心假设（摘录与解读） 1. Assumption 1 (RKHS 结构)：均值函数 \(\mu^{(k)} \in \mathcal{H}_K\)，核函数 \(K\) 有界、连续。这是 RKHS 方法的标准设定，保证估计的良定性。 2. Assumption 2 (光滑性)：潜在过程 \(X_i^{(k)}\) 的样本轨道有界，协方差函数连续。这是建立一致收敛的常规条件。 3. Assumption 3 (设计矩阵条件)：关于核函数在观测点上的设计矩阵的最小特征值条件。这类似于高维统计中的"限制等距性质"或"相干性条件"，保证局部估计的稳定性。 4. Assumption 4 (矩条件)：\(X_i^{(k)}\) 与误差项有足够高阶的矩存在。用于建立 Bahadur 表示中的余项控制。 5. Assumption 5 (带宽条件)：光滑参数 \(\lambda\) 的收敛速度满足一定要求。这是非参数统计中的标准 bias-variance 权衡条件。

相比已有文献的放宽 - 无需协方差同质性：这是本文最大的卖点。Pomann et al. (2016) 和 Wang (2021) 都显式或隐式依赖 \(C^{(1)} = C^{(2)}\)，本文完全放弃此假设。 - 无需 FPCA 截断：避免了选择主成分个数的难题，也避免了截断带来的偏差。

主要结果

Theorem 3.1 (点态渐近正态性) 在假设 1-5 下，对于任意固定点 \(t \in \mathcal{T}\)，

\[\sqrt{n}(\hat{\mu}^{(k)}(t) - \mu^{(k)}(t)) \xrightarrow{d} \mathcal{N}(0, \Sigma(t, t))\]
其中 \(\Sigma\) 是极限协方差函数。 - 直觉：这是线性近似 \(\hat{\mu} - \mu \approx n^{-1} \sum Z_i\) 的直接推论，\(Z_i\) 的中心极限定理。 - 技术难点：证明线性近似的余项 \(R_n\) 满足 \(\sqrt{n} R_n = o_p(1)\)，需要精细的余项分析。

Theorem 3.2 (弱收敛) 均值估计过程 \(\sqrt{n}(\hat{\mu}^{(k)}(\cdot) - \mu^{(k)}(\cdot))\) 在空间 \(L^2(\mathcal{T})\) 或 \(\mathcal{H}_K\) 中弱收敛到一个高斯过程 \(G(\cdot)\)。 - 直觉：这是从点态收敛到函数空间收敛的提升，需要验证随机过程的紧致性。 - 技术技巧：利用经验过程理论中的紧嵌入 与 有限维收敛 相结合的策略。

Theorem 3.3 (检验统计量的极限分布) 在原假设 \(H_0: \mu^{(1)} = \mu^{(2)}\) 下，检验统计量

\[T_n = n \|\hat{\mu}^{(1)} - \hat{\mu}^{(2)}\|_{\mathcal{H}_K}^2\]
弱收敛到一个加权卡方和 \(\sum_{j=1}^{\infty} \lambda_j \chi_j^2(1)\)，其中 \(\lambda_j\) 是某个协方差算子的特征值。 - 直觉：这是高斯过程范数平方的标准分布形式。 - 解决的技术难点：在异质协方差下，极限协方差算子的形式更复杂，需要仔细推导。

Proposition 3.1 (Bahadur 表示) 存在 i.i.d. 随机元素 \(Z_i^{(k)} \in \mathcal{H}_K\)，使得

\[\hat{\mu}^{(k)} - \mu^{(k)} = \frac{1}{n} \sum_{i=1}^n Z_i^{(k)} + R_n\]
其中 \(\|R_n\|_{\mathcal{H}_K} = O_p(n^{-1/2} h^{-1/4})\) 或类似速度（具体速度依赖假设）。 - 地位：这是全文的技术核心，所有渐近结果都建立在此表示之上。

证明路线与技术技巧

整体路线 1. 构造均值估计量：在 RKHS 中定义惩罚最小二乘估计

\[\hat{\mu}^{(k)} = \arg\min_{f \in \mathcal{H}_K} \left\{ \sum_{i,j} (Y_{ij}^{(k)} - f(T_{ij}^{(k)}))^2 + \lambda \|f\|_{\mathcal{H}_K}^2 \right\}\]
这是一个标准的光滑样条问题，有显式解 \(\hat{\mu} = (\mathbf{K} + \lambda \mathbf{I})^{-1} \mathbf{Y}\)（核矩阵形式）。

  1. 建立 Bahadur 表示：
  2. 利用 RKHS 的再生性质，将估计量表示为核函数的线性组合。
  3. 通过 Taylor 展开 与经验过程技术，将非线性估计量"线性化"。

  4. 关键技巧：Leave-one-out 分析，用于控制单个个体对整体估计的影响，证明余项的可忽略性。

  5. 导出弱收敛：

  6. 有限维分布收敛：由多元 CLT 保证。

  7. 随机紧致性：利用 Chaining 或 Bracketing 技术，验证样本轨道的紧致性条件。这里需要用到核函数的光滑性假设。

  8. 构造检验统计量与极限分布：

  9. 利用两组样本的独立性，构造均值差估计。
  10. 在 \(H_0\) 下，均值差估计弱收敛到零均值高斯过程。
  11. 检验统计量是该过程范数的平方，由 Karhunen-Loève 展开导出其分布为加权卡方和。

关键跳跃点 - 从非线性到线性的跨越：惩罚最小二乘估计本身是非线性的（因为有惩罚项），如何精确刻画其线性近似并控制余项，是证明中最吃劲的部分。作者引入了一个等价的线性算子表示，利用核矩阵的逆来显式表达估计量，然后进行展开。

技术技巧点名 - RKHS 再生性质：用于将函数估计转化为核函数的线性组合。 - 函数型 Bahadur 表示：继承 Shang & Cheng (2013) 的技术框架，将其推广到稀疏采样设定。 - 经验过程紧致性：用于证明弱收敛。 - Stein 方法：文中引用 Shang & Cheng (2013) 提到使用 Stein 方法处理高斯逼近，但本文主要依赖更直接的线性展开。

真实例子与应用

例 1：多发性硬化症（MS）患者的胼胝体扩散张量成像 - 数据：健康对照组与 MS 患者组的胼胝体分数各向异性沿纤维束的曲线。 - 应用：检验两组的均值曲线是否有差异。 - 结果：本文方法检测出显著差异，\(p\)-值 < 0.05，与已有医学文献一致（MS 患者胼胝体受损）。 - 对比：部分传统方法（如 FPCA-based）在某些设定下过于保守或过于激进，本文方法在第一类错误控制上更稳健。

例 2：北京空气污染数据 - 数据：北京某站点不同年份/季节的 PM2.5 浓度曲线（稀疏观测）。 - 应用：检验不同年份间 PM2.5 均值曲线是否有显著下降趋势。 - 结果：检测出显著差异，支持"空气质量改善"的结论。

模拟实验要点 - 设定不同的协方差结构（同质 vs. 异质）、稀疏程度（每个体 5-15 个点）、噪声水平。 - 对比方法：Wang (2021) 的 \(\chi^2\) 检验、Pomann et al. (2016) 的 FPCA 检验。 - 结论：在异质协方差设定下，本文方法的第一类错误更接近名义水平，而对比方法有不同程度的扭曲。

🔎 结论是否比证明窄

定理陈述与证明条件一致，未见明显过度宣称。作者在模拟部分诚实地展示了不同设定下的表现，未将结论泛化到证明之外的情形。

四、开放问题

  1. 协方差函数的推断：本文方法绕过了协方差估计，但如果研究问题本身涉及协方差差异（如"两组变异性是否不同"），当前框架无法直接回答。扎根点：Introduction 中提到 "eliminate the need for a homogeneous covariance structure"，但未提供协方差检验的方案。
  2. 多样本或更复杂设计：本文仅考虑两组独立样本。对于多组比较、纵向数据（有相关结构）、或更复杂的实验设计，方法是否可推广？扎根点：方法部分仅处理 two-sample，未讨论 ANOVA 型推广。
  3. 计算效率与高维情形：RKHS 方法在大样本下核矩阵求逆的计算成本为 \(O(n^3)\)，当个体数 \(n\) 很大时如何处理？扎根点：文中未讨论计算复杂度或近似算法。
  4. 带宽选择的敏感性：惩罚参数 \(\lambda\) 的选择对检验的影响如何？文中使用 GCV 或类似方法，但未提供理论保证。扎根点：Assumption 5 对带宽收敛速度有要求，但实际选择是否满足？

提醒：要确认"异质协方差下的检验"是否真为共识 gap，建议检索 2020-2024 年 JASA/Biometrika/JRSSB 中"functional two-sample test" + "heteroscedasticity" 关键词，看是否有同期或后续工作提出替代方案（如 robust projection, permutation-based）。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论