跳转至

False Discovery Rate Control via Data Splitting for Testing-after-Clustering

讲者: Lijun Wang
会场: Recent Advances in Biomedical Data Science
报告题目: False Discovery Rate Control via Data Splitting for Testing-After-Clustering
链接: arXiv
来源: JCSDS 2026 · 返回会议总览

一、领域脉络与小综述

这个方向是什么

这个子方向要解决的根本问题是：在无监督聚类之后，对特征进行假设检验时，如何控制错误发现率（FDR）。当研究者先用同一份数据对样本进行聚类（或推断伪时间等潜在变量），再对同一份数据检验哪些特征在不同聚类（或沿伪时间）之间有差异时，就会产生“双重 dipping”问题——即使聚类完全是虚假的，后续检验也会产生大量假阳性。该方向当前处于方法快速涌现但理论尚不统一的阶段，主要挑战在于：聚类步骤引入了数据依赖的标签，使得经典检验的零分布失效。

发展脉络

  • 奠基工作：选择性推断框架。Taylor & Tibshirani (2015) 提出了“选择性推断”的概念，即通过条件推断来校正因数据驱动选择（如聚类）导致的偏差。Gao et al. (2022) 和 Chen & Witten (2022) 分别将其应用于层次聚类和 k-means 聚类，在高斯假设下，通过条件于聚类结果来计算选择性 p 值，从而控制选择性 I 类错误率。然而，这些方法只检验均值向量的差异，而非单个特征，且计算复杂、对聚类方法有特定要求。Chen & Gao (2023) 的 CADET 方法将检验对象缩小到单个特征，但仍局限于高斯设定和层次/k-means 聚类。

  • 主要进展：数据分裂与数据薄化。Neufeld et al. (2024) 的 CountSplit 方法针对单细胞 RNA-seq 数据的泊松特性，通过数据薄化（data thinning）将计数矩阵拆分为两个独立的矩阵，一个用于聚类/伪时间估计，另一个用于检验，从而避免了双重 dipping。该方法适用于泊松分布，但不适用于非泊松数据。Leiner et al. (2023) 的数据裂变（data fission）方法提供了更一般的分裂框架，但 CountSplit 是其泊松特例。

  • 当前 frontier：Knockoff 方法与数据分裂方法。Song et al. (2023) 的 ClusterDE 方法将 Knockoff 思想引入无监督设置，通过生成“单簇”合成零数据作为对照，来控制 FDR。然而，ClusterDE 在信号较弱时 FDR 控制不佳，且不适用于伪时间轨迹分析。Dai et al. (2023a, 2023b) 在回归背景下提出了数据分裂（DS）和多重数据分裂（MDS）方法，通过构造镜像统计量（mirror statistic）来控制 FDR，无需 p 值或特征的联合分布。本文（Wang et al., 2024）首次将 DS/MDS 框架从回归扩展到无监督聚类，并针对聚类特有的标签切换问题提出了修正的镜像统计量。

  • 本文的位置：本文填补了 DS/MDS 方法在无监督设置中的空白，提供了一个通用、灵活、易于集成到现有单细胞分析流程的 FDR 控制框架，理论上证明了在高斯设定下的渐近 FDR 控制，并通过大量模拟和真实数据展示了其相对于 CountSplit、ClusterDE 和 CADET 的优势。

子线索聚类

  1. 选择性推断线索：以 Taylor & Tibshirani (2015) 为起点，Gao et al. (2022)、Chen & Witten (2022)、Chen & Gao (2023) 为代表。核心思路是条件推断，优点是理论上精确控制选择性 I 类错误，缺点是计算复杂、对数据分布和聚类方法有强假设、通常只适用于特定检验（如均值差异）。
  2. 数据分裂/数据薄化线索：以 Neufeld et al. (2024) 的 CountSplit 和 Leiner et al. (2023) 的数据裂变为代表。核心思路是将数据拆分为独立的两部分，分别用于聚类和检验。优点是概念简单、易于实现，缺点是 CountSplit 局限于泊松分布，且分裂会损失统计效力。
  3. Knockoff 方法线索：以 Barber & Candès (2015)、Candès et al. (2018) 的 Knockoff 框架为起点，Song et al. (2023) 的 ClusterDE 为代表。核心思路是生成与原始特征相关但与响应无关的“Knockoff”变量作为阴性对照。优点是能处理特征间的相关性，缺点是需要近乎精确地知道特征的联合分布，且 ClusterDE 在弱信号下 FDR 控制不佳。
  4. 镜像统计量/数据分裂线索（回归→聚类）：以 Dai et al. (2023a, 2023b) 在回归中的 DS/MDS 方法为起点，本文（Wang et al., 2024）是其向无监督聚类的直接扩展。核心思路是通过数据分裂构造对称的镜像统计量。优点是无需 p 值或联合分布、计算高效、灵活，缺点是理论保证目前限于高斯设定，且对特征间的强相关性敏感。

这个方向在追问的核心问题

  1. 如何在不牺牲太多统计效力的前提下，有效控制聚类后检验的 FDR？ 现有方法（如选择性推断）往往过于保守，而简单“双重 dipping”则 FDR 失控。
  2. 如何设计一个对数据分布、聚类方法和检验方法都通用的 FDR 控制框架？ CountSplit 局限于泊松，CADET 局限于高斯，ClusterDE 不适用于伪时间。
  3. 如何处理特征间的高相关性对 FDR 控制的影响？ 这是所有方法面临的共同挑战，BH 程序在强相关下失效，Knockoff 方法需要精确联合分布，DS/MDS 方法也假设相关性不能太强。
  4. 如何将 FDR 控制方法扩展到更复杂的无监督任务，如多类聚类、空间转录组学、复杂轨迹推断？ 现有方法大多针对两类聚类或线性轨迹。

⚠️ 作者的 framing

作者将缺口 frame 成：“回归中的 DS/MDS 方法不能直接应用于聚类，因为聚类是无监督的，没有响应变量，且存在标签切换问题。” 因此，本文的贡献被定位为“将 DS/MDS 框架从回归扩展到聚类，并解决标签切换问题”，使其成为“显然的下一步”。

  • 被淡化或回避的竞争路线：

    • 选择性推断：作者指出其“计算困难”、“需要指定聚类方法和数据分布”、“只考虑均值向量而非单个特征”，但未充分讨论其在精确控制 I 类错误方面的理论优势。作者通过模拟（图 2）展示了 CADET 的保守性，但 CADET 是选择性推断的一个特例，其保守性可能源于为计算可行性而施加的额外约束，而非选择性推断框架本身的问题。
    • Knockoff 方法（ClusterDE）：作者指出其“需要近乎精确地知道特征的联合分布”，但未提及 Model-X Knockoffs (Candès et al., 2018) 已经放宽了这一要求，只需知道特征的分布（而非模型）。此外，作者在模拟中展示了 ClusterDE 在弱信号下的 FDR 失控，但未深入分析其原因（例如，合成零数据可能无法完美模拟真实数据的相关性结构）。

  • 什么明显该被引/该存在、却没出现在 intro 里？

    • 关于“数据分裂”在聚类后推断中的更早期工作：除了 CountSplit，是否有其他将数据分裂用于聚类后检验的工作？例如，在基因组学中，将样本随机分成发现集和验证集的做法很常见。作者没有引用这些更广泛的实践，而是直接聚焦于 Dai et al. (2023a) 的镜像统计量框架。
    • 关于“多重检验”在聚类背景下的更一般性讨论：例如，如何将 FDR 控制与聚类质量的评估联系起来？一个聚类结果本身可能很糟糕，那么即使 FDR 被控制，发现的“差异基因”也可能毫无意义。作者在模拟中考虑了聚类准确率（Acc），但在理论部分未将其与 FDR 控制直接关联。

张力

未见明显对立引用。各方法在各自假设下都能工作，但适用范围和性能表现存在差异，这为本文的“通用”框架提供了空间。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：

    • n: 样本量（细胞数）。
    • p: 特征数（基因数）。
    • X: n × p 的设计矩阵，X_ij 是第 i 个样本的第 j 个特征。
    • X_j: 第 j 个特征的 n 维观测向量。
    • L_i: 第 i 个样本的潜在变量（如聚类标签 {1, 2} 或伪时间 R）。这是不可观测的，需要从数据中估计。
    • S_1: 相关（非空）特征的索引集，即与 L 相关的特征。
    • S_0: 空特征的索引集，即与 L 不相关的特征。
    • d^{(k)}_j: 在第 k 个数据分裂部分（k=1, 2）中，特征 j 与估计的潜在变量 L^{(k)} 之间的关联检验统计量。
    • M_j: 特征 j 的镜像统计量，用于 FDR 控制。
    • q: 名义 FDR 水平。
    • τ_q: 基于镜像统计量计算出的阈值，用于选择特征。

  • 模型：

    • 数据生成机制：假设存在一个潜在变量 L（如二值聚类标签），每个特征 X_j 的均值是 L 的函数。一个半参数形式为：E[X_ij] = g(β_0j + β_1j L_i)，其中 g 是未知的连接函数。对于空特征，β_1j = 0。
    • 在理论分析中，作者聚焦于高斯模型：X_i ~ N(μ_{L_i}, Σ)，其中 μ_j = 0 若 j ∈ S_0，μ_j = δ_j 若 j ∈ S_1。Σ 是协方差矩阵。
    • 聚类方法：理论上，作者假设聚类由最优超平面 C = {a^T X > b} 定义，并推导了最优方向 a*。实践中，可以使用任何聚类算法（如 k-means）。

  • 可观测数据：

    • 可观测：X 矩阵（所有样本的所有特征）。
    • 想要但观测不到：潜在变量 L（真实的聚类标签或伪时间）。研究者只能通过聚类算法从 X 中估计出 L，记为 \hat{L}。正是这个估计步骤引入了“双重 dipping”问题。

第二步：讲最小内核

最简特例：考虑一个高斯模型，只有两个特征（p=2），其中一个为空特征（j=1），一个为相关特征（j=2）。样本量 n 很大，且两个类别的样本数相等。协方差矩阵为单位阵 Σ = I。信号强度 δ 足够大，使得聚类几乎完美。

  • 数据分裂：将 n 个样本随机平分为两部分，得到 X^{(1)} 和 X^{(2)}，每部分有 n/2 个样本。
  • 聚类与检验：
    • 对 X^{(1)} 进行 k-means 聚类（K=2），得到标签 L^{(1)}。
    • 对每个特征 j，计算两样本 t 检验统计量 d^{(1)}_j，检验 X^{(1)}_j 在 L^{(1)} 的两类之间是否有均值差异。
    • 对 X^{(2)} 重复上述步骤，得到 d^{(2)}_j。
  • 构造镜像统计量：
    • 首先，计算 d^{(1)} 和 d^{(2)} 的点积：S = d^{(1)}_1 * d^{(2)}_1 + d^{(1)}_2 * d^{(2)}_2。
    • 由于聚类完美，L^{(1)} 和 L^{(2)} 的标签可能一致，也可能相反（标签切换）。如果一致，d^{(1)}_2 和 d^{(2)}_2 符号相同，S 为正；如果相反，d^{(1)}_2 和 d^{(2)}_2 符号相反，S 为负。对于空特征 j=1，d^{(1)}_1 和 d^{(2)}_1 的符号随机，其乘积的期望为 0。
    • 因此，sign(S) 可以检测标签切换：若 S < 0，则发生了切换。
    • 修正后的镜像统计量为：M_j = sign(S) * sign(d^{(1)}_j * d^{(2)}_j) * (|d^{(1)}_j| + |d^{(2)}_j|)。
  • 核心思路：
    • 对于空特征 (j=1)：无论标签是否切换，d^{(1)}_1 和 d^{(2)}_1 都是均值为 0 的独立高斯变量。因此，sign(d^{(1)}_1 * d^{(2)}_1) 以等概率为正或负。sign(S) 的符号不影响其对称性。最终 M_1 的分布对称于 0。
    • 对于相关特征 (j=2)：在没有标签切换时，d^{(1)}_2 和 d^{(2)}_2 同号且绝对值都很大，M_2 为正且很大。在有标签切换时，sign(S) 为负，sign(d^{(1)}_2 * d^{(2)}_2) 也为负，两者相乘为正，M_2 仍然为正且很大。因此，M_2 倾向于取较大的正值。
  • FDR 控制：由于空特征的 M_j 对称于 0，而相关特征的 M_j 倾向于取大正值，我们可以通过比较 M_j > t 和 M_j < -t 的数量来估计假阳性数。具体地，#{j: M_j < -t} 是 #{j: M_j > t} 中假阳性数量的一个保守估计。通过选择合适的 t，可以控制 FDP 和 FDR。

这个最小内核揭示了本文的核心思想：通过数据分裂和标签切换校正，构造一个对空特征对称、对相关特征偏向正值的镜像统计量，从而利用其对称性进行 FDR 控制。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在无监督聚类（或伪时间推断）后进行特征筛选时，如何控制错误发现率（FDR），以解决“双重 dipping”问题。
  2. 核心工具/方法：将回归中的数据分裂（DS）和多重数据分裂（MDS） 框架扩展到聚类设置，提出了一个针对标签切换问题修正的镜像统计量，以及一个更稳健的加权平均包含率用于 MDS。
  3. 主要结论：理论上证明了在高斯模型下，所提出的 DS 方法可以渐近控制 FDR；通过大量模拟和单细胞 RNA-seq 真实数据分析，展示了 DS 和 MDS 方法在控制 FDR 的同时，通常能取得与最优方法相当或更高的统计效力，尤其是在信号较弱或特征相关性较高时。

关键设定与假设

  • 设定：n 个独立同分布的样本，p 个特征。存在一个潜在变量 L（离散聚类标签或连续伪时间）。目标是识别与 L 相关的特征（S_1），同时控制 FDR。
  • 假设：
    • Assumption 1 (Symmetry)：对于空特征 j ∈ S_0，至少一个 d^{(k)}_j 的抽样分布关于 0 对称。这是镜像统计量方法的核心假设。在本文的设定中，通过数据分裂，d^{(1)}_j 和 d^{(2)}_j 是独立的，且对于空特征，其期望为 0，因此该假设通常成立。
    • Assumption 2 (Weak dependence)：镜像统计量 M_j 是连续随机变量，且存在常数 c > 0 和 α ∈ (0, 2)，使得 var(∑_{j∈S_0} 1(M_j > t)) ≤ c p_0^α。这是一个技术性假设，用于处理特征间的相关性，保证 FDR 控制的渐近性质。它比独立性假设弱，但比任意相关性强。
    • Proposition 7 的额外假设：
      • 数据来自高斯混合模型：X_i ~ N(μ_{L_i}, Σ)。
      • 协方差矩阵 Σ 的条件数有界：1/c < λ_min(Σ) ≤ λ_max(Σ) < c。这排除了特征间存在极端相关（如 Σ = ρ11^T + (1-ρ)I 且 ρ → 1）的情况。
      • 存在一个阈值 t_q 使得 P(FDP(t_q) ≤ q) → 1。这保证了 FDR 控制问题本身是良定义的。
    • 与已有文献的比较：
      • 相比选择性推断：本文的假设更弱，不要求指定聚类方法或数据分布的具体形式（除了理论分析中的高斯假设），但 FDR 控制是渐近的而非精确的。
      • 相比 CountSplit：本文的假设不局限于泊松分布，可以处理高斯、泊松等更广泛的分布，但 CountSplit 在泊松模型下能提供更精确的有限样本保证。
      • 相比 ClusterDE：本文不要求生成合成数据或知道特征的联合分布，但 ClusterDE 在理论上可以处理更一般的聚类结构。

主要结果

  • Proposition 1 (标签切换校正)：在高斯设定下，如果信号足够强（∑_{j∈S_1} δ_j^2 > c_1 σ^2 p^{1/2+ε}），那么 sign(∑_{j=1}^p d^{(1)}_j d^{(2)}_j) 能以高概率正确指示标签是否发生了切换。这为使用 sign(d^{(1)T} d^{(2)}) 进行校正提供了理论依据。
  • Proposition 2 (FDR 控制)：在 Assumptions 1 和 2 下，DS 程序满足 FDP(τ_q) ≤ q + o_p(1) 和 limsup_{p→∞} FDR(τ_q) ≤ q。这是本文的核心理论结果，表明 DS 方法可以渐近控制 FDR。该结果直接继承自 Dai et al. (2023a) 的 Proposition 2.1，因为其证明只依赖于镜像统计量的性质，而本文的镜像统计量（经标签切换校正后）满足这些性质。
  • Proposition 7 (高斯模型下的 FDR 控制)：在高斯混合模型和协方差矩阵条件数有界的假设下，DS 程序可以渐近控制 FDR。该命题的关键在于，条件于聚类结果，空特征的检验统计量 Z^{(k)}_j 仍然服从标准正态分布，其分布不依赖于聚类标签。因此，FDR 控制可以归结为对空特征性质的分析。
  • Proposition 6 (功效分析)：给出了在高斯模型下，考虑聚类误差时，对单个相关特征进行检验的功效的显式表达式。结果表明，功效主要受信号强度 δ_j、噪声水平 σ_j 和聚类误差 p_e 的影响。与无聚类误差的理想情况相比，功效损失与聚类误差 p_e 呈线性关系。

证明路线与技术技巧

  • 整体路线：

    1. 构造镜像统计量：通过数据分裂，得到两个独立的检验统计量 d^{(1)}_j 和 d^{(2)}_j。通过 sign(d^{(1)T} d^{(2)}) 校正标签切换，构造出满足对称性和信号性的镜像统计量 M_j。
    2. 建立 FDR 控制：利用空特征 M_j 的对称性，用 #{j: M_j < -t} 来估计 #{j: M_j > t} 中的假阳性数。通过选择合适的阈值 τ_q，使得估计的 FDP 不超过名义水平 q。
    3. 证明渐近有效性：在弱依赖假设下，证明 FDP(τ_q) ≤ q + o_p(1)。证明的关键在于，对于空特征，M_j 的对称性保证了 P(M_j > t) = P(M_j < -t)，而弱依赖假设保证了这些事件的方差可控，从而可以用大数定律。
    4. 处理聚类标签的随机性：在高斯模型的理论分析中，作者巧妙地条件于聚类结果 I^{(k)}_ℓ。由于空特征的检验统计量 Z^{(k)}_j 在给定聚类结果后仍服从标准正态分布，其分布不依赖于 I^{(k)}_ℓ，因此可以将 FDR 分解为 E[E[FDP | I^{(k)}_ℓ]]，从而将问题简化为对条件分布的分析。

  • 关键跳跃点：

    • 标签切换问题的识别与校正：这是从回归到聚类扩展的核心难点。作者通过观察 ∑ d^{(1)}_j d^{(2)}_j 的符号来检测标签切换，并证明在高信号下该检测以高概率正确。这个想法简洁而有效。
    • 条件分布技巧：在 Proposition 7 的证明中，作者没有直接处理 Z^{(k)}_j 的边际分布（这依赖于随机且复杂的聚类结果 I^{(k)}_ℓ），而是条件于 I^{(k)}_ℓ。由于 Z^{(k)}_j 是样本均值的差，给定 I^{(k)}_ℓ 后，它服从一个不依赖于 I^{(k)}_ℓ 的分布（对于空特征）。这个技巧使得复杂的随机聚类问题简化为一个经典的高斯检验问题。

  • 技术技巧点名：

    • 镜像统计量：核心工具，用于将 FDR 控制问题转化为对统计量对称性的检验。
    • 数据分裂：基础框架，用于产生独立的检验统计量，打破“双重 dipping”带来的依赖。
    • 多重数据分裂 (MDS)：通过多次随机分裂并聚合结果，提高稳定性和统计效力。使用了加权平均包含率 \tilde{I}_j，其灵感来自重要性抽样中的自归一化估计量，对不平衡分裂更稳健。
    • 条件分布：在理论证明中，通过条件于聚类结果，将复杂的随机问题转化为条件高斯问题。
    • Hoeffding 不等式：用于证明 Proposition 3（不平衡分裂的概率很小）和 Proposition 6（功效的近似）。
    • Chernoff 界：用于证明 Proposition 1（标签切换检测的高概率正确性）。
    • 泰勒展开：用于 Proposition 6 中功效的近似计算。

真实例子与应用

  • 数据：来自 Hao et al. (2021) 的人类外周血单核细胞（PBMC）的 scRNA-seq 数据集，包含 161,764 个细胞和 27,504 个基因，以及 228 种表面蛋白的测量。数据提供了三个层级的细胞类型注释。
  • 如何应用：
    1. 同质细胞群内的 DE 分析：选取 CD8 T 细胞的 6 个精细亚型（如 CD8 Naive, CD8 TCM_1），在每个亚型内，对 8 个供体分别进行 DE 分析。由于亚型被认为是同质的，期望检测到很少的 DE 基因。作者比较了 MDS、MDS（whiten）、Naive、ClusterDE 和 CountSplit 五种方法。
    2. 异质细胞群间的 DE 分析：选取两对细胞类型：CD4 Naive vs CD8 Naive（信号较弱）和 B Memory vs B Naive（信号较强）。以基于专家注释的细胞类型标签进行的 DE 分析结果作为“ground truth”，比较各方法检测到的 DE 基因与 ground truth 的重叠数量。
  • 结果：
    • 同质细胞群：MDS（whiten）和 ClusterDE 在大多数场景下报告零个 DE 基因，表明它们能有效控制假阳性。而 Naive 和 CountSplit 报告了大量 DE 基因，暗示可能存在未被注释的异质性。MDS 报告的数量介于两者之间。
    • 异质细胞群：在 CD4 Naive vs CD8 Naive 的比较中，MDS 和 MDS（whiten）识别出的与 ground truth 重叠的 DE 基因数量与 Naive 方法相当，但远多于 CountSplit 和 ClusterDE。在 B Memory vs B Naive 的比较中，所有方法表现相似，但 MDS 仍能保持竞争力。
  • 这个例子想说明什么：MDS 方法在同质场景下能有效控制假阳性（与 ClusterDE 类似），在异质场景下能保持高统计效力（与 Naive 方法类似），实现了最佳的“假阳性-真阳性”权衡。这验证了模拟实验的结论，并展示了其在实际单细胞数据分析中的实用性和灵活性。

🔎 结论是否比证明窄

  • 结论：作者声称 DS 和 MDS 方法可以“asymptotically control FDR in Gaussian settings”（Proposition 7）。这个结论是严格证明的，但仅限于高斯模型和 Proposition 7 中的具体假设（协方差矩阵条件数有界等）。
  • 更宽的 claim：作者在摘要和引言中声称方法可以处理“Poisson”和“non-Poisson”数据，并在模拟中展示了在泊松模型下的良好表现。然而，理论证明并未覆盖非高斯情况。作者在 Remark 1 中提到了一个半参数形式，但并未给出其下的理论保证。因此，对于非高斯数据的 FDR 控制，目前只是一个实验观察，而非严格证明。
  • 具体语句：Proposition 7 的陈述明确限定了“Under the following assumptions: ... Xi ~ N(μ_Li, Σ)”。而 Table 1 中声称 DS/MDS 适用于“Poisson”和“non-Poisson”分布，这是一个更宽的 claim，其理论支撑是缺失的。

四、开放问题

  1. 非高斯/非参数设定下的理论保证：本文的 FDR 控制理论证明仅限于高斯模型。能否在更一般的分布族（如指数族）或半参数模型下，建立 DS/MDS 方法的渐近 FDR 控制理论？这扎根于 Proposition 7 的假设和 Table 1 中更宽的 claim 之间的差距。
  2. 多类聚类的直接扩展：本文主要关注两类聚类。作者提到“one-vs-others strategy”可以用于多类，但直接处理多类场景的镜像统计量构造和理论分析是开放的。这扎根于 Section 6 的第一个未来方向。
  3. 处理强相关特征：Proposition 7 要求协方差矩阵的条件数有界，排除了 Σ = ρ11^T + (1-ρ)I 这种强相关结构。当特征间存在强相关或群组结构时，如何修正镜像统计量或 FDR 控制程序？作者在 Section 6 中提到了“group these highly correlated features”作为可能的补救措施，但具体方法有待研究。
  4. 小发现数下的 FDR 控制稳定性：作者在 Section 6 中指出，当发现数很少时，基于镜像统计量的 FDR 控制可能不稳定，且低名义 FDR 水平不可靠。如何提高在这种情况下的稳健性？是否可以结合 p 值方法（如 BH 程序）来弥补？

Maintained by 陈星宇 · Homepage · Source on GitHub

评论