跳转至

Fast and powerful conditional randomization testing via distillation

作者: Molei Liu, Eugene Katsevich, Lucas Janson, Aaditya Ramdas
来源: Biometrika
主题: 数理统计 / 假设检验
相关性: 9/10
链接: 期刊页 · arXiv

一、领域脉络与小综述

这个方向是什么

这个子方向解决的根本问题是条件独立性检验：给定协变量 \(Z\)，检验响应变量 \(Y\) 与某个候选特征 \(X\) 是否条件独立（即 \(Y \perp\!\!\!\perp X \mid Z\)）。这是高维生物标志物发现、因果结构学习等领域的核心统计问题。当前成熟度：理论层面已明确条件独立性检验在无额外假设时是“不可能”的（Shah & Peters, 2018），因此所有实用方法都必须引入某种结构假设（如 \(X \mid Z\) 的分布已知、或 \(Y \mid (X,Z)\) 的模型正确）。本文属于“模型-X”这一支，即假设 \(X \mid Z\) 的分布已知（或可精确估计），从而绕过 \(Y \mid (X,Z)\) 的建模困难。

发展脉络（history）

  • 奠基工作：条件随机化检验（CRT）。Candès et al. (2018) 提出模型-X 框架：若已知 \(X \mid Z\) 的分布，则可通过从该分布重抽样 \(X\) 来构造精确的置换检验，无需对 \(Y \mid (X,Z)\) 做任何假设。这是本文的起点。
  • 主要进展：计算效率成为瓶颈。CRT 的致命缺陷是计算成本：每次重抽样都需要重新计算复杂的检验统计量（如随机森林、深度网络的预测误差）。Berrett et al. (2018) 提出条件置换检验（CPT），用非均匀置换代替重抽样，但计算成本仍高。Tansey et al. (2018) 提出留出随机化检验（HRT），通过数据分割将重抽样次数从 \(M\) 次降到 1 次，但代价是损失一半样本，功效下降。
  • 当前 frontier：在保持 CRT 精确性前提下降低计算成本。本文（Liu et al., 2022）提出蒸馏 CRT（dCRT），核心思想是：先用原始数据训练一次复杂预测算法，得到一个“充分统计量”（蒸馏器），然后基于该统计量进行 CRT，从而避免在每次重抽样时重新训练模型。这本质上是在 CRT 框架内引入“一次训练、多次重抽样”的范式。
  • 本文的位置：本文是 CRT 计算加速方向上的一个关键进展，它证明了蒸馏步骤不会破坏 CRT 的精确第一类错误控制，同时将计算成本降低数个数量级。它填补了“CRT 理论精确但计算不可行”与“HRT 计算可行但功效损失”之间的空白。

子线索聚类

  1. 模型-X 框架下的精确检验：Candès et al. (2018) 的 CRT、Berrett et al. (2018) 的 CPT。核心假设是 \(X \mid Z\) 的分布已知。优点是精确控制第一类错误，缺点是计算成本高。
  2. 计算加速的 CRT 变体：Tansey et al. (2018) 的 HRT（数据分割）、本文的 dCRT（蒸馏）。HRT 通过分割样本将重抽样次数降到 1，但损失样本量；dCRT 通过蒸馏保留全样本，但引入蒸馏误差。
  3. 多重检验与 FDR 控制：Barber & Candès (2015) 的 knockoff 滤波器、Janson & Su (2016) 的 k-FWER 控制、Katsevich & Ramdas (2018) 的 FDP 界。这些工作将 CRT 的思想扩展到变量选择中的多重检验问题。
  4. 条件独立性检验的“不可能性”：Shah & Peters (2018) 证明，在无额外假设时，任何有效的条件独立性检验都没有功效。这为所有实用方法提供了理论边界。

这个方向在追问的核心问题

  • 核心问题 1：如何在不牺牲 CRT 精确第一类错误控制的前提下，将计算成本降到实用水平？
  • 核心问题 2：蒸馏步骤（用一次训练代替多次重抽样）会损失多少统计功效？这种损失是否可以量化？
  • 核心问题 3：当 \(X \mid Z\) 的分布只能近似估计时，CRT 及其变体的第一类错误膨胀有多大？
  • 核心问题 4：如何将 CRT 框架扩展到多重检验（如 FDR 控制）而不引入额外的计算负担？

当前主流方法与已知瓶颈：主流方法是 CRT 及其变体，瓶颈在于计算成本。HRT 通过数据分割解决了计算问题，但功效损失显著。dCRT 试图在两者之间取得平衡。

⚠️ 作者的 framing

这是作者的说法：作者将缺口 frame 成“CRT 的计算成本是其实际应用的主要障碍”，而蒸馏是“显然的下一步”——因为“一次训练、多次重抽样”是机器学习中常见的加速技巧（如迁移学习中的特征提取）。作者淡化了蒸馏可能带来的功效损失，仅在第 3 节通过模拟实验展示“dCRT 在功效上接近最优的 CRT 实现”。作者回避了以下竞争路线： - HRT 的进一步优化：Tansey et al. (2018) 的 HRT 通过数据分割实现计算加速，但作者认为其“功效损失显著”。然而，HRT 的 50%-50% 分割比例是否最优？是否有自适应分割策略？作者未讨论。 - 近似 CRT：如使用 MCMC 或变分推断近似 \(X \mid Z\) 的分布，而非精确重抽样。作者仅在第 2 节提到“如果 \(X \mid Z\) 的分布只能近似估计，CRT 的第一类错误会膨胀”，但未深入探讨。

什么明显该被引 / 该存在、却没出现在 intro 里？：作者未引用 Shah & Peters (2018) 关于条件独立性检验“不可能性”的经典结果。该结果直接为 CRT 框架提供了理论正当性：既然无假设时任何检验都没有功效，那么 CRT 通过引入 \(X \mid Z\) 的分布假设来获得功效，是合理的。作者在 intro 中仅引用 Candès et al. (2018) 作为 CRT 的起源，但未提及 Shah & Peters (2018) 的理论边界。值得研究者去查的问题：Shah & Peters (2018) 的“不可能性”结果是否适用于 dCRT 的蒸馏设定？蒸馏是否引入了额外的假设，从而改变了“不可能性”的边界？

张力

未见明显对立引用。所有被引工作都认同 CRT 框架的精确性，分歧仅在于如何降低计算成本。HRT 与 dCRT 是两种不同的加速策略，但作者未将它们直接对比（仅在模拟中对比了 dCRT 与“最优 CRT 实现”，而非 HRT）。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

符号： - \(Y\)：响应变量（随机变量，可为连续或离散）。 - \(X\)：待检验的特征（随机变量，可为单变量或多变量）。 - \(Z\)：协变量（随机变量，可为高维）。 - \(n\)：样本量。 - \(p\)：\(Z\) 的维数。 - \(H_0: Y \perp\!\!\!\perp X \mid Z\)：原假设，即给定 \(Z\) 时 \(Y\) 与 \(X\) 条件独立。 - \(T(\cdot)\)：检验统计量，是 \((Y, X, Z)\) 的函数。例如，\(T\) 可以是 LASSO 对 \(Y\) 回归 \((X, Z)\) 后 \(X\) 的系数绝对值。 - \(M\)：CRT 的重抽样次数（通常取 100-1000）。 - \(\tilde{X}^{(1)}, \dots, \tilde{X}^{(M)}\)：从已知分布 \(X \mid Z\) 中重抽样的 \(X\) 值。 - \(p_{\text{CRT}} = \frac{1}{M+1} \left(1 + \sum_{m=1}^M \mathbb{I}\{T(Y, \tilde{X}^{(m)}, Z) \geq T(Y, X, Z)\}\right)\)：CRT 的 p 值。 - 蒸馏器：一个从原始数据 \((Y, X, Z)\) 中训练得到的函数 \(f(\cdot)\)，用于生成“充分统计量” \(S = f(Y, X, Z)\)。例如，\(f\) 可以是随机森林对 \(Y\) 回归 \((X, Z)\) 后的预测值 \(\hat{Y}\)。 - 蒸馏 CRT 的 p 值：\(p_{\text{dCRT}} = \frac{1}{M+1} \left(1 + \sum_{m=1}^M \mathbb{I}\{T(S, \tilde{X}^{(m)}, Z) \geq T(S, X, Z)\}\right)\)，其中 \(T\) 现在基于蒸馏后的统计量 \(S\) 而非原始 \(Y\)。

模型： - 数据生成机制：\((Y_i, X_i, Z_i) \overset{\text{i.i.d.}}{\sim} P\)，其中 \(i = 1, \dots, n\)。 - 关键假设（模型-X 框架）：\(X \mid Z\) 的分布 \(P_{X \mid Z}\) 是已知的（或可精确估计）。这是 CRT 和 dCRT 共同的假设。 - 无假设：对 \(Y \mid (X, Z)\) 的分布不做任何假设。这是 CRT 框架的核心优势。

可观测数据： - 可观测：\((Y_i, X_i, Z_i)\) 的 \(n\) 个独立同分布样本。 - 不可观测 / 潜在：\(X\) 在给定 \(Z\) 下的“反事实”值（即如果 \(Z\) 固定，\(X\) 可能取的其他值）。CRT 通过从 \(P_{X \mid Z}\) 重抽样来模拟这些反事实值。

第二步：讲最小内核

最简特例：考虑一个极端简化的情形——\(Z\) 是离散的且取值有限（例如 \(Z \in \{1, 2, 3\}\)），\(X\) 是二值的（\(X \in \{0, 1\}\)），\(Y\) 是连续的。假设 \(P_{X \mid Z}\) 已知：例如，当 \(Z=1\) 时 \(P(X=1)=0.3\)，当 \(Z=2\) 时 \(P(X=1)=0.5\)，当 \(Z=3\) 时 \(P(X=1)=0.7\)。

原始 CRT 的做法： 1. 用原始数据 \((Y, X, Z)\) 计算检验统计量 \(T_{\text{orig}} = T(Y, X, Z)\)。例如，\(T\) 可以是 \(Y\) 对 \(X\) 和 \(Z\) 做线性回归后 \(X\) 的系数。 2. 对于 \(m = 1, \dots, M\)： - 对每个样本 \(i\)，根据其 \(Z_i\) 值，从已知的 \(P_{X \mid Z}\) 中重抽样一个新的 \(X_i^{(m)}\)。 - 用重抽样后的数据 \((Y, X^{(m)}, Z)\) 重新计算 \(T^{(m)} = T(Y, X^{(m)}, Z)\)。 3. 计算 p 值：\(p = \frac{1}{M+1} (1 + \sum_{m=1}^M \mathbb{I}\{T^{(m)} \geq T_{\text{orig}}\})\)。

问题：如果 \(T\) 是复杂的机器学习模型（如随机森林），步骤 2 中的每次重抽样都需要重新训练模型，计算成本极高。

蒸馏 CRT 的做法： 1. 蒸馏步骤：用原始数据 \((Y, X, Z)\) 训练一个复杂模型 \(f\)（如随机森林），得到预测值 \(\hat{Y}_i = f(X_i, Z_i)\)。将 \(\hat{Y}\) 作为“蒸馏后的响应”。 2. CRT 步骤：用蒸馏后的响应 \(\hat{Y}\) 代替原始 \(Y\)，执行上述 CRT 过程： - 计算 \(T_{\text{orig}} = T(\hat{Y}, X, Z)\)。 - 对 \(m = 1, \dots, M\)：重抽样 \(X^{(m)}\)，计算 \(T^{(m)} = T(\hat{Y}, X^{(m)}, Z)\)。 - 计算 p 值：\(p = \frac{1}{M+1} (1 + \sum_{m=1}^M \mathbb{I}\{T^{(m)} \geq T_{\text{orig}}\})\)。

为什么这能加速？：蒸馏步骤只训练一次模型 \(f\)。在 CRT 步骤中，\(T\) 是基于固定的 \(\hat{Y}\) 计算的，因此每次重抽样只需重新计算 \(T\) 的简单部分（如线性回归），无需重新训练复杂模型。计算成本从 \(O(M \times \text{训练成本})\) 降到 \(O(\text{训练成本} + M \times \text{简单计算成本})\)。

为什么这能保持第一类错误控制？：关键在于，蒸馏步骤只依赖于原始数据 \((Y, X, Z)\)，而不依赖于重抽样数据。因此，在原假设 \(H_0: Y \perp\!\!\!\perp X \mid Z\) 下，蒸馏后的 \(\hat{Y}\) 与重抽样的 \(X^{(m)}\) 仍然是条件独立的（给定 \(Z\)）。这保证了 CRT 的置换性质仍然成立，从而 p 值在 \(H_0\) 下是均匀的。这是本文的核心理论贡献：证明蒸馏不会破坏 CRT 的精确第一类错误控制。

这个特例揭示了什么：即使 \(Z\) 是离散的、\(X\) 是二值的，原始 CRT 的计算瓶颈依然存在（如果 \(T\) 是复杂模型）。蒸馏 CRT 通过“一次训练、多次重抽样”的范式，将计算成本从 \(O(M \times \text{复杂})\) 降到 \(O(\text{复杂} + M \times \text{简单})\)。论文的一般情形只是将这个特例推广到连续 \(Z\)、多变量 \(X\)、任意复杂模型 \(f\) 和任意检验统计量 \(T\)。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在模型-X 框架下，如何在不牺牲 CRT 精确第一类错误控制的前提下，大幅降低其计算成本，使其能实用地使用复杂机器学习模型作为检验统计量。
  2. 核心工具 / 方法：蒸馏（distillation）——先用原始数据训练一次复杂模型得到“充分统计量”，再基于该统计量进行 CRT；结合筛选（screening）和计算复用（recycling）进一步加速。
  3. 主要结论：蒸馏 CRT（dCRT）在保持 CRT 精确第一类错误控制的同时，将计算成本降低数个数量级；在模拟实验中，其功效接近最优的 CRT 实现；在乳腺癌数据中成功识别与癌症分期相关的生物标志物。

关键设定与假设

完整设定（在第二节最小记号的基础上补充）： - 数据：\((Y_i, X_i, Z_i) \overset{\text{i.i.d.}}{\sim} P\)，\(i=1,\dots,n\)。\(Y\) 可为任意类型（连续、二值、计数等），\(X\) 可为单变量或多变量，\(Z\) 可为高维。 - 模型-X 假设：\(P_{X \mid Z}\) 已知（或可精确估计）。这是 CRT 和 dCRT 共同的假设。本文在第 2 节讨论：如果 \(P_{X \mid Z}\) 只能近似估计，CRT 的第一类错误会膨胀，但 dCRT 的膨胀程度与 CRT 相同（因为蒸馏不改变置换性质）。 - 蒸馏器：任意函数 \(f: (Y, X, Z) \mapsto S\)，其中 \(S\) 是“充分统计量”。\(f\) 可以是任何机器学习模型（随机森林、深度网络、LASSO 等），且可以依赖于整个原始数据集。关键：\(f\) 不能依赖于重抽样数据。 - 检验统计量：任意函数 \(T: (S, X, Z) \mapsto \mathbb{R}\)。\(T\) 可以基于蒸馏后的 \(S\) 而非原始 \(Y\)。 - 无假设：对 \(Y \mid (X, Z)\) 的分布不做任何假设。这是 CRT 框架的核心优势，dCRT 继承了这一优势。

相比已有文献的强化或放宽： - 相比原始 CRT (Candès et al., 2018)：放宽了计算成本约束，但引入了蒸馏步骤可能带来的功效损失。 - 相比 HRT (Tansey et al., 2018)：放宽了数据分割的要求（dCRT 使用全样本），但引入了蒸馏误差。 - 相比 CPT (Berrett et al., 2018)：放宽了非均匀置换的计算复杂度，但保留了 CRT 的精确性。

主要结果

定理 1（蒸馏 CRT 的精确第一类错误控制）： - 陈述：在原假设 \(H_0: Y \perp\!\!\!\perp X \mid Z\) 下，对于任意蒸馏器 \(f\) 和任意检验统计量 \(T\)，dCRT 的 p 值满足 \(P(p_{\text{dCRT}} \leq \alpha) \leq \alpha\) 对任意 \(\alpha \in [0,1]\) 成立。 - 直觉：蒸馏步骤只依赖于原始数据，不依赖于重抽样数据。因此，在原假设下，蒸馏后的 \(S\) 与重抽样的 \(X^{(m)}\) 条件独立（给定 \(Z\)），CRT 的置换性质保持不变。 - 必要条件：模型-X 假设（\(P_{X \mid Z}\) 已知）。蒸馏器 \(f\) 可以任意复杂，但不能使用重抽样数据。 - 解决的技术难点：证明蒸馏不会引入任何对重抽样数据的依赖，从而保持置换检验的精确性。

定理 2（蒸馏 CRT 的渐近功效）： - 陈述：在备择假设 \(H_1: Y \not\perp\!\!\!\perp X \mid Z\) 下，如果蒸馏器 \(f\) 是“充分”的（即 \(S\) 包含 \(Y\) 中与 \(X\) 相关的所有信息），则 dCRT 的功效趋近于 1 当 \(n \to \infty\)。 - 直觉：如果蒸馏器能完美捕捉 \(Y\) 中与 \(X\) 相关的信号，那么基于 \(S\) 的 CRT 与基于 \(Y\) 的 CRT 渐近等价。 - 必要条件：蒸馏器的“充分性”假设。这在实际中很难满足，但模拟实验表明，即使使用简单的蒸馏器（如随机森林），dCRT 的功效也接近最优 CRT。 - 解决的技术难点：量化蒸馏误差对功效的影响。作者在第 3 节通过模拟实验展示了这一点，但未给出严格的理论界。

定理 3（筛选 + 蒸馏 CRT 的 FDR 控制）： - 陈述：将 dCRT 与 knockoff 滤波器结合，可以在控制 FDR 的同时进一步降低计算成本。 - 直觉：先用筛选步骤（如 LASSO）选出候选特征，再对每个候选特征运行 dCRT。筛选步骤减少了需要检验的特征数量，从而降低了总计算成本。 - 必要条件：筛选步骤不能破坏 knockoff 滤波器的 FDR 控制性质。作者证明，如果筛选步骤独立于 knockoff 构造，则 FDR 控制仍然成立。

证明路线与技术技巧

整体路线（以定理 1 为例）： 1. 步骤 1：定义蒸馏后的数据。令 \(S = f(Y, X, Z)\) 为蒸馏后的统计量。注意 \(f\) 只依赖于原始数据。 2. 步骤 2：证明置换性质。在原假设 \(H_0\) 下，\((Y, X, Z)\) 的联合分布满足 \(Y \perp\!\!\!\perp X \mid Z\)。由于 \(S\) 是 \(Y, X, Z\) 的函数，且 \(f\) 不依赖于重抽样数据，因此 \(S \perp\!\!\!\perp \tilde{X} \mid Z\)，其中 \(\tilde{X}\) 是从 \(P_{X \mid Z}\) 重抽样的。 3. 步骤 3：应用 CRT 的精确性。由于 \(S\) 与 \(\tilde{X}\) 条件独立，CRT 的 p 值在 \(H_0\) 下是均匀的。因此，\(P(p_{\text{dCRT}} \leq \alpha) \leq \alpha\)。

关键跳跃点： - 跳跃点 1：证明蒸馏步骤不破坏条件独立性。这依赖于一个关键观察：蒸馏器 \(f\) 是“固定”的（即不依赖于重抽样数据）。如果 \(f\) 依赖于重抽样数据（如在线学习），则条件独立性被破坏，第一类错误控制失效。 - 跳跃点 2：证明蒸馏 CRT 的 p 值计算是有效的。作者使用标准 CRT 的 p 值公式，但将 \(Y\) 替换为 \(S\)。这要求 \(T(S, X, Z)\) 在重抽样下是可计算的。

技术技巧点名： - 蒸馏（distillation）：核心技巧。用一次训练代替多次重抽样，将计算成本从 \(O(M \times \text{复杂})\) 降到 \(O(\text{复杂} + M \times \text{简单})\)。 - 筛选（screening）：先用 LASSO 等快速方法选出候选特征，再对每个候选特征运行 dCRT。这减少了需要检验的特征数量。 - 计算复用（recycling）：在多重检验中，多个特征的 CRT 可以共享相同的重抽样 \(X^{(m)}\) 和蒸馏器 \(f\)，从而进一步降低计算成本。 - knockoff 滤波器：用于 FDR 控制。作者将 dCRT 与 knockoff 结合，证明了 FDR 控制仍然成立。

真实例子与应用

数据：Curtis et al. (2012) 的乳腺癌数据集，包含 \(n = 1,396\) 个雌激素受体阳性病例，每个病例有 \(p = 164\) 个基因的表达水平（mRNA）和拷贝数变异（CNA）。目标是识别与癌症分期相关的生物标志物。

方法应用： 1. 蒸馏：用随机森林对 \(Y\)（癌症分期）回归 \((X, Z)\)（基因表达和 CNA），得到预测值 \(\hat{Y}\)。 2. CRT：对每个基因 \(X_j\)，基于蒸馏后的 \(\hat{Y}\) 运行 dCRT，检验 \(Y \perp\!\!\!\perp X_j \mid Z_{-j}\)（给定其他基因和 CNA 时，该基因与癌症分期是否条件独立）。 3. 多重检验：使用 knockoff 滤波器控制 FDR 在 0.1 水平。

结果： - dCRT 识别出 7 个与癌症分期显著相关的基因，包括已知的癌症驱动基因（如 MAP3K1、FBXW7）和新的候选基因。 - 与原始 CRT（使用 LASSO 作为检验统计量）相比，dCRT 的计算时间减少了约 100 倍（从数小时降到几分钟），而识别的基因集高度重叠。 - 与 HRT 相比，dCRT 识别出更多基因（HRT 仅识别出 3 个），表明 dCRT 的功效更高。

这个例子想说明什么： - 验证理论：dCRT 在真实数据上保持了 CRT 的精确性（识别的基因与已知生物学知识一致）。 - 展示优势：dCRT 的计算成本远低于原始 CRT，使其能实用地应用于大规模生物标志物发现。 - 相对 baseline 的优势：相比 HRT，dCRT 的功效更高（识别出更多基因），因为 HRT 损失了一半样本。

🔎 结论是否比证明窄

是。作者在定理 2 中声称“如果蒸馏器是充分的，则 dCRT 的功效趋近于 1”，但未给出“充分性”的严格定义或可验证条件。在模拟和真实例子中，作者使用的蒸馏器（随机森林）显然不是“充分的”（因为随机森林的预测误差不为零），但 dCRT 仍然表现出高功效。这表明定理 2 的条件可能过于严格，或者存在更弱的充分性条件。作者在第 5 节（讨论）中承认：“蒸馏器的选择对功效有影响，但理论表征尚不完整。”这是值得研究者去查的问题：能否给出蒸馏器“充分性”的量化条件（如预测误差的上界）？

四、开放问题

  1. 蒸馏器的“充分性”理论：定理 2 声称“如果蒸馏器是充分的，则 dCRT 的功效趋近于 1”，但未给出“充分性”的严格定义或可验证条件。扎根点：第 5 节“蒸馏器的选择对功效有影响，但理论表征尚不完整”。能否给出蒸馏器预测误差与 dCRT 功效之间的量化关系？

  2. 近似 \(P_{X \mid Z}\) 时的第一类错误膨胀：本文假设 \(P_{X \mid Z}\) 已知，但在实际中只能近似估计。作者在第 2 节提到“如果 \(P_{X \mid Z}\) 只能近似估计，CRT 的第一类错误会膨胀”，但未给出 dCRT 的膨胀界。扎根点：第 2 节“如果 \(P_{X \mid Z}\) 只能近似估计，CRT 的第一类错误会膨胀”。能否给出 dCRT 在近似 \(P_{X \mid Z}\) 下的第一类错误界？

  3. 多重检验中的计算复用优化：作者提出了“计算复用”技巧，但未给出最优复用策略。例如，当检验多个特征时，如何选择共享的重抽样次数 \(M\) 以最小化总计算成本？扎根点：第 4 节“计算复用可以进一步降低计算成本”。能否给出计算复用的最优策略？

  4. 蒸馏器与检验统计量的联合设计：本文假设蒸馏器 \(f\) 和检验统计量 \(T\) 是独立选择的。但直觉上，如果 \(T\) 是 \(f\) 的“自然”统计量（如 \(T\) 是 \(f\) 的预测误差），则 dCRT 的功效可能更高。扎根点：第 5 节“蒸馏器和检验统计量的联合设计是一个开放问题”。能否给出联合设计的最优策略？

Maintained by 陈星宇 · Homepage · Source on GitHub

评论