Reconciling model-X and doubly robust approaches to conditional independence testing

作者: Ziang Niu, Abhinav Chakraborty, Oliver Dukes, Eugene Katsevich
来源: Annals of Statistics
主题: 因果推断
相关性: 8/10
链接: 期刊页 · arXiv

---

一、领域脉络与小综述

这个方向是什么

这个子方向解决的根本问题是：给定高维协变量 \(Z\)，如何检验预测变量 \(X\) 与响应变量 \(Y\) 之间的条件独立性（CI），即检验原假设 \(H_0: Y \perp\!\!\!\perp X \mid Z\)。该问题在因果推断、基因组学、生物信息学等领域有广泛应用。当前成熟度较高，但核心张力在于：如何在不假设 \(Y \mid (X,Z)\) 的模型形式的前提下，既能控制第一类错误，又能获得良好的检验功效。Model-X 框架和双重稳健框架是两条主要路线，本文致力于调和它们。

发展脉络（history）

1. 奠基工作：Model-X 框架的提出

   • Candès et al. (2018) 提出了 Model-X knockoffs 框架，其核心假设是已知预测变量 \(X\) 给定协变量 \(Z\) 的条件分布 \(L_n(X \mid Z)\)。在此假设下，该方法能在有限样本下精确控制 FDR，且对 \(Y \mid (X,Z)\) 的分布不做任何假设。这是一个突破性的框架，但“已知条件分布”的假设在实践中几乎不可能满足。
   • Berrett et al. (2020) 提出了条件置换检验（CPT），同样依赖于对 \(L_n(X \mid Z)\) 的近似。他们证明了在最坏情况下的第一类错误膨胀上界，与 CRT 相当。

2. 主要进展：从“已知分布”到“学习分布”的尝试与困境

   • Liu et al. (2022) 提出了蒸馏条件随机化检验（dCRT），旨在解决 CRT 的计算瓶颈。dCRT 的核心思想是：先用 \(Y\) 对 \(Z\) 做回归得到残差 \(\tilde{Y}\)，然后用 \(\tilde{Y}\) 作为检验统计量，从而避免在每次重抽样时都重新拟合复杂的模型。这极大地提升了计算效率。
   • 然而，一个关键问题浮现：实践中，\(L_n(X \mid Z)\) 通常是在同一个样本上拟合的，然后被当作已知。这违反了 Model-X 的原始假设。Berrett et al. (2020) 证明，在最坏情况下，这种“样本内拟合”会导致第一类错误膨胀为 \(O(1)\)，即无法控制。但另一方面，许多模拟研究（如 Sesia et al., 2019; Romano et al., 2019; Liu et al., 2022）却观察到 dCRT 对 \(L_n(X \mid Z)\) 的误设具有广泛的稳健性。这种理论与模拟之间的张力是本文的出发点。

3. 当前 Frontier：双重稳健性与最优性

   • 与 Model-X 路线平行发展的，是广义协方差度量（GCM）检验（Shah and Peters, 2020 等）。GCM 检验不依赖于 \(L_n(X \mid Z)\) 的精确知识，而是依赖于对 \(E[Y \mid Z]\) 和 \(E[X \mid Z]\) 的估计。它被证明具有双重稳健性：只要这两个条件均值的估计中有一个是准确的，检验就能控制第一类错误。
   • 在最优性方面，Katsevich and Ramdas (2022) 证明了在 Model-X 框架下，基于似然比统计量的 CRT 在点备择假设下是最优的。他们还推导了在局部半参数备择假设下，CRT 的渐近功效表达式，并将其与 \(E[Y \mid Z]\) 的预测误差联系起来。
   • 此外，Neykov et al. (2021) 和 Kim et al. (2022) 等研究了条件独立性检验的 minimax 最优性，为理解问题的根本难度提供了理论下界。

4. 本文的位置 本文位于调和上述两条路线的交汇点。作者试图回答：为什么 dCRT 在实践中的表现比理论预测的要好？他们发现，dCRT 实际上具有双重稳健性——只要 \(E[Y \mid Z]\) 被估计得足够好，即使 \(L_n(X \mid Z)\) 被误设，dCRT 也能控制第一类错误。这解释了理论与模拟之间的差距。进一步，他们证明了 dCRT 与 GCM 检验的渐近等价性，并利用半参数效率理论证明了 GCM 检验在（广义）部分线性备择假设下的最优性，从而将 Model-X 和双重稳健两条路线统一在一个框架下。

子线索聚类

1. Model-X 方法及其变体：核心是假设或近似 \(L_n(X \mid Z)\)。

   • Candès et al. (2018)：Model-X knockoffs。
   • Berrett et al. (2020)：条件置换检验（CPT）。
   • Liu et al. (2022)：蒸馏条件随机化检验（dCRT）。
   • Huang and Janson (2020)：通过条件化放松 knockoffs 的假设。
   • Romano et al. (2019)：深度生成模型用于近似 knockoffs。

2. 双重稳健 / 基于残差的方法：核心是估计条件均值函数。

   • Shah and Peters (2020)：广义协方差度量（GCM）检验。
   • Lundborg et al. (2022)：投影协方差度量（PCM）检验。
   • Chernozhukov et al. (2018)：去偏机器学习（DML）框架，其核心是构造 Neyman 正交的得分函数。

3. 条件独立性检验的理论基础（最优性与不可检验性）：

   • Katsevich and Ramdas (2022)：Model-X 框架下的最优性。
   • Neykov et al. (2021) 和 Kim et al. (2022)：minimax 最优性与下界。
   • Canonne et al. (2018)：离散分布下的条件独立性检验。

这个方向在追问的核心问题

1. 第一类错误控制：当 \(L_n(X \mid Z)\) 或 \(E[Y \mid Z]\) 被误设时，检验能否仍然控制第一类错误？控制的程度如何？
2. 检验功效：在给定备择假设下，检验能达到的最优功效是多少？如何构造达到该最优功效的检验？
3. 计算可行性：如何设计既能利用复杂机器学习模型（以获得高功效），又能在计算上可行的检验统计量？
4. 统一框架：Model-X 方法和双重稳健方法之间是否存在更深层的联系？能否将它们统一在一个理论框架下？

⚠️ 作者的 framing

• 作者把缺口 frame 成什么：作者将现有文献的缺口 frame 为“Model-X 方法（如 dCRT）与双重稳健方法（如 GCM）之间的割裂”。他们声称，dCRT 实际上具有双重稳健性，从而将两者联系起来。这使得本文成为“显然的下一步”：通过证明 dCRT 的双重稳健性，并证明其与 GCM 的等价性，为实践者提供了一个统一的理解和选择指南。
• 哪些竞争路线被他淡化或回避了：作者淡化了精确控制 FDR 这一 Model-X 框架的原始承诺。他们承认，一旦 \(L_n(X \mid Z)\) 是估计的，精确控制就退化为渐近控制。他们回避了与基于核方法的条件独立性检验（如 HSIC-based tests）的深入比较，这些方法在非线性依赖检测方面有优势，但通常计算成本更高。
• 什么明显该被引 / 该存在、却没出现在 intro 里？：作者没有引用 Shah and Peters (2020) 关于条件独立性检验“不可检验性”的经典结果（即，在没有额外假设的情况下，任何非平凡的条件独立性检验都无法同时控制第一类错误和保证功效）。这个结果构成了整个领域的基础性挑战，本文的“双重稳健性”和“最优性”结果正是在特定假设下（如部分线性模型）对这一挑战的回应。引用它会使本文的贡献定位更清晰。

张力

未见明显对立引用。但存在一个重要的理论与实践的张力：Berrett et al. (2020) 的理论表明，当 \(L_n(X \mid Z)\) 被误设时，第一类错误会膨胀；而 Liu et al. (2022) 等模拟研究却显示 dCRT 很稳健。本文正是为了解决这个张力而存在。

---

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

• 符号：

  • \(Y\)：响应变量（随机变量，可以是连续或离散）。
  • \(X\)：感兴趣的预测变量（随机变量，可以是连续或离散）。
  • \(Z\)：协变量向量（随机向量，可以是高维的，即维度 \(p\) 可以很大）。
  • \(n\)：样本量。
  • \(\{(Y_i, X_i, Z_i)\}_{i=1}^n\)：独立同分布的可观测样本。
  • \(H_0: Y \perp\!\!\!\perp X \mid Z\)：原假设，即条件独立性。
  • \(L_n(X \mid Z)\)：\(X\) 给定 \(Z\) 的条件分布。在 Model-X 框架中，这被假设为已知。
  • \(\mu_Y(Z) = E[Y \mid Z]\)：\(Y\) 对 \(Z\) 的条件均值函数（可观测，因为 \(Y\) 和 \(Z\) 都可观测）。
  • \(\mu_X(Z) = E[X \mid Z]\)：\(X\) 对 \(Z\) 的条件均值函数（可观测，因为 \(X\) 和 \(Z\) 都可观测）。
  • \(\tilde{Y} = Y - \mu_Y(Z)\)：\(Y\) 的残差（可观测，一旦 \(\mu_Y(Z)\) 被估计）。
  • \(\tilde{X} = X - \mu_X(Z)\)：\(X\) 的残差（可观测，一旦 \(\mu_X(Z)\) 被估计）。
  • 想要但观测不到的量：在 \(H_0\) 下，\(X\) 的“反事实”样本。CRT 通过从 \(L_n(X \mid Z)\) 中重抽样来生成这些反事实样本。

• 模型：

  • 数据生成机制：\((Y, X, Z) \sim P\)，其中 \(P\) 是某个未知的联合分布。
  • 核心假设（Model-X）：\(L_n(X \mid Z)\) 是已知的。这是 CRT 和 knockoffs 的原始假设。
  • 核心假设（双重稳健）：没有关于 \(L_n(X \mid Z)\) 的假设，但假设我们可以得到 \(\mu_Y(Z)\) 和 \(\mu_X(Z)\) 的一致估计。

• 可观测数据：

  • 研究者实际能观测到的是 \(\{(Y_i, X_i, Z_i)\}_{i=1}^n\)。
  • 研究者可以计算出 \(\tilde{Y}_i\) 和 \(\tilde{X}_i\)，但这依赖于对 \(\mu_Y(Z)\) 和 \(\mu_X(Z)\) 的估计（例如，用 Lasso 或随机森林）。
  • 关键不可观测量：在 \(H_0\) 下，\(X\) 的“反事实”样本。CRT 需要从已知的 \(L_n(X \mid Z)\) 中抽样来生成这些样本。当 \(L_n(X \mid Z)\) 未知时，这个抽样过程本身就有误差。

第二步：讲最小内核

本文的核心思想可以用一个最简特例来理解：线性模型下的单变量检验。

• 最简特例设定：

  • 假设 \(Z\) 是 \(p\) 维的，\(X\) 是单变量。
  • 假设真实的数据生成机制是部分线性模型：
    \[Y = \beta X + g(Z) + \epsilon, \quad E[\epsilon \mid X, Z] = 0\]
    其中 \(g(Z)\) 是 \(Z\) 的任意函数，\(\beta\) 是我们关心的参数。原假设 \(H_0: \beta = 0\) 等价于 \(Y \perp\!\!\!\perp X \mid Z\)（在给定 \(Z\) 下，\(X\) 对 \(Y\) 没有线性影响）。
  • 假设 \(X\) 也服从一个线性模型：
    \[X = h(Z) + \eta, \quad E[\eta \mid Z] = 0\]
    其中 \(h(Z)\) 是 \(Z\) 的任意函数。

• GCM 检验在这个特例下做什么：

  1. 用样本估计 \(\mu_Y(Z) = E[Y \mid Z]\) 和 \(\mu_X(Z) = E[X \mid Z]\)。例如，用 Lasso 或随机森林。
  2. 计算残差 \(\tilde{Y}_i = Y_i - \hat{\mu}_Y(Z_i)\) 和 \(\tilde{X}_i = X_i - \hat{\mu}_X(Z_i)\)。
  3. 检验统计量是样本协方差：\(T_{\text{GCM}} = \frac{1}{\sqrt{n}} \sum_{i=1}^n \tilde{Y}_i \tilde{X}_i\)。
  4. 在 \(H_0\) 下，如果 \(\hat{\mu}_Y\) 和 \(\hat{\mu}_X\) 是一致的，那么 \(T_{\text{GCM}}\) 渐近服从均值为 0 的正态分布。因此，可以用正态分布的分位数来构造拒绝域。

• dCRT 在这个特例下做什么：

  1. 用样本估计 \(\mu_Y(Z) = E[Y \mid Z]\)，得到 \(\hat{\mu}_Y(Z)\)。
  2. 计算残差 \(\tilde{Y}_i = Y_i - \hat{\mu}_Y(Z_i)\)。
  3. 关键步骤：dCRT 的检验统计量是 \(T_{\text{dCRT}} = \frac{1}{\sqrt{n}} \sum_{i=1}^n \tilde{Y}_i X_i\)。注意，这里用的是原始的 \(X_i\)，而不是残差 \(\tilde{X}_i\)。
  4. 为了得到 p 值，dCRT 需要从 \(L_n(X \mid Z)\) 中重抽样 \(X\)。如果 \(L_n(X \mid Z)\) 是已知的（例如，假设 \(X \mid Z \sim N(h(Z), \sigma^2)\)），那么可以生成许多“虚拟的” \(X^{(k)}\)，并计算相应的 \(T_{\text{dCRT}}^{(k)}\)。p 值就是 \(T_{\text{dCRT}}\) 在 \(\{T_{\text{dCRT}}, T_{\text{dCRT}}^{(1)}, ..., T_{\text{dCRT}}^{(K)}\}\) 中的秩。

• 核心等价性： 本文证明，在渐近意义上，dCRT 的 p 值等价于基于 \(T_{\text{GCM}}\) 的正态近似 p 值。为什么？

  • 在 \(H_0\) 下，\(Y \perp\!\!\!\perp X \mid Z\)，所以 \(\tilde{Y} \perp\!\!\!\perp X \mid Z\)。
  • 因此，\(E[\tilde{Y} X \mid Z] = E[\tilde{Y} \mid Z] E[X \mid Z] = 0 \cdot \mu_X(Z) = 0\)。
  • 所以，\(T_{\text{dCRT}} = \frac{1}{\sqrt{n}} \sum \tilde{Y}_i X_i\) 的渐近方差是 \(Var(\tilde{Y} X)\)。
  • 另一方面，\(T_{\text{GCM}} = \frac{1}{\sqrt{n}} \sum \tilde{Y}_i \tilde{X}_i\)。由于 \(\tilde{X} = X - \mu_X(Z)\)，且 \(\tilde{Y} \perp\!\!\!\perp \mu_X(Z) \mid Z\)，可以证明 \(T_{\text{dCRT}}\) 和 \(T_{\text{GCM}}\) 是渐近等价的（它们的差是一个 \(o_p(1)\) 项）。
  • 关键洞察：dCRT 通过重抽样来模拟 \(T_{\text{dCRT}}\) 在 \(H_0\) 下的分布，而 GCM 则通过解析计算这个分布。本文证明，当样本量足够大时，这两种方法给出的 p 值是一样的。

• 这个例子想说明什么：

  • dCRT 的双重稳健性：即使 \(L_n(X \mid Z)\) 被误设（例如，假设 \(X \mid Z\) 是线性的，但实际上是二次的），只要 \(\mu_Y(Z)\) 被估计得足够好（即 \(\hat{\mu}_Y\) 一致），那么 \(\tilde{Y}\) 的构造就是正确的，从而 \(T_{\text{dCRT}}\) 的渐近分布仍然是正确的。这就是 dCRT 的双重稳健性来源。
  • 与 GCM 的等价性：这个特例清晰地展示了 dCRT 和 GCM 在渐近意义下是同一个检验。GCM 是 dCRT 的“解析版本”，而 dCRT 是 GCM 的“重抽样版本”。

---

三、这篇论文做了什么

三句话

1. 研究了什么问题：本文研究了 Model-X 条件独立性检验（特别是 dCRT）在 \(L_n(X \mid Z)\) 被样本内估计时的第一类错误控制问题，并探讨了其与双重稳健 GCM 检验的关系。
2. 核心工具 / 方法：本文的核心工具是双重稳健性分析和半参数效率理论。通过证明 dCRT 在 \(E[Y \mid Z]\) 被一致估计时能控制第一类错误，将其与 GCM 检验联系起来，并利用效率理论证明 GCM 在部分线性备择假设下的最优性。
3. 主要结论：① dCRT 具有双重稳健性：只要 \(E[Y \mid Z]\) 被估计得足够好，即使 \(L_n(X \mid Z)\) 被误设，dCRT 也能渐近控制第一类错误。② dCRT 与 GCM 检验是渐近等价的。③ GCM 检验在（广义）部分线性备择假设下是半参数有效的，即达到了最优检验功效。

关键设定与假设

• 设定：观测数据 \(\{(Y_i, X_i, Z_i)\}_{i=1}^n\) 独立同分布。目标是检验 \(H_0: Y \perp\!\!\!\perp X \mid Z\)。
• 假设：
  1. 正则性条件：存在一个关于 \(Z\) 的“工作模型” \(L_n(X \mid Z; \hat{\alpha})\)，它是从数据中估计的。dCRT 基于这个工作模型进行重抽样。
  2. 双重稳健性条件：dCRT 的第一类错误控制依赖于以下两个条件之一成立：
     • (a) 工作模型 \(L_n(X \mid Z; \hat{\alpha})\) 是一致估计的（即，它收敛到真实的 \(L_n(X \mid Z)\)）。
     • (b) 对 \(E[Y \mid Z]\) 的估计 \(\hat{\mu}_Y(Z)\) 是一致估计的。 本文的主要贡献是证明了条件 (b) 足以保证 dCRT 的第一类错误控制，即使条件 (a) 不成立。这比 Berrett et al. (2020) 的结论要弱得多，后者要求条件 (a) 成立。
  3. 部分线性备择假设：为了推导最优性，本文假设备择假设是（广义）部分线性模型：
     \[Y = \beta X + g(Z) + \epsilon, \quad E[\epsilon \mid X, Z] = 0\]
     其中 \(g(Z)\) 是未知函数。这个假设将备择假设参数化为一个低维参数 \(\beta\) 和一个无穷维 nuisance 参数 \(g\)。
  4. 相比已有文献的强化/放宽：
     • 放宽：相比原始的 Model-X 框架（Candès et al., 2018），本文放宽了“\(L_n(X \mid Z)\) 必须精确已知”的假设，允许其被估计。
     • 强化：相比 Berrett et al. (2020) 的“最坏情况”下界，本文通过专注于 dCRT 这一特定检验，得到了一个更乐观的结论（双重稳健性）。
     • 与 GCM 的关系：本文的等价性结果将 dCRT 和 GCM 这两个看似不同的方法联系起来，为实践者提供了选择依据。

主要结果

• 定理 1（dCRT 的双重稳健性）：

  • 陈述：在正则性条件下，如果 \(\hat{\mu}_Y(Z)\) 是 \(E[Y \mid Z]\) 的一致估计（收敛速度足够快），那么即使工作模型 \(L_n(X \mid Z; \hat{\alpha})\) 是误设的，dCRT 也能渐近控制第一类错误。具体地，dCRT 的 p 值在 \(H_0\) 下渐近服从均匀分布。
  • 直觉：dCRT 的检验统计量 \(T_{\text{dCRT}} = \frac{1}{\sqrt{n}} \sum \tilde{Y}_i X_i\) 中，\(\tilde{Y}_i\) 是 \(Y\) 对 \(Z\) 的残差。在 \(H_0\) 下，\(Y \perp\!\!\!\perp X \mid Z\)，所以 \(E[\tilde{Y} X \mid Z] = 0\)。只要 \(\tilde{Y}\) 的构造是正确的（即 \(\hat{\mu}_Y\) 一致），那么 \(T_{\text{dCRT}}\) 的均值就是 0，其渐近分布不依赖于 \(L_n(X \mid Z)\) 是否正确。dCRT 的重抽样过程只是用来近似这个渐近分布，即使重抽样分布是错误的，只要样本量足够大，这种近似误差也会被中心极限定理“抹平”。
  • 必要条件：\(\hat{\mu}_Y(Z)\) 必须是一致估计，且收敛速度要快于 \(n^{-1/4}\)（这是典型的 DML 条件）。
  • 解决的技术难点：证明 dCRT 的重抽样分布与真实分布之间的差异是渐近可忽略的，即使重抽样分布本身是误设的。

• 定理 2（dCRT 与 GCM 的渐近等价性）：

  • 陈述：在相同的正则性条件下，dCRT 和 GCM 检验是渐近等价的。即，对于任何固定的显著性水平 \(\alpha\)，两个检验的拒绝域在 \(n \to \infty\) 时趋于一致。
  • 直觉：如第二节的最小内核所示，dCRT 的检验统计量 \(T_{\text{dCRT}}\) 和 GCM 的检验统计量 \(T_{\text{GCM}}\) 是渐近等价的。dCRT 通过重抽样来近似 \(T_{\text{dCRT}}\) 的零分布，而 GCM 通过解析计算 \(T_{\text{GCM}}\) 的零分布。由于两个统计量等价，它们的零分布也等价。
  • 解决的技术难点：证明 \(T_{\text{dCRT}} - T_{\text{GCM}} = o_p(1)\)，这需要处理高维 nuisance 参数估计带来的误差。

• 定理 3（GCM 检验的最优性）：

  • 陈述：在（广义）部分线性备择假设下，GCM 检验是半参数有效的。这意味着，在所有能够控制第一类错误的正则检验中，GCM 检验在局部备择假设下具有最高的渐近功效。
  • 直觉：这个结果将 GCM 检验与半参数效率理论联系起来。在部分线性模型中，检验 \(H_0: \beta = 0\) 等价于检验一个低维参数。半参数效率理论告诉我们，存在一个“最优”的检验统计量，它基于 efficient influence function。本文证明，GCM 检验的统计量恰好是这个最优统计量的样本类比。
  • 必要条件：部分线性备择假设。这个假设是推导最优性的关键。
  • 解决的技术难点：推导 GCM 检验统计量的 efficient influence function，并证明其达到半参数效率界。这需要将检验问题转化为一个估计问题，并应用 Bickel et al. (1993) 和 Van der Vaart (1998) 中的经典理论。

证明路线与技术技巧

• 整体路线：

  1. 第一步：建立 dCRT 的渐近等价性。证明 dCRT 的 p 值可以近似为 \(1 - \Phi(T_{\text{dCRT}} / \hat{\sigma})\)，其中 \(\Phi\) 是标准正态分布函数，\(\hat{\sigma}\) 是 \(T_{\text{dCRT}}\) 的标准差的一致估计。这一步将 dCRT 从一个重抽样检验转化为一个基于正态近似的检验。
  2. 第二步：证明双重稳健性。证明在 \(H_0\) 下，只要 \(\hat{\mu}_Y\) 一致，\(T_{\text{dCRT}}\) 就渐近服从均值为 0 的正态分布。这需要证明 \(E[T_{\text{dCRT}}] = o(1)\) 和 \(Var(T_{\text{dCRT}}) \to \sigma^2\)。关键在于，即使 \(L_n(X \mid Z)\) 被误设，\(E[\tilde{Y} X \mid Z] = 0\) 仍然成立（因为 \(H_0\) 和 \(\tilde{Y}\) 的正确性）。
  3. 第三步：证明与 GCM 的等价性。证明 \(T_{\text{dCRT}} - T_{\text{GCM}} = o_p(1)\)。这通过将 \(X\) 分解为 \(\mu_X(Z) + \tilde{X}\) 并利用 \(H_0\) 下的条件独立性来完成。
  4. 第四步：证明 GCM 的最优性。在部分线性备择假设下，推导出检验 \(H_0: \beta = 0\) 的 efficient influence function。证明 GCM 检验统计量是这一 influence function 的样本版本，从而证明其半参数有效性。

• 关键跳跃点：

  • 从重抽样到解析近似：证明 dCRT 的重抽样分布可以被一个正态分布近似，这是整个证明的基石。这需要用到 empirical process theory 和 U-statistics 的渐近理论。
  • 处理高维 nuisance：当 \(Z\) 是高维时，\(\hat{\mu}_Y\) 和 \(\hat{\mu}_X\) 的估计误差会传播到检验统计量中。本文需要证明，在适当的正则化条件下（如 Lasso 的收敛速度），这些误差是渐近可忽略的。这借鉴了 Chernozhukov et al. (2018) 的 DML 框架中的 cross-fitting 技术。

• 技术技巧点名：

  • Empirical process theory：用于处理 \(\hat{\mu}_Y\) 和 \(\hat{\mu}_X\) 的估计误差，证明 \(T_{\text{dCRT}}\) 的渐近正态性。
  • Cross-fitting：将样本分成两部分，一部分用于估计 nuisance 参数（如 \(\hat{\mu}_Y\)），另一部分用于构造检验统计量。这避免了 overfitting 导致的偏差，是 DML 框架的核心技巧。
  • Semiparametric efficiency theory：用于推导 GCM 检验的最优性。具体地，计算了部分线性模型下检验问题的 efficient influence function。
  • Delta method：用于将检验统计量的渐近分布与参数 \(\beta\) 的估计联系起来。

真实例子与应用

本文包含一个广泛的模拟研究，但没有真实数据例子。

• 模拟场景：作者设计了多种数据生成机制，包括：
  • 线性模型：\(Y = \beta X + Z^T \gamma + \epsilon\)。
  • 非线性模型：\(Y = \beta X + g(Z) + \epsilon\)，其中 \(g(Z)\) 是 \(Z\) 的非线性函数。
  • 离散响应：\(Y\) 是二元的（logistic 模型）。
  • 高维协变量：\(Z\) 的维度 \(p\) 可以大于样本量 \(n\)。
• 方法对比：比较了 dCRT 和 GCM 检验，并使用了不同的 nuisance 参数估计方法（Lasso, Post-Lasso, 随机森林）。
• 核心结果：
  1. 第一类错误控制：当 \(E[Y \mid Z]\) 被很好地估计时（例如，使用 Post-Lasso），dCRT 和 GCM 都能很好地控制第一类错误。当 \(E[Y \mid Z]\) 被误设时，两者的第一类错误都会膨胀。这验证了双重稳健性理论。
  2. 检验功效：在大多数场景下，dCRT 和 GCM 的功效非常接近，验证了渐近等价性。
  3. 小样本 / 离散响应：在小样本或 \(Y\) 为离散时，dCRT 的第一类错误控制略好于 GCM，但功效略低。这可能是因为 dCRT 的重抽样过程对有限样本偏差更稳健。
  4. Post-Lasso vs. Lasso：使用 Post-Lasso（即，先用 Lasso 选择变量，再用 OLS 估计系数）来估计 \(\mu_Y(Z)\) 和 \(\mu_X(Z)\)，能显著改善两种方法的第一类错误控制。这是因为 Post-Lasso 减少了 Lasso 的“正则化偏差”（regularization bias），这与 Chernozhukov et al. (2018) 的发现一致。
• 这个例子想说明什么：模拟研究旨在验证理论结果（双重稳健性、渐近等价性），并为实践者提供在不同场景下选择 dCRT 或 GCM 的指导。结果表明，两者在大多数情况下表现相似，但 dCRT 在小样本或离散响应下可能更稳健。

🔎 结论是否比证明窄

• 结论：作者声称 dCRT 和 GCM 是“渐近等价的”，并且 GCM 在“（广义）部分线性备择假设”下是最优的。
• 证明的宽度：
  • 等价性：证明是在一系列正则性条件下完成的，这些条件包括 nuisance 参数的收敛速度、矩条件等。这些条件在实践中可能不总是满足。作者在模拟中展示了当条件不满足时（如小样本），等价性会有所偏离。
  • 最优性：最优性结果严格依赖于“部分线性备择假设”。如果真实的备择假设不是部分线性的（例如，\(X\) 和 \(Z\) 之间存在复杂的交互作用），那么 GCM 检验可能不是最优的。作者在文中提到：“Optimal tests developed specifically for detecting interaction effects between X and Z (rather than main effects) may be constructed based on Vansteelandt et al. (2008).” 这承认了其最优性结果的局限性。
• 结论是否比证明窄：是的。作者在引言和结论中使用了“最优”和“等价”等强词，但证明过程揭示了这些结论依赖于特定的假设。对于非部分线性的备择假设，或当 nuisance 参数估计不佳时，这些结论可能不成立。这是一个典型的“理论结果比其声称的应用范围更窄”的情况。

---

四、开放问题（点到为止，扎根具体语句）

1. 超越部分线性模型的最优性：本文的最优性结果（定理 3）严格依赖于（广义）部分线性备择假设。对于更一般的备择假设（如 \(X\) 与 \(Z\) 存在交互作用），GCM 检验是否仍然最优？或者是否存在其他检验能达到更好的功效？扎根点：文中提到“Optimal tests developed specifically for detecting interaction effects between X and Z (rather than main effects) may be constructed based on Vansteelandt et al. (2008).” 这暗示了当前结果的一个明确边界。

2. 有限样本下的精确控制：本文证明了 dCRT 和 GCM 的渐近等价性和第一类错误控制。但在有限样本下，特别是当 \(n\) 较小或 \(p\) 很大时，两者的表现存在差异（dCRT 控制稍好，GCM 功效稍高）。能否发展出有限样本理论来精确刻画这种差异，或设计出在有限样本下同时具有良好控制和高功效的检验？扎根点：模拟研究（Section 5）中观察到的有限样本差异是本文未从理论上解释的。

3. 与更高阶方法的连接：本文的 GCM 检验本质上是一个基于一阶残差的检验。能否利用 higher-order influence functions (HOIF) 或 higher-order U-statistics 来构造更高效的检验统计量，以检测更微弱的信号或更复杂的备择假设？扎根点：本文的框架（将检验问题转化为对 nuisance 参数的估计问题）与 HOIF 和 DML 的框架高度一致，为高阶推广提供了自然的入口。这直接连接了研究者的 moderately_familiar 工具（HOIF）和 very_familiar 工具（higher-order U-statistics）。

4. 计算-统计权衡：dCRT 通过重抽样避免了重复拟合模型，GCM 则完全避免了重抽样。但当 \(L_n(X \mid Z)\) 非常复杂时，dCRT 的重抽样本身可能计算昂贵。是否存在一个计算-统计的权衡？例如，能否用更少的重抽样次数（如 Liu et al., 2022 的 dCRT 变体）来换取可接受的统计精度？扎根点：本文的动机之一就是解决 dCRT 的计算瓶颈，但并未深入探讨重抽样次数与统计精度之间的定量关系。

---

Maintained by 陈星宇 · Homepage · Source on GitHub

评论