跳转至

On the relative efficiency of the intent-to-treat Wilcoxon–Mann–Whitney test in the presence of noncompliance

作者: Lu Mao
来源: Biometrika
主题: 因果推断
相关性: 6/10
机构绿灯: University of Wisconsin-Madison（US News 前 50，免分进入精读）
链接: https://doi.org/10.1093/biomet/asab053

一、领域脉络与小综述

这个方向是什么

这个子方向研究的是：在随机实验中，当存在“不可忽略的不依从性”（nonignorable noncompliance）时，如何比较不同统计检验方法的渐近效率。核心问题是：在“意向治疗”（Intent-to-Treat, ITT）分析框架下，基于秩的 Wilcoxon–Mann–Whitney (WMW) 检验与基于均值的 t 检验，在存在不依从性时，谁的 Pitman 效率更高？这个问题的根本在于，不依从性会稀释处理效应，从而影响检验的统计功效，而不同检验对这种稀释的敏感度不同。该方向目前处于一个相对成熟的阶段，已有大量关于不依从性下估计量的研究，但对检验效率的比较，尤其是非参数检验与参数检验之间的比较，则相对较少。

发展脉络（history）

  1. 奠基工作：不依从性下的因果推断框架

    • Angrist, Imbens & Rubin (1996)：建立了“依从者平均因果效应”（CACE）的框架，将不依从性问题纳入潜在结果（potential outcomes）的因果模型中。这是该领域的基石，定义了“依从者”（compliers）、“永不依从者”（never-takers）等关键子群体。本文的整个分析都建立在这个框架之上。
    • Imbens & Rubin (1997)：进一步讨论了在非依从性下进行贝叶斯推断的方法，并强调了“排除限制”（exclusion restriction）和“单调性”（monotonicity）等关键识别假设。

  2. 主要进展：ITT 分析下的估计与检验

    • Bloom (1984)：提出了在非依从性下，通过将处理效应除以依从率来调整 ITT 估计量的方法，即“Bloom 调整”。这为后续的 ITT 分析提供了基础。
    • Sommer & Zeger (1991)：在公共卫生领域应用了 ITT 分析，并讨论了非依从性对检验功效的影响。他们指出，非依从性会降低检验的统计功效，但并未系统比较不同检验的效率。
    • Robins (1994)：提出了结构嵌套模型（Structural Nested Models）和 G-估计（G-estimation），为在存在时变不依从性时估计因果效应提供了更一般的方法。本文的设定（单次随机化、二元处理）比 Robins 的框架更简单。

  3. 当前 Frontier：非参数检验与效率比较

    • 本文 (Mao, 2024)：直接切入效率比较的核心。作者指出，尽管 ITT 分析是随机实验的黄金标准，但“the relative efficiency of the ITT Wilcoxon–Mann–Whitney test versus the t-test in the presence of noncompliance has not been studied.” 本文填补了这一空白，通过推导 Pitman 效率，给出了一个清晰的比较框架，并揭示了效率取决于依从者在结果分布中的位置这一关键洞察。

子线索聚类

  1. 因果推断中的识别与估计：这条线索关注如何从观测数据中识别和估计因果效应，尤其是在存在不依从性、遗漏变量等复杂情况时。代表工作包括 Angrist, Imbens & Rubin (1996), Imbens & Rubin (1997), Robins (1994)。本文的设定（随机实验、二元处理、单调性）是这条线索的一个特例。

  2. 假设检验的效率理论：这条线索关注不同检验统计量在备择假设下的渐近相对效率（ARE），特别是 Pitman 效率。代表工作包括 Lehmann (1975) 和 Serfling (1980) 的经典教科书，它们系统比较了 WMW 检验和 t 检验在无干扰（即完全依从）情况下的效率。本文的工作是将这条线索扩展到存在不依从性的场景。

  3. 非依从性下的样本量计算：这条线索关注如何在设计阶段，考虑到预期的非依从性，来计算所需的样本量。代表工作包括 Donner (1984) 和 Shih (1993)。本文的结果可以直接用于改进这类样本量计算，因为它提供了在非依从性下，选择更高效检验（WMW 或 t 检验）的指导。

这个方向在追问的核心问题

  1. 效率比较的普适性：在非依从性下，WMW 检验和 t 检验的相对效率是否依赖于特定的备择假设（如位置偏移）？对于更一般的备择假设（如随机优势），结论是否成立？
  2. 效率界限的紧性：本文推导的效率界限（最有利和最不利场景）是否是最优的？是否存在更紧的界限，或者这些界限在什么条件下可以达到？
  3. 扩展到更复杂的依从模式：当存在“始终接受者”（always-takers）或“违抗者”（defiers）时，效率比较的结果会如何变化？当不依从性是时变的（如纵向数据）时，结论是否仍然成立？
  4. 与其他检验的比较：除了 WMW 和 t 检验，其他检验（如基于中位数的检验、对数秩检验）在非依从性下的表现如何？

⚠️ 作者的 framing

  • 作者的缺口：作者将缺口 frame 为“ITT WMW 检验与 t 检验在非依从性下的相对效率尚未被研究”。这是一个非常具体且合理的缺口，因为现有文献要么关注估计（CACE），要么关注无干扰下的检验效率比较。
  • 被淡化的竞争路线：作者淡化了“调整后的检验”（如基于 CACE 估计量的检验）这条路线。作者在引言中明确提到，ITT 分析是“the gold standard for primary analysis”，因此他选择在 ITT 框架内比较检验，而不是去比较 ITT 检验与基于 CACE 的检验。这可以被视为一种策略性的选择，将问题限定在一个更清晰、更被广泛接受的框架内。
  • 明显该被引但未出现的工作：作者没有引用关于“非参数检验在测量误差下的效率”的文献。不依从性可以看作是一种特殊的“处理变量测量误差”，因此，关于测量误差如何影响秩检验和 t 检验效率的文献（如 Fuller (1987)）可能与本问题相关。这是一个值得研究者去查的问题：测量误差文献中是否有类似的结果或方法可以借鉴？

张力

未见明显对立引用。所有被引工作都指向一个共识：不依从性会稀释处理效应，降低检验功效。本文的工作是在这个共识下，进一步比较不同检验对这种稀释的敏感度。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：

    • \(Z_i\)：随机分配的处理指示变量（\(Z_i = 1\) 表示分配到处理组，\(Z_i = 0\) 表示分配到对照组）。这是可观测的。
    • \(D_i(z)\)：潜在依从变量（potential compliance），表示如果个体 \(i\) 被分配到处理组 \(z\)，他/她实际接受的处理。\(D_i(1)\) 和 \(D_i(0)\) 是潜在变量，不可同时观测。
    • \(D_i\)：实际接受的处理指示变量（\(D_i = 1\) 表示实际接受了处理，\(D_i = 0\) 表示未接受）。这是可观测的，且 \(D_i = D_i(Z_i)\)。
    • \(Y_i(z, d)\)：潜在结果变量（potential outcome），表示如果个体 \(i\) 被分配到处理组 \(z\) 且实际接受了处理 \(d\)，他/她的结果。\(Y_i(1,1), Y_i(1,0), Y_i(0,1), Y_i(0,0)\) 是潜在变量，不可同时观测。
    • \(Y_i\)：实际观测到的结果变量。这是可观测的，且 \(Y_i = Y_i(Z_i, D_i)\)。
    • \(U_i\)：依从者类型（compliance type）。这是一个潜在变量，不可观测。根据 Angrist, Imbens & Rubin (1996) 的框架，在单调性假设下，个体被分为三类：
      • 依从者 (Complier, \(c\))：\(D_i(1) = 1, D_i(0) = 0\)。即，他们总是按照分配接受处理。
      • 永不依从者 (Never-taker, \(n\))：\(D_i(1) = 0, D_i(0) = 0\)。即，他们从不接受处理。
      • 始终接受者 (Always-taker, \(a\))：\(D_i(1) = 1, D_i(0) = 1\)。即，他们总是接受处理。
    • \(\pi_c, \pi_n, \pi_a\)：各类依从者的总体比例，\(\pi_c + \pi_n + \pi_a = 1\)。
    • \(F_{Y|U=c}(y)\)：依从者在对照组（\(Z=0\)）下的结果分布。这是本文分析的核心。
    • \(\Delta\)：处理效应。在位置偏移备择假设下，处理组的结果分布是 \(F_{Y|U=c}(y - \Delta)\)。
    • \(p\)：分配到处理组的概率，通常 \(p = 0.5\)。
    • \(n\)：总样本量。

  • 模型：

    • 随机化：\(Z_i\) 是随机分配的，与所有潜在变量独立。
    • 单调性 (Monotonicity)：\(D_i(1) \ge D_i(0)\)。即，不存在“违抗者”（defiers）。这个假设排除了 \(D_i(1) = 0, D_i(0) = 1\) 的情况。
    • 排除限制 (Exclusion Restriction)：对于永不依从者和始终接受者，分配 \(Z\) 对结果 \(Y\) 没有直接影响，即 \(Y_i(1, d) = Y_i(0, d)\) 对于 \(d = 0\)（永不依从者）和 \(d = 1\)（始终接受者）成立。这个假设意味着，对于这些子群体，处理效应为 0。
    • 位置偏移备择假设：处理效应仅影响依从者，且效应是常数偏移 \(\Delta\)。即，对于依从者，\(Y_i(1, 1) = Y_i(0, 0) + \Delta\)。对于永不依从者和始终接受者，\(Y_i(1, d) = Y_i(0, d)\)。

  • 可观测数据：

    • 研究者可以观测到每个个体的 \((Z_i, D_i, Y_i)\) 三元组。
    • 研究者无法观测到个体的依从者类型 \(U_i\)，也无法观测到任何潜在变量（\(D_i(z), Y_i(z,d)\)）。
    • 关键识别问题：由于无法观测到 \(U_i\)，处理组和对照组的观测结果分布都是混合分布。例如，处理组（\(Z=1\)）的观测结果分布是依从者（处理效应为 \(\Delta\)）和始终接受者（无处理效应）的混合。对照组（\(Z=0\)）的观测结果分布是依从者（无处理效应）和永不依从者（无处理效应）的混合。

第二步：讲最小内核

本文的核心思路可以用一个最简特例来理解：假设没有始终接受者（\(\pi_a = 0\)），且分配到处理组和对照组的概率相等（\(p = 0.5\)）。在这种情况下，不依从性完全由永不依从者造成。

  • 最简特例下的问题：我们想检验处理效应是否存在，即 \(H_0: \Delta = 0\) vs \(H_1: \Delta > 0\)。我们使用 ITT 分析，即直接比较处理组和对照组的观测结果 \(Y_i\)，而不考虑实际接受的处理 \(D_i\)。我们想知道，在这种情况下，WMW 检验和 t 检验，谁的 Pitman 效率更高？

  • 核心思路：

    1. ITT 效应被稀释：由于存在永不依从者，处理组的 ITT 效应（即处理组和对照组观测结果的均值差）不再是 \(\Delta\)，而是被稀释为 \(\pi_c \Delta\)。这是因为处理组中只有 \(\pi_c\) 比例的人（依从者）实际接受了处理，而 \(\pi_n\) 比例的人（永不依从者）没有接受处理，因此他们的结果与对照组中的永不依从者一样。
    2. WMW 检验的敏感性：WMW 检验比较的是两个样本的秩和，它对分布的形状（特别是尾部）比对均值更敏感。在存在永不依从者的情况下，处理组的观测结果分布是依从者（有偏移 \(\Delta\)）和永不依从者（无偏移）的混合。如果永不依从者的结果倾向于分布在尾部（即远离依从者的结果分布中心），那么这种混合分布会呈现出“双峰”或“厚尾”的特征。WMW 检验对这种“厚尾”或“双峰”的敏感性，可能使其比 t 检验更容易检测到处理效应。
    3. 关键洞察：本文的核心洞察是，WMW 检验相对于 t 检验的效率，取决于依从者在结果分布中的位置。如果依从者集中在高密度区域（即永不依从者分布在尾部），则 WMW 检验更有效；反之，如果依从者集中在低密度区域（即永不依从者分布在中心），则 t 检验更有效。
    4. 效率界限：通过考虑两种极端情况——依从者被完全隔离到最低密度区域（最不利场景）和最高密度区域（最有利场景）——作者推导出了相对效率的严格界限。这些界限仅依赖于依从率 \(\pi_c\) 和结果分布 \(F\) 的形状。

  • 数学上干了什么：作者计算了在位置偏移备择假设下，ITT WMW 检验和 ITT t 检验的 Pitman 效率（即 ARE）。Pitman 效率定义为在局部备择假设下，达到相同功效所需样本量的反比。作者发现，这个 ARE 可以表示为：

    \[\text{ARE}(WMW, t) = 12 \sigma^2 \left[ \int f^2(y) dy \right]^2 \times \frac{\pi_c^2}{\pi_c + (1-\pi_c) \cdot \text{Var}(Y|U=n) / \text{Var}(Y|U=c)}\]
    其中，\(f(y)\) 是依从者在对照组下的结果密度，\(\sigma^2\) 是依从者在对照组下的结果方差。这个公式清晰地展示了 ARE 如何依赖于依从率 \(\pi_c\) 和分布的形状（通过 \(f\) 和方差比）。作者进一步证明，当永不依从者的结果分布集中在尾部时，\(\text{Var}(Y|U=n)\) 很大，导致 ARE 变大（WMW 更有效）；反之亦然。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在随机实验中存在不可忽略的不依从性时，比较意向治疗（ITT）Wilcoxon–Mann–Whitney (WMW) 检验与 t 检验的渐近相对效率（Pitman 效率）。
  2. 核心工具/方法：使用潜在结果框架和 Pitman 效率理论，推导了在位置偏移备择假设下，两种检验的 ARE 的解析表达式，并基于依从者在结果分布中的位置，给出了 ARE 的严格界限。
  3. 主要结论：WMW 检验的效率高于 t 检验，当且仅当依从者更可能出现在结果分布的高密度区域（即不依从者倾向于分布在尾部）。两种检验的相对效率被依从者被隔离到最低和最高密度区域的最不利和最有利场景严格界定，这些界限可解析地表示为依从率的函数。

关键设定与假设

  • 设定：一个两臂随机实验（处理 vs. 对照），存在二元非依从性。个体被随机分配到处理组（\(Z=1\)）或对照组（\(Z=0\)），但实际接受的处理 \(D\) 可能与分配不同。
  • 假设：
    1. 随机化：\(Z \perp (Y(0,0), Y(1,0), Y(0,1), Y(1,1), D(0), D(1))\)。这是随机实验的基础。
    2. 单调性：\(D(1) \ge D(0)\)。排除了违抗者，简化了依从者类型的分类。
    3. 排除限制：对于永不依从者和始终接受者，\(Y(z, d) = Y(d)\)，即分配 \(Z\) 对结果没有直接影响。这是识别 CACE 的关键假设。
    4. 位置偏移备择假设：对于依从者，处理效应是常数偏移 \(\Delta\)，即 \(Y(1,1) = Y(0,0) + \Delta\)。这个假设将问题简化为一个参数化问题，使得 Pitman 效率的计算成为可能。
  • 相比已有文献的强化/放宽：本文的设定是标准的，没有明显强化或放宽已有文献的假设。它的贡献在于，在这些标准假设下，首次推导了 ITT WMW 检验和 t 检验的 ARE。

主要结果

  • 定理 1 (Pitman 效率)：在位置偏移备择假设下，ITT WMW 检验相对于 ITT t 检验的 Pitman 效率为：

    \[\text{ARE}(WMW, t) = 12 \sigma_c^2 \left[ \int f_c^2(y) dy \right]^2 \times \frac{\pi_c^2}{\pi_c + (1-\pi_c) \cdot \sigma_n^2 / \sigma_c^2}\]
    其中，\(\sigma_c^2 = \text{Var}(Y|U=c)\)，\(\sigma_n^2 = \text{Var}(Y|U=n)\)，\(f_c(y)\) 是依从者在对照组下的密度函数，\(\pi_c\) 是依从率。

    • 直觉：这个公式将 ARE 分解为两部分：第一部分 \(12 \sigma_c^2 [\int f_c^2(y) dy]^2\) 是 WMW 检验相对于 t 检验在无干扰情况下的 ARE（即 Lehmann (1975) 中的经典结果）。第二部分 \(\frac{\pi_c^2}{\pi_c + (1-\pi_c) \cdot \sigma_n^2 / \sigma_c^2}\) 是稀释因子，它反映了不依从性对 ARE 的影响。当 \(\sigma_n^2 / \sigma_c^2\) 很大时（即永不依从者的方差远大于依从者），稀释因子变小，导致 ARE 变小（t 检验相对更有效）；反之亦然。
    • 必要条件：结果分布 \(F_c\) 必须是绝对连续的，且其密度 \(f_c\) 是平方可积的。
    • 解决的技术难点：推导这个公式的难点在于，处理组和对照组的观测结果分布都是混合分布，需要计算混合分布下的 WMW 检验统计量的方差。作者通过巧妙地利用依从者类型的独立性，将方差分解为依从者内部和依从者之间的部分，从而得到了一个简洁的表达式。

  • 定理 2 (效率界限)：对于任何满足单调性和排除限制的依从模式，ARE 被以下界限严格界定：

    \[\text{ARE}_{\text{min}} \le \text{ARE}(WMW, t) \le \text{ARE}_{\text{max}}\]
    其中，\(\text{ARE}_{\text{min}}\) 和 \(\text{ARE}_{\text{max}}\) 分别对应于依从者被完全隔离到结果分布的最低密度区域（最不利场景）和最高密度区域（最有利场景）。这些界限可以解析地表示为依从率 \(\pi_c\) 和分布 \(F_c\) 的函数。

    • 直觉：这个定理将 ARE 的可能范围限制在一个区间内，这个区间完全由依从率和结果分布的形状决定。它告诉实证研究者，无论不依从性如何分布，WMW 检验相对于 t 检验的效率都不会超出这个区间。
    • 必要条件：结果分布 \(F_c\) 必须是单峰的（unimodal），且其密度函数在支撑集上是连续的。
    • 解决的技术难点：证明这个界限的关键在于，将 ARE 表示为依从者密度函数 \(f_c\) 的一个泛函，然后利用变分法（calculus of variations）或 Neyman-Pearson 引理的思想，找到使这个泛函最大化和最小化的 \(f_c\) 形式。作者通过构造性地证明，最有利和最不利场景对应于将依从者“堆积”到密度最高和最低的区域。

证明路线与技术技巧

  • 整体路线：

    1. 建立 ITT 检验统计量：定义 ITT WMW 检验统计量 \(W\) 和 ITT t 检验统计量 \(T\)。
    2. 计算 Pitman 效率：Pitman 效率定义为在局部备择假设 \(\Delta = \delta / \sqrt{n}\) 下，两个检验统计量的渐近方差之比。即，\(\text{ARE}(W, T) = \lim_{n \to \infty} \frac{\text{Var}_0(T)}{\text{Var}_0(W)} \times \left( \frac{\partial \mathbb{E}_\Delta(W)}{\partial \Delta} \bigg|_{\Delta=0} \right)^2 / \left( \frac{\partial \mathbb{E}_\Delta(T)}{\partial \Delta} \bigg|_{\Delta=0} \right)^2\)。
    3. 计算在原假设下的方差：计算 \(\text{Var}_0(W)\) 和 \(\text{Var}_0(T)\)。由于原假设下 \(\Delta=0\)，处理组和对照组的观测结果分布相同，因此方差计算相对直接。
    4. 计算在局部备择假设下的均值导数：计算 \(\frac{\partial \mathbb{E}_\Delta(W)}{\partial \Delta} \bigg|_{\Delta=0}\) 和 \(\frac{\partial \mathbb{E}_\Delta(T)}{\partial \Delta} \bigg|_{\Delta=0}\)。这是最困难的一步，因为需要计算混合分布下 WMW 检验统计量的期望。
    5. 推导 ARE 表达式：将步骤 3 和 4 的结果代入 Pitman 效率公式，得到定理 1 中的表达式。
    6. 推导效率界限：将 ARE 表达式视为依从者密度函数 \(f_c\) 的泛函，通过变分法或构造性证明，找到使 ARE 最大化和最小化的 \(f_c\)，得到定理 2 中的界限。

  • 关键跳跃点：最关键的跳跃点在于计算混合分布下 WMW 检验统计量的期望。在无干扰情况下，WMW 检验统计量的期望可以简单地表示为 \(P(Y_1 > Y_0)\)。但在存在不依从性时，处理组和对照组的观测结果都是混合分布，因此 \(P(Y_1 > Y_0)\) 的计算变得复杂。作者通过将概率分解为依从者类型组合的条件概率，并利用单调性和排除限制假设，成功地将这个概率表示为依从者结果分布的一个简单函数。

  • 技术技巧点名：

    • Pitman 效率：这是比较两个检验渐近效率的标准工具，用于计算在局部备择假设下，达到相同功效所需样本量的反比。
    • 潜在结果框架：用于形式化不依从性问题，并定义依从者类型。
    • 混合分布分解：将处理组和对照组的观测结果分布分解为依从者、永不依从者和始终接受者的混合，这是处理不依从性问题的标准技巧。
    • 变分法 / Neyman-Pearson 引理：用于推导效率界限。作者将 ARE 视为密度函数的泛函，然后寻找使该泛函极值的密度函数。这类似于在 Neyman-Pearson 引理中寻找最优势检验。

真实例子与应用

本文为纯理论，无实证例子。作者在引言和讨论部分提到了其结果的潜在应用： * 为现有数据选择更高效的检验：实证研究者可以根据对不依从性模式的了解（例如，通过敏感性分析），判断依从者是更可能集中在结果分布的中心还是尾部，从而选择 WMW 或 t 检验。 * 计算未来试验的样本量：在设计阶段，研究者可以根据预期的依从率，利用本文推导的效率界限，计算出在给定功效下，使用 WMW 或 t 检验所需的样本量。

🔎 结论是否比证明窄

  • 结论：作者在摘要和引言中声称，其结果为“选择更高效的检验”和“计算样本量”提供了指导。这个结论是合理的，因为它直接来源于定理 1 和定理 2。
  • 证明的局限性：所有证明都严格依赖于位置偏移备择假设。作者在讨论部分明确承认了这一点，并指出“Results for nonadditive alternatives and other tests follow along similar lines.” 这意味着，对于更一般的备择假设（如随机优势），本文的结论可能不直接成立，需要进一步研究。因此，结论的适用范围比证明的假设要窄。作者声称的“指导”仅限于位置偏移备择假设下的场景。

四、开放问题

  1. 非位置偏移备择假设下的效率：本文的所有结果都严格依赖于位置偏移备择假设。对于更一般的备择假设（如随机优势、Lehmann 备择假设），ITT WMW 检验和 t 检验的相对效率如何？作者在讨论中仅提到“follow along similar lines”，但并未给出具体结果。这是一个明确的开放问题，扎根于本文的“Discussion”部分。

  2. 效率界限的紧性：定理 2 中的效率界限是否是最优的？是否存在更紧的界限？或者，这些界限在什么条件下可以达到？作者通过构造性证明给出了达到界限的场景，但并未证明这些场景是唯一的。这是一个技术性问题，扎根于定理 2 的证明。

  3. 扩展到更复杂的依从模式：本文假设了单调性和排除限制，且只考虑了二元处理。当存在“始终接受者”时，或者当处理是多值或连续时，效率比较的结果会如何变化？当不依从性是时变的（如纵向数据）时，结论是否仍然成立？这是一个更一般性的问题，扎根于本文的“Discussion”部分。

  4. 与其他检验的比较：除了 WMW 和 t 检验，其他检验（如基于中位数的检验、对数秩检验、基于 CACE 估计量的检验）在非依从性下的表现如何？本文的框架是否可以推广到比较这些检验？这是一个探索性问题，扎根于本文的“Discussion”部分。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论