Randomization tests for spillovers under general interference: A graph-theoretic approach

讲者: Panos Toulis
讨论人: Peng Ding
来源: OCIS (Online Causal Inference Seminar)
日期: 2020-08-11
主题: 因果推断
视频: https://www.youtube.com/watch?v=75G5NUekSj0 · 幻灯片

本页据讲座录音的自动转写（ASR）生成。人名 / 术语 / 公式 / 具体的率与界可能被听错，关键处请对照视频或讲者论文核对。

相关论文

• 1910.10862 （尚未精读 — talks read --id … --read-papers 可补）

---

一、这场报告在讲哪条工作线

子方向：在存在干扰（interference）——即一个单位的潜在结果可能依赖于其他单位的处理分配——的条件下，如何对因果效应进行基于随机化检验（randomization-based test） 的推断。这是因果推断中“设计基础”路线下的一个活跃分支。

主要挑战：经典的 Fisher 随机化检验（FRT）要求原假设是“尖锐”（sharp）的，即能唯一确定所有潜在结果。但当存在干扰时，许多有意义的原假设（如“无干扰（SUTVA）”、“只有邻域干扰”）都不再尖锐，导致 FRT 的随机化分布退化（支持集只剩一个点，即观测到的处理分配 Z^\text{obs}），无法执行。

主流解决思路 — 条件随机化检验（Conditional FRT）： - 基本想法是不要对所有单位使用 FRT，而是先选出一个单位子集（称为“焦点单位”，focal units）和一个处理分配子集（称为“条件事件，C），使得在这个子集（C）内，原假设变得尖锐，进而可在 C 上运行 FRT。 - 关键问题在于如何系统地、自动地构造这个条件事件 C，使其既保证有效性（validity），又不会导致检验功效（power）严重损失。

本报告的工作站位： - 现有工作如 (Athey, et al., 2018) 提出了一种通用的条件机制（如随机抽样焦点单位或构造 ε-网格），但其构造不利用问题的具体结构，可能导致功率损失或条件事件为空。 - 另一类工作如 (Basse, et al., 2019) 针对特定的“簇类干扰”（clustered interference）设计了排列检验，功率好但缺乏一般性。 - 本报告（对应论文 Puelz, Basse, Feller, Toulis, 2020, arXiv:1910.10862）提出了一种图论方法：构造“零假设暴露图”（Null-Exposure Graph），将“构造条件事件”这一挑战转化为在二分图中寻找“团”（biclique） 的图论操作。该方法在给定任何原假设、任何暴露函数（exposure function）、任何实验设计的条件下，都能自动、系统、有算法保证地生成有效的条件事件。它提供了一个统一框架，并且其有效性不依赖于图的构造方式（只要是一个有效的 biclique 分解即可），使得该方法在一般性和易用性上优于之前的方案。

二、最小内核 / 一个最简例子

设定：N 个单位，处理是二值的。Z = (Z₁, Z₂) ∈ {0,1}² 是两个单位的处理分配。我们想检验一个简单的“无干扰”假设：单位 1 的潜在结果不受单位 2 处理的影响；单位 2 的潜在结果不受单位 1 处理的影响。

• 暴露函数：定义单位 i 的暴露为只包含它自己的处理，即 f_i(z) = z_i（只取分配向量的第 i 个元素）。那么原假设 H₀ 是：
  • 对单位 1：Y₁(z₁, z₂) = Y₁(z₁, z₂') 对所有 z₂, z₂' 成立。即 Y₁ 只取决于 z₁，与 z₂ 无关。
  • 对单位 2：Y₂(z₁, z₂) = Y₂(z₁', z₂) 对所有 z₁, z₁' 成立。即 Y₂ 只取决于 z₂，与 z₁ 无关。

核心矛盾：假设观测到的分配是 Z^\text{obs} = (1, 0)。我们想用 FRT 检验 H₀。在重新随机化时，如果我们将 Z 取为 (0, 0)，为了用 H₀ 推断 Y₁(0, 0)，我们需要知道单位 1 在分配 (0,) 下的潜在结果。但 H₀ 只告诉我们 Y₁ 只取决于 z₁，所以 Y₁(0, 0) = Y₁(0, 1)。我们观测到的是 Y₁(1, 0)，这个信息对推断 Y₁(0, 0) 没有帮助。因为单位 1 的 z₁ 变了（从 1 变成了 0），H₀ 不提供任何信息来填补这个缺失。这种矛盾导致每个单位的分配都必须固定为观测值，随机化分布退化为一个点。

图论解决方案： 1. 构造零假设暴露图 G_f： - 左侧节点（单位）：{1, 2} - 右侧节点（处理分配）：所有可能分配 Z = {(0,0), (0,1), (1,0), (1,1)} - 边：如果单位 i 在分配 z 下符合原假设中感兴趣的暴露水平，就连一条边。 - 我们的 H₀ 旨在检验“无干扰”，所以我们关心的是所有符合暴露函数 f_i(z)=z_i 的分配。具体地，单位 i 暴露于 z_i 下，我们想知道的是 Y_i(z_i) 是否变化。因此，对于每个单位 i，我们连接它到所有分配 z，因为这些分配都完全由 f_i 描述。在这个特例下，图是全连接的（单位1连接到所有4个分配，单位2也连接到所有4个分配）。 2. 找团（Biclique）：找到一个子集 U（单位）和子集 Z（分配），使得 U 中每个单位都与 Z 中每个分配相连。 - 在这个图中，一个可能的团是：U = {1, 2}，Z = {(0,0), (1,0)}。因为单位 1 和单位 2 确实都连接到 (0,0) 和 (1,0)。 - 关键观察：在这个团内，H₀ 变得“尖锐”了。为什么？如果我们的条件事件是 C = (U, Z)，我们只将测试限定在分配 Z = {(0,0), (1,0)} 上。在这个子集中，对于单位 1，其处理 z₁ 可以从 0 变为 1，而单位 2 的处理 z₂ 固定为 0。H₀ 现在可以明确地告诉我们：单位 1 在 (0,0) 下的潜在结果等于它在 (1,0) 下的潜在结果吗？H₀ 说 Y₁ 与 z₂ 无关，但并没有说它与 z₁ 无关。所以 H₀ 在此团内仍然不尖锐。 - 幻灯片18-21的更准确说明：报告中的例子并非此处。实际上，更典型的团是：给定观测分配 Z^\text{obs}，找一个包含它的团，其中所有分配都会使单位子集 U 落在原假设所声称的无差别暴露水平中。例如，如果 H₀ 认为“纯控制”和“短程溢出”下的结果相同，那么一个团里所有单位都只扮演这两种角色，并且它们的所有分配也使得该子集的单位只扮演这两种角色。此时，对于团内的任何分配 z，由于该单位的潜在结果类型被 H₀ 限定在两种（根据 H₀ 结果是相同的），其潜在的缺失结果可以被 H₀ 完全填满。这样团内 H₀ 成为尖锐的了。

三、报告主体：讲者具体讲了什么

第一部分：背景与核心问题（[0:00] - [0:27]）

• [0:05]-[0:27]：讲者 Panos Toulis 介绍自己和合作者（David Puelz, Avi Feller, Guillaume Basse），引入“干扰”的概念、普遍性（溢出效应、同群效应等）及其在社会科学研究中的重要性。强调工作动机：哥伦比亚麦德林市的一项随机警务实验中的犯罪溢出效应问题。指出主流方法（模型基础 vs 设计基础）的权衡，强调设计/随机化方法（FRT）的有限样本有效性、最小假设、鲁棒性。

第二部分：经典 FRT 及其在干扰下的失败（[0:27] - [0:42]）

• [0:27]-[0:42]：讲者简要回顾经典 Fisher 随机化检验（FRT），并证明其有效性依赖于“尖锐”原假设。他通过一个简单逻辑论证：若要检验“无干扰”假设（SUTVA），由于该假设只确定当个体处理相同时结果相同，如果试图将某个处理过的单位随机化为对照，原假设无法告诉其未观测的结果。这导致在重新随机化时必须固定每个单位的处理状态，使得随机化分布退化为观测分配这一单一点。因此，经典 FRT 在检验非尖锐假设时不可行。

第三部分：条件随机化检验作为通用解决方法（[0:42] - [0:51]）

• [0:42]-[0:51]：介绍解决僵局的一个思路：条件随机化检验。
  • 核心想法：不是对所有“单位-分配”对（C = (unit set, assignment set)）都使用 FRT。而是先从一个条件机制 P(C|Z) 中抽样出一个“条件事件 C”，然后在这个 C 上运行一个（条件性）的 FRT。
  • 有效性条件：讲者给出有效性的充要条件：重新抽样分布 r(Z) 必须等于条件分布 P(Z | C)，这可以表达为条件机制 P(C|Z) 与实验设计 P(Z) 的乘积（贝叶斯公式）。测试的绝对有效性，完全取决于是否能构造出正确的条件机制。
  • 现有机制的不足：
    • (Athey et al., 2018) 的通用条件机制：先随机选择焦点单位 U，再定义 Z(U) 为所有能使 U 中单位处理固定的分配。这总是可行的，但构造出的条件事件可能非常小（甚至只有 Z^\text{obs}），导致功率很低，且一般不是排列检验。
    • (Basse et al., 2019) 的特定事件机制：针对“簇状干扰”设计了特设机制，能使测试成为一个方便的排列检验，功率好，但缺乏一般性。
  • 核心转变：从“手工设计条件机制”转向“构建一个能‘将原假设变尖锐’的几何装置”。

第四部分：核心方法——零假设暴露图与团条件检验（[0:51] - [1:05]）

• [0:51]-[0:57]：正式介绍零假设暴露图 (Null-Exposure Graph, G_f)。
  • 构造：给定原假设 H₀ 和一组暴露函数 {f_i}，构造一个二部图：
    • 左侧节点集：所有单位 U
    • 右侧节点集：所有可能的处理分配 Z（或从实验中随机抽取的一个有限集合）
    • 边：在单位 i 和分配 z 之间连边，当且仅当在该分配 z 下，单位 i 的暴露水平正好落入 H₀ 声称“结果相同”的暴露子集中。
  • 图的含义：这个图精确地将原假设的“局部尖锐性”编码了。任何一个完全二分子图（即团），如果它连接了一组 U_子集 的单位和 Z_子集 的分配，那么在这个团内，H₀ 对 U_子集 中所有单位在所有 Z_子集 的分配下都是尖锐的。因为团内节点的所有暴露都落在 H₀ 定义的“无差异”集合内。
• [0:58]-[1:02]：通过幻灯片和地图生动演示在麦德林实验中如何为具体原假设构建此图。原假设 H₀（短程溢出 vs 纯控制）下，单位-分配组合的条件。
  • 一个似是而非的失败方法：讲者巧妙地指出，一个看起来显然的构造——即直接取包含 Z^\text{obs} 的最大团——是无效的。原因在于，关键不是团的大小，而是该团是否由与 Z^* 无关的、固定的、先验的图分解生成。如果条件事件依赖于 Z^\text{obs} 本身，则重新抽样分布 P(Z* | C) 的表达式会变形，使测试无效。他通过贝叶斯公式展示了这一问题的根源。
• [1:02]-[1:05]：提出基于团的随机化检验的可行步骤：
  1. 图的分解：先对零假设暴露图 G_f 进行固定的双团分解（例如，使用现有的二分图聚类算法如 BIMAX，是 NP-hard 但小数据可行）。这一步不依赖 Z^\text{obs}。
  2. 条件选择：找到包含 Z^\text{obs} 的那个双团 C。
  3. 条件 FRT：在这个 C 上运行条件 FRT。有效性的证明（讲者未详细展开，但幻灯片54提供了关键推导）表明，由于事先确定的分解是固定的，条件事件 C 本身对分解来说是确定的，从而保证了重新抽样分布的正确性。

第五部分：功效与麦德林应用（[1:05]-[1:25]）

• [1:05]-[1:10]：讲者简短地讨论了功效问题。他给出一个定理的关键结果（讲者未详细推导，但幻灯片32-33给出）：条件检验的功效主要取决于团的大小。
  • 大致结论：焦点单位的数量 n（即团中 U 的大小）控制检验的“灵敏度”（sensitivity），其样本速率为 1/√n。
  • 焦点分配的数量 m（即团中 Z 的大小） 控制检验的最大可达到的功效。m 越大，能检验出效应的上限阈值越高。这是单调分布的结论。这一结果是独立于具体推导的，对构建有效测试极具实用指导：计算一个团的（n, m）即可大致判断其实用性。
• [1:10]-[1:15]：回到麦德林实验。
  • 数据：N=37k 单位；设计分布为 10,000 个均匀抽样的分配。
  • 图与团：构建的零假设暴露图有约1.6亿条边（密度44%）；最终条件团包含约4000个焦点单位（U）和约1000个焦点分配（Z）。
  • 结果：检验 p=0.07，在α=0.1 水平下显著，但在 0.05 水平下不显著。图表 [1:22] 显示聚焦单位并非随机，而是由算法自动决定的（聚焦纯控制组和短程溢出组）。
  • 关键洞察：复杂空间干扰下的条件机制很难由人工启发式构建，但图论方法通过聚类 Biclique 自动找到了它。这强有力地证明了方法在一般性上的优势。

讨论：彭丁（Peng Ding）的六个策略综述（[1:25]-[1:30]）

• 彭丁博士从更广泛的视角总结了处理非尖锐原假设的六种策略：
  • 策略一：最大化法（Neyman-Rosenbaum）：将缺失的潜在结果视为额外的参数，对这些参数取最大 p 值，但极其保守且计算复杂。
  • 策略二：Berger-Boos：先对敏感参数进行置信区间构建，再取最大值，比策略一有效但仍受限制。
  • 策略三：条件化：即 Panos 的方法。他还给出了另外两个直觉案例：
    • 检查子组效应：自然凝聚在子组上。
    • 多处理组实验：仅比较两类处理时，自然凝聚在这些单位上。
  • 策略四：渐近理论：假设某些暴露组效应是常数，可以使用学生化检验（如 t 检验），在温和假设下对较弱的零假设（如均值相同）渐近有效。
  • 策略五：巧妙构造尖锐零假设：找到可在非尖锐情况下仍然保持部分性质的原假设，如单调性假设增加可检验性。
  • 策略六：贝叶斯法：对缺失数据（潜在结果）赋予先验，计算后验预测 p 值。虽然频率学派性质模糊，但可作为一种替代推理范式。

四、对应论文与开放问题

(a) 对应论文： - 标题：A Graph-Theoretic Approach to Randomization Tests of Causal Effects Under General Interference - 作者：David Puelz, Guillaume Basse, Avi Feller, Panos Toulis - arXiv ID：1910.10862 - 状态：报告内容与此摘要高度一致。

(b) 报告留下的开放问题（每一条都扎根于转写中的具体陈述）：

1. 最优图分解与最优设计：

   • 来源：讲者多次提及（[0:52]，[1:05]，“Future work: optimal design”；幻灯片35也提到）。当前方法固定一个图分解。开放问题：能否将不同分解带来的不同条件事件 C 所对应的检验功效（作为 n, m 的函数）与实验设计的参数结合起来，以最大化功率的方式指导图分解或实验设计？如何将设计概率 P(Z) 系统地纳入图的构造中，而不仅仅是作为一个后验权重？

2. 功效理论的验证与推广：

   • 来源：讲者自己表示推动功效理论仍需改进（[0:52]，[1:05]）。提供的定理（2）做了强假设（如加性效应、i.i.d. p 值）。开放问题：这一功效界在更现实的场景（比如空间相关、非加性干扰、样本分布不满足 i.i.d. 假定）中能推广到多快？是否可能存在一个泛化的典型功效界，其形式为 1/(1 + A e^{-a τ sqrt(n)}) - O(m^{-r})，在更广泛的暴露函数和时空结构中成立？

3. 估计而非仅检验：

   • 来源：讨论者彭丁提到（策略四，[1:28]-[1:30]）利用渐近理论可以估计效应，而不是简单检验。开放问题：是否可以将此图论检验框架扩展到构建置信区间（invert the test）或估计具体的“溢出效应”大小？这个方法是一个纯检验方法。如何将其转化为一个能给出效应量及其不确定性的推断方法？

4. 组合推断与非均匀随机化：

   • 来源：报告中的例子是伯努利或均匀随机抽样设计。但讨论者彭丁指出（[1:27]），更复杂的设计会导致在范围 U 上进行条件分布求解困难。开放问题：当实验设计更复杂（如聚类随机化、匹配对设计、不完全的随机化）时，构造的图论结构会如何变化？该方法的核心见解（通过双团构造尖锐）是否能与复杂的非均匀条件机制直接集成？

---

Maintained by 陈星宇 · Homepage · Source on GitHub

评论