Inference after data-driven control-unit selection in difference-in-differences with estimated covariance¶
作者: Ryoya Nakano, Takahiro Hoshino
主题: 因果推断
相关性: 8/10
链接: https://arxiv.org/abs/2610.01464
一、领域脉络与小综述¶
这个方向是什么
差分中差分(DiD)是政策评估中最常用的准实验方法之一,其核心识别假设是平行趋势:若处理组未受干预,其平均结果变化将与对照组相同。当存在多个候选对照组时,研究者常依据处理前趋势的相似性(如最小化处理组与候选组在预处理期的结果变化差异)来“挑选”一个对照组,以使平行趋势看起来更可信。这种数据驱动的对照组选择会使得常规的 DiD 推断失效:选择本身利用了与估计量相关的同一批数据,导致估计量的抽样分布不再是简单的正态近似,基于“选择是固定”的置信区间可能严重扭曲覆盖概率。本文属于“选择性推断”(selective inference / post-selection inference)在 DiD 中的应用:在给定“选中某个对照组”这一事件的条件上构造推断,从而恢复有效的覆盖保证。该子方向当前处于发展阶段:选择性推断在回归、Lasso、交叉验证等领域已有较成熟框架,但针对 DiD 对照组选择的专门处理很少,且大多假设协方差已知;本文将其推广到协方差需从同一数据估计的可行情形。
发展脉络
- DiD 与平行趋势的基石:Ashenfelter and Card (1985)、Card and Krueger (1994) 确立了 DiD 的基本设定;平行趋势成为应用中最关键的假设。
- 对照组选择的流行做法:Abadie et al. (2010) 的合成控制法、以及各类基于预处理匹配的方法,都隐式或显式地利用预处理结果来选择对照组。这些方法通常把选择视为固定,或仅通过 bootstrap 近似,缺乏严格的选择后推断。
- 预检验问题的警示:Roth (2022) 系统证明了基于预处理趋势的检验(如事件研究中的事前平行趋势检验)会扭曲事后推断,即使检验不拒绝,条件化于“通过检验”也会导致置信区间覆盖不足。Roth 的结论针对的是“检验后继续使用原估计量”的常见做法,而本文针对的是“根据预处理拟合选择对照组”这一更一般的选择规则。
- 选择性推断的统计基础:Lee et al. (2016) 提出截断高斯框架;Tibshirani et al. (2016) 给出一般选择性推断;Loftus and Taylor (2015) 处理二次选择约束;Tian and Taylor (2017) 建立选择性推断的渐近理论;Tibshirani et al. (2018) 证明未知方差下 bootstrap 的均匀有效性;Markovic et al. (2018) 研究选择后协方差估计。这些工作为本文提供了工具箱。
- 本文的位置:作者在 Nakano and Hoshino (2026, Economics Letters) 中首次提出 DiD 对照组选择的选择性推断,但假设协方差矩阵已知;本文去掉该假设,允许协方差从同一份个体层面数据中估计,并扩展到交错采用(staggered adoption)下的联合推断。作者明确声称这是“first selective-inference approach to the ATT that explicitly accounts for this control selection”(摘要)。
子线索聚类
1. DiD 的识别与估计:Callaway and Sant’Anna (2021) 提出多期异质处理效应下的 cohort–period 识别与聚合;Sun and Abraham (2021) 指出双向固定效应事件研究系数在异质效应下不可解释,建议显式估计 cohort–period 效应。本文沿用 Callaway–Sant’Anna 的 cohort–period 对比框架,但不依赖双向固定效应。
2. 预处理匹配与合成控制:Abadie et al. (2010)、Doudchenko and Imbens (2016) 等用预处理结果构造对照组;本文的选择规则(最小化预处理趋势平方差)是这类方法的简化形式。
3. 预检验与推断扭曲:Roth (2022) 是本文最直接的对话对象;本文强调“选择”而非“检验”,但统计机制类似——条件化于选择事件。
4. 选择性推断:Lee et al. (2016)、Tibshirani et al. (2016)、Loftus and Taylor (2015)、Tian and Taylor (2017)、Tibshirani et al. (2018)、Markovic et al. (2018)、Andrews et al. (2024) 构成方法基础。其中 Andrews et al. (2024) 处理“对赢家推断”(inference on winners),与本文“对选中的对照组推断”在结构上相似,但本文的 DiD 设定和二次选择规则更具体。
这个方向在追问的核心问题
- 当对照组是数据驱动选择时,如何构造对 ATT 有效的置信区间?
- 选择事件应如何形式化?预处理趋势的二次型距离是自然选择,但实际中可能有更复杂的规则。
- 协方差未知时,选择性推断是否仍然可行?估计协方差引入的额外不确定性是否破坏条件覆盖?
- 在交错采用中,多个队列、多个时期的选择相互依赖,如何做联合推断?
- 已知瓶颈:选择性推断的区间通常比常规区间更长,且条件覆盖要求选择事件概率不能太小;当选择几乎确定时,调整幅度趋于零。
⚠️ 作者的 framing(这是作者的说法)
作者将本文定位为“推广到可行推断”:已知协方差的结果是“exact”的,但实践中协方差未知,因此本文证明 plug-in 估计的渐近等价性,使方法可直接使用。作者强调“不需要样本分割或外部数据”,因为协方差估计与选择、估计使用同一份数据,但定理表明这不妨碍渐近有效性。作者把 Roth (2022) 的问题(预检验扭曲)与自己的问题(选择后推断)区分开,认为两者互补。作者回避了以下竞争路线:
- 完全不依赖选择规则的稳健推断(如对平行趋势违背的敏感性分析,Rambachan and Roth 2023),本文只处理“选择”本身,不处理“平行趋势可能不成立”的识别问题。
- 贝叶斯或正则化方法(如合成控制的惩罚回归),本文坚持频率学派的条件推断。
- 样本分割或交叉验证的替代方案,本文明确不使用。
这些被淡化的路线在引言中仅以“互补”或“超出范围”带过。
张力
- 条件覆盖 vs 无条件覆盖:本文给出的是条件于选择事件的覆盖,而许多应用者关心的是无条件覆盖。作者证明了无条件覆盖(Theorem 2 的推论),但条件覆盖更严格。
- 选择事件概率下界:条件覆盖要求 P(E_{n,s}) ≥ p₀ > 0;若某个候选几乎从不被选中,则无法对其提供条件保证。作者在 Theorem 2 后指出,边际覆盖不需要此条件,但条件覆盖需要。
- 区间长度:选择性区间可能比常规区间长,且期望长度可能无限(Proposition 17 引用 Kivaranovic and Leeb 2021)。作者承认这一点,但认为这是选择性推断的固有代价。
- 未见明显对立引用:被引文献之间没有直接矛盾,但 Roth (2022) 的“预检验有害”与本文的“选择后推断可行”之间存在微妙张力——Roth 建议避免选择,本文建议在必须选择时进行条件推断。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据
- 区域与时期:固定区域数 \(K=J+1\)(\(j=0\) 为处理区域,\(j=1,\dots,J\) 为候选对照区域),固定时期数 \(T\)。预处理时期集合 \(P\subset\{1,\dots,T\}\),处理后时期集合 \(A\),\(P\cap A=\emptyset\),\(|P|\ge 2\),\(|A|\ge 1\)。
- 个体数据:区域 \(j\) 中有 \(n_j\) 个独立同分布个体,每个个体观测一个 \(T\) 维结果向量。记区域 \(j\) 的个体 \(i\) 的观测为 \(X_{nji}\in\mathbb{R}^T\),其均值 \(\mu_{nj}=\mathbb{E}X_{nji}\),协方差 \(\Gamma_{nj}=\mathrm{Var}(X_{nji})\)。不同区域的样本相互独立。
- 区域样本均值向量:\(\bar X_{nj}=n_j^{-1}\sum_{i=1}^{n_j}X_{nji}\)。将所有区域的样本均值堆叠为
\[Y_n=(\bar X_{n0}',\bar X_{n1}',\dots,\bar X_{nJ}')'\in\mathbb{R}^{KT},\]其期望为 \(\mu_n=(\mu_{n0}',\dots,\mu_{nJ}')'\)。 - 尺度化与协方差:定义
\[L_n=\mathrm{blockdiag}_{j=0}^{J}(n_j^{-1/2}I_T),\qquad V_n=\mathrm{blockdiag}_{j=0}^{J}(\Gamma_{nj}),\]则 \(\mathrm{Var}(Y_n)=\Sigma_n=L_nV_nL_n'\)。这里 \(V_n\) 是“个体层面”的协方差,\(L_n\) 将样本均值尺度化为 \(n_j^{-1/2}\) 量级。允许 \(n_j\) 以不同速率增长,甚至某些区域的样本占比趋于零。 - 选择规则:预处理趋势的差异用二次型度量。对每个候选 \(j\),定义比较矩阵 \(B_j\)(已知、确定性),使得 \(Q_j(Y_n)=\|B_jY_n\|^2=Y_n'M_jY_n\) 度量处理组与候选 \(j\) 在预处理期的趋势差异(例如,\(B_j\) 提取两个区域在 \(P\) 中相邻时期差分的差)。选择规则为
\[S_n=\arg\min_{1\le j\le J} Q_j(Y_n),\]即选择预处理趋势与处理组最接近的候选。并列时用预先固定的规则打破。 - 目标参数:选中候选 \(s\) 后,DiD 估计量为
\[T_{n,s}=c_s'Y_n,\]其中 \(c_s\) 是已知对比向量,例如 \(c_s\) 在区域 0 的后处理期均值为 \(+1/|A|\),在区域 \(s\) 的后处理期均值为 \(-1/|A|\),在预处理期为 \(0\)(或包含预处理均值差调整)。在平行趋势假设下,\(\theta_{n,s}=c_s'\mu_n=\tau_n\)(ATT)。注意 \(\theta_{n,s}\) 可能随 \(s\) 变化,但若所有候选都满足平行趋势,则它们相等。 - 可观测数据:研究者能观测到所有区域的个体数据,因此可以计算 \(Y_n\) 和样本协方差 \(\hat\Gamma_{nj}\)(或 \(\hat V_n\)),进而得到 \(\hat\Sigma_n=L_n\hat V_nL_n'\)。选择 \(S_n\) 和估计量 \(T_{n,S_n}\) 都基于同一份数据。
第二步:最小内核
把一般情形剥到最简单:\(J=2\) 个候选对照,\(T=3\) 个时期,预处理期 \(P=\{1,2\}\),后处理期 \(A=\{3\}\)。每个区域 \(j\) 的样本均值向量为 \((\bar X_{j1},\bar X_{j2},\bar X_{j3})\)。选择规则是比较预处理变化:
核心数学问题:由于 \(s\) 是数据依赖的,\(T_s\) 的分布不是简单的正态。已知协方差 \(\Sigma\) 时,可以写出选择事件 \(E_s=\{S=s\}\) 关于 \(Y\) 的二次不等式。令 \(R_s=Y-b_sT_s\) 为与 \(T_s\) 独立的残差(其中 \(b_s=\Sigma c_s/(c_s'\Sigma c_s)\)),则 \(E_s\) 等价于 \(T_s\in \mathcal{T}_s(R_s;\Sigma)\),其中 \(\mathcal{T}_s\) 是依赖于残差的截断集合(有限个区间的并)。于是
未知协方差时的困难:\(\Sigma\) 未知,需要用 \(\hat\Sigma_n\) 代替。但 \(\hat\Sigma_n\) 与 \(Y_n\) 相关(同一数据),且选择事件本身依赖于 \(Y_n\)。本文的核心定理(Theorem 2)说明:在固定维数、个体矩条件、协方差估计一致等条件下,plug-in 版本的截断正态分布函数与真实协方差版本的差异在概率意义下一致趋于零,从而条件覆盖趋于 \(1-\alpha\)。直观上,因为 \(Y_n\) 的方差是 \(O(n_j^{-1})\),而 \(\hat\Sigma_n\) 的估计误差是 \(O_p(n_j^{-1/2})\)(对协方差矩阵元素),标准化后误差为 \(O_p(n_j^{-1/2})\),小于分布函数的收敛尺度,故可忽略。
这个最小内核揭示了论文的本质:把“数据驱动选择”转化为“对二次不等式事件的条件推断”,然后用正态近似和协方差估计的一致性来证明 plug-in 可行性。所有更复杂的设置(交错采用、联合置信带)都是在这个内核上叠加多个选择事件和多个对比向量。
三、这篇论文做了什么¶
三句话
1. 研究问题:在 DiD 中,当对照组是根据预处理趋势从候选池中数据驱动选择时,如何构造对 ATT 有效的置信区间,且协方差矩阵未知、需从同一份个体数据中估计。
2. 核心方法:将选择性推断的截断正态框架应用于对照组选择,用估计的协方差矩阵代入计算条件分布、截断集和区间端点,证明其渐近条件覆盖性质。
3. 主要结论:在固定区域数和时期数、区域样本量趋于无穷的正则条件下,plug-in 选择性区间具有均匀条件覆盖(对选择概率有正下界的事件),且与已知协方差区间的端点渐近等价;允许区域样本量不等、协方差异质、总体拟合并列、区域样本份额趋于零;对交错采用情形给出联合置信带。
关键设定与假设
- 固定维数:区域数 \(K\)、时期数 \(T\)、候选数 \(J\) 固定,不随样本量增长。
- 个体矩条件:每个区域内个体独立同分布,存在 \(2+\delta\) 阶矩(\(\delta>0\)),保证 CLT 和协方差估计的一致性。
- 协方差估计:\(\hat\Gamma_{nj}\) 是区域 \(j\) 的样本协方差(无偏或一致),\(\hat\Sigma_n=L_n\hat V_nL_n'\)。允许 \(\hat\Sigma_n\) 与 \(Y_n\) 相关,不要求独立。
- 选择事件:由有限个二次不等式定义,允许并列(ties),用固定规则打破。选择规则不要求是“正确”的——即不要求所有候选都满足平行趋势,只要求被选中的候选满足(或通过因果覆盖概率处理)。
- 概率下界:对条件覆盖,要求 \(\liminf P(E_{n,s})\ge p_0>0\);对无条件覆盖(Theorem 2 的推论)无此要求。
- 正则性:协方差矩阵的特征值有界,比较矩阵 \(B_j\) 和对比向量 \(c_s\) 有界,选择事件边界概率趋于零(由多项式零点测度为零保证)。
主要结果
- Theorem 2(plug-in 选择性推断的渐近有效性):在 Assumption 1 下,定义
- Theorem 3(端点等价性):plug-in 区间端点与已知协方差区间端点的差除以 \(\sigma_{n,s}\) 依概率趋于 0;区间长度之比趋于 1。
- Corollary 4(个体数据模型):对 (1)–(3) 的样本均值和样本协方差,验证 Assumption 1 成立,允许区域样本量不等、协方差异质、区域样本份额趋于零。
- Corollary 5(区间长度):区间长度满足
- Theorem 9(交错采用与联合推断):对多个 cohort–period 对比,定义联合选择事件,plug-in 枢轴量在联合事件上渐近均匀,从而可构造有限个事件时间效应的联合置信带(Bonferroni 校正)。
- Corollary 10(同时覆盖):对固定有限个报告,同时覆盖概率至少 \(1-\alpha-2q|H|D_n^{sd}\)。
- Corollary 11(因果覆盖):在平行趋势条件下,覆盖对象为 ATT;若存在无效候选,只要其被选概率趋于零,因果覆盖仍成立。
- Proposition 13 & 14(正交性与反例):给出选择调整消失的充分条件(\(B\Sigma c=0\)),并构造反例说明即使协方差为球形,另一个队列的选择也会影响条件分布,因此不能简单忽略。
证明路线与技术技巧
1. 条件分布分解:对每个候选 \(s\),将 \(Y\) 分解为 \(T_s=c_s'Y\) 和残差 \(R_s=Y-b_sT_s\),利用正态性证明 \(T_s\) 与 \(R_s\) 独立。选择事件 \(\{S=s\}\) 在给定 \(R_s\) 时等价于 \(T_s\in\mathcal{T}_s(R_s;\Sigma)\),其中 \(\mathcal{T}_s\) 是二次不等式解集的并。
2. 多项式零点测度为零:选择事件边界由有限个二次多项式等于零定义。正态分布下,非零多项式的零点集概率为零(Okamoto 1973),故边界概率趋于零。
3. 标准化与紧性:引入标准化坐标 \(Z_n=L_n^{-1}(Y_n-\mu_n)\),将选择事件写成关于 \(Z_n\) 的二次不等式。利用 \(Z_n\Rightarrow N(0,V)\) 和 \(\hat V_n\to V\),将 plug-in 截断集与真实截断集的指示函数之差控制住。
4. Skorokhod 表示与 dominated convergence:构造同一概率空间上的收敛序列,将概率收敛转化为逐点收敛,再用控制收敛定理得到分布函数的一致收敛。
5. 协方差估计的一致性:对个体数据,用 von Bahr–Esseen 不等式证明样本协方差在 \(L^p\) 意义下一致收敛,结合 Weyl 不等式控制特征值扰动。
6. 交错采用的联合事件:将多个选择事件编码为单个事件 \(\tilde E_{n,h}=\bigcup_{s:\rho(s)=h}\tilde E_{n,s}\),证明其边界概率为零,然后应用同样的收敛论证。
7. 区间端点反演:利用截断正态分布函数的严格单调性,通过反函数得到端点,并证明端点函数的连续性,从而由枢轴量收敛推出端点收敛。
真实例子与应用
本文没有真实数据应用,只有模拟实验。模拟设置:\(J=2\) 个候选对照,\(T=3\) 个时期,\(P=\{1,2\},A=\{3\}\),选择规则为最小化预处理趋势差的平方。数据生成:每个区域独立生成 \((V,H)\) 二维个体观测,协方差如 (56) 所示,其中 \(V\) 与 \(H\) 正相关。四种设计:(1) 精确 tie(总体趋势差为 0);(2) 正 tie(两个候选的总体趋势差相等但非零);(3) 分离排序(一个候选明显更优);(4) 不平衡样本量且均值漂移。比较三种区间:conventional(忽略选择)、plug-in selective(本文方法)、true covariance(已知协方差的精确区间)。结果:
- 在精确 tie 和正 tie 设计中,conventional 区间对无条件覆盖过度保守(如 96.5%),而 plug-in 区间接近 95%。
- 在分离设计中,选择几乎确定,plug-in 与 conventional 接近,但 plug-in 仍略保守。
- Gamma 分布(非正态)下,plug-in 区间覆盖仍接近名义水平,说明对矩条件有一定稳健性。
- 区间长度:plug-in 区间比 conventional 长,但随样本量增加,长度比趋于 1(Theorem 3 的数值验证)。
- 作者明确说明:“The existing simulations assess the single-comparison procedures; the staggered and simultaneous extensions here are theoretical results, not additional simulation evidence.”(第 6 节末尾)——即交错采用和联合置信带没有模拟验证。
🔎 结论是否比证明窄
- Theorem 2 的证明依赖于固定维数和多项式选择事件。作者在讨论中承认,若选择规则涉及数据依赖的权重(如合成控制的连续优化),则选择事件不再是有限个二次不等式,定理不直接适用。但引言中仍声称方法适用于“data-driven control selection”,这可能超出严格证明的范围。
- Corollary 11 的因果覆盖要求“无效候选被选概率趋于零”,这是一个高层次的充分条件,但作者没有给出如何验证该条件的具体准则。
- Proposition 17 表明期望长度可能无限,但作者没有讨论如何在实际中诊断或避免这种情况,只建议使用中位数或分位数。
- 交错采用部分(Theorem 9)是理论扩展,但作者没有给出任何数值例子,因此其有限样本行为未知。
四、开放问题¶
-
交错采用与联合置信带的有限样本表现:论文明确说“the staggered and simultaneous extensions here are theoretical results, not additional simulation evidence”(第 6 节)。因此,一个直接的问题是:在有限样本下,Theorem 9 的联合置信带是否真的能达到名义覆盖?Bonferroni 校正是否过于保守?能否用 bootstrap 或数值积分改进?
-
更一般的选择规则:本文的选择事件是有限个二次不等式(预处理趋势平方差)。实际中常用的合成控制、匹配、机器学习选择可能产生更复杂的、甚至连续的选择规则。作者在讨论中承认这一点,但没有给出处理方案。开放问题:如何将选择性推断推广到非二次、非有限的选择规则?
-
高维区域或时期:定理假设 \(K,T\) 固定。若候选区域数 \(J\) 或时期数 \(T\) 随样本量增长(例如城市级面板),多项式零点论证和协方差估计的一致性需要新的工具。开放问题:在高维 \(K,T\) 下,plug-in 选择性推断是否仍然有效?是否需要正则化?
-
协方差估计误差的一阶影响:Theorem 3 只给出 plug-in 与已知协方差端点的渐近等价,但没有给出收敛速率。开放问题:协方差估计的收敛速率如何影响区间长度的收敛速率?能否构造二阶校正项以改善有限样本覆盖?
-
期望长度无限的问题:Proposition 17 表明条件置信区间的期望长度可能无限。作者建议关注分位数而非均值,但没有给出诊断方法。开放问题:如何在实际数据中判断期望长度是否无限?能否构造有限期望长度的条件置信区间(如通过截断或正则化)?
-
与敏感性分析的结合:作者在引言中说与 Rambachan and Roth (2023) 的敏感性分析互补,但没有具体结合。开放问题:如何在选择性推断的框架下,对平行趋势的偏离进行敏感性分析?选择事件是否会影响敏感性区间的宽度?
-
因果解释的边界:Corollary 11 的因果覆盖依赖于“无效候选被选概率趋于零”。这个条件如何从数据中验证?如果所有候选都有一定概率被选中,但其中一些违反平行趋势,因果覆盖会怎样?开放问题:是否存在对无效候选更稳健的推断方法?
提醒:要确认上述问题是否是真 gap,建议去读同一子领域近期约 5 篇论文的引言(例如选择性推断在因果推断中的应用、DiD 中预处理匹配的推断、合成控制的推断)。如果多篇论文都指向同一个问题,那很可能是共识性缺口;如果互相矛盾,则可能是机会。
Maintained by 陈星宇 · Homepage · Source on GitHub