跳转至

How Different are Different Differences-in-Differences? A Large-Scale Meta-Analysis

作者: Peter Hull
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2610.39995


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是因果推断中"交错采用(staggered adoption)双重差分(DiD)估计量"的稳健性评估。其根本科学问题是:当处理效应存在异质性(heterogeneous treatment effects)且处理采用时间交错时,传统双向固定效应(TWFE)回归是否仍能给出可解释的因果估计?理论文献(2018–2024)已证明 TWFE 在此情形下可能施加负权重(negative weights),导致估计量落在真实效应凸包之外,甚至出现符号反转。然而,这一理论担忧的实证普遍性——即在实际发表的经济学论文中,负权重问题究竟造成多大偏差——此前缺乏系统性证据。本文正是对这一缺口的大规模实证回应。

该子方向的成熟度:理论层面已高度成熟(Goodman-Bacon 分解、负权重刻画、异质性稳健估计量均已建立),但实证层面的系统性评估刚刚起步。本文属于"理论驱动的实证审计"类型,是这一脉络的自然延伸。

发展脉络

奠基工作(2018–2021):负权重问题的理论刻画。 - Goodman-Bacon (2021):将 TWFE 估计量分解为所有可能的 2×2 DiD 比较的加权平均,证明在交错采用下,某些比较("已处理组 vs 已处理组")会携带负权重。这是负权重问题的第一个可操作分解。 - de Chaisemartin & D'Haultfœuille (2020):独立地证明 TWFE 系数可能为负,即使所有个体处理效应均为正,并提出首个异质性稳健估计量(DID_M)。 - Sun & Abraham (2021):证明事件研究设定中,动态 TWFE 系数会被其他时期的效应污染(contamination),提出交互作用加权估计量(IW estimator)。

主要进展(2021–2024):异质性稳健估计量的系统化。 - Callaway & Sant'Anna (2021):提出分组-时期 ATT 的显式估计框架,通过"干净对照组"(never-treated 或 not-yet-treated)构造 2×2 DiD,再以凸权重聚合。这是本文"DiD-averaging"估计量的直接来源。 - Borusyak, Jaravel & Sun (2024):提出插补(imputation)估计量,先用未处理样本估计固定效应模型,再对处理个体预测反事实,取残差平均。这是本文"imputation"估计量的直接来源。 - Borusyak & Hull (2024):提出"事前权重"(ex-ante weights)概念,证明在设计基(design-based)设定下,TWFE 的权重是事前非负的,负权重问题源于对已实现处理的依赖(ex-post weights)。这篇是本文作者自己的工作,也是本文理论框架的直接基础。

当前 frontier(2024–2026):从理论到实证的转向。 - Chiu et al. (2026):对 49 篇政治学期刊论文进行再分析,是本文最直接的先行者。本文在规模(108 vs 49 篇论文)、学科(经济学 vs 政治学)、方法(AI 辅助 vs 人工)上均有扩展。 - Chen (2026a):提出"CLOSE"模型,即本文分层模型所依赖的精度依赖先验方法。 - Chen (2026b):与本文同期的工作,用 AI 代理调查经济学论文中的实证方法。

本文的位置:本文是这一脉络中第一个大规模、跨期刊、AI 辅助的经济学 DiD 实证审计。它不提出新估计量,而是系统性地量化"理论担忧 vs 实证现实"之间的差距,并给出负权重问题的经验频率与严重程度的上界估计。

子线索聚类

  1. TWFE 的权重结构与负权重刻画:Goodman-Bacon (2021)、de Chaisemartin & D'Haultfœuille (2020)、Borusyak & Hull (2024)。核心问题是"TWFE 到底在估计什么"。
  2. 异质性稳健 DiD 估计量:Callaway & Sant'Anna (2021)、Sun & Abraham (2021)、Borusyak et al. (2024)、Gardner et al. (2026)。核心问题是"如何构造更好的估计量"。
  3. 大规模实证审计与再分析:Chiu et al. (2026)、本文。核心问题是"理论问题在实践中有多严重"。
  4. AI 辅助的实证研究自动化:Chen (2026b)、本文的方法论贡献。核心问题是"如何用 AI 扩展实证研究的规模"。

这个方向在追问的核心问题

  1. 负权重的频率与幅度:在真实发表的 DiD 设定中,负权重出现的比例有多高?负权重占总权重的比例有多大?
  2. 符号反转的实际风险:TWFE 与异质性稳健估计量之间,符号反转(sign reversal)的发生率是多少?其中多少是统计显著的?
  3. 精度-稳健性权衡:TWFE 更精确,但可能有偏;现代估计量稳健,但方差更大。在实证中,这一权衡如何量化?
  4. 何时应该担心负权重:是否存在可观测的设定特征(如 always-treated 比例、never-treated 比例)能预测负权重的严重性?

已知瓶颈: - 理论上的负权重问题需要知道所有个体处理效应才能精确刻画,而实证中只能估计。 - 符号反转可能来自真实效应差异、估计噪声、或平行趋势违背,三者难以区分。 - 大规模再分析依赖原始论文的复制包,存在选择性(有复制包的论文可能不同于总体)。

⚠️ 作者的 framing

这是作者的说法:作者将本文定位为"对负权重理论担忧的第一次大规模实证检验",并强调"负权重在理论上重要,但其经验相关性未知"。作者刻意将本文与 Chiu et al. (2026) 区分开——后者覆盖政治学、样本更小、且未直接测量负权重本身。作者还强调 AI 辅助方法使"系统性的实证评估成为理论进展的常规补充"。

被淡化或回避的竞争路线: - 作者明确排除了时间变化协变量(time-varying controls)、连续处理、以及非二元处理等复杂设定(见 Appendix B),这些正是理论文献中负权重问题更严重的领域。 - 作者回避了对"平行趋势违背"的系统性检验——文中承认符号反转可能来自平行趋势失败,但未将其纳入分层模型。 - 作者未讨论 TWFE 在设计基(design-based)框架下的辩护(Borusyak & Hull 2024 的正面结果),而是聚焦于模型基(model-based)框架下的负权重。

明显该被引却没出现在 intro 里的: - Athey & Imbens (2022) 关于 DiD 设计选择的综述——本文的设定选择(二元处理、无时变协变量)与之一致,但未引用。 - Roth (2022) 关于平行趋势检验功效的批评——本文的符号反转分析隐含依赖平行趋势,但未讨论检验功效问题。 - Callaway & Sant'Anna (2021) 的预处理协变量条件版本——本文的 DiD-averaging 估计量未涉及协变量,但理论文献已扩展至条件设定。

张力

未见明显对立引用。但存在一个微妙的内部张力:Borusyak & Hull (2024)(作者自己的工作)证明设计基设定下 TWFE 无负权重问题,而本文的模型基分析却发现负权重确实存在(尽管影响有限)。作者未在文中明确讨论这一张力,而是将两者视为互补——设计基是"事前"视角,模型基是"事后"视角。这一张力值得研究者注意:同一作者在同一问题上给出了两个看似矛盾的结论,其调和方式(事前 vs 事后权重)本身就是一篇论文的素材。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号(逐个点名):

记号 含义 类型
\(Y_j\) 个体-时期观测结果 可观测随机变量
\(u(j)\) 个体/组索引 样本结构
\(t(j)\) 时期索引 样本结构
\(D_j\) 处理指示(0/1) 可观测随机变量
\(\alpha_{u(j)}\) 个体固定效应 nuisance 参数
\(\lambda_{t(j)}\) 时期固定效应 nuisance 参数
\(W_{u(j)}\) 时不变个体特征 可观测协变量
\(\gamma_{t(j)}\) 协变量×时期交互 nuisance 参数
\(\beta_{TWFE}\) TWFE 估计量 估计量(随机变量)
\(\psi_j\) ex-post 权重(= \(\tilde{D}_j D_j\)) 潜在/不可观测(依赖已实现处理)
\(\tilde{D}_j\) 处理对固定效应回归的残差 可构造(给定数据)
\(\beta_j\) 个体-时期处理效应 潜在/不可观测
\(\theta_k\) 第 \(k\) 个比较点的估计量对 \((\hat{\beta}_{TWFE}, \hat{\beta}_{modern})\) 估计量(随机变量)
\(S_k\) \(\hat{\theta}_k\) 的估计方差-协方差矩阵 可估计
\(\mu_k^e, \tau_k^e\) 分层模型中第 \(e\) 个估计量的均值、标准差 参数(超参数)
\(\rho\) 两个估计量 estimand 的相关系数 参数
\(Q_k^e\) 第 \(k\) 个比较点、估计量 \(e\) 的 log 标准误(去均值) 可观测
\(a_e, b_e, c_e, d_e\) 分层模型的回归系数 参数

模型(数据生成机制):

对每个比较点 \(k\)(即一篇论文中的一个 TWFE 设定),观测到估计量对 \(\hat{\theta}_k = (\hat{\beta}_{TWFE}, \hat{\beta}_{modern})'\)。作者假设:

第一层(抽样模型):

\[\hat{\theta}_k \mid \theta_k, S_k \sim N(\theta_k, S_k)\]

其中 \(\theta_k = (\beta_k^{TWFE}, \beta_k^{modern})'\) 是真实 estimand 对,\(S_k\) 是估计方差-协方差矩阵(含协方差项,通过贝叶斯 bootstrap 获得)。

第二层(先验/超先验):

\[\theta_k \mid S_k \sim N\left(\begin{pmatrix} \mu_k^T \\ \mu_k^M \end{pmatrix}, \begin{pmatrix} \tau_{kT}^2 & \rho \tau_{kT} \tau_{kM} \\ \rho \tau_{kT} \tau_{kM} & \tau_{kM}^2 \end{pmatrix}\right)\]

其中 \(\mu_k^e = a_e + b_e Q_k^e\),\(\tau_k^e = \exp(c_e + d_e Q_k^e)\),\(Q_k^e\) 是 log 标准误的去均值版本。

可观测数据: - 每个比较点的 TWFE 估计值 \(\hat{\beta}_{TWFE}\) 及其标准误 - 每个比较点的现代 DiD 估计值 \(\hat{\beta}_{modern}\)(DiD-averaging 或 imputation)及其标准误 - 协方差 \(\text{Cov}(\hat{\beta}_{TWFE}, \hat{\beta}_{modern})\)(通过 bootstrap) - 设定特征:always-treated 比例、never-treated 比例、事件研究指示、发表年份、期刊等

潜在/不可观测量: - 真实 estimand \(\theta_k\)(分层模型的目标) - ex-post 权重 \(\psi_j\)(可计算,但依赖已实现处理,见下)

第二步:最小内核

核心问题:TWFE 估计量 \(\hat{\beta}_{TWFE}\) 与"现代"DiD 估计量 \(\hat{\beta}_{modern}\) 在实证中有多不同?

最小例子:假设只有两个时期(\(t=1,2\)),两组:A 组在时期 2 接受处理,B 组从未接受处理。这是最简单的交错采用设定。

  • TWFE 估计量:\(\hat{\beta}_{TWFE} = (\bar{Y}_{A,2} - \bar{Y}_{A,1}) - (\bar{Y}_{B,2} - \bar{Y}_{B,1})\),即标准的 2×2 DiD。此时权重全为正,无负权重问题。
  • 现代 DiD 估计量(以 Callaway & Sant'Anna 为例):\(\hat{\beta}_{CS} = \hat{\beta}_{TWFE}\),两者完全一致。

加入第三组:C 组在时期 1 已经接受处理(always-treated)。此时:

  • TWFE 估计量:\(\hat{\beta}_{TWFE}\) 是三个 2×2 DiD 的加权平均:
  • A vs B(干净比较,权重为正)
  • C vs B(C 已处理,B 未处理,权重为正)
  • A vs C(两者均已处理,但处理时间不同——"forbidden comparison",权重可为负)
  • 现代 DiD 估计量:\(\hat{\beta}_{CS}\) 只使用 A vs B 和 C vs B 的干净比较,权重全为正。

关键数学事实:当 A 组和 C 组的处理效应随时间变化不同(例如 C 组的效应在时期 2 衰减,而 A 组的效应刚开始),TWFE 的 forbidden comparison 会引入负权重,导致 \(\hat{\beta}_{TWFE}\) 偏离 \(\hat{\beta}_{CS}\),甚至符号相反。

本文的洞察:这个三组例子在理论上很清楚,但在真实数据中,负权重的频率和幅度有多大? 本文通过大规模复制回答这个问题。

最小内核的数学表达:

对每个比较点 \(k\),定义: - \(\hat{\beta}_{TWFE,k}\):TWFE 估计 - \(\hat{\beta}_{modern,k}\):现代 DiD 估计(DiD-averaging 或 imputation) - \(S_k\):两者的联合协方差矩阵

核心估计量: 1. 符号反转率:\(P(\text{sign}(\hat{\beta}_{TWFE,k}) \neq \text{sign}(\hat{\beta}_{modern,k}))\) 2. 估计量相关性:\(\text{Corr}(\hat{\beta}_{TWFE,k}, \hat{\beta}_{modern,k})\) 3. 分层模型估计的 estimand 相关性:\(\rho\)(即 \(\text{Corr}(\beta_k^{TWFE}, \beta_k^{modern})\))

为什么分层模型必要:直接比较 \(\hat{\beta}_{TWFE}\) 和 \(\hat{\beta}_{modern}\) 会混入估计噪声。分层模型通过 \(\theta_k\) 分离"真实 estimand 差异"与"抽样误差",从而回答:如果两个估计量都有无限精度,它们的 estimand 有多不同?

本文的核心发现(预告):estimand 相关性高达 0.91–0.98,符号反转率仅 0.6%–2.1%(考虑显著性后)。这意味着负权重问题在实证中远不如理论担忧严重。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在 108 篇经济学论文的 1,346 个交错采用 DiD 设定中,TWFE 估计量与两种现代异质性稳健 DiD 估计量(DiD-averaging 和 imputation)在估计值和统计推断上有何差异,以及负权重问题的实证严重性。
  2. 核心方法:利用 AI 代理(GPT-6.1 Sol 和 GPT-6 Astra)从 16,094 篇论文中筛选并复制 1,346 个符合标准的 DiD 设定,对每个设定计算 TWFE、DiD-averaging 和 imputation 三种估计量,并用分层模型(hierarchical model)分离 estimand 差异与估计噪声。
  3. 主要结论:TWFE 与现代 DiD 估计量的 estimand 相关性高达 0.91(DiD-averaging)和 0.98(imputation),符号反转率仅 5.6%–11.5%(估计层面)和 0.6%–2.1%(显著层面),且 TWFE 更精确(标准误平均小 14%–47%)。负权重在实证中远不如理论担忧严重。

关键设定与假设

样本选择: - 期刊范围:10 本综合经济学期刊(AER, ECMA, JPE, QJE, REStud, REStat, JEEA, EJ, AEJ: Applied, AEJ: Policy),时间跨度 2000–2026。 - 筛选标准:论文必须报告一个"交错采用"DiD 设定——即处理组在不同时期接受二元处理,且存在至少一个从未处理或尚未处理的对照组。 - 排除标准:时变协变量、连续处理、非二元处理、工具变量设定、非线性模型、以及无法复制的设定。 - AI 辅助流程:AI 代理负责初筛(阅读摘要和全文)、识别合格设定、提取变量定义、运行复制代码。人类作者负责抽查和最终确认。

估计量定义: - TWFE:方程 (1) 的回归,含个体和时期固定效应,可能含时不变协变量×时期交互。 - DiD-averaging:Callaway & Sant'Anna (2021) 的组-时期 ATT 的凸加权平均,权重为组规模。 - Imputation:Borusyak et al. (2024) 的插补估计量,用未处理观测拟合固定效应模型,对处理观测预测反事实。

分层模型假设: 1. 正态性:\(\hat{\theta}_k \mid \theta_k, S_k \sim N(\theta_k, S_k)\)(标准渐近近似)。 2. 精度依赖:\(\theta_k\) 的均值和方差允许依赖 \(Q_k^e\)(log 标准误),即"精度预测参数"(Chen 2026a 的 CLOSE 模型)。 3. 相关性结构:两个估计量的 estimand 相关性 \(\rho\) 为常数(不随精度变化)。 4. 无出版偏差:样本中的论文是已发表论文的代表性样本,不存在系统性的选择偏差。

相比已有文献的放宽/强化: - 相比 Chiu et al. (2026):本文覆盖更多论文(108 vs 49)、更多期刊(10 vs 3)、更长时间跨度(2000–2026 vs 2017–2023),且直接测量负权重而非仅比较估计值。 - 相比 Goodman-Bacon (2021):本文不满足于理论分解,而是将分解应用于大规模实证样本。 - 相比 Borusyak & Hull (2024):本文从"事前权重"视角转向"事后权重"视角,并量化了两种视角的实证差异。

主要结果

1. 估计值高度相关,但存在系统性差异

指标 DiD-averaging vs TWFE Imputation vs TWFE
估计值相关性 0.88 0.93
符号反转率(估计层面) 14.5% 10.8%
符号反转率(显著层面) 3.5% 2.2%
标准误比(现代/TWFE) 1.47 1.14

解读:估计值高度相关(0.88–0.93),但 TWFE 更精确(标准误小 14%–47%)。符号反转率看似不低(10.8%–14.5%),但绝大多数反转不显著——真正"显著反转"的概率仅 0.6%–3.5%。

2. 分层模型显示 estimand 差异远小于估计差异

参数 DiD-averaging Imputation
estimand 相关性 \(\rho\) 0.913 (0.027) 0.976 (0.005)
符号反转概率(先验) 11.5% 5.6%
显著错误符号概率 2.1% 0.6%

解读:去除估计噪声后,estimand 相关性高达 0.91–0.98。这意味着大部分观察到的估计差异来自抽样误差,而非真实的 estimand 差异。符号反转的先验概率 5.6%–11.5% 远低于估计层面的 10.8%–14.5%。

3. 负权重频率低、幅度小

  • 在 1,037 个静态 TWFE 设定中,中位负权重比例为 8.2%(即被处理观测中约 8% 携带负权重)。
  • 中位负权重绝对权重占比仅 1.4%——即负权重对总估计的贡献极小。
  • 负权重比例与符号反转率正相关,但即使在负权重比例最高的设定中,显著反转率也仅约 5%。

4. 设定特征与符号反转的关联

  • always-treated 比例:每增加 10 个百分点,符号反转率增加约 6.7 个百分点(DiD-averaging)和 4.9 个百分点(imputation)。这与理论预测一致——always-treated 比例越高,forbidden comparisons 越多。
  • never-treated 比例:每增加 10 个百分点,符号反转率降低约 2.1 个百分点(imputation)。这与理论一致——never-treated 提供"干净对照组"。
  • 发表年份:2021 年后发表的论文符号反转率显著更低(约 14 个百分点),表明理论文献的传播可能改变了实证实践。
  • 期刊排名、引用数、摘要/引言显著性:均无显著关联。

5. 稳健性检验

  • 非参数分层模型:与高斯模型结果一致(符号反转率 11.3% vs 11.5%)。
  • 排除高杠杆设定:结果不变。
  • 仅用静态设定:结果不变。
  • 仅用事件研究设定:结果不变。

证明路线与技术技巧

整体路线(5 步):

  1. 样本构建:用 AI 代理从 16,094 篇论文中筛选出 108 篇、1,346 个合格设定。关键步骤是定义"合格"标准(交错采用、二元处理、无时变协变量)并让 AI 代理执行初筛,人类作者抽查。
  2. 估计量计算:对每个设定,计算 TWFE、DiD-averaging、imputation 三种估计量及其标准误。协方差通过贝叶斯 bootstrap(999 次重抽样)获得。
  3. 负权重计算:对每个静态 TWFE 设定,计算 ex-post 权重 \(\psi_j = \tilde{D}_j D_j\),统计负权重比例和负权重绝对占比。
  4. 分层模型拟合:对每个比较点 \(k\),用高斯分层模型(方程 2-4)估计 estimand 分布。模型允许均值和方差依赖精度(log 标准误),并估计两个估计量 estimand 的相关性 \(\rho\)。
  5. 推断与稳健性:从分层模型后验中计算符号反转概率、显著错误符号概率,并与非参数模型(Chen 2026a 的 CLOSE)对比。

关键技巧:

  • 贝叶斯 bootstrap 协方差:由于两个估计量基于同一数据,它们的估计误差高度相关。作者用贝叶斯 bootstrap 获得联合协方差矩阵 \(S_k\),避免忽略相关性的错误推断。
  • 精度依赖分层模型:直接比较 \(\hat{\beta}_{TWFE}\) 和 \(\hat{\beta}_{modern}\) 会混入噪声。分层模型通过 \(\theta_k\) 分离 estimand 差异与抽样误差,并允许 estimand 分布依赖精度(即"精度预测参数")。
  • AI 代理的验证协议:AI 代理初筛后,人类作者随机抽查 10% 的设定,确认 AI 的筛选和复制结果。这保证了大规模样本的可靠性。
  • 负权重的直接测量:不同于 Chiu et al. (2026) 仅比较估计值,本文直接计算 ex-post 权重 \(\psi_j\),从而将理论概念(负权重)与实证结果(符号反转)直接联系起来。

技术难点与解决:

  • 难点 1:如何在大规模样本中保证复制质量? 解决:AI 代理 + 人类抽查的两阶段协议。
  • 难点 2:如何区分 estimand 差异与估计噪声? 解决:分层模型,将 \(\theta_k\) 视为潜在变量,通过后验推断分离。
  • 难点 3:如何获得两个估计量的联合协方差? 解决:贝叶斯 bootstrap,对每个设定重抽样 999 次,获得 \(\hat{\theta}_k\) 的联合分布。

真实例子与应用

例子 1:Martinez-Bravo et al. (2022) —— 中国村委会选举

  • 设定:研究村委会选举引入对地方治理的影响。处理是"引入选举",不同村庄在不同年份引入。
  • TWFE 估计:某设定下,TWFE 系数为负且显著。
  • Imputation 估计:同一设定下,imputation 系数为正但不显著。
  • 本文的解读:这是一个"估计层面符号反转"的例子,但分层模型显示,该反转很可能来自估计噪声(因为 imputation 的标准误比 TWFE 大 30%),而非真实的 estimand 差异。

例子 2:Boomhower (2019) —— 德州油气破产保险

  • 设定:研究破产保险要求对油气井清理的影响。处理是"保险要求",不同公司不同年份受约束。
  • 负权重分析:该设定的 always-treated 比例较高(约 20%),负权重占比约 5%。
  • 本文的解读:尽管负权重存在,TWFE 与 imputation 的估计值仍高度一致(差异 < 0.1 个标准差),说明负权重的影响有限。

例子 3:Cantoni et al. (2017) —— 中国历史教科书与意识形态

  • 设定:研究教科书改革对意识形态的影响。处理是"新教科书",不同省份不同年份采用。
  • 事件研究:该设定是事件研究,本文对事件研究设定单独分析,发现 pre-trend 系数在 TWFE 和现代方法下均不显著,post 系数高度一致。

这些例子的共同点:它们展示了本文的核心发现——在大多数真实设定中,TWFE 与现代 DiD 方法的结论一致;即使出现符号反转,也多为不显著的噪声。

🔎 结论是否比证明窄

是,存在几处:

  1. "负权重可能不是严重问题"的结论仅适用于"简单 TWFE 设定"。作者在 Appendix B 中明确排除了时变协变量、连续处理、非二元处理等设定。这些正是理论文献中负权重问题更严重的领域。因此,本文的结论不能外推至更复杂的设定。

  2. "符号反转率低"的结论依赖于分层模型的正确设定。高斯分层模型假设 estimand 分布为高斯,且相关性 \(\rho\) 为常数。如果真实分布有厚尾或相关性随精度变化,结论可能不同。作者用非参数模型做了稳健性检验,但非参数模型的置信区间较宽。

  3. "TWFE 更精确"的结论是平均意义上的。作者报告"现代 DiD 标准误平均比 TWFE 大 14%–47%",但这一比例在不同设定间差异很大。在某些设定中,现代方法的标准误可能比 TWFE 大 100% 以上。

  4. "发表年份效应"的因果解释未被证明。作者发现 2021 年后发表的论文符号反转率更低,并将其归因于理论文献的传播。但这一关联可能是由其他因素驱动的(如编辑政策变化、样本构成变化)。

  5. AI 辅助复制的可靠性未被系统验证。作者报告了人类抽查的结果,但未提供 AI 与人类判断的一致性统计量(如 Cohen's kappa)。如果 AI 的系统性错误与某些设定特征相关,结论可能受影响。


四、开放问题

  1. 复杂设定下的负权重问题:本文排除了时变协变量、连续处理等设定。在这些更复杂的设定中,负权重的频率和幅度是否更大?这需要类似的大规模审计,但复制难度更高。

  2. 负权重与平行趋势违背的交互:本文承认符号反转可能来自平行趋势失败,但未将其纳入分析。一个开放问题是:在平行趋势检验不通过的设定中,TWFE 与现代方法的差异是否更大?

  3. 分层模型的扩展:本文的高斯分层模型假设 estimand 相关性为常数。是否可以允许 \(\rho\) 依赖设定特征(如 always-treated 比例)?这需要更灵活的分层模型,但可能揭示负权重问题的异质性。

  4. AI 辅助复制的可靠性度量:本文用 AI 代理进行大规模复制,但未系统量化 AI 与人类判断的一致性。一个开放问题是:如何设计验证协议,使 AI 辅助复制的结果可被第三方复现?

  5. 出版动态的因果推断:本文发现 2021 年后符号反转率下降,但未证明因果关系。一个开放问题是:理论文献的传播如何影响实证实践?这需要更精细的因果推断设计(如引用网络分析)。

  6. 负权重问题的"可预测性":本文发现 always-treated 比例和 never-treated 比例能预测符号反转。一个开放问题是:是否存在更丰富的设定特征(如处理时间分布、结果变量类型)能更准确地预测负权重问题的严重性?


提醒:要确认上述某条是否是真 gap,建议去读同一子领域近期约 5 篇论文的 intro——如果多篇都指向同一问题,说明是共识性 gap;如果各说各话,则可能是机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论