跳转至

Why are replication rates so low?

作者: Patrick Vu
来源: Journal of Econometrics
主题: 经济理论 / 应用
相关性: 3/10
机构绿灯: University of New South Wales（US News 前 50，免分进入精读）
链接: https://doi.org/10.1016/j.jeconom.2024.105868

一、领域脉络与小综述

这个方向是什么

这个子方向研究的是社会科学中复制研究（replication study）的低成功率（replication rate）的统计根源。核心问题是：为什么许多精心设计的复制研究，即使原始研究本身是无偏的，也无法复现原始研究的统计显著性？当前成熟度属于应用导向的实证与理论交叉领域，已有大量关于发表偏倚、p-hacking、效应量异质性的讨论，但本文作者认为，复制研究样本量设定方法本身的缺陷是一个被忽视的关键因素。

发展脉络（history）

作者在引言中构建了一条清晰的论证链，将已有解释与本文的新机制串联起来：

  1. 奠基工作：复制危机与常见解释

    • Camerer et al. (2016) 和 Camerer et al. (2018)：这两项大规模复制项目（分别针对实验经济学和社会科学）报告了远低于预期的复制率（约60-70%）。作者引用它们作为“复制危机”的实证基础，并指出已有文献主要归因于选择性发表、p-hacking、效应量异质性等。
    • Ioannidis (2005)：经典论文“Why Most Published Research Findings Are False”，强调了发表偏倚和低统计功效是导致研究结果不可靠的根本原因。作者引用它作为“原始研究可能高估效应量”这一主流观点的理论基础。

  2. 主要进展：对复制研究设计本身的质疑

    • Albers (2019) 和 Anderson & Maxwell (2017)：这些工作开始关注复制研究设计中的统计问题，特别是复制样本量设定。作者引用它们指出，常用的“基于原始效应量估计值计算所需样本量”的方法，忽略了估计的不确定性，可能导致复制功效被高估。这是本文的直接前驱。
    • Kenny & Judd (2019)：进一步讨论了复制研究中效应量估计的变异性，并提出了“复制功效（replication power）”的概念——即复制研究能检测到原始研究中观察到的效应量的概率。作者引用它来定义本文的核心被解释变量。

  3. 当前frontier与本文的位置

    • 作者认为，已有工作虽然指出了问题，但缺乏一个统一的、简约的理论模型来量化“忽略效应量估计误差”对复制率的影响，也没有将其与实证观察到的复制率进行系统比较。本文填补了这个缺口：它构建了一个简单的发表过程模型，证明即使原始研究无偏，复制率也会系统性低于名义目标（如80%），并提供了一个仅考虑此机制的简约模型，该模型能完全解释实验经济学和社会科学的复制率，以及心理学三分之二的复制差距。

子线索聚类

这些被引文献大致落在两条子线索上：

  • 线索一：复制危机的实证与归因（Camerer et al., 2016; Camerer et al., 2018; Ioannidis, 2005）。这一簇主要工作是记录复制率低的现实，并将其归因于原始研究中的偏倚（发表偏倚、p-hacking等）。它们认为，原始研究的效应量估计是有偏的（通常被高估），因此复制研究自然难以复现。
  • 线索二：复制研究设计中的统计问题（Albers, 2019; Anderson & Maxwell, 2017; Kenny & Judd, 2019）。这一簇工作开始从复制研究本身的设计出发，指出即使原始研究无偏，复制研究的样本量设定方法也可能导致低复制率。它们关注的是估计不确定性和复制功效的非线性，而非原始研究的偏倚。

这个方向在追问的核心问题

  1. 复制率为何低于名义目标（如80%的统计功效）？ 主流解释是原始研究有偏（发表偏倚、p-hacking），导致效应量被高估。本文提出的新解释是：复制样本量设定方法本身有缺陷。
  2. 如何正确设定复制研究的样本量？ 当前主流方法是“基于原始效应量点估计值计算所需样本量”。本文指出，这种方法忽略了估计误差，导致复制功效被系统性低估。更好的方法是什么？作者在结论中给出了实用建议（如使用效应量的置信区间下限）。
  3. 不同学科（实验经济学、社会科学、心理学）的复制率差异能否被统一解释？ 作者发现，其简约模型能完全解释前两个学科的复制率，但只能解释心理学三分之二的差距。这暗示心理学中可能存在额外的、未被模型捕捉的因素（如更大的发表偏倚或效应量异质性）。

⚠️ 作者的 framing

  • 这是作者的说法：作者将缺口 frame 成“即使原始研究无偏，复制率也会系统性低于名义目标”，并强调“最常用的复制样本量设定方法”是核心机制。这使得他的工作成为“显然的下一步”：在已有文献关注原始研究偏倚的基础上，他指出了复制研究设计本身的一个被忽视的、但同样重要的统计缺陷。
  • 被淡化或回避的竞争路线：作者明确承认，他的模型不包含选择性发表、p-hacking、效应量异质性等机制。他通过实证发现，其简约模型能解释大部分复制率差距，从而暗示这些其他机制可能不是主要因素，或者它们的影响被他的模型间接捕捉了。但他没有深入探讨这些机制与他的机制之间的交互作用。
  • 什么明显该被引 / 该存在、却没出现在 intro 里？ 作者没有引用关于贝叶斯方法在复制研究中的应用的文献（例如，使用贝叶斯因子或后验概率来评估复制证据）。贝叶斯方法天然地处理了估计不确定性，可能提供一种比频率学派“基于点估计计算功效”更优的替代方案。这是一个值得研究者去查的问题：贝叶斯复制研究设计是否已经解决了本文指出的问题？如果解决了，为什么没有被广泛采用？

张力

未见明显对立引用。所有被引工作都指向“复制率低”这一事实，只是在解释原因上存在不同侧重（原始研究偏倚 vs. 复制设计缺陷）。本文试图调和这两种解释，指出后者即使在前者不存在时也会发生。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：

    • \( \theta \)：真实效应量（true effect size），一个未知的固定参数。
    • \( \hat{\theta}_o \)：原始研究（original study）中估计得到的效应量，是一个随机变量，其分布依赖于 \( \theta \) 和原始研究的样本量 \( n_o \)。
    • \( \hat{\theta}_r \)：复制研究（replication study）中估计得到的效应量，也是一个随机变量，其分布依赖于 \( \theta \) 和复制研究的样本量 \( n_r \)。
    • \( n_o \)：原始研究的样本量。
    • \( n_r \)：复制研究的样本量，是研究者需要设定的设计参数。
    • \( \alpha \)：显著性水平（通常为0.05）。
    • \( \beta \)：第二类错误率，\( 1-\beta \) 是统计功效（power）。
    • \( \text{Power}(\theta, n) \)：给定真实效应量 \( \theta \) 和样本量 \( n \) 时，一个研究能检测到该效应（即拒绝 \( H_0: \theta=0 \)）的概率。
    • \( \text{Replication Rate} \)：复制率，即复制研究能成功复现原始研究显著结果（\( p_r < \alpha \)）的概率。这是本文的核心被解释变量。

  • 模型：

    • 数据生成机制：假设原始研究和复制研究都是对同一个真实效应量 \( \theta \) 的无偏估计。即 \( \mathbb{E}[\hat{\theta}_o] = \theta \)，\( \mathbb{E}[\hat{\theta}_r] = \theta \)。
    • 估计量分布：为简化，假设 \( \hat{\theta}_o \) 和 \( \hat{\theta}_r \) 都服从正态分布，其方差与样本量成反比：\( \hat{\theta}_o \sim N(\theta, \sigma^2/n_o) \)，\( \hat{\theta}_r \sim N(\theta, \sigma^2/n_r) \)。\( \sigma^2 \) 是总体方差，通常假设已知或可一致估计。
    • 检验：原始研究和复制研究都进行双边z检验，检验 \( H_0: \theta=0 \) vs \( H_1: \theta \neq 0 \)。当 \( |\hat{\theta}| > z_{1-\alpha/2} \cdot \sigma/\sqrt{n} \) 时拒绝 \( H_0 \)，其中 \( z_{1-\alpha/2} \) 是标准正态分布的 \( 1-\alpha/2 \) 分位数。

  • 可观测数据：

    • 研究者能观测到的是原始研究的效应量估计值 \( \hat{\theta}_o \) 及其标准误 \( \sigma/\sqrt{n_o} \)。
    • 研究者想要但观测不到的是真实效应量 \( \theta \)。复制研究的目标是复现原始研究的显著结果，但复制研究的设计（\( n_r \)）必须基于对 \( \theta \) 的猜测，而这个猜测只能来自有噪声的观测 \( \hat{\theta}_o \)。

第二步：讲最小内核

本文的核心思路可以用一个最简特例讲清楚：假设原始研究是无偏的，且我们只关心一个复制研究。

  1. “天真”的样本量设定方法：最常用的方法是，假设原始研究的效应量估计值 \( \hat{\theta}_o \) 就是真实效应量 \( \theta \)，然后设定复制样本量 \( n_r \)，使得复制研究在 \( \theta = \hat{\theta}_o \) 下达到名义功效 \( 1-\beta \)（例如80%）。即：

    \[n_r = \frac{2\sigma^2 (z_{1-\alpha/2} + z_{1-\beta})^2}{\hat{\theta}_o^2}\]
    其中 \( z_{1-\beta} \) 是标准正态分布的 \( 1-\beta \) 分位数。

  2. 问题所在：这个方法是条件于 \( \hat{\theta}_o \) 的。它保证了如果 \( \theta \) 真的等于 \( \hat{\theta}_o \)，那么复制研究的功效是80%。但 \( \hat{\theta}_o \) 是随机变量，真实 \( \theta \) 可能比它小。由于功效函数 \( \text{Power}(\theta, n_r) \) 关于 \( \theta \) 是非线性的（具体是凸函数），当 \( \theta \) 小于 \( \hat{\theta}_o \) 时，功效的下降速度比当 \( \theta \) 大于 \( \hat{\theta}_o \) 时功效的上升速度更快。

  3. 核心数学困难：我们真正关心的复制率是无条件期望：

    \[\text{Replication Rate} = \mathbb{E}_{\hat{\theta}_o} \left[ \text{Power}(\theta, n_r(\hat{\theta}_o)) \right]\]
    其中 \( n_r(\hat{\theta}_o) \) 是依赖于 \( \hat{\theta}_o \) 的样本量设定函数。由于 \( \text{Power}(\theta, n) \) 是 \( \theta \) 的凸函数，且 \( n_r(\hat{\theta}_o) \) 是 \( \hat{\theta}_o \) 的减函数（效应量估计越大，所需样本量越小），通过Jensen不等式可以证明，这个无条件期望严格小于名义功效 \( 1-\beta \)。

  4. 关键想法：作者的关键想法是，不要将 \( \hat{\theta}_o \) 视为固定值，而要将其视为一个随机变量。复制率低的原因不是原始研究有偏，而是因为我们在设定复制样本量时，没有充分考虑到 \( \hat{\theta}_o \) 的抽样变异性。这个变异性通过功效函数的非线性，导致复制率系统性偏低。

一句话总结：即使原始研究完美无偏，仅凭“用原始效应量点估计来规划复制样本量”这一常见做法，就足以导致复制率低于名义目标。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：本文研究了社会科学中复制率低的统计原因，重点关注复制研究样本量设定方法的缺陷，并证明即使原始研究无偏，复制率也会系统性低于名义目标。
  2. 核心工具 / 方法：作者构建了一个简约的发表过程模型，该模型仅包含“原始研究无偏估计效应量”和“复制研究基于该估计值设定样本量”两个环节，并利用Jensen不等式和功效函数的凸性推导出复制率的理论下界。
  3. 主要结论：理论证明复制率低于名义目标；实证上，该简约模型能完全解释实验经济学和社会科学的复制率，以及心理学三分之二的复制差距。作者据此提出了实用建议（如使用效应量置信区间下限来规划样本量）。

关键设定与假设

在第二节最小记号的基础上，本文的完整设定如下：

  • 假设1：原始研究无偏。\( \mathbb{E}[\hat{\theta}_o] = \theta \)。这是本文论证的基石，也是与“发表偏倚”解释的关键区别。作者通过这个假设来隔离“样本量设定方法”的独立影响。
  • 假设2：复制研究使用“天真”样本量设定方法。即复制样本量 \( n_r \) 被设定为使得在 \( \theta = \hat{\theta}_o \) 下达到名义功效 \( 1-\beta \)。这是本文批判的对象，也是现实中最常用的做法。
  • 假设3：正态性。\( \hat{\theta}_o \) 和 \( \hat{\theta}_r \) 服从正态分布。这是一个简化假设，用于推导解析结果。作者在附录中讨论了放松此假设的稳健性。
  • 假设4：已知方差。总体方差 \( \sigma^2 \) 已知。这也是一个简化假设，实际中通常用标准误估计值代替。作者认为这不会改变核心结论。
  • 相比已有文献的强化/放宽：相比Camerer et al. (2016)等实证工作，本文强化了假设（原始研究无偏），从而隔离出一个被忽视的机制。相比Albers (2019)等理论工作，本文放宽了假设（不要求复制研究使用与原始研究完全相同的设计），并提供了更系统的实证检验。

主要结果

  • 理论结果（定理1）：在假设1-4下，复制率 \( R \) 满足：

    \[R < 1 - \beta\]
    即复制率严格小于名义功效。证明的核心是Jensen不等式：由于功效函数 \( \text{Power}(\theta, n_r(\hat{\theta}_o)) \) 是 \( \hat{\theta}_o \) 的凸函数（在给定 \( n_r \) 下），且 \( n_r \) 本身是 \( \hat{\theta}_o \) 的减函数，导致无条件期望小于条件期望。

    • 直觉：当原始研究因抽样误差而高估效应量时，复制样本量会被设定得过小，导致复制功效远低于名义值。当原始研究低估效应量时，复制样本量会被设定得过大，但功效提升有限（因为功效函数在效应量较大时趋于平缓）。两者平均下来，复制率低于名义值。
    • 必要条件：原始研究必须是有统计功效的（即 \( \hat{\theta}_o \) 显著），否则复制研究不会被启动。这个条件在现实中通常成立。
    • 解决的技术难点：证明 \( n_r(\hat{\theta}_o) \) 是 \( \hat{\theta}_o \) 的凸函数，以及整个复合函数 \( \text{Power}(\theta, n_r(\hat{\theta}_o)) \) 的凸性，需要一些微积分技巧。

  • 实证结果：

    • 数据：使用了三个大规模复制项目的数据：实验经济学（Camerer et al., 2016）、社会科学（Camerer et al., 2018）和心理学（Open Science Collaboration, 2015）。
    • 方法：作者用其简约模型（仅包含“原始研究无偏”和“天真样本量设定”两个机制）模拟了复制率，并与实际观察到的复制率进行比较。
    • 核心量化结论：
      • 实验经济学：模型预测的复制率与实际观察到的复制率几乎完全一致（差距小于1个百分点）。
      • 社会科学：模型预测的复制率与实际观察到的复制率也高度一致（差距约2个百分点）。
      • 心理学：模型预测的复制率解释了实际复制率与名义目标（80%）之间差距的三分之二。剩下的三分之一差距，作者归因于心理学中可能存在的额外因素（如更大的发表偏倚或效应量异质性）。
    • 与baseline对比：baseline是“名义目标80%”，即如果复制研究设计完美，我们应观察到80%的复制率。实际观察到的复制率远低于80%（约60-70%）。作者的模型成功地将大部分差距归因于样本量设定方法，而不是原始研究偏倚。

证明路线与技术技巧

  • 整体路线：

    1. 定义复制率：将复制率 \( R \) 定义为对原始效应量估计值 \( \hat{\theta}_o \) 取期望的复制功效。
    2. 写出复制功效：给定 \( \hat{\theta}_o \)，复制功效是 \( \text{Power}(\theta, n_r(\hat{\theta}_o)) \)。其中 \( n_r(\hat{\theta}_o) \) 由“天真”方法决定。
    3. 证明凸性：证明 \( \text{Power}(\theta, n) \) 是 \( n \) 的凹函数，但 \( n_r(\hat{\theta}_o) \) 是 \( \hat{\theta}_o \) 的凸函数。关键在于证明复合函数 \( \text{Power}(\theta, n_r(\hat{\theta}_o)) \) 是 \( \hat{\theta}_o \) 的凸函数。
    4. 应用Jensen不等式：由于 \( \hat{\theta}_o \) 是随机变量，且复合函数是凸函数，根据Jensen不等式，\( \mathbb{E}[\text{Power}(\theta, n_r(\hat{\theta}_o))] > \text{Power}(\theta, n_r(\mathbb{E}[\hat{\theta}_o])) \)。
    5. 比较与名义目标：注意 \( n_r(\mathbb{E}[\hat{\theta}_o]) = n_r(\theta) \) 是“如果知道真实效应量”时会设定的样本量，此时复制功效恰好等于名义目标 \( 1-\beta \)。因此，\( R < 1-\beta \)。

  • 关键跳跃点：最吃功夫的步骤是证明复合函数的凸性。这需要仔细分析 \( \text{Power}(\theta, n) \) 关于 \( n \) 的二阶导数，以及 \( n_r(\hat{\theta}_o) \) 关于 \( \hat{\theta}_o \) 的二阶导数，并证明它们的组合满足凸性条件。作者在附录中给出了详细的微积分推导。

  • 技术技巧点名：

    • Jensen不等式：核心工具，用于将条件期望与无条件期望联系起来，证明复制率低于名义目标。
    • 凸性分析：对功效函数和样本量设定函数进行二阶导数分析，证明复合函数的凸性。
    • 数值模拟：用于在更一般的设定下（如非正态分布、未知方差）验证理论结果，并生成与实证数据比较的预测值。

真实例子与应用

  • 用的什么数据 / 场景：三个大规模复制项目的数据集：实验经济学（Camerer et al., 2016）、社会科学（Camerer et al., 2018）和心理学（Open Science Collaboration, 2015）。每个数据集都包含了原始研究的效应量估计、标准误，以及复制研究的效应量估计和是否显著的结果。
  • 怎么把本文方法用上去：作者首先从每个数据集中提取原始研究的效应量估计 \( \hat{\theta}_o \) 和标准误。然后，他使用“天真”样本量设定方法，为每个原始研究计算一个“名义上”的复制样本量 \( n_r \)。接着，他利用其模型模拟在这个 \( n_r \) 下，复制研究能成功复现显著结果的概率（即复制率）。最后，他将模型预测的复制率与实际观察到的复制率进行比较。
  • 得到什么结果：如上所述，模型预测与实际观察高度一致，尤其是在实验经济学和社会科学中。
  • 这个例子想说明什么：这个实证例子旨在验证其理论模型的预测能力。它表明，一个仅包含“样本量设定方法缺陷”的简约模型，就能解释大部分观察到的复制率差距。这有力地支持了作者的论点：复制率低的主要原因可能不是原始研究有偏，而是复制研究设计本身的问题。

🔎 结论是否比证明窄

  • 是。作者在引言和结论中声称其模型能“完全解释”实验经济学和社会科学的复制率，但严格证明的部分仅限于“复制率低于名义目标”这一理论结果。实证部分虽然高度吻合，但并未证明其他机制（如发表偏倚）不存在或不起作用。作者自己也承认，心理学中三分之一的复制差距无法被其模型解释，暗示了其他因素的存在。
  • 具体语句：作者在结论中写道：“a parsimonious model accounting only for these issues can fully explain observed replication rates in experimental economics and social science”。这里的“fully explain”是一个很强的claim，但严格来说，它只是“与数据高度一致”，而非“排除了其他解释”。这是一个值得注意的、可能被过度泛化的结论。

四、开放问题

  1. 如何设计一个“最优”的复制样本量设定方法？ 本文指出了“天真”方法的缺陷，并建议使用效应量置信区间的下限。但这是否是最优的？是否存在一个贝叶斯方法或决策理论框架，能更系统地权衡复制成本与复制成功率？这扎根于本文的“Practical Recommendations”部分。
  2. 本文的模型能否扩展到包含发表偏倚和p-hacking？ 作者承认其模型排除了这些机制。一个自然的问题是：如果将这些机制纳入模型，复制率会如何变化？它们是与样本量设定方法交互作用，还是独立地降低复制率？这扎根于本文的“Limitations”部分（作者明确提到模型不包含这些机制）。
  3. 不同学科间复制率差异的根源是什么？ 作者的模型能完全解释实验经济学和社会科学，但只能解释心理学三分之二的差距。这剩下的三分之一差距是源于心理学中更大的发表偏倚、更强的效应量异质性，还是其他未被识别的因素？这扎根于本文的实证结果部分，是一个明确的、有待探索的实证问题。
  4. 本文的理论结果对更复杂的复制设计（如多站点复制、内部复制）有何启示？ 本文只考虑了最简单的“单次复制”场景。在更复杂的复制设计中，样本量设定问题可能更加复杂，本文的凸性论证是否仍然成立？这扎根于本文的“Conclusion”部分，作者将其作为未来工作方向。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论