How Replicable Are Statistically Significant Findings?¶
作者: Patrick Vu, Stefan Faridani
主题: 数理统计 / 假设检验
相关性: 6/10
链接: https://arxiv.org/abs/2608.23257
一、领域脉络与小综述¶
这个方向是什么¶
本文属于"元科学"(metascience)与"复制性预测"(replication prediction)的交叉领域。其根本科学问题是:在实证研究中,一个达到常规显著性阈值(如 p<0.05)的发现,在相同样本量的重复研究中保持显著的概率究竟有多大?这一问题的统计本质是:给定观测到的检验统计量(或 p 值),在假设真实效应分布已知的条件下,计算"复制成功"这一事件的概率。该领域当前处于"从描述性证据转向可验证预测"的成熟阶段——早期工作(如 Open Science Collaboration 2015)只是报告了复制成功率,而本文试图构建一个可预测、可验证的统计量。
发展脉络¶
- 奠基工作:复制危机的实证记录。Open Science Collaboration (2015) 对心理学 100 项研究进行系统复制,报告复制成功率约 36%;Camerer et al. (2016, 2018) 分别对实验经济学和社会科学进行类似大规模复制。这三项工作确立了"复制率低"这一经验事实,但未提供理论框架来解释为何低、低到何种程度可预期。
- 关键理论框架:选择性发表模型。Andrews and Kasy (2019) 提出"metastudy approach",将发表偏倚建模为检验统计量的函数 s(ẑ),并证明在可忽略性条件下,真实效应分布可从已发表研究中识别。这是本文的直接理论基石——本文的预测力曲线完全建立在该框架之上。
- 复制率预测的早期尝试:van Zwet and Goodman (2022) 在医学研究中用参数模型估计预测力,但未考虑发表偏倚;Lang (2025) 估计经济学中约 65% 的窄拒原假设可能是错误拒绝。这些工作要么忽略发表偏倚,要么未将预测力与 p 值直接关联。
- 本文位置:本文首次将 Andrews-Kasy 框架用于估计"给定 p 值条件下的复制概率",并首次用实际复制结果验证该预测的校准性。其核心贡献不是新理论,而是将已有识别框架转化为一个可操作的预测指标,并提供了跨领域的实证验证。
子线索聚类¶
- 复制危机的实证测量(Open Science Collaboration 2015; Camerer et al. 2016, 2018):大规模复制项目,提供复制成功率的基准数据。这些数据在本文中既是估计的输入(原始研究),也是验证的基准(复制结果)。
- 发表偏倚的统计建模(Andrews and Kasy 2019; Elliott et al. 2022):将选择性发表纳入模型,解决"从已发表数据恢复真实效应分布"的识别问题。本文的预测力曲线完全依赖此框架。
- 复制结果的预测与市场(Dreber et al. 2015; Gordon et al. 2021):用预测市场、调查等方式预测复制结果。本文的验证部分直接与 Gordon et al. (2021) 的预测市场数据对比。
- 统计功效与复制率的关系(Vu 2024; van Zwet and Goodman 2022):探讨功效计算、样本量选择与复制率之间的数学关系。本文的机制解释(低功效而非发表偏倚)直接继承自 Vu (2024)。
这个方向在追问的核心问题¶
- 给定 p 值,复制概率是多少? 这是本文直接回答的问题。主流方法(如功效分析)用估计效应替代真实效应,导致乐观偏差;本文用真实效应分布的后验,避免了这一偏差。
- 低复制率的主因是发表偏倚还是低功效? 本文的答案(通过预测力曲线与发表偏倚无关的性质)是低功效。这与 Brodeur et al. (2020) 的 p-hacking 证据形成张力。
- 如何从已发表数据中恢复真实效应分布? Andrews-Kasy 框架给出了参数识别条件,但非参数估计的收敛速度与有限样本性质仍是开放问题。
- 复制成功如何更新对原假设的信念? 本文的贝叶斯更新公式(式 3)给出了一个具体答案,但其对先验选择的敏感性未充分讨论。
⚠️ 作者的 framing(这是作者的说法)¶
作者将缺口 frame 为:"现有复制率预测要么依赖参数假设(van Zwet-Goodman),要么忽略发表偏倚,且从未用实际复制结果验证过预测的校准性。本文首次提供非参数、对发表偏倚不变的预测力曲线,并验证其优于预测市场。" 作者淡化了以下竞争路线:(1) 基于机器学习的复制预测(如 Altmejd et al. 2019 用文本特征预测),认为其缺乏理论解释;(2) 将复制率视为研究领域异质性的函数,而非统一框架。值得研究者去查的问题:Andrews-Kasy 框架的识别假设(效应与标准误独立)在经济学观察性研究中是否成立?本文未讨论违反该假设的后果。
张力¶
未见明显对立引用,但存在一个隐含张力:Brodeur et al. (2020) 用断点回归证据表明经济学中存在大量 p-hacking,而本文的预测力曲线(对发表偏倚不变)暗示 p-hacking 不是复制率低的主因。两者可能兼容(p-hacking 影响的是已发表效应的分布形状,而非给定 p 值下的复制概率),但本文未直接回应这一张力。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号(逐个点名):
- i:研究索引,i = 1, ..., n。
- βᵢ:第 i 项研究的真实效应(参数,不可观测)。
- σᵢ:第 i 项研究的标准误(已知,由样本量决定)。
- zᵢ = βᵢ/σᵢ:真实标准化效应(潜在量,不可观测)。
- ẑᵢ:估计的标准化效应(随机变量,可观测)。
- pᵢ:双边 p 值,pᵢ = 2[1−Φ(|ẑᵢ|)](可观测)。
- Rᵢ:复制成功指示变量,Rᵢ = 1{ |ẑᵢʳ| ≥ 1.96 且 sign(ẑᵢʳ) = sign(ẑᵢ) }(可观测,但仅在复制研究中)。
- π(z):真实效应的分布(密度,目标估计对象)。
- π̃(z) = [π(z)+π(−z)]/2:对称化分布(可识别对象)。
- s(ẑ):发表概率函数(Andrews-Kasy 框架中的关键函数)。
- r(p):预测力曲线,r(p) = Pr(R=1 | 原始 p 值 = p, 已发表)。
- cv(p) = Φ⁻¹(1−p/2):双边 p 值对应的临界值。
模型(数据生成机制):
- 真实效应 zᵢ ~ π(·)(未知分布)。
- 估计效应 ẑᵢ | zᵢ ~ N(zᵢ, 1)(标准化后方差为 1)。
- 发表选择:Dᵢ = 1 以概率 s(ẑᵢ)(选择性发表)。
- 复制:ẑᵢʳ | zᵢ ~ N(zᵢ, 1),独立于 ẑᵢ。
可观测数据:
- 已发表研究的 |ẑᵢ|(或等价地 pᵢ),i = 1, ..., n。
- 复制研究中,可观测 Rᵢ(成功/失败)以及复制效应估计。
- 不可观测:真实效应 zᵢ、发表概率 s(ẑᵢ)、未发表研究的 ẑᵢ。
关键识别条件(Andrews-Kasy 2019):s(ẑ) 对称且仅依赖 |ẑ|,则 π̃ 可从已发表 |ẑ| 的分布中识别。本文的预测力曲线 r(p) 只依赖 π̃,因此对发表偏倚不变。
第二步:最小内核¶
最简特例:假设所有研究有相同标准误(σᵢ = 1),且真实效应分布 π 为单点分布 π(z) = δ_μ(所有研究真实效应相同)。此时:
- 原始估计 ẑ ~ N(μ, 1),p 值 p = 2[1−Φ(|ẑ|)]。
- 复制成功概率:给定原始 |ẑ| = cv(p),复制估计 ẑʳ ~ N(μ, 1)。
- 复制成功需要 |ẑʳ| ≥ 1.96 且 sign(ẑʳ) = sign(ẑ)。
关键计算:若原始 ẑ > 0(即 sign(ẑ) = +),则 r(p) = Pr(ẑʳ ≥ 1.96 | μ) = 1 − Φ(1.96 − μ)。
但 μ 未知。在贝叶斯框架下,给定原始 ẑ = cv(p),μ 的后验为: μ | ẑ ~ N(ẑ/(1+1), 1/(1+1)) = N(cv(p)/2, 1/2)(若先验 μ ~ N(0,1))。
于是: r(p) = E[1 − Φ(1.96 − μ) | ẑ = cv(p)] = 1 − Φ((1.96 − cv(p)/2)/√(1 + 1/2))。
这个特例揭示了核心机制:预测力 r(p) 完全由"给定 p 值条件下真实效应的后验分布"决定。p 值越小(cv(p) 越大),后验均值越大,复制概率越高。但即使 p = 0.05(cv = 1.96),后验均值仅为 0.98,复制概率约为 1 − Φ(1.96 − 0.98) ≈ 0.16——远低于直觉预期的 0.5 或更高。
一般化的困难:当 π 未知且非参数时,需要从已发表 |ẑ| 的分布中反卷积估计 π̃。这是严重不适定问题(Carroll-Hall 1988),但 r(p) 作为 π̃ 的线性泛函,其估计可以比 π̃ 本身更快收敛(本文定理 2 的核心)。
一句话总结本文的数学贡献:在发表偏倚存在且形式未知的条件下,构造了预测力曲线 r(p) 的非参数一致估计量,并证明其收敛速度仅以对数速度损失于参数率,且该估计量对发表偏倚不变。
三、这篇论文做了什么¶
三句话¶
① 研究了什么问题:给定原始研究的 p 值,在相同样本量的复制研究中保持显著(同方向、p<0.05)的概率是多少?这一概率在不同领域(实验经济学、心理学、社会科学)和不同研究设计(RCT、RDD、DID、IV)中有何差异?
② 核心工具/方法:在 Andrews-Kasy (2019) 选择性发表框架下,用 metastudy approach 估计对称化真实效应分布 π̃(z),然后通过贝叶斯公式计算预测力曲线 r(p)。参数版本假设 π 为 Gamma 分布;非参数版本用 Hermite 多项式展开 + 谱截断正则化处理反卷积问题。
③ 主要结论:在三个复制项目中,p=0.05 的发现复制概率仅为 0.10–0.25;达到 0.8 的复制概率需要 p 值低于 0.0001(经济学)到 0.00001(社会科学)。预测力曲线对发表偏倚不变,且其预测精度优于预测市场。低复制率主要源于原始研究的低功效,而非发表偏倚或 p-hacking。
关键设定与假设¶
- A1(对称发表):s(ẑ) = s(−ẑ),即发表概率仅依赖 |ẑ|。这比 Andrews-Kasy 原文的假设略强,但保证了 π̃ 的识别。统计含义:正效应和负效应被同等对待,排除了"仅发表正向结果"的极端不对称。
- A2(正态近似):ẑ|z ~ N(z,1)。这是标准近似,要求估计量渐近正态且标准误一致估计。相比已有文献:van Zwet-Goodman 假设效应与标准误独立,本文通过对称化放松了这一假设。
- A3(复制同分布):复制研究的抽样分布与原始研究相同(标准化后)。关键限制:排除了复制研究使用不同设计或样本量的情况(附录 D 部分放宽)。
- A4(Gamma 先验,仅参数版本):π 为 Gamma 分布。这是计算便利假设,非参数版本不需要。
- A5(发表概率下界):inf s(ẑ) > 0,保证反卷积问题可识别。
相比 Andrews-Kasy 的扩展:本文不假设 π 的参数形式(非参数版本),且直接针对 r(p) 而非 π 本身进行估计和推断。
主要结果¶
定理 1(预测力表示):在 A1–A3 下, r(p) = ∫ [1−Φ(1.96−z)] φ(cv(p)−z) π̃(z) dz / ∫ φ(cv(p)−z) π̃(z) dz。
直觉:分子是"复制成功"的期望(对真实效应后验),分母是归一化常数。该表达式不含发表函数 s,因此 r(p) 对发表偏倚不变。
定理 2(非参数估计一致性):设 Jₙ = ⌊(2q/log 2) log(A n)⌋,其中 q ≤ 1/2 是发表偏倚参数估计的收敛速度。则: r̂ₙ(p) − r(p) = Oₚ(n^(−q log 2 · (1+2γ²)/(2+2γ²)) · (log n)^(3/4))。
关键点: - 收敛速度随复制样本量倍数 γ 增大而变慢(γ 越大,反卷积越困难)。 - 即使 π̃ 的估计是严重不适定的(对数速度),r(p) 的估计仍可达到多项式速度——因为 r(p) 是 π̃ 的平滑泛函。 - 当 γ=1(同样本量复制)时,指数为 q·log 2·(3/4) ≈ 0.52q,接近参数率 q/2。
实证结果: - p=0.05 时复制概率:经济学实验 0.25,心理学 0.22,社会科学 0.10。 - 达到 0.8 复制概率所需 p 值:经济学 6×10⁻⁵,心理学 5×10⁻⁵,社会科学 1×10⁻⁴。 - 预测力曲线在验证样本上的 Brier 分数为 0.216,优于预测市场的 0.220(但差异不显著,p=0.084)。 - 按研究设计分层:RCT 的复制概率(0.34)显著高于 DID(0.43)和 IV(0.50)——注意这里"高于"是指 p=0.05 时 RCT 反而更低,因为 RCT 样本量通常更小。
证明路线与技术技巧¶
整体路线(定理 1): 1. 写出复制成功概率的条件表达式:Pr(R=1 | ẑ, z) = Pr(ẑʳ ≥ 1.96 | z)·1{ẑ>0} + Pr(ẑʳ ≤ −1.96 | z)·1{ẑ<0}。 2. 对 z 积分,利用 ẑ 与 z 的条件独立性(A3)。 3. 利用发表偏倚的对称性(A1)消去 s(ẑ) 项,得到仅依赖 π̃ 的表达式。
整体路线(定理 2): 1. 谱截断:将 π̃ 在 Hermite 基下展开,截断到 Jₙ 项。利用 Hermite 函数的特征性质(在 Gaussian 卷积下是对角的),将反卷积转化为系数估计。 2. 发表偏倚校正:用 Faridani (2026) 的 caliper ratio 估计器估计 θ₀,构造加权估计量消除选择偏差。 3. 偏差-方差权衡:截断 Jₙ 控制偏差(指数衰减),样本量 n 控制方差(多项式增长)。选择 Jₙ ~ log n 平衡两者。 4. 关键引理(B.1):证明加权矩估计量的收敛速度。难点在于处理发表概率估计误差的传播——通过假设 sup|1/ŝ − 1/s| = Oₚ(n^(−q)) 控制。 5. 关键引理(B.2, B.3):利用 Cauchy 积分公式和 Hermite 多项式的生成函数,证明系数 a_j, d_j 的指数衰减界。这是整个证明最精巧的部分——将解析函数的 Cauchy 估计与 Hermite 展开的谱性质结合。
技术技巧点名: - Hermite 多项式对角化:Gaussian 卷积在 Hermite 基下是对角的,将反卷积转化为简单的系数乘法。 - Cauchy 积分公式:用于证明 a_j 的指数衰减,避免直接计算高维积分。 - Carrasco-Florens 谱方法:借鉴计量经济学中处理 ill-posed inverse problems 的正则化框架。 - Caliper ratio 估计:利用临界值附近的密度不连续识别发表概率,避免参数假设。
🔎 结论是否比证明窄¶
是,存在三处: 1. 定理 2 的收敛速度依赖 q,但 q 是发表偏倚估计的收敛速度,本文未给出 q 的具体值或可验证条件。作者在附录 E 中仅报告了点估计,未提供置信区间。 2. 实证验证仅覆盖三个复制项目,且每个项目的样本量较小(18、73、21 项研究)。作者声称"不能拒绝完美校准",但检验功效极低——这更像"无法拒绝"而非"验证"。 3. 非参数估计器仅应用于经济学数据(Brodeur et al. 2020),未应用于心理学或社会科学复制项目。作者在脚注中承认"数据限制",但未讨论选择偏差。
值得注意:作者在结论中写道"这些结果表明单一研究的统计显著性仅能提供提示性证据",但这一表述超出了定理的严格适用范围——定理只给出了给定 p 值下的复制概率,并未对"证据强度"给出形式化定义。
四、开放问题¶
-
非参数估计器的有限样本性质:定理 2 的收敛速度是渐近的,但 Jₙ 的选择涉及常数 A,实际应用中如何选择?作者未提供数据驱动的选择准则。扎根于定理 2 的陈述"for any A > 0"。
-
发表偏倚函数的非参数识别:本文假设 s(ẑ) 对称且已知函数形式(阶梯函数),但实际发表偏倚可能更复杂(如依赖效应方向、研究领域)。能否在更弱的条件下识别 r(p)?扎根于式 (6) 对 s_θ 的参数化假设。
-
复制样本量与预测力的关系:附录 D 显示高功效复制设计会高估复制率,但未给出校正方法。能否构造一个"设计无关"的复制率指标?扎根于附录 D 的表 D1。
-
跨领域异质性:图 5 显示复制率与样本量对数线性相关,但社会科学点的离群值未解释。是否存在领域特定的效应分布特征?扎根于图 5 的拟合线。
-
与 p-hacking 文献的整合:Brodeur et al. (2020) 的证据表明经济学存在 p-hacking,但本文的预测力曲线对发表偏倚不变。如何调和这两个发现?扎根于第 5.2 节对 Brodeur 数据的重新分析。
提示:要确认这些是否真 gap,建议读近 5 年 metascience 领域(如 Nature Human Behaviour、Journal of Econometrics 的复制特刊)的引言——若多篇都指向同一问题,则为共识性 gap;若互相矛盾,则可能是机会。
Maintained by 陈星宇 · Homepage · Source on GitHub