Testing for underpowered literatures¶
作者: Stefan Faridani
来源: Journal of Econometrics
主题: 数理统计 / 假设检验
相关性: 6/10
链接: 期刊页 · arXiv
一、领域脉络与小综述¶
这个方向是什么¶
本文属于元科学(meta-science)与发表偏倚(publication bias)修正的交叉领域。其根本科学问题是:在存在选择性发表(selective publication)的现实世界中,如何利用已发表的、被截断的检验统计量(如t分数)分布,去推断一个研究领域(一组实验)在反事实情境下的统计表现——具体而言,是推断若所有实验的样本量被统一放大c²倍,该领域显著结果的比例(即平均统计功效)会提升多少。该方向的核心张力在于:发表偏倚使观测到的t分数分布是截断的,而反事实推断要求我们"补全"被截断的部分,这本质上是一个从截断数据中反卷积(deconvolution)的逆问题。该方向的成熟度处于"方法已建立但假设较强"的阶段:已有方法(如p-curve、z-curve、选择性报告模型)要么依赖对真实效应分布的参数假设,要么依赖效应与标准误独立的强假设,而本文试图在更弱的假设下回答一个更聚焦的问题。
发展脉络¶
-
奠基工作:功效危机的实证诊断。 Ioannidis, Stanley & Doucouliagos (2017) 对159个实证经济学文献、64,076个估计值进行元分析,发现中位统计功效仅为18%,且近90%的研究领域存在大量低功效结果。这项工作将"统计功效"从单个实验的设计参数提升为整个领域的系统性特征,为后续"领域级功效推断"提供了问题意识。其留下的口子是:它只诊断了"功效低"的水平,没有回答"功效是否容易被提高"——即功效对样本量的弹性。
-
主要进展:发表偏倚的识别与修正。 Andrews & Kasy (2019) 提出了一个关键框架:通过复制研究或元分析数据,识别条件发表概率w(t)(作为t分数的函数),并据此修正估计。其核心贡献在于证明了:只要发表概率已知(或可识别),就可以通过加权(1/w(t))来还原无偏的效应分布。但该方法需要复制数据或对效应-标准误联合分布施加结构假设,且其修正目标是"平均效应",而非"反事实功效"。
-
方法竞争:p-hacking 检测与 z-curve 估计。 Elliott, Kudrin & Wüthrich (2022) 从理论上刻画了p-hacking(在阈值附近操纵t分数)对t分数分布施加的可检验约束(如完全单调性),提供了检测工具。Bartoš & Schimmack (2022) 的 z-curve 方法则直接假设真实效应服从有限混合分布(如7个固定均值的正态混合),通过EM算法估计混合权重,从而推断发表偏倚下的功效。这两条线的共同局限是:对真实效应分布施加了具体形状假设(有限混合、Gamma等),而本文作者认为这些假设在异质性研究领域中难以验证。
-
当前前沿:非参数反卷积与反事实推断。 本文(Faridani, 2026)的位置是:在完全不假设真实效应分布形状(允许任意分布、允许点质量)的前提下,利用高斯卷积的解析结构,直接估计反事实功效增益Δ_c。其技术路线是谱截断(spectral cutoff)——在Hermite多项式基下展开,利用奇异值衰减率控制估计误差。这继承了Johannes (2009) 在未知误差分布反卷积中的技术思想,但将其应用于一个新的统计量(反事实功效增益)。
子线索聚类¶
- 功效危机的实证测量(Ioannidis et al., 2017; Button et al., 2013; Open Science Collaboration, 2015):用元分析手段量化各领域功效水平,结论是"普遍低功效"。
- 发表偏倚的识别与修正(Andrews & Kasy, 2019; Duval & Tweedie, 2000; Havranek et al., 2024):通过复制数据或效应-标准误联合分布识别发表机制,修正元分析估计。
- p-hacking 的统计检测(Elliott et al., 2022; Brodeur et al., 2016, 2020):利用t分数分布在阈值附近的形状约束(单调性、完全单调性)检测操纵行为。
- 基于分布假设的功效/复制率推断(Bartoš & Schimmack, 2022; Brunner & Schimmack, 2020; Sotola, 2023):假设真实效应服从参数混合分布,用EM或矩方法估计,进而推断功效或复制率。
- 非参数反卷积方法(Johannes, 2009; Carrasco & Florens, 2011; Hohage et al., 2024):在函数空间框架下处理卷积逆问题,本文是其在新应用场景的延伸。
这个方向在追问的核心问题¶
- 如何从截断数据中识别发表机制? 仅靠已发表的t分数分布,发表概率w(t)与真实效应分布Π₀之间存在固有的不可识别性(Andrews & Kasy, 2019 需要复制数据或独立性假设才能打破)。
- 如何在不假设效应分布形状的前提下做反事实推断? 现有方法(z-curve等)依赖参数假设,而真实研究领域的效应异质性(不同干预、不同结局、不同人群)使得这些假设难以成立。
- 功效的"边际弹性"是多少? 即样本量增加一个给定比例,领域平均功效提升多少?这直接关系到资助决策:是资助更多研究,还是资助更大样本的少数研究?
⚠️ 作者的 framing(这是作者的说法)¶
作者将缺口frame成:现有方法要么假设效应分布有特定形状(如Gamma、有限混合),要么需要复制数据,因此无法应用于"仅有一组已发表t分数"的异质性研究领域。 本文声称填补的空白是:在零假设(对Π₀无任何假设,允许点质量)下,用谱截断反卷积直接估计Δ_c,并证明其以n的幂律速率收敛(而非对数速率)。作者还强调,其方法对发表偏倚的修正与反卷积步骤是可分离的——发表偏倚通过一个简单的重加权(1/w)处理,而反卷积只作用于修正后的分布,因此"发表偏倚的不确定性不会放大反卷积的误差"。注意:作者淡化了两个竞争方法——(i) z-curve在实证中表现良好,且其有限混合假设可能比非参数方法更高效;(ii) Andrews & Kasy (2019) 的复制数据方法虽然需要更多数据,但能同时识别发表机制与效应分布,而本文只能处理参数化的发表机制(如阈值截断)。作者在intro中未直接回应这些竞争方法的优势。
张力¶
未见明显的、在略不同条件下得出相反结论的引用。但存在一个方法间的隐性张力:z-curve(Bartoš & Schimmack, 2022)假设效应分布是离散的有限混合,而本文允许任意分布(包括连续分布)。在模拟中,本文声称其方法在z-curve的假设被违反时表现更好,但未报告当真实分布确实是有限混合时,其效率损失有多大。这是一个值得研究者去查的实证问题。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
可观测数据:研究者收集到n个已发表的t分数,记为{t₁, ..., tₙ}。每个t分数来自一个独立的实验i,该实验报告了其检验统计量tᵢ = b̂ᵢ / σ̂ᵢ(点估计除以标准误)。关键:我们只观测到被发表的t分数,即那些通过了某种选择性发表机制的分数。
潜在变量(不可观测): - Hᵢ:第i个实验的"真实效应"(以标准误为单位),即Hᵢ = βᵢ / σᵢ。这是一个随机变量,其分布Π₀是我们要推断的对象。 - Zᵢ:标准正态噪声,Zᵢ ~ N(0,1),独立于Hᵢ。
数据生成机制(模型): 1. 每个实验有一个真实效应Hᵢ,从某个未知分布Π₀中抽取。Π₀完全未知,可以是任意概率分布(离散、连续、混合),甚至可以有重尾。 2. 实验产生一个t分数:Tᵢ = Hᵢ + Zᵢ,其中Zᵢ ~ N(0,1)。(这是由中心极限定理/正态近似保证的。) 3. 发表机制:实验者以概率w_θ₀(Tᵢ)发表该t分数,其中w_θ₀(t)是已知形式的函数(如阈值截断:w(t) = 1{|t| > 1.96}),但参数θ₀未知。我们观测到的t分数是条件于Rᵢ = 1(被发表)的Tᵢ。
关键区分: - 可观测:Tᵢ | Rᵢ = 1(被发表的t分数),以及发表机制的参数形式w_θ(t)。 - 不可观测:Hᵢ(真实效应)、Zᵢ(噪声)、Π₀(真实效应分布)、θ₀(发表偏倚参数)。
目标量(estimand): - 反事实功效增益:Δ_c ≡ Pr(|T_c| > CV) − Pr(|T| > CV),其中T_c = cH + Z,c > 1是样本量放大因子(样本量放大c²倍,则标准误缩小c倍,故H放大c倍)。CV是临界值(如1.96)。 - 注意:Δ_c是无条件概率(对Hᵢ和Zᵢ取期望),不是条件于发表的概率。它回答的问题是:"如果所有实验都重做且样本量放大c²倍,那么显著结果的比例会从当前的Pr(|T|>CV)提升到Pr(|T_c|>CV)。"
第二步:最小内核¶
核心数学问题:我们观测到的是被发表t分数的分布f_{T|R=1}(t),它等于:
f_{T|R=1}(t) = [w_θ₀(t) · f_T(t)] / Pr(R=1)
其中f_T(t) = ∫ φ(t−h) dΠ₀(h) 是未发表的t分数密度(即真实效应分布Π₀与标准正态噪声的卷积)。发表偏倚w_θ₀(t)在t=1.96处引入一个跳跃(或更一般的非光滑性)。
关键洞察(本文的核心):虽然Π₀完全未知,但Δ_c只依赖于Π₀的某些低阶矩(通过Hermite展开),而这些矩可以从f_{T|R=1}的光滑部分中提取出来。具体来说:
-
发表偏倚的识别:由于w_θ₀(t)在1.96处有跳跃,而f_T(t)是光滑的(因为它是高斯卷积),所以f_{T|R=1}(t)在1.96处的跳跃幅度直接决定了θ₀。这就像在噪声中检测一个已知位置的阶跃函数——跳跃高度就是信号。
-
反卷积的谱截断:一旦θ₀已知,我们可以通过重加权1/w_θ₀(t)来"去除"发表偏倚,得到f_T(t)的估计。但f_T(t)本身是Π₀与高斯的卷积,要从f_T(t)反解Π₀是严重病态的(因为高斯卷积核的傅里叶变换指数衰减)。然而,Δ_c不需要完整的Π₀,只需要Π₀与某个光滑函数的内积。在Hermite基下,这个内积恰好是Π₀的Hermite系数乘以一个已知的衰减因子。谱截断就是只保留前J_n个系数,舍弃高频项——这些高频项对Δ_c的贡献被高斯核指数压制,所以截断误差可控。
最小例子(为什么需要谱截断):假设真实效应分布Π₀是单点质量在h₀(即所有实验有相同的真实效应)。那么f_T(t) = φ(t−h₀),是一个平移的高斯。如果我们观测到完整的f_T(t),我们可以精确地读出h₀(就是均值)。但如果我们只观测到被截断的版本(比如只看到|t|>1.96的部分),那么h₀的估计就变得困难——特别是当h₀很小时,截断部分几乎不包含信息。谱截断方法通过Hermite展开,将"估计h₀"转化为"估计f_T的前几个Hermite系数",而这些系数可以从截断数据中一致地估计出来(因为截断只影响高频部分)。
为什么这个例子是"最小内核":它剥离了所有技术细节,展示了本文方法的本质——利用高斯卷积的光滑化效应,将病态的反卷积问题转化为良态的低阶矩估计问题。单点质量情形下,Δ_c = Φ(h₀·c − CV) − Φ(h₀ − CV)(加上两侧尾部),只需要h₀这一个参数。而h₀恰好是f_T的一阶矩,可以从截断数据中估计。一般分布情形只是这个例子的"加壳"——用更多Hermite系数代替单一参数h₀。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在发表偏倚存在且真实效应分布完全未知(允许任意分布、点质量)的条件下,如何一致地估计一组实验在样本量反事实放大c²倍后的平均统计功效增益Δ_c。
- 核心方法:提出一个两阶段估计量——第一阶段用t分数分布在临界值(1.96)处的跳跃来估计发表偏倚参数θ₀;第二阶段用谱截断(spectral cutoff)在Hermite基下反卷积,从偏倚修正后的t分数分布中提取Δ_c所需的低阶矩,并证明该估计量以n的幂律速率收敛(而非对数速率)。
- 主要结论:在模拟中,该方法在多种真实效应分布(包括离散点质量、重尾、双峰)下均保持接近名义水平的95%置信区间覆盖率;应用于经济学顶刊RCT数据,发现样本量加倍仅使t检验功效平均提升7.2个百分点,显著小于非RCT(17.3个百分点),且与实验室心理学系统复制的估计相当。
关键设定与假设¶
- 假设1(条件正态性):T = H + Z,Z ~ N(0,1),H ⊥ Z。这是t分数近似正态的假设,作者在模拟中放宽为t(30)分布和log-normal均值,发现覆盖率下降很小。
- 假设2(弱相依性):t分数在实验内可以相关,但跨实验独立,且每个实验最多贡献C_B个t分数。这允许同一篇文章报告多个t分数。
- 假设3(发表偏倚有界):w_θ₀(t) ≥ M⁻¹ > 0,即任何t分数都有正概率被发表。这排除了"极端发表偏倚"(如只发表p<0.001的结果),但允许在1.96处有跳跃。
- 假设4(参数化发表机制):w_θ(t)的形式已知(如阈值截断),但θ₀未知。这是与Andrews & Kasy (2019)的关键区别——后者允许w(t)完全非参数,但需要复制数据。
- 假设5(非退化):liminf n→∞ nϵₙλ²_Jₙ V[...] > 0,即估计量的方差不会退化到零,保证CLT成立。
相比已有文献的放宽/强化: - 放宽:不假设Π₀的具体形式(对比z-curve的有限混合假设);不要求复制数据(对比Andrews & Kasy 2019)。 - 强化:发表机制必须是参数化的(w_θ形式已知);t分数必须条件正态(对比Andrews & Kasy允许任意误差分布)。
主要结果¶
定理1(识别):对任意概率分布Π₀(无需任何正则性条件),Δ_c由f_{T|R=1}和θ₀唯一确定。证明思路:先用跳跃识别θ₀,再用Hermite展开的完备性。
定理2(无发表偏倚时的收敛速率):若θ₀已知,选择J_n使得λ_{J_n} ≍ n^{-1/2},则估计误差为O_p(n^{-q/2}),其中q = log((1+σ_T²)/(1+σ_T²−c⁻²)) / log((σ_T²+1)/σ_T²)。当c→1⁺时,q→1,即接近参数速率n^{-1/2};当c→∞时,q→0,即速率退化。直觉:c越大,反事实越远,需要越多高频信息,而高频信息被高斯核指数压制,所以速率越慢。
定理4(有发表偏倚时的收敛速率):加入发表偏倚估计后,速率降为n^{-q/3}。关键:发表偏倚估计的误差(O_p(n^{-1/3}))主导了整体速率,因为θ₀的估计需要用到宽度为ϵₙ的直方图,而ϵₙ的最优选择是n^{-1/3}。
定理5-6(推断):在假设5下,估计量渐近正态,且可行方差估计量一致。注意:渐近正态是围绕确定性序列eΔ_{c,n}而非Δ_c,因为谱截断引入了确定性偏差。作者建议通过"欠平滑"(选择比最优更大的J_n)来使偏差阶数低于标准差阶数。
证明路线与技术技巧¶
整体路线(以定理4为例): 1. 第一步:估计发表偏倚。用直方图估计t分数在1.96附近的跳跃。关键在于:f_{T|R=1}(t)在1.96处的不连续性是w_θ₀的跳跃造成的,而f_T(t)本身是光滑的。因此,跳跃高度 = f_T(1.96)·(θ₀⁻¹−1)·Pr(|T|<1.96) 的某种函数。通过比较1.96左右两侧的密度估计,可以解出θ₀。 2. 第二步:去除发表偏倚。用估计的θ₀对每个t分数加权(1/w_θ̂ₙ(tᵢ)),得到"伪完整"样本。 3. 第三步:谱截断反卷积。将加权后的经验分布投影到前J_n个Hermite基函数上,利用Hermite基在高斯卷积下的对角化性质(卷积核在Hermite基下是对角的),直接读出Π₀的Hermite系数。 4. 第四步:计算Δ_c。将Π₀的Hermite系数代入Δ_c的Hermite展开式,截断求和。
关键技巧: - Hermite基对角化:高斯卷积核在Hermite基下是对角的,即K_{σ²}φ_j = λ_j φ_j,其中λ_j = σ^{2j}(或类似形式)。这避免了数值反卷积的困难,将问题转化为代数运算。 - 谱截断与偏差-方差权衡:截断点J_n的选择是关键。J_n太小则偏差大(丢失高频信息),太大则方差大(高频系数估计噪声大)。作者证明最优J_n ~ log(n)/log(1/λ₁),此时偏差和方差同阶。 - 发表偏倚与反卷积的可分离性:这是本文最重要的技术贡献。作者证明,发表偏倚的估计误差(O_p(n^{-1/3}))不会通过反卷积步骤被放大,因为反卷积的谱截断算子是有界的(λ_j ≤ 1)。这避免了"误差放大"的恶性循环。
真实例子: - 数据:Brodeur et al. (2020) 的21,740个t分数,其中7,569个来自145篇RCT文章,14,171个来自559篇非RCT文章。 - 方法应用:对RCT和非RCT分别估计Δ_c(c=√2,即样本量加倍)。RCT的Δ_c估计为0.072(SE 0.025),非RCT为0.173(SE 0.023),差异显著(p=0.00)。 - 基准比较:假设所有实验功效恰好80%的假想领域,Δ_c应为0.178。RCT的估计值远低于此,说明RCT领域存在大量"刚好显著"的结果(即真实效应接近检测阈值)。 - 稳健性:使用Many Labs复制数据(385个t分数,36个实验室),在假设共同真实效应的条件下,估计Δ_c为0.078(SE 0.0007),与RCT估计一致。作者强调,Many Labs实验设计时已用先前数据做功效计算,因此应接近80%功效,但估计值仍远低于0.178,说明即使精心设计的复制实验也存在功效高估。
🔎 结论是否比证明窄¶
是的,存在几处: 1. 定理1声称"对任意Π₀"成立,但证明依赖于Hermite展开的收敛性。对于重尾分布(如Cauchy),Hermite系数衰减很慢,谱截断的偏差可能不随J_n增大而快速减小。作者在模拟中测试了Cauchy,但未给出理论保证。具体位置:定理1的陈述(Section 4)与证明(Appendix B.3)之间,证明使用了Dominated Convergence Theorem,但未验证Π₀的Hermite系数绝对可和。 2. 定理4的速率n^{-q/3}是在假设ϵₙ ~ n^{-1/3}下得到的,但作者未证明这是最优选择。如果ϵₙ选择不同,速率可能不同。作者在Section 8中仅凭模拟推荐ϵₙ = 0.1,缺乏理论依据。 3. 发表偏倚模型(式22-23)假设w_θ₀(t)在1.96处有跳跃,但实际发表偏倚可能更复杂(如连续依赖于p值)。作者在intro中承认这一点,但未讨论当模型误设时估计量的行为。具体位置:Section 6的开头,作者说"为了可处理性,我假设...",但未提供误设稳健性分析。 4. 定理5-6的渐近正态是围绕eΔ_{c,n}而非Δ_c,这意味着置信区间覆盖的是"带偏差的目标"而非真实Δ_c。作者建议通过欠平滑来消除偏差,但未给出具体的J_n选择准则。具体位置:Theorem 5的陈述与Remark 6之间。
四、开放问题¶
-
发表偏倚模型的误设稳健性:当真实发表机制不是简单的阈值截断(如连续依赖于p值、或依赖于效应方向)时,本文的估计量是否仍然一致?作者在Section 6中假设w_θ₀(t)在1.96处有跳跃,但未讨论误设情形。扎根点:Section 6开头"为了可处理性,我假设发表概率只取决于t分数是否超过临界值"——这是一个强假设,值得检验其稳健性。
-
最优调参准则:定理4给出了速率n^{-q/3},但未给出J_n和ϵₙ的最优联合选择准则。作者在模拟中推荐C=2, D=0.05, σ_T=1,但未提供数据驱动的选择方法(如交叉验证或自适应准则)。扎根点:Section 8中"我推荐以下调参选择...",但未提供理论依据。
-
异质性处理效应的扩展:本文假设每个实验的t分数服从H + Z,其中H是标量。但在实际RCT中,处理效应可能因亚组而异,且t分数可能来自不同检验(如DID、IV)。如何将方法扩展到多参数检验或非正态检验统计量?扎根点:Section 2的Assumption 1(条件正态性)和Section 3的模型设定。
-
发表偏倚与p-hacking的联合识别:本文的发表偏倚模型只考虑了"是否发表"的选择,但p-hacking(在阈值附近操纵统计量)会引入额外的非光滑性。Elliott et al. (2022) 的方法可以检测p-hacking,但本文未将其纳入模型。扎根点:Section 2的Related Literature中,作者引用了Elliott et al. (2022)但未讨论如何与其结合。
-
效率界与最优性:本文证明了估计量的速率,但未证明其是minimax最优的。是否存在更快的估计量?特别是,发表偏倚参数θ₀的估计是否达到了半参数效率界?扎根点:Theorem 4的陈述中,作者仅给出上界,未讨论下界。
提示:要确认这些是否真为gap,建议去读近5年元科学方法论文献(如 Research Synthesis Methods, Psychological Methods)中关于发表偏倚修正的论文,看是否有工作已经处理了上述问题。特别是,z-curve的后续工作(如Bartoš et al. 2023)可能已经讨论了模型误设问题。
Maintained by 陈星宇 · Homepage · Source on GitHub