随机对照试验是否样本不足？

也许如此：我们研究了发展经济学中随机对照试验（RCT）的统计可信度，以及资源向复制研究的最优配置。利用190篇顶级经济学期刊文章中的745个主假设检验，我们发现实际t统计量远低于80%功效下预期的理论基准2.8，尽管高于与p-hacking相关的数值。

这表明许多RCT的统计功效不足。我们估计了一个考虑选择性发表的实证贝叶斯混合模型，发现大约30%的已发表拒绝结果是错误的发现，平均方向性功效仅为40%。在常规显著性水平下，错误发现的后验概率达到66%。

将原始样本量加倍可使平均错误发现率降低五个百分点，而将显著性阈值收紧至0.005则能带来更大的减少，但代价是发现总数减少。最后，我们在固定预算和证据标准下刻画了资助者的最优复制政策。

在标准正则性条件下，复制研究集中在原始检验统计量的中间区间，且最优复制样本量在原始t统计量上呈单峰分布。说明性校准显示，成功的复制研究将总体错误发现率降低至1.8–7.8%，具体取决于证据标准。

这是Qingyuan Chai, Kevin Lang & Liang Zhong的一篇新论文。该文首发于Marginal REVOLUTION。