Meta-analysis and the science of research synthesis

Meta-analysis and the science of research synthesis

Jessica Gurevitch et al 2018 in Nature

综合不同研究结果，实现对一个问题的整体认知，并识别造成差异的来源，是科学过程的重要部分。虽然综述论文可对此进行总结，但在面对大量研究时很难进行，并且通常带有个人主观性。过去几十年中出现了按照严格方法学进行的系统性综述，通常其中包括meta分析（元分析），至今得到了长足发展。然而，很多元分析文章质量不高，审稿人也不了解元分析方法，也出现不少反对声音。本文这里介绍了高质量元分析方法的主要原则特点，对领域发展进行了总结，还讨论了元分析局限、作用与成就，以及未来发展方向。

系统性综述过程中对文献检索、筛选、数据获取、代码和统计分析都有严格标准，同时每一步都要有透明详细的记录。现在有一些规则和模版如PRISMA可以参考。若系统性综述中收集到足够定量数据，那么可以进行元分析。需要从每个研究中收集结果（outcome）和样本大小信息，在统一的尺度或单位下，将数据放入统计模型中去。模型可基于common effect（差别是采样，但都反映真实响应） 或 random effect假设（除采样差异外还有不同研究中随机异质性）。不同假设有不同侧重。分析上可采用异质性检验或元回归，还需要确定每个研究在统计分析中的权重。

元分析的使用有两个基本目标，一种是为检验特定措施是否有效或设想是否成立（小样本）。这一类型是主要为了精确估计样本的平均响应。另一种是要通过大量研究得到普遍结论（大样本）。这种在生态学、生物学和一些社会领域较常见。不同的目标会影响元分析尺度和标准。单一研究为某一问题解决积累更多证据，而元分析相比单一研究可提供更全面完整的认识，对问题得到更无偏的结论。

随后作者以生态领域为例介绍了元分析的应用。元分析在25年前被生态学和进化生物学应用于解决生物多样性损失、入侵物种等问题。并在领域中产生了基于证据的研究方法。至今元分析被主要用于揭示研究内容的空白，环境驱动因子影响，管理措施的有效性等方面。元分析可以在大时空尺度上、对多系统多物种上获得新认识。但生态领域元分析也受到一些质疑，如受发表偏见和异质性影响。但大部分人还是支持的，认为元分析是该领域中的“遥感工具”。

元分析不是万能，也具有其局限性。它只能基于己有的证据和认识，也会受到发展偏见和研究偏见的影响。不少元分析不够严谨会得出有误导性甚至错误的结论。作者特别提到vote-counting的不合理之处，存在很大问题。元分析中权重确定也是一个问题。

元分析可以说是大数据和开放科学的祖母。元分析本质是数据获取综合、透明的分析过程。元分析是基于统计分析，而大数据是源于计算机科学。开放科学可为元分析提供更多数据。元分析在技术上的进展有：利用AI筛选研究、更复杂的元统计回归软件、小样本更可靠估算方法、贝叶斯方法等。此外，元分析技术方法更广传播、更多了解和训练也是进展。

注：第一作者单位是Department of Ecology and Evolution, Stony Brook University, Stony Brook, New York 11794-5245, USA