荟萃分析的利弊


14

我一直在考虑对进化的特定研究领域进行一些荟萃分析,但是在我进一步研究之前,我想知道一下。这个过程的正面和负面是什么?例如,不需要进行实际的实验是一个优势(时间和金钱),但是会存在出版偏见(发布更令人兴奋的结果),这将是不利的。

统计期刊上有哪些论文讨论了元分析的利弊?


2
缺点:(i)出版偏见;期刊拒绝不重要的发现(ii)文件抽屉效应;研究人员停止表现不佳的试验或保留无效试验(iii)外国期刊偏见;无关紧要的结果被塞进外国期刊,而在荟萃分析中却没有得到足够的重视。这在超心理学上尤其是一个问题。解决该问题的一种方法是创建一个中心主体,在实验开始之前记录实验意图,然后进行荟萃分析,只考虑那些记录了该主体先前意图的主体。

4
您可能感兴趣的是Rosenthal的,这是一个统计数据,它告诉您必须归档多少零结果研究才能使观察到的重要性消失。ñ

Answers:


13

Borenstein,Hedges,Higgins和Rothstein撰写的荟萃分析导论详细讨论了荟萃分析的利弊。例如,参见“ 对元分析的批评 ”一章,作者在其中回应了对元分析的各种批评。我注意到该章的各节标题,然后从内存中得出与该点有关的一些观察结果:

  • “一个数字不能概括一个研究领域”:一个好的荟萃分析将对真实效应大小的可变性进行建模,并对估计的不确定性进行建模。
  • “文件抽屉问题使元分析无效”:漏斗图和相关工具使您可以查看样本大小是否与效果大小有关,以便检查发布偏差。好的荟萃分析努力获得未发表的研究。叙事研究也存在这个问题。
  • “混合苹果和橙子”:好的荟萃分析提供了严格的编码系统,可对纳入研究进行分类,并在荟萃分析中证明研究的纳入与排除的合理性。在对研究进行分类后,可以进行主持人分析,以查看效应大小是否随研究类型而异。
  • “重要的研究被忽略”:您可以为评估的研究质量编写代码。大样本可以赋予更大的权重。
  • “元分析可能与随机试验不同”:
  • “元分析执行不佳”:这仅仅是提高元分析方法标准的一个论据。
  • “叙事评论更好吗?”:叙事评论分享了许多元分析的批评(例如出版偏见)。只是推理方法在叙述性评论中不太明确,也不那么严格。

14

以我的经验,如果以前没有做过,例如您没有在某个领域提供自己的建议,那么正确的期刊就不会对它们产生偏见。荟萃分析不会进入“科学”领域,但在您所在的领域中,好的期刊通常可以进行新的荟萃分析。

不做实验而节省的时间和成本经常被其他事情所吞噬。一大缺点是,许多文章没有报告足够的信息来进行分析。您通常必须与作者联系以恢复此问题,不幸的是,他们经常无法或将不会遵守请求。这是该过程中最大的时间消耗。

您还错过了一些专家,例如高引文率。如果您是第一个也是唯一的荟萃分析,那么新的研究人员经常会引用您的论文。另一个优点是比较容易的随访研究。在一两年的动态研究领域中,您仅需将接下来的两年研究添加到后续的荟萃分析中。如果您是先行者,那么在研究领域中进行荟萃分析相对容易。然后导致相对较高的引用率。

如果您担心从文献中检索到的结果存在出版偏倚,可以使用统计技术,例如漏斗图(y轴上的研究大小(通常为-se),对x的影响)发现这样。在主题上无偏见的文献倾向于在漏斗图中具有对称的结果,但是由于出版偏见而产生的影响看起来更像是分布的一半。与进行实验不同,发现进行荟萃分析的数据存在偏差是可以发布的。


我对出版偏见的第一个想法是,OP关心通过文献研究获得的数据,而不关注是否发布荟萃分析的结果。
cbeleites支持Monica 2012年

是的,我在考虑长处和短处时要考虑更多,在决定是否这样做时应该考虑这些长处和短处,这样我就可以将其影响最小化。
rg255

6

我以为我会批评迈克尔·博伦斯坦(Michael Borenstein)及其同事,对“元分析的批评”进行批评。

  • “一个数字不能概括一个研究领域”:一个好的荟萃分析将对真实效应大小的可变性进行建模,并对估计的不确定性进行建模。

!方差只是不确定性的另一个可能引起误解的总结,如果几乎可以肯定地存在偏差,则两者都将极具误导性。

  • “文件抽屉问题使元分析无效”:漏斗图和相关工具使您可以查看样本大小是否与效果大小有关,以便检查发布偏差。好的荟萃分析努力获得未发表的研究。叙事研究也存在这个问题。

!正如Box曾经说过的-就像派出一排船来看看海洋是否足够平静以至于玛丽皇后能够进入。功耗极低,而且检查过程几乎肯定指定有误。

  • “混合苹果和橙子”:好的荟萃分析提供了严格的编码系统,可对纳入研究进行分类,并在荟萃分析中证明研究的纳入与排除的合理性。在对研究进行分类后,可以进行主持人分析,以查看效应大小是否随研究类型而异。

!同样,无望的力量和通常的聚合倾向也是如此。

  • “重要的研究被忽略”:您可以为评估的研究质量编写代码。大样本可以赋予更大的权重。

!现在,无望的力量,模型错误指定和偏见并非总是能正确解决的,请参见关于荟萃分析中质量得分所产生的偏见

  • “元分析可能与随机试验不同”:

!完全同意,也是他们真正不确定性的唯一来源。

  • “元分析执行不佳”:这仅仅是提高元分析方法标准的一个论据。

!完全同意。

  • “叙事评论更好吗?”:叙事评论分享了许多元分析的批评(例如出版偏见)。只是推理方法在叙述性评论中不太明确,也不那么严格。

!完全同意。

不知道为什么很多荟萃分析文献主要使用玫瑰色的眼镜-荟萃分析必须进行医学研究中的荟萃分析:强烈鼓励个人研究工作质量更高,但是与所有的充分认识进行认真完成麦芽汁。

而且,就像我几乎总是忘记的那样,我需要澄清一下我所说的荟萃分析的确切含义,因为其他人认为它的含义已经随时间和地点而变化,也许是当今最普遍的含义-只是用于获得的提取数字的定量方法在系统的审查-这不是我的意思。我的意思是整个系统的审查过程,即使决定根本不使用任何定量方法。或仅用Wiki中引用的一句话

在统计学中,荟萃分析是指着重于对比和合并来自不同研究的结果的方法,以期找出研究结果之间的模式,这些结果之间的分歧源或在研究背景下可能会发现的其他有趣关系。多项研究。


好的一点是,叙述性评论给予了更多自由来讨论先前研究的优缺点,也许荟萃分析应该扮演更具叙述性的角色,并更多地讨论现有研究,而不是试图从旧的(可能有偏见的和可变的质量)得出新的结论。 )数据。
rg255

@ rg255我在末尾添加了一些内容以解决您的评论。同样,强烈鼓励参考中的结论也可能是相关的。
phaneron 2012年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.