Questions tagged «publication-bias»

我阅读了许多进化论/生态学学术论文，有时的特定目的是了解如何在教科书之外“在现实世界中”使用统计数据。我通常将论文中的统计信息作为福音，并使用这些论文来帮助我进行统计学学习。毕竟，如果一篇论文花费了数年的时间并且经过了严格的同行评审，那么统计数字肯定会非常可靠吗？但是在过去的几天中，我质疑了我的假设，并想知道在学术论文中发表统计分析的频率是多少？特别是，可以预期的是，诸如生态学和进化论等领域的人们花费更少的时间来学习统计学，而花费更多的时间来学习其领域。 人们在学术论文中多久发现一次可疑统计数据？

44 publication-bias  academia 

几篇方法论论文（例如Egger等，1997a，1997b）使用漏斗图（如下图）讨论了荟萃分析揭示的出版偏倚。 1997b论文继续说：“如果存在出版偏见，则预计在已发表的研究中，最大的研究将报告最小的影响。” 但是为什么呢？在我看来，所有这一切都可以证明我们已经知道：只有在样本量较大的情况下，才能检测到微小的影响。对尚未发表的研究一言不发。 另外，引用的工作还声称，在漏斗图中通过视觉评估的不对称性“表明存在选择性的不公开规模较小的试验，而获益较小。” 但是，再次，我不明白已发表研究的任何特征如何可能告诉我们有关未发表作品的任何信息（允许我们进行推论）！ 参考 Egger，M.，Smith，GD和Phillips，AN（1997）。荟萃分析：原则和程序。BMJ，315（7121），1533-1537。 Egger，M.，Smith，GD，Schneider，M。，＆Minder，C。（1997）。通过简单的图形化测试可以检测荟萃分析中的偏倚。BMJ，315（7109），629-634。

32 meta-analysis  publication-bias 

我一直在努力探索错误发现率（FDR）应该如何告知个别研究人员的结论。例如，如果您的研究动力不足，即使在结果显着，您是否应该打折呢？注意：我在谈论FDR时是在综合检查多项研究结果的背景下，而不是将其作为多项测试校正的方法。α=.05α=.05\alpha = .05 使（也许大方）假设测试的假设实际上是真，FDR是两种类型的函数I和II型错误率如下：∼.5∼.5\sim.5 FDR=αα+1−β.FDR=αα+1−β.\text{FDR} = \frac{\alpha}{\alpha+1-\beta}. 有理由认为，如果一项研究的能力不足，那么即使结果显着，我们也不应像进行充分研究的结果那样相信结果。因此，正如某些统计学家所说，在某些情况下，“长远来看”，如果遵循传统准则，我们可能会发布许多错误的重要结果。如果一项研究的特点是始终缺乏足够的研究能力（例如，前十年的候选基因环境相互作用文献），那么甚至有重复的重大发现也可能是可疑的。××\times 应用R包extrafont，ggplot2和xkcd，我认为这可能会有用地概念化为一个透视问题： 有了这些信息，研究人员下一步应该做什么？如果我猜测我正在研究的效应的大小（因此，鉴于我的样本量，则估计为），我是否应该调整我的α水平直到FDR = .05？即使我的研究能力不足，我是否应该以α = .05的水平发布结果，并将FDR的考虑留给文献消费者？1−β1−β1 - \betaαα\alphaα=.05α=.05\alpha = .05 我知道这是一个在本网站和统计文献中都经常讨论的话题，但是我似乎无法就此问题达成共识。 编辑：响应@amoeba的评论，FDR可以从标准的I型/ II型错误率偶发表中得出（请避免其丑陋）： | |Finding is significant |Finding is insignificant | |:---------------------------|:----------------------|:------------------------| |Finding is false in reality |alpha |1 - alpha | |Finding is true in reality |1 - beta |beta | …

30 statistical-significance  p-value  publication-bias  false-discovery-rate 

我目前正在进行荟萃分析，为此我需要分析样本中嵌套的多个效应大小。与部分其他可能的策略（例如，忽略依赖性，在研究中平均效应大小，选择一种效应大小或转移分析单位）。我的许多因果效应大小的相关性都涉及相当独特（但局部相关）的变量，因此对它们进行平均计算在概念上是没有意义的，即使这样做，也将我要分析的总因果大小数减少了近一半。 但是，与此同时，我也对在评估荟萃分析效果的过程中使用Stanley＆Doucouliagos（2014）的解决出版偏见的方法感兴趣。简而言之，要么适合使用一种元回归模型，即可通过其各自的方差（精密效果测试或PET）或各自的标准误差（带有标准误差的精密效果估计值或PEESE）来预测研究效果的大小。根据拦截模型在PET模型中的重要性，可以使用PET模型的拦截（如果PET拦截p > .05）或PEESE模型（如果PET拦截p <.05）作为估计的发布-无偏差平均效果大小。 但是，我的问题源于Stanley＆Doucouliagos（2014）的摘录： 在我们的模拟中，总是包含过多的无法解释的异质性。因此，按照常规做法，应优先选择REE [随机效应估计器]，而不是FEE [固定效应估计器]。但是，当选择出版物时，常规做法是错误的。通过选择具有统计意义的变量，REE总是比FEE更为偏见（表3）。这种可预测的劣势归因于以下事实：REE本身就是简单平均数（具有最大的发布偏差）和FEE的加权平均值。 这段话使我相信，我不应该在随机效应/混合效应荟萃分析模型中使用PET-PEESE，但是多层次的荟萃分析模型似乎需要一个随机效应估计量。 我为该做的事而感到痛苦。我希望能够对我所有的依存效应大小进行建模，但同时要利用这种特殊的出版偏倚校正方法。我是否可以通过某种方式将3级荟萃分析策略与PET-PEESE合法整合？ 参考文献 张铭华（2014）。使用三级荟萃分析来建模依赖效应的大小：一种结构方程式建模方法。心理学方法，19，211-229。 Stanley，TD，＆Doucouliagos，H.（2014年）。元回归近似可减少出版物选择的偏见。研究综合方法，5，60-78。

10 multilevel-analysis  meta-analysis  meta-regression  publication-bias 

在提交荟萃分析之前，我想作一个漏斗图以测试异质性和发表偏见。我有合并的效应大小和每个研究的效应大小，它们的取值范围是-1至+1。我有每个研究的患者和对照的样本量n1，n2。由于无法计算标准误差（SE），因此无法执行Egger回归。我不能在垂直轴上使用SE或precision = 1 / SE。 问题 我还能在水平轴突上用效应大小在垂直轴上用总样本大小n（n = n1 + n2）进行漏斗图吗？ 这样的漏斗图应如何解释？ 一些发表的论文提出了这样的漏斗图，在垂直轴上具有总样本大小（已发布的PMID：10990474、10456970）。同样，维基百科漏斗图维基对此也表示同意。但是，最重要的是，Mathhias Egger在BMJ 1999上的论文（PubMed PMID：9451274）显示了这样的漏斗图，没有SE，只有垂直轴上的样本大小。 更多问题 当标准误差未知时，这样的图可接受吗？ 它与标准轴突上SE或presicion = 1 / SE的经典漏斗图相同吗？ 它的解释不同吗？ 我应该如何设置直线以形成等边三角形？

10 meta-analysis  sample-size  standard-error  funnel-plot  publication-bias 

已关闭。这个问题是基于观点的。它当前不接受答案。 想改善这个问题吗？更新问题，以便通过编辑此帖子以事实和引用的形式回答。 2年前关闭。 尽管个人为揭示掠夺性期刊的行为付出了重要的努力，但仍大肆挥霍，但社会科学研究的阴影笼罩着更大，更根本的威胁（尽管研究人员肯定需要解决多个问题）。为了弄清楚这一点，根据一种观点，我们可能无法信任从小于250的样本得出的相关系数。 人们很难找到一种比可信赖的相关系数更依赖于推断社会科学中的度量之间存在关联，方向和强度的测试。但是，将不会难于找到同行评议的报告，这些报告基于从少于250种情况下的数据计算出的相关系数，对两种结构之间的关系提出了强有力的主张。 考虑到当前社会科学面临的复制危机（请参见上面的第二个链接），我们应该如何仅在大样本（至少按照某些社会科学领域的标准）上查看有关相关系数稳定的报告？这是同行评议的社会科学研究领域的又一裂缝，还是在介绍中被夸大了的相对琐碎的问题？ 由于对此问题不可能有一个正确的答案，因此我希望创建一个话题，可以共享，深思熟虑和辩论有关此问题的资源（当然要礼貌而有礼貌地进行）。

9 correlation  methodology  publication-bias 

我正在进行多层次的荟萃分析，其中包括一些具有多种结果的文章。因此，我正在使用该rma.mv()功能。示例代码： test.main = rma.mv(yi,vi,random = ~1|ID, data = data) 我有两个问题： 我在上一个查询中了解到，使用时rma.mv()，ranktest()它不是漏斗图不对称性的可靠测试。但是，如果将样本方差作为主持人添加到原始模型中，则此模型将类似于Egger的检验： test.egger = rma.mv(yi,vi, mod = vi, random = ~1|ID, data = data) 该代码对该指南是否正确解释？另外，漏斗图作为rma.mv()模型的工具也（或多或少）无用吗？ 既不评估模型结果的敏感性leave1out()也无法trimfill()与之rma.mv()合作。当前是否可将其他敏感性分析工具用于rma.mv()不精通R的模型？

9 meta-analysis  sensitivity-analysis  publication-bias  funnel-plot