为什么在大型研究中发现较小的影响会表明发表偏见？

几篇方法论论文（例如Egger等，1997a，1997b）使用漏斗图（如下图）讨论了荟萃分析揭示的出版偏倚。

1997b论文继续说：“如果存在出版偏见，则预计在已发表的研究中，最大的研究将报告最小的影响。” 但是为什么呢？在我看来，所有这一切都可以证明我们已经知道：只有在样本量较大的情况下，才能检测到微小的影响。对尚未发表的研究一言不发。

另外，引用的工作还声称，在漏斗图中通过视觉评估的不对称性“表明存在选择性的不公开规模较小的试验，而获益较小。” 但是，再次，我不明白已发表研究的任何特征如何可能告诉我们有关未发表作品的任何信息（允许我们进行推论）！

参考
Egger，M.，Smith，GD和Phillips，AN（1997）。荟萃分析：原则和程序。BMJ，315（7121），1533-1537。

Egger，M.，Smith，GD，Schneider，M。，＆Minder，C。（1997）。通过简单的图形化测试可以检测荟萃分析中的偏倚。BMJ，315（7109），629-634。

meta-analysis publication-bias

— z8080
source

我认为您没有正确的方法。或许，这个问题的答案Q＆A可能会帮助stats.stackexchange.com/questions/214017/...

— mdewey

要使一项小型研究完全发表，无论真实效应的大小如何，都必须显示出巨大的效应。

— einar

Answers:

这里的答案很好，对所有人+1。我只是想展示在极端情况下以漏斗图形式显示的效果。下面，我将模拟一个小效果作为并在2到2000个观测值之间绘制样本。 $N(.01, .1)$

在严格的机制下，图中的灰点不会发布。灰线是效应量对样本量的回归，其中包括“不良p值”研究，而红线则排除了这些。黑线表示真实效果。 $p < .05$

如您所见，在出版偏见下，小型研究强烈倾向于过高估计效应大小，而大型研究则倾向于报告更接近事实的效应大小。

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

^{由reprex软件包（v0.2.1）创建于2019-02-20}

— 本纳尔
source

特长，确实有助于直观地理解这一点，谢谢！

— z8080

+1此图形值一千字，可以很好地概括问题。当真正的效果大小为0。这种类型的偏差，甚至可以发现

— 破坏者

首先，我们需要考虑什么是“出版偏见”，以及它将如何影响实际上使其成为文献的内容。

一个用于发布偏差的相当简单的模型是，我们收集一些数据，如果，则进行发布。否则，我们不会。那么这如何影响我们在文献中看到的东西？好吧，它可以保证（假设使用Wald统计量）。现在，有一点要说明的是，如果确实很小，则相对较大，而较大被要求出版。 $p < 0.05$ $|\hat \theta |/ SE(\hat \theta) >1.96$ $n$ $SE(\hat \theta)$ $|\hat \theta|$

$\theta$ $|\hat \theta|$ $\hat \theta$ $|\theta|$ 实际上，它实际上要比我们实际发布的较小型实验所看到的要小得多。

$|\hat \theta|$ $SE(\hat \theta)$ $p < 0.05$

— 悬崖AB
source

“现在，正在取得一个问题是，如果真的很小，那么相对较大和大是必需的出版。” 从技术上讲，这不一定是正确的：：如果非常小，那么甚至可能会导致较小的对于小样本量，对吗？编辑：哦，等等！只需阅读您的结束语。:) +1

n

$n$

S E (θ)

$SE(\theta)$

| θ |

$|\theta|$

S E (θ) = \frac{S D (θ)}{\sqrt{n}}

$SE(\theta) = \frac{SD(\theta)}{\sqrt{n}}$

S E (θ)

$SE(\theta)$

S E

$SE$

— 亚历克西斯

用另一种方式阅读此声明：

如果没有发表偏倚，则效应大小应独立于研究大小。

也就是说，如果您正在研究一种现象，则效果大小是该现象的属性，而不是样本/研究。

效应大小的估计值在各个研究中可能会（并且会有所不同），但是如果随着研究规模的增加系统地减小效应大小，则表明存在偏差。整个问题的关键在于，这种关系表明还有一些其他较小的研究表明尚未发表低效应量，如果它们已经发表并因此可以被纳入荟萃分析中，则总体印象将是效应量较小比已发表的研究子集估计的要多。

跨研究的效应量估计值的方差将取决于样本量，但是如果没有偏差，则在低样本量下，您应该看到相等数量的估计不足和过度估计。

— 布莱恩·克劳斯（Bryan Krause）
source

但是，说“如果没有发表偏倚，效应大小应独立于研究规模”是否真的正确？当您指的是真正的潜在影响时，当然是这样，但我认为他们指的是估计的影响。的效果大小是依赖研究规模（暗示偏压）的相当于该散点图（高的相关性）的线性关系。我个人在任何漏斗图中都没有看到这一点，尽管这些漏斗图中的许多确实暗示存在偏差。

— z8080

@ z8080是的，只有在均值和标准差估计没有偏见的情况下，如果没有发表偏倚，估计的效应大小将完全独立于研究大小。由于样本标准偏差是有偏差的，因此效应量估计中会有一些偏差，但是与Egger等人所引用的各个研究的偏差水平相比，该偏差很小。在我的回答中，我将其视为可以忽略不计，假设样本量足够大，以至于SD估计值几乎是无偏的，因此将其与研究规模无关。

— Bryan Krause

@ z8080 影响大小估计的方差将取决于样本大小，但是在低样本大小下，您应该看到相等数量的估计不足和过度估计。

— Bryan Krause，

“效应大小的估计值在各个研究中可能（并且将有所不同），但是如果效应大小和研究大小之间存在系统的关系”，这种表述对于依存度和效应大小之间的差异尚不清楚。效果大小的分布将针对不同的样本大小而有所不同，因此，无论是否存在偏差，都不会独立于样本大小。偏差是依存关系的系统性方向。

— 累计

@Acccumulation我的编辑是否可以解决您所看到的不够清晰的问题？

— Bryan Krause