先验能力分析本质上是没有用的吗？

上周，我参加了人格与社会心理学协会的一次会议，在该会议上，我看到Uri Simonsohn的演讲，前提是使用先验能力分析来确定样本量实际上是无用的，因为其结果对假设如此敏感。

当然，这种说法违背了我在方法论课上所学的知识，也违背了许多著名方法学家的建议（最著名的是Cohen，1992年），因此Uri提出了一些与他的主张有关的证据。我试图在下面重新创建一些证据。

为简单起见，让我们假设您有两组观察结果，并猜测效果大小（通过标准化均值差衡量）为。标准功率计算（使用下面的软件包完成）将告诉您，需要观察才能获得此设计的80％功率。$.5$Rpwr$128$

require(pwr)

size <- .5
# Note that the output from this function tells you the required observations per group
# rather than the total observations required
pwr.t.test(d = size, 
           sig.level = .05, 
           power = .80, 
           type = "two.sample", 
           alternative = "two.sided")

但是，通常，我们对效果的预期大小的猜测（至少是在我所研究的社会科学领域）至少是-粗略的猜测。如果我们对效果的大小有些怀疑，那会发生什么？快速功效计算可以告诉您，如果效果的大小是而不是，则需要次观察- 是为的效果具有足够功效的数量的倍。同样，如果效果的大小为，则只需要进行观察，即需要有足够的能力才能检测到的效果的70％.5 200 1.56 .5 .6 90 $.4$$.5$$200$$1.56$$.5$$.6$$90$$.50$。实际上，估计观测值的范围非常大到。$90$$200$

解决此问题的一种方法是，您可以通过过去的文献或通过试验来收集有关效果大小的证据，而不是对效果的大小进行纯粹的猜测。当然，如果您要进行试点测试，则希望试点测试足够小，而不仅仅是为了确定运行研究所需的样本量而不仅仅是运行某个版本的研究（例如，希望中试中使用的样本量小于您研究的样本量）。

乌里·西蒙索恩（Uri Simonsohn）认为，用于确定功率分析中使用的效应大小的先导测试是没有用的。考虑下面的模拟R。此模拟假定人口效应大小为。然后，它将进行次大小为40的“试点测试”，并从10000个试点测试中的每一个中列出建议的1000 $.5$$1000$$N$

set.seed(12415)

reps <- 1000
pop_size <- .5
pilot_n_per_group <- 20
ns <- numeric(length = reps)

for(i in 1:reps)
{
  x <- rep(c(-.5, .5), pilot_n_per_group)
  y <- pop_size * x + rnorm(pilot_n_per_group * 2, sd = 1)
  # Calculate the standardized mean difference
  size <- (mean(y[x == -.5]) - mean(y[x == .5])) / 
          sqrt((sd(y[x == -.5])^2 + sd(y[x ==.5])^2) / 2)

  n <- 2 * pwr.t.test(d = size,
                      sig.level = .05, 
                      power = .80,
                      type = "two.sample", 
                      alternative = "two.sided")$n

  ns[i] <- n
}

下面是基于此模拟的密度图。我已经省略了建议进行以上观察的试点测试，以使图像更易解释。即使只关注不太极端的模拟结果，在试验中推荐的也有很大的差异。500 Ñ 小号$204$$500$$Ns$$1000$

当然，我敢肯定，随着设计变得越来越复杂，对假设问题的敏感性只会越来越差。例如，在需要规范随机效果结构的设计中，随机效果结构的性质将对设计的功能产生重大影响。

那么，你们对这个论点怎么看？先验能力分析本质上是没有用的吗？如果是这样，那么研究人员应如何计划研究规模？

这里的基本问题是真实的，并且在统计中是众所周知的。但是，他的解释/主张是极端的。有几个问题需要讨论：

首先，随着变化，功率变化不会很快。（具体而言，变化的函数，所以权利减半抽样分布的标准偏差，需要翻两番你等）但是，权力是影响大小相当敏感。此外，除非您的估计功效为，否则随着效果大小的改变，功效的变化就不是对称的。如果您尝试使用功率，则功率随Cohen的减小而减小的速度要比等效于Cohen增大而增大的更快。例如，当从且$N$ ñ50％80％ddd=0.5Ñ=128≈7.9％≈5.5％0.1≈16.9％0.1≈12.6$\sqrt N$$N$$50\%$$80\%$$d$$d$$d = .5$$N = 128$，如果您少观察20次，则功效将降低。但是，如果您多观察20次，则功效将提高。另一方面，如果真实效果的大小降低，那么功效将降低，但如果升高则仅提高。下图中可以看到这种不对称性和不同的灵敏度。 $\approx 7.9\%$$\approx 5.5\%$$.1$$\approx 16.9\%$$.1$$\approx 12.6\%$

如果您使用的是先前研究估计的效果（例如荟萃分析或先导研究），解决方案是将您对真实效果大小的不确定性纳入功效计算中。理想情况下，这将涉及对可能的效果大小的整个分布进行积分。对于大多数应用而言，这可能是一座桥梁，但是一个快速而肮脏的策略是在几种可能的效应大小，您估计的科恩加上或减去1和2标准偏差的情况下计算功效，然后使用概率得出加权平均值。这些分位数的密度作为权重。 $d$

如果您正在研究以前从未研究过的东西，那么这并不重要。您知道您关心的效果大小。实际上，效果要么很大（或更大），要么更小（甚至可能为0）。使用您在功效分析中关心的效应大小将是有效的，并将为您的假设提供适当的检验。如果您关心的效果大小是真实值，则您（例如）将有机会具有“重要性”。如果由于抽样误差，您的研究中实现的效应量较小（较大），则结果将较不显着（较）显着，甚至不显着。那就是它应该起作用的方式。 $80\%$

第二，关于广义的权力分析（先验或其他）依赖于假设的说法，不清楚该论点是什么。当然可以。其他所有事情也是如此。如果不运行功耗分析，而只是根据您从帽子中挑选出的数字收集大量数据，然后再分析数据，则不会改善这种情况。而且，您得出的分析将仍然依赖假设，就像所有分析（无论是功效还是其他）总是一样。取而代之的是，如果您决定继续收集数据并重新分析它们，直到获得您喜欢的图片或对它厌倦为止，那将是无效得多的（并且仍然需要说话者看不见的假设，但是仍然存在）。简单地说，在研究和数据分析中做出假设的事实是不可能的。

您可能会发现以下感兴趣的资源：

• Kraemer，HC，Mintz，J.，Noda，A.，Tinklenberg，J.，＆Yesavage，JA（2006）。 关于使用试点研究来指导研究方案的功效计算的注意事项，《普通精神病学》（Archives of General Psychiatry）， 63，5，484-489页。

• Uebersax，JA（2007）。贝叶斯无条件幂分析。http://www.john-uebersax.com/stat/bpower.htm