为什么在达到最佳样本量之前停止A / B测试是错误的？

我负责介绍我公司的A / B测试结果（在网站上运行）。我们进行了一个月的测试，然后定期检查p值，直到达到显着性为止（或者，如果长时间运行后未达到显着性，则放弃），我现在发现这是一种错误的做法。

我现在想停止这种做法，但是要这样做，我想了解为什么这是错误的。我知道效果大小，样本大小（N），α显着性标准（α）和统计功效，或选择或隐含的β（β）在数学上都是相关的。但是，在达到所需样本量之前停止测试会发生什么变化呢？

我在这里阅读了几篇文章（即this，this和this），他们告诉我，我的估计会有所偏差，并且我的Type 1错误的发生率急剧增加。但是那是怎么发生的呢？我正在寻找数学解释，这种解释可以清楚地显示出样本量对结果的影响。我想这与我上面提到的因素之间的关系有关，但是我无法找出确切的公式并自行解决。

例如，过早停止测试会增加类型1的错误率。好的。但为什么？如何增加类型1的错误率？我想念这里的直觉。

请帮忙。

从根本上说，简单地对具有固定的type-1错误（）水平的相同数据进行重复测试的A / B测试是有缺陷的。这样做至少有两个原因。首先，重复的测试是相关的，但测试是独立进行的。其次，固定的α不能解决导致类型1错误膨胀的多次测试。$\alpha$$\alpha$

要查看第一个，请假设您在每次进行新观察时都进行了新测试。显然，任何两个后续的p值都将相关，因为在两次测试之间情况没有改变。因此，我们在@Bernhard的图中看到了一个趋势，证明了p值的这种相关性。$n-1$

看到第二，我们注意到，即使当测试是独立具有以下的p值的概率与试验次数增加吨P （甲）= 1 - （1 - α ）吨，其中阿是的情况下错误拒绝的原假设。因此，至少有一个阳性测试结果的概率与1相反$\alpha$$t$

$t+1$$t$$p< \alpha$

$\alpha$

$(0,0.1)$$\alpha = 0.05$

正如我们所看到的，这种调整非常有效，并且说明了我们必须如何改变p值来控制家庭明智的错误率。具体来说，我们现在不再找到任何重要的检验，因为@Berhard的原假设是正确的。

$P(A) \approx \alpha$

这是代码：

set.seed(1)
n=10000
toss <- sample(1:2, n, TRUE)

p.values <- numeric(n)
for (i in 5:n){
  p.values[i] <- binom.test(table(toss[1:i]))$p.value
}
p.values = p.values[-(1:6)]
plot(p.values[seq(1, length(p.values), 100)], type="l", ylim=c(0,0.1),ylab='p-values')
abline(h=0.05, lty="dashed")
abline(v=0)
abline(h=0)
curve(0.05/x,add=TRUE, col="red", lty="dashed")

如果零假设是正确的，那么人们通常会期望p值非常高。这不是真的。如果原假设为真，则p是均匀分布的随机变量。这意味着，有时随机会不时低于0.05。如果您查看许多不同的子样本，有时p值将低于0.05。

为了更容易理解，下面是一个小模拟R：

这将抛出一万枚硬币，我们知道，这是一个公平的硬币：

set.seed(1)
n=10000
toss <- sample(1:2, n, TRUE)

从第5次掷球开始，这将在每次掷球之后执行二项式测试以检查公平性并保存p值：

p.values <- numeric(n)
for (i in 5:n){
     p.values[i] <- binom.test(table(toss[1:i]))$p.value
}

这将一个接一个地绘制p值：

plot(p.values, type="l")
abline(h=0.05)

$H_0$$H_0$

（为完全开放，我已经为示例生成器尝试了一个以上的种子，直到它像这个示例一样清晰了，但这对于教育目的是公平的。如果已R安装并运行，则可以轻松地使用这些数字）