通过重新运行实验来验证Web A / B测试-这有效吗？

某天，一家a / b测试公司举行的网络研讨会上，其驻地“数据科学家”解释说，您应该通过重新运行实验来验证结果。前提是，如果您选择95％的置信度，则有5％（1/20）的假阳性机会。如果您以相同的约束条件重新运行实验，那么现在会有1/400（我假设他们将其确定为0.05 ^ 2 = 1/400）

这是有效的声明吗？（即“两次运行，两次统计显着性获胜=假阳性概率的1/400”）？这是提高您的显着性水平的更好方法吗？

从业务的角度来看，我所关心的是通过重新运行实验，使更多的用户接触到劣等的页面（处理），从而失去了潜在的销售额。

暂时忽略误报的可能性，我会这样看：

1. 如果您进行两次实验均获得相同的结果，则您将不知道连续存在两个真实阳性结果还是两个虚假阳性结果。
2. 如果您进行两次实验并获得两个不同的结果，那么您将不知道哪个是真正的阳性结果，哪个是错误的阳性结果。

无论哪种情况，您都应该进行第三个实验，以确定。对于相对便宜的实验来说，这也许不错，但是在成本可能很高（例如失去客户）的地方，您确实需要考虑收益。

从概率上来看，您第一次运行实验时，有1/20的概率为假阳性。第二次运行实验时，仍然有1/20的机会会出现假阳性（将其视为掷骰子，每掷骰子就有1/6的机会获得一定的数字）。连续出现两个误报的机会只有1/400。

真正的问题是要有一个严格定义的假设和严格的程序，并要有一个可以承受或负担得起的样本量，误差水平和置信区间。重复实验应留待探索

1. 客户随着时间的流逝
2. 组织所做的更改
3. 比赛改变

而不是第二个猜测结果。尽管向经理解释这一点说起来容易做起来难。

是的，假设您的实验是理想的，那么这种说法是正确的。但是，要获得理想的实验要比获得这种信任更难。首先，“现实世界”数据混乱，复杂且难以解释。有很大的空间进行有缺陷的分析，隐藏的变量（很少有“相同的约束”）或在做工作的数据科学家和在做标记工作的执行人员之间发生误解。

从业务角度出发，确保采用好的方法论，不要对结果过于自信；一个比您想象的更棘手的挑战。一旦降低了这些，就可以在这5％上工作。