A / B测试：z检验，t检验，卡方检验和fisher精确检验

我试图通过在处理简单的A / B测试时选择一种特定的测试方法来理解其原因-（例如，两个具有二进制响应的变体/组（已转换或未转换）。作为示例，我将使用以下数据

Version  Visits  Conversions
A        2069     188
B        1826     220

此处的最高答案很好，并讨论了z，t和卡方检验的一些基本假设。但是令我感到困惑的是，不同的在线资源会引用不同的方法，您会认为基本A / B测试的假设应该几乎相同吗？

例如，本文使用z-score：
本文使用以下公式（我不确定它是否与zscore计算不同？）：

本文引用了t检验（p 152）：

那么，对于这些不同的方法，可以提出哪些主张呢？为什么会有一个偏好？

要增加一个候选者，可以将上面的表重写为2x2列联表，其中可以使用Fisher精确检验（p5）

              Non converters  Converters  Row Total
Version A     1881            188         2069  
Versions B    1606            220         1826
Column Total  3487            408         3895

但是，根据该线索， fisher的精确测试应仅在较小的样本量下使用（临界值是多少？）

然后有成对的t和z检验，f检验（以及逻辑回归，但我现在暂时不考虑）。在这个简单的A / B测试案例中，对不同方法进行某种论证。

使用示例数据，我得到以下p值

https://vwo.com/ab-split-test-significance-calculator/给出0.001的p值（z得分）
http://www.evanmiller.org/ab-testing/chi-squared.html（使用卡方检验）得出的p值为0.00259
在R中fisher.test(rbind(c(1881,188),c(1606,220)))$p.value给出p值为0.002785305

我想都差不多...

无论如何-只是希望就在样本数量通常为数千个且响应率通常为10％或更少的在线测试中使用哪种方法进行一些健康的讨论。我的直觉告诉我使用卡方，但我想能够确切回答为什么我选择它而不是其他多种方式。

— L Xandor
source

关于

和

检验，您的问题已在此处得到解答：stats.stackexchange.com/questions/85804/…–

z

$z$

t

$t$

— 蒂姆

我发现此演示非常有帮助。这表明比例的z检验基本上等于2x2列联表上的同质性的卡方检验。rinterested.github.io/statistics/chi_square_same_as_z_test.html

— yueyanw

Answers:

我们出于不同原因和在不同情况下使用这些测试。

$z$ $z$ $z$ $z$
$t$ $t$ $t$ $t$ $z$

$z$ $t$

$z$ $t$ $z$
$p$ $p$ $p$

我一直在讨论样本量-不同的参考文献将为您提供有关样本量何时足够的不同指标。我只是找到一个信誉良好的来源，看看他们的规则，然后运用他们的规则来找到您想要的测试。可以这么说，除非您找到自己喜欢的规则，否则我不会“货比三家”。

$z$ $t$

这有意义吗？希望这可以帮助！

— 马特·布雷姆斯
source

感谢您的详细回答！我将详细介绍它-我确定我将有几个问题！

— L Xandor

您能否进一步说明卡方检验和Fisher精确检验如何不指示效应的方向？如果所有推论统计检验围绕两个样本集是从不同总体还是从同一总体得出的置信水平，那么关于数学理论的什么使您不能说平均值的方向差异将成立（B组有更高的分数）？

— 克里斯·F

为了清楚起见，卡方检验和Fisher精确检验在做同样的事情，但p值的计算略有不同。（这是卡方的近似值，是费舍尔精确值的精确计算。）我将介绍卡方，并将其推广到费舍尔。这里的问题是前提。“如果所有推论统计检验都提供关于是否从...中抽取两个样本的置信度，”-那不是卡方检验所做的。卡方检验的原假设是没有关联，并且存在其他假设...

— Matt Brems

...是两个分类变量之间存在某种关联。您只是在测试关联的存在，而没有预先指定某个方向。（那里有一些鲜为人知的统计数据，DO可以指定某种关系，因此这是可能的；但是，这不是卡方检验设计的目的。）然后推断出存在基于的特定方向关系一个p值是在错误的假设下计算出来的，这些p值是根据一组不同的假设而计算的，这些假设只是为了检验关联的存在。

— 马特·布雷姆斯

H_{0} : μ = 0

$H_0: \mu = 0$

H_{A} : μ \neq 0

$H_A: \mu \neq 0$

t

$t$

p

$p$

μ

$\mu$

μ

$\mu$

H_{0} : μ \leq 0

$H_0: \mu \leq 0$

H_{A} : μ > 0

$H_A: \mu > 0$

p

$p$

α = 0.05

$\alpha=0.05$

μ

$\mu$

-3

对于三向测试，您通常使用方差分析而不是三个独立的测试。在进行多次测试之前，还请检查Bonferroni校正。请使用此 https://www.google.com/search?q=testing+multiple+means&rlz=1C1CHBD_enIN817IN817&oq=testing+multiple+means+&aqs=chrome..69i57j69i60l3j69i61j0.3564j0j7&sourceid=chrome&ie=UTF-8

— 哈里尼
source