确定一组广告中哪个具有最高点击率所需的样本量

我是一名行业软件设计师，并且正在为一个客户从事项目，因此我想确保我的分析在统计上是正确的。

考虑以下情况： 我们有n个广告（n <10），我们只是想知道哪个广告效果最好。 我们的广告服务器将随机投放这些广告之一。成功的前提是用户点击了广告-我们的服务器会对其进行跟踪。

给出：置信区间：95％

问题：估计的样本量是多少？（我们必须投放多少个广告），为什么？（记住我是个假人）

谢谢

— 乔纳森
source

您能否阐明“误差幅度5％”是什么意思？

— 一站式

@onestop-很好的澄清-我从问题中删除了它。我只是从以下样本量计算器中获取了该变量：raosoft.com/samplesize.html 但我认为它在这个问题中并不重要。谢谢！

— 乔纳森

对于许多测试，您可以计算样本量，以便在假定（固定）效应量的情况下，测试可以达到一定的功效。换句话说，您必须首先指定以下内容：1）您要使用哪种测试？2）您希望该测试具有什么功能？以 3）您认为有趣的效果大小为条件。1）这里的人可能会帮助您。2）可能与您指出的95％有关。3）但是，您必须事先提供一些东西：必须将概率有多大不同才可以认为有趣地是不同的？

— caracal

因此，如果我必须在此处提供更多参数，请执行以下操作：1. 测试使用 -不知道-您有建议吗？2. 力量：即使在查看维基百科定义之后-我也不知道如何聪明地回答这个问题。3. 效果大小：可以说提高10％

— 乔纳森（Jonathan）

您可能需要的测试是Fisher的精确测试。不幸的是，由于可能的点击率非常低，并且预期效果很小，因此，您需要大量N才能达到所需的置信区间。假设您的最佳广告的“真实”点击率是0.11，而次优的是1.。此外，假设您希望您不正确地拒绝无效假设（两个广告之间没有差异）的概率小于.20。如果是这样，您将需要10,000的N。

> library(statmod)   
> power.fisher.test(.1,.11,20000,20000,.05)
[1] 0.84

正如评论者所建议的那样，您可能不必在意广告效果的百分之十的差异。对于较大的差异，样本的必要大小会迅速减少。

> power.fisher.test(.1,.2,200,200,.05)
[1] 0.785

— 弗雷格
source