拟合优度适用于非常大的样本量

我每天收集非常大的分类数据样本（> 1,000,000），并希望看到各天之间的数据看起来“明显”不同，以检测数据收集中的错误。

我认为使用拟合度测试（尤其是G检验）将非常适合（双关语）。预期分布由前一天的分布给出。

但是，由于我的样本量太大，该测试具有很高的功效，并且会散发出许多假阳性结果。就是说，即使是很小的每日波动也会产生接近零的p值。

我最终将测试统计量乘以某个常数（0.001），可以很好地解释以该速率采样数据。本文似乎同意这种方法。他们说：

卡方最可靠，样本约100至2500人

我正在寻找有关此的更多权威评论。在大型数据集上进行统计测试时，也可能有一些其他方法可以解决误报问题。

测试返回正确的结果。每天的分布都不相同。当然，这对您毫无用处。您面临的问题早已为人所知。参见：关于统计检验的卡尔·皮尔森（Karl Pearson）和RA费舍尔（RA Fisher）：《自然的1935年交流》

取而代之的是，您可以回顾以前的数据（您的数据或从其他位置获取的数据），并获取每个类别的每日变化的分布。然后，检查在给定该分布的情况下是否可能发生了当前更改。如果不知道错误的数据和类型，很难做出更具体的回答，但是这种方法似乎更适合您的问题。

让我们继续前进，杀死5％的神圣牛。

您（正确）指出问题在于测试的强大功能。您可能需要将其重新校准为更相关的功效，例如更传统的值为80％：

1. 确定您要检测的效果大小（例如0.2％偏移）
2. 确定对您足够好的电源，以使其不会过载（例如$1-\beta=80\%)$
3. 从现有的Pearson测试理论出发，确定可以使您的测试实用的水平。

假设您有5个具有相等概率的类别，，您的替代选择是。因此对于，。渐近分布是非中心卡方与（＃类别-1）= 4 DF和非集中参数 利用该大值，足够接近。80％区块为$p_1=p_2=p_3=p_4=p_5=0.2$$p+\delta/\sqrt{n}=(0.198,0.202,0.2,0.2,0.2)$$n=10^6$$\delta=(-2,+2,0,0,0)$$k=$

$$\lambda=\sum_j \delta_j^2/p_j = 4/0.2 + 4/0.2 = 40$$ $\lambda$$N(\mu=\lambda+k=44,\sigma^2=2(k+2\lambda)=168)$$44+13\cdot\Phi^{-1}(0.8)=44+13\cdot0.84=54.91$。因此你的测试的期望的水平是的逆尾CDF从54.91： 因此，这将是水平你应该考虑在以下位置测试您的数据，使其具有80％的功效来检测0.2％的差异。$\chi^2_4$ $${\rm Prob}[\chi_4^2>54.91]=3.3\cdot10^{-11}$$

（请检查我的数学，这是一个荒谬的测试水平，但这就是您想要的大数据，不是吗？另一方面，如果您通常看到Pearson在几个范围内百，这可能是一个完全有意义的关键价值。）$\chi^2$

请记住，尽管零值和替代值的近似值在尾部可能效果不佳，请参见本讨论。

在这些情况下，我的教授建议计算Cramér的V，该V是基于卡方统计量的关联度量。这应该给您力量，并帮助您确定测试是否过敏。但是，我不确定是否可以将V与G2测试返回的统计信息一起使用。

这应该是V的公式：

$$\phi_c=\sqrt{\frac{\chi^2}{n(k-1)}}$$

其中，是观测值的总计，是行数或列数，以较小者为准。或者为了拟合优度检验，显然不是。行。ķ $n$$k$$k$

一种方法是通过在较小的数据块上执行拟合优度测试来使它们更有意义。

您可以将给定日期的数据分成1000个块，每个块包含1000个样本，并针对每个块运行单独的拟合优度测试，并使用前一天的完整数据集给出的预期分布。将每个测试的显着性水平保持在您使用的水平（例如）。然后寻找阳性测试总数与预期的假阳性数之间的显着偏离（在零假设下，分布没有差异，阳性测试总数以二项式分布，参数为）。$\alpha = 0.05$$\alpha$

您可以通过假设两天的数据集相同并假设分布相同，然后查看正好通过测试的频率大致等于数据块来找到合适的块大小（即，块大小停止了多少）通过报告虚假差异进行测试）。$\alpha$