为什么增加样本大小会降低（抽样）方差？

大图：

我试图了解增加样本数量如何增加实验的功效。我的讲师的幻灯片用2个正态分布的图片对此进行了解释，一个是零假设，一个是替代假设，它们之间的决策阈值c。他们认为，增加样本量将降低方差，从而导致较高的峰度，从而减少曲线下的共享区域，从而降低II型错误的可能性。

小图：

我不知道更大的样本量如何降低方差。
我假设您只是计算样本方差并将其用作正态分布中的参数。

我试过了：

• 谷歌搜索，但大多数被接受的答案有0赞或仅仅是示例
• 思考：根据大数定律，每个值最终应根据我们假设的正态分布稳定在其可能值附近。因此，方差应该收敛到我们假设的正态分布的方差。但是，该正态分布的方差是多少，它是一个最小值吗？也就是说，我们可以确定样本方差减小到那个值吗？

平均值的标准偏差小于单个观察值的标准偏差。[在这里，我假设人口分布方差有限的独立均匀分布观测值；如果您放松前两个条件，可以说类似的内容。]

这是一个简单事实的结果，两个随机变量之和的标准偏差小于标准偏差的和（仅当两个变量完全相关时才能相等）。

实际上，当您处理不相关的随机变量时，我们可以说得更具体些：变量总和的方差就是它们的方差之和。

$n$

$n$

$\sigma_{\bar{X}}=\sigma/\sqrt{n}$

因此，当您添加更多数据时，您将越来越精确地估计出群体均值。类似的效果适用于回归问题。

由于我们可以通过增加样本量来获得更精确的平均值估算，因此我们更容易分辨出相距较近的均值-即使分布重叠很多，通过获取较大的样本量，我们仍然可以估算出它们的平均值人口意味着足够准确，足以表明他们不一样。

当N增加时，缩小的变异性就是样本均值的变异性，通常表示为标准误差。或者，换句话说，样本均值准确性的确定性正在提高。

假设您进行了一项实验，收集了3名男性和3名女性，并测量了他们的身高。您如何确定每组的平均身高是男性和女性人口的真实均值？我应该认为您根本不确定。您可以轻松地收集3个新样本，并找到距离第一个样本几英寸的新均值。如此反复的实验中，有很多甚至可能导致女性的身高比男性高，因为方法的差异很大。N较低时，您无法确定样本均值的确定性，并且样本之间的差异很大。

现在想象每组10,000个观测值。很难找到10,000个均值相差很大的新样本。它们的可变性要小得多，您将更加确定它们的准确性。

$\sigma$$\sqrt n$。该标准误差表示计算中均值或效果的可变性。它越小，统计测试的功能就越强大。

这是R中的一个小模拟，用来演示标准误差与初始实验中许多重复试验的平均值之间的关系。在这种情况下，我们将从总体平均值100和标准差15开始。

mu <- 100
s <- 50
n <- 5
nsim <- 10000 # number of simulations
# theoretical standard error
s / sqrt(n)
# simulation of experiment and the standard deviations of their means
y <- replicate( nsim, mean( rnorm(n, mu, s) ) )
sd(y)

注意最终的标准偏差如何接近理论标准误差。通过在此处使用n变量，您可以看到随着n的增加，可变性度量将变小。

[顺便说一下，图中的峰度并没有真正改变（假设它们是正态分布）。降低方差不会改变峰度，但分布看起来会更窄。目视检查峰度变化的唯一方法是使分布具有相同的比例。]

如果您想知道美国公民的平均体重是多少，那么在理想情况下，您将立即要求每个公民踩磅秤并收集数据。您会得到确切的答案。这是非常困难的，因此也许您可以让一些公民按比例扩大规模，计算平均值并了解什么是人口平均值。您是否希望样本平均值准确等于人口平均？我希望不是。

现在，您是否同意，如果您有越来越多的人，在某个时候我们将越来越接近人口均值？我们应该吧？最后，我们能得到的最多的人是全部人口，这意味着我们正在寻找什么。这是直觉。

这是一个理想的思想实验。实际上，有复杂性。我给你两个。

• 想象一下，数据来自柯西分布。您可以无限增加样本，但方差不会减少。此分布没有总体方差。实际上，严格来说，它也没有样本均值。这是可悲的。令人惊讶的是，这种分布是真实存在的，它在物理学中无处不在。
• 想象一下，您决定继续进行确定美国公民平均体重的任务。因此，您可以扩展自己的规模，从家到家。这将花费您很多年。到您收集百万个观测值时，您的数据集中的某些公民的权重已经大大改变，有些已经死亡，等等。要点是，在这种情况下，增加样本量不会帮助您。

我相信大数定律解释了为什么样本量增加时方差（标准误）下降。维基百科对此的文章说：

根据法律，从大量试验中获得的结果平均值应接近预期值，并且随着进行更多试验而趋于接近。

根据中心极限定理：

当绘制一个随机样本时，样本越大，样本均值与总体均值越接近（在上面的引用中，将“试验次数”视为“样本量”，因此每个“试验”都是一个观察值） ）。因此，当绘制无限数量的随机样本时，每个样本的大小越大，样本分布的方差就会越小。

换句话说，当每个样本较大而不是较小时，钟形将变窄，因为这样，每个样本均值将更接近钟形的中心。

随着样本大小的增加，样本方差（观察值之间的差异）会增加，但是样本均值的方差（标准误差）会减小，因此精度也会提高。