对于平均置信区间的近似误差时

15

令是一族iid随机变量，其值在，具有均值和方差 $\{X_i\}_{i=1}^n$ $[0,1]$ $\mu$ $\sigma^2$ 。给出均值的简单置信区间，只要知道就使用 $\sigma$

P (| \bar{X} - μ | > ε) \leq \frac{σ^{2}}{n ε^{2}} \leq \frac{1}{n ε^{2}} (1) .

$P( | \bar X - \mu| > \varepsilon) \le \frac{\sigma^2}{n\varepsilon^2} \le\frac{1}{n \varepsilon^2} \qquad (1).$

同样，由于渐近分布为标准正态随机变量，因此有时使用正态分布来“构造”近似置信区间。 $\frac{\bar X- \mu}{\sigma/\sqrt{n}}$

在多项选择题答案统计考试中，我不得不使用这种近似代替 $(1)$ 每当时。我一直对此感到非常不舒服（超出您的想象），因为无法量化近似误差。 $n \geq 30$

为什么使用法线逼近而不是？ $(1)$
我不想再盲目地应用规则。是否有好的参考文献可以支持我拒绝这样做并提供适当的替代方法？（是我认为合适的替代方法的示例。） $n \geq 30$ $(1)$

在这里，虽然 $\sigma$ 和 $E[ |X|^3]$ 未知，但它们很容易被限制。

请注意，我的问题是一个参考请求，尤其是有关置信区间的请求，因此与此处建议作为部分重复的问题的区别有所不同和此处。那里没有答案。

— 奥利维尔
source

2

您可能需要改进经典参考文献中的近似值，并利用在的事实，正如您注意到的那样，它提供了有关矩的信息。我相信，神奇的工具将是Berry-Esseen定理！

X_{i}

$X_i$

(0, 1)

$(0, 1)$

— 伊夫（Yves）

1

在这些范围内，方差不能大于0.25，远大于1，不是吗？

— 卡洛

3

为什么要使用正态近似？

简单地说，使用更多的信息总比少使用更好。等式（1）使用切比雪夫定理。请注意，它如何不使用有关您的分布形状的任何信息，即它适用于具有给定方差的任何分布。因此，如果您使用一些有关分布形状的信息，则必须获得更好的近似值。如果您知道自己的分布是高斯分布的，那么通过使用此知识，您可以获得更好的估计。

既然您已经在应用中心极限定理，那么为什么不使用边界的高斯近似呢？实际上，它们将变得更好，更紧密（或更清晰），因为这些估计是基于对形状的了解，这是一条附加信息。

经验法则30是一个神话，它得益于确认偏差。它只是不断地从一本书复制到另一本书。在1950年代的一篇论文中，我找到了建议采用该规则的参考文献。我记得这不是任何可靠的证明。这是某种实证研究。基本上，使用它的唯一原因是因为它可以工作。您不会经常违反它。

更新查找Zachary R. Smith和Craig S. Wells的论文“ 中心极限定理和样本量 ”。他们对不同分布的CLT收敛进行了实证研究。当然，魔术数字30在很多情况下都不起作用。

— 阿克萨卡尔族
source

+1做出明智的解释。但是使用不正确的信息是否存在风险？该CLT不说有关的任何分配

为固定

。

\bar{X}

$\bar X$

n

$n$

— 奥利维尔（Olivier）

是的，CLT没有说有限样本的分布，但是也没有任何渐近方程。但是，不可否认的是，它们具有有用的信息，这就是为什么在每个地方都使用限制关系的原因。切比雪夫（Chebyshev）的问题在于它是如此之宽，以至于很少在教室外使用。例如，对于一个标准偏差，其给出的概率为

几乎不实用的信息

< 1 / k^{2} = 1

$<1/k^2=1$

— Aksakal，2017年

但是，对于

以相等的概率取值0或1的情况，您对Chebyshev的应用将非常清晰。;）问题在于，应用于

均值的Chebyshev永远不会随着

增长而保持锐利。

X

$X$

n

$n$

— 奥利维耶（Olivier）

我不知道史密斯和威尔斯的论文，我尝试用R复制它，但无法恢复他们的结论……

— Alex Nelson

9

使用Chebyshev不等式获得真实值的区间的问题是，它仅给您概率的下限，而且该概率有时是微不足道的，或者，为了不微不足道，它可能给出很宽的概率范围。置信区间。我们有

P (| \bar{X} - μ | > ε) = 1 - P (\bar{X} - ε \leq μ \leq \bar{X} + ε)

$P( | \bar X - \mu| > \varepsilon) = 1 - P(\bar X-\varepsilon \leq \mu \leq \bar X+\varepsilon)$

⟹ P (\bar{X} - ε \leq μ \leq \bar{X} + ε) \geq 1 - \frac{1}{n ε^{2}}

$\implies P(\bar X-\varepsilon \leq \mu \leq \bar X+\varepsilon) \geq 1- \frac{1}{n \varepsilon^2}$

我们还发现，如果我们降低，则还取决于样本量 $\varepsilon$ “太多”，我们将得到平凡的答案：“概率大于零”。

除此之外，我们从这种方法得到的是形式“”概率的结论落在是等于或大于 $\mu$ $[\bar X \pm \varepsilon]$ ......”

但是让我们假设，我们与这个好，并且表示与我们舒适的概率最小。所以我们要 $p_{min}$

1 - \frac{1}{n ε^{2}} = p_{m i n} ⟹ ε = \sqrt{\frac{1}{(1 - p_{m i n}) n}}

$1- \frac{1}{n \varepsilon^2} = p_{min} \implies \varepsilon = \sqrt {\frac {1}{(1-p_{min})n}}$

在样本量较小且期望的最小概率较高的情况下，这可能会给出令人满意的宽置信区间。例如，对于和，我们将得到，其中，例如对于由在限定的OP处理的变量 $p_{min} =0.9$ $n=100$ $\varepsilon \approx .316$ $[0,1]$ 显得太大，是有用的。

但是这种方法是有效的，并且无需分发，因此在某些情况下它可能是有用的。

可能还需要检查另一个答案中提到的Vysochanskij-Petunin不等式，该不等式适用于连续的单峰分布并完善了Chebyshev的不等式。

— 阿莱科斯·帕帕多普洛斯
source

我不同意切比雪夫（Chebychev）的问题，即它仅给出了可能性的下限。在无发行设置的情况下，下限是我们所希望的最佳选择。重要的问题是：切比雪夫锋利吗？对于固定水平

，Chebychev CI的长度是否被系统地高估了？我从特定的角度在我的帖子中回答了这个问题。但是，我仍在尝试理解切比雪夫（Chebychev）的样本均值是否从更强烈的意义上总是不会变得尖锐。

α

$\alpha$

— Olivier

CI的长度不在估算中，因为不存在某个未知的长度，因此，我不确定在这里使用“过高估算”一词的含义。不同的方法提供不同的配置项，然后我们当然可以尝试评估和评估它们。

— Alecos Papadopoulos

高估是对单词的错误选择，感谢您指出。“系统地高估长度”是指获得CI的方法所产生的结果总是比需要的大。

— Olivier

1

@Olivier通常来说，Chebyshev不等式是一个宽松的不等式，因此在理论推导和证明中更多地用作工具，而不是在实际工作中使用。

— Alecos Papadopoulos

2

@Olivier“一般来说”涵盖了您的资格。

— Alecos Papadopoulos

7

简短的答案是，它可能会变得非常糟糕，但前提是采样分布的一条或两条尾巴确实很胖。

该R代码生成一百万套包含30个伽玛分布的变量，并取其平均值。它可以用来了解均值的采样分布。如果法线近似按预期工作，则结果应近似为法线，均值1和方差1/(30 * shape)。

f = function(shape){replicate(1E6, mean(rgamma(30, shape, shape)))}

当shape为1.0时，伽玛分布变为指数分布，这是非常不正常的。不过，非高斯部分大部分会平均，因此高斯近似值并不差：

显然存在一些偏见，最好在可能的情况下避免这种偏见。但老实说，这种偏见程度可能不会成为典型研究面临的最大问题。

也就是说，情况可能会变得更糟。使用f(0.01)，直方图如下所示：

在平均之前对数转换30个采样数据点有很大帮助，但是：

通常，在高斯逼近开始变得可靠之前，具有长尾巴的分布（分布的一侧或两侧）将需要最多的样本。甚至在病理情况下，实际上也没有足够的数据来使高斯近似起作用，但是在那种情况下，您可能会遇到更严重的问题（因为采样分布没有明确定义的均值或方差来开始与）。

— 戴维·哈里斯
source

我发现实验非常相关且有趣。但是，我不会以此为答案，因为它不能解决问题的症结。

— 奥利维耶（Olivier）

1

症结所在？

— 戴维·哈里斯

您的答案没有为合理的统计实践提供严格的依据。它仅给出示例。还要注意，我认为的随机变量是有界的，极大地改变了最坏的情况。

— Olivier

@Glen_b：这个答案与您对该问题的修订版不太相关。我应该把它留在这里，还是您会推荐其他东西？

— 戴维·哈里斯

3

切比雪夫置信区间的问题

如由Carlo提到的，我们有。这是根据。因此，对于一个置信区间由下式给出 $\sigma^2 \le \frac{1}{4}$ $\text{Var}(X) \le \mu(1-\mu)$ $\mu$ 问题是，从某种意义上说，当变大时，不等式非常松散。Hoeffding的界限给出了一种改进，如下所示。但是，我们还可以证明使用Yves指出的Berry-Esseen定理有多糟糕。设有一个方差

P (| \bar{X} - μ | \geq ε) \leq \frac{1}{4 n ε^{2}} .

$P(|\bar{X}-\mu| \geq \varepsilon) \le \frac{1}{4n\varepsilon^2}.$

n

$n$

X_{i}

$X_i$

，最坏的情况。该定理意味着

\frac{1}{4}

$\tfrac{1}{4}$

其中

是标准正态分布的生存函数。特别地，

，我们得到

（根据SciPy的），从而基本上

P (| \bar{X} - μ | \geq \frac{ε}{2 \sqrt{n}}) \leq 2 SF (ε) + \frac{8}{\sqrt{n}},

$P(|\bar X - \mu| \geq \tfrac{\varepsilon}{2\sqrt{n}}) \le 2\, \text{SF}(\varepsilon) + \tfrac{8}{\sqrt{n}},$

SF

$\text{SF}$

ε = 16

$\varepsilon = 16$

SF (16) \approx e^{- 58}

$\text{SF}(16) \approx e^{-58}$

而Chebyshev不等式意味着

P (| \bar{X} - μ | \geq \frac{8}{\sqrt{n}}) \leq \frac{8}{\sqrt{n}} + 0, (*)

$P(|\bar X - \mu| \geq \tfrac{8}{\sqrt{n}}) \le \tfrac{8}{\sqrt{n}} + 0, \qquad (*)$

注意，我没有尝试优化

给出的边界，这里的结果仅是概念上的关注。

P (| \bar{X} - μ | \geq \frac{8}{\sqrt{n}}) \leq \frac{1}{256} .

$P(|\bar X - \mu| \geq \tfrac{8}{\sqrt{n}}) \le \tfrac{1}{256}.$

(*)

$(*)$

比较置信区间的长度

考虑 -电平置信区间长度和使用正常近似（获得 $(1-\alpha)$ $\ell_Z(\alpha, n)$ $\ell_C(\alpha, n)$ $\sigma = \tfrac{1}{2}$ $\ell_C(\alpha, n)$ $\ell_Z(\alpha, n)$ $n$ $n$

ℓ_{C} (α, n) = κ (α) ℓ_{Z} (α, n), κ (α) = {(ISF (\frac{α}{2}) \sqrt{α})}^{- 1},

$\ell_C(\alpha, n) = \kappa(\alpha) \ell_Z(\alpha, n), \quad \kappa(\alpha) = \left(\text{ISF}\left(\tfrac{\alpha}{2}\right) \sqrt{\alpha}\right)^{-1},$

ISF

$\text{ISF}$

$\hskip 1in$

$95\%$ $2.3$

使用霍夫丁定界

P (| \bar{X} - μ | \geq ε) \leq 2 e^{- 2 n ε^{2}} .

$P(|\bar X - \mu| \geq \varepsilon) \leq 2e^{-2n \varepsilon^2}.$

(1 - α)

$(1-\alpha)$

μ

$\mu$

(\bar{X} - ε, \bar{X} + ε), ε = \sqrt{\frac{- \ln \frac{α}{2}}{2 n}},

$(\bar X - \varepsilon, \bar X + \varepsilon), \quad \varepsilon = \sqrt{\frac{-\ln \tfrac{\alpha}{2}}{2n}},$

ℓ_{H} (α, n) = 2 ε

$\ell_H (\alpha, n) = 2\varepsilon$

ℓ_{C}

$\ell_C$

σ = 1 / 2

$\sigma = 1/2$

ℓ_{Z}

$\ell_Z$

ℓ_{H}

$\ell_H$

α = 0.05

$\alpha = 0.05$

$\hskip 0.5in$

— 18转
source

P (\bar{X} - μ \geq ε) \leq e^{- 2 n ε^{2}}

$P(\bar{X}-\mu \ge \varepsilon) \le e^{-2 n \varepsilon^2}$

P (| \bar{X} - μ | \geq ε) \leq 2 e^{- 2 n ε^{2}};

$P(|\bar{X}-\mu| \ge \varepsilon) \le 2 e^{-2 n \varepsilon^2} ;$

α

$\alpha$

1 - α,

$1-\alpha,$

最后一个更重要的一点是：我发现您的结果令人难以置信，因此我尝试在R中复制它，结果却截然相反：法线逼近为我提供了较小的置信区间！这是我使用的代码：

curve(sqrt(-log(.025)/2/x), to= 100, col= 'red', xlab= 'n', ylab= 'half interval') #Hoeffding ; curve(qnorm(.975, 0, .5/sqrt(x)), to= 100, add= T, col= 'darkgreen') #normal approximation

— 卡洛

0

让我们从数字30开始：正如任何人都会说的那样，这是一个经验法则。但是我们如何找到一个更适合我们数据的数字呢？实际上，这主要是偏度的问题：如果最奇怪的分布是模拟的且连续的，则偏斜的数据也将很快收敛到正态，偏斜的数据将慢得多。我记得曾听说过，当二项分布的方差大于9时，它可以适当地近似于正态；对于此示例，可以考虑离散分布也存在它们需要大量数字才能模拟连续性的问题，但请考虑以下问题：如果p = 0.1，则模拟二项式分布将达到该方差，如果p = 0.1，则n必须去高达100（但是可变变换会很有帮助）！

如果您只想使用方差来代替高斯近似，则考虑Vysochanskij–Petunin不等式在Chebichev上的不等式，它需要均值的单峰分布，但这是一个非常安全的假设，无论任何样本量，我都会说，更大比2。

— 卡罗
source

您能为“ Vysochanskij–Petunin不等式”添加参考吗？从来没有听说过！

— kjetil b halvorsen

维基百科

— 卡洛

您可以用偏度表示收敛速度吗？为什么您说2的样本量足以实现单峰性？如果需要将样本量加倍或加倍，Vysochanskij-Petunin不等式比Chebychev有何改善？

— 奥利维尔

我在Google上进行了快速搜索，发现实际上二项式分布通常用于解释偏斜数据的不同样本量需求，但我没有找到，我想在偏斜度方面还没有公认的“收敛速度” ”。

— 卡洛

Vysochanskij–Petunin不等式比Chebychev的更有效，因此它根本不需要更大的样本，但它有一些使用限制：首先，必须具有连续分布，而不是单峰（无局部模式）。被允许）。放弃采用另一种假设的正态性假设似乎很奇怪，但是如果您的数据不是离散的，则即使样本非常小，样本均值也应消除局部模式。事实是，平均数具有很大的钟形分布，而且如果它可以偏斜或尾巴肥大，它很快就会只有一种模式。

— 卡洛