给定一个观察值的方差的置信区间

这是“第七届柯尔莫哥洛夫概率论奥林匹克竞赛”中的一个问题：

给定一个来自分布的观测值 $X$ ，且两个参数均未知，请给出的置信区间，置信度至少为99％。 $\operatorname{Normal}(\mu,\sigma^2)$ $\sigma^2$

在我看来，这应该是不可能的。我有解决方案，但尚未阅读。有什么想法吗？

我将在几天后发布解决方案。

[后续编辑：官方解决方案发布在下面。Cardinal的解决方案更长，但提供了更好的置信区间。也感谢Max和Glen_b的投入。]

— 乔纳森·克里斯滕森
source

对我来说似乎也是不可能的。我等待答案

— 彼得·弗洛姆-恢复莫妮卡

看看这个网站。

— 假设正常的2012年

这是格式更好的论文：paper。

— 假设正常的2012年

h 我记得很多年前读过一篇关于这种东西的论文（一个观察间隔）。可能就是这个。

— Glen_b-恢复莫妮卡（Monica）2012年

@Max，感谢您的链接！我还没有时间仔细研究它，但是我会的。我在下面发布了“官方”答案。

— 乔纳森·克里斯坦森

Answers:

从概率不平等和与多次观测的联系的角度来看，这个结果似乎并非不可能，或者至少看起来更合理。

让 $\renewcommand{\Pr}{\mathbb P}\newcommand{\Ind}[1]{\mathbf 1_{(#1)}}X \sim \mathcal N(\mu,\sigma^2)$ 与 $\mu$ 和 $\sigma^2$ 是未知的。我们可以写出 $X = \sigma Z + \mu$ 为 $Z \sim \mathcal N(0,1)$ 。

主权利要求： $[0,X^2/q_\alpha)$ 是 $(1-\alpha)$ 为置信区间 $\sigma^2$ ，其中 $q_\alpha$ 是 $\alpha$ 与一个自由度的卡方分布的-电平位数。此外，由于该间隔在时具有精确的 $(1-\alpha)$ 覆盖率，因此它是形式为的最窄间隔 $\mu = 0$ $[0,b X^2)$ 对于一些 $b \in \mathbb R$ 。

乐观的理由

回想一下，在 $n \geq 2$ 的情况下，与 $T = \sum_{i=1}^n (X_i - \bar X)^2$ ，则典型 $(1-\alpha)$ 置信区间 $\sigma^2$ 是

(\frac{T}{q_{n - 1, (1 - α) / 2}}, \frac{T}{q_{n - 1, α / 2}}),

$\Big(\frac{T}{q_{n-1,(1-\alpha)/2}}, \frac{T}{q_{n-1,\alpha/2}} \Big) \>,$ 其中

q_{k, a}

$q_{k,a}$ 是具有

自由度的卡方的

a

$a$ 级分位数。当然，对于任何

。虽然这是最流行的间隔（出于明显的原因称为等尾间隔），但它既不是唯一的间隔，也不是宽度最小的间隔！显而易见，另一个有效选择是

k

$k$

μ

$\mu$

(0, \frac{T}{q_{n - 1, α}}) .

$\Big(0,\frac{T}{q_{n-1,\alpha}}\Big) \>.$

因为，，然后 $T \leq \sum_{i=1}^n X_i^2$ 也具有至少覆盖范围。

(0, \frac{\sum_{i = 1}^{n} X_{i}^{2}}{q_{n - 1, α}}),

$\Big(0,\frac{\sum_{i=1}^n X_i^2}{q_{n-1,\alpha}}\Big) \>,$

(1 - α)

$(1-\alpha)$

鉴于此，我们可能会乐观地认为，对于，主索赔中的间隔为true 。主要区别在于，对于单个观察而言，不存在零自由度卡方分布，因此我们必须希望使用单自由度分位数将起作用。 $n = 1$

到达目的地半步（利用右尾巴）

在深入研究主要主张的证据之前，让我们首先看一下初步主张，该初步主张在统计上不那么强大或令人满意，但是也许可以为正在发生的事情提供更多的见解。您可以跳至下面的主要索赔证明，而不会造成太多（如果有）损失。在本节和下一部分中，证明（虽然有些微妙）仅基于基本事实：概率的单调性，正态分布的对称性和单峰性。

辅助权利要求：是为置信区间只要。这里是标准正常的-电平位数。 $[0,X^2/z^2_\alpha)$ $(1-\alpha)$ $\sigma^2$ $\alpha > 1/2$ $z_\alpha$ $\alpha$

证明。和由对称性，所以在下文中，我们可以采取不失一般性。现在，对于和， $|X| = |-X|$ $|\sigma Z + \mu| \stackrel{d}{=} |-\sigma Z+\mu|$ $\mu \geq 0$ $\theta \geq 0$ $\mu \geq 0$ 并因此与，我们可以看到，

P (| X | > θ) \geq P (X > θ) = P (σ Z + μ > θ) \geq P (Z > θ / σ),

$\Pr(|X| > \theta) \geq \Pr( X > \theta) = \Pr( \sigma Z + \mu > \theta) \geq \Pr( Z > \theta/\sigma) \>,$

θ = z_{α} σ

$\theta = z_{\alpha} \sigma$

这仅适用于

，因为这是所需要的用于

。

P (0 \leq σ^{2} < X^{2} / z_{α}^{2}) \geq 1 - α .

$\Pr(0 \leq \sigma^2 < X^2 / z^2_\alpha) \geq 1 - \alpha \>.$

α > 1 / 2

$\alpha > 1/2$

z_{α} > 0

$z_\alpha > 0$

这证明了辅助主张。虽然是说明性的，但从统计角度来看并不能满足要求，因为它需要大得惊人的才能起作用。 $\alpha$

证明主要主张

对以上参数进行细化可以得出适用于任意置信度水平的结果。首先，请注意设置和

P (| X | > θ) = P (| Z + μ / σ | > θ / σ) .

$\Pr(|X| > \theta) = \Pr(|Z + \mu/\sigma| > \theta / \sigma ) \>.$

a = μ / σ \geq 0

$a = \mu/\sigma \geq 0$

。然后，

b = θ / σ \geq 0

$b = \theta / \sigma \geq 0$

如果我们可以证明对于每个固定的

，右侧的

都增加，那么我们可以采用与前一个参数类似的参数。这至少是合理的，因为我们希望相信，如果均值增加，则我们更有可能看到一个模数超过

。（但是，我们必须注意左尾质量减少的速度！）

P (| Z + a | > b) = Φ (a - b) + Φ (- a - b) .

$\Pr(|Z + a| > b) = \Phi(a-b) + \Phi(-a-b) \>.$

a

$a$

b

$b$

b

$b$

集。然后 $f_b(a) = \Phi(a-b) + \Phi(-a-b)$ 注意，和正，在减小。现在，对于，很容易地看到，。一起容易地暗示这些事实

f_{b}^{'} (a) = φ (a - b) - φ (- a - b) = φ (a - b) - φ (a + b) .

$f'_b(a) = \varphi(a-b) - \varphi(-a-b) = \varphi(a-b) - \varphi(a+b) \>.$

f_{b}^{'} (0) = 0

$f'_b(0) = 0$

u

$u$

φ (u)

$\varphi(u)$

u

$u$

a \in (0, 2 b)

$a \in (0,2b)$

φ (a - b) \geq φ (- b) = φ (b)

$\varphi(a-b) \geq \varphi(-b) = \varphi(b)$

为所有

和任何固定

。

F_{b}^{'} （ 一种 ） \geq 0

$f'_b(a) \geq 0$

a \geq 0

$a \geq 0$

b \geq 0

$b \geq 0$

因此，我们已经表明，对于和， $a \geq 0$ $b \geq 0$

P （ | ž + 一种 | > b ） \geq P （ | ž | > b ） = 2 Φ （ - b ） 。

$\Pr(|Z + a| > b) \geq \Pr(|Z| > b) = 2\Phi(-b) \>.$

如果我们取，则可以解开所有这些 $\theta = \sqrt{q_\alpha} \sigma$

P （ X^{2} > q_{α} σ^{2} ） \geq P （ ž^{2} > q_{α} ） = 1个 - α ，

$\Pr(X^2 > q_\alpha \sigma^2) \geq \Pr(Z^2 > q_\alpha) = 1 - \alpha \>,$

结束语：仔细阅读上面的论点表明，它仅使用正态分布的对称和单峰性质。因此，该方法类似地用于从任何对称单峰位置尺度族（例如柯西或拉普拉斯分布）的单次观测中获得置信区间。

— 红衣主教
source

哇！并希望学生在短时间内参加奥林匹克考试会想到这种论点？

— Dilip Sarwate

@Dilip：我不知道！我不熟悉本届奥运会的形式或解决方案的预期。从字面上看，我认为斯科特基的答案是可以接受的。我对尝试弄清楚使用“非平凡的”解决方案可能会走到多远感兴趣。我自己的探索（相当少）遵循了答案中所描述的相同思路（绕了一个弯路）。很可能存在更好的解决方案。:-)

— 主教

这比“正式”解决方案要长得多，但是可以更好地限制差异，因此我将其标记为“正确”答案。我在下面发布了“官方”答案，以及一些模拟结果和讨论。谢谢@cardinal！

— 乔纳森·克里斯坦森

@乔纳森：谢谢。是的，我本来可以使证明更为简洁。由于这里参与者的背景广泛，我经常倾向于沉迷于额外的（或也许是过多的）细节。:-)

— 主教

是时候跟进了！这是给我的解决方案：

我们将构造形式为的置信区间，其中 $[0,T(X))$ $T(\cdot)$
$（ \forall μ \in [R ）（ \forall σ > 0 ） P_{μ ， σ_{2}} （ σ^{2} > Ť （ X ）） < 0.01。$ $(\forall \mu \in \mathbb R )(\forall \sigma > 0)\; \mathbb P_{\mu,\sigma_2}(\sigma^2 > T(X)) < 0.01.$ $\mathcal{N}(\mu,\sigma^2)$ $1/\sigma\sqrt{2\pi}$ $\mathbb{P}(|X| \leq a) \leq a/\sigma$ $a \geq 0$ $Ť \geq P （ | X | / σ \leq Ť ） = P （ X^{2} \leq Ť^{2} σ^{2} ） = P （ σ^{2} \geq X^{2} / Ť^{2} ）。$ $t \geq \mathbb P (|X|/\sigma \leq t) = \mathbb P (X^2 \leq t^2\sigma^2) = \mathbb P (\sigma^2 \geq X^2/t^2).$ $t = 0.01$ $T(X) = 10000X^2.$

在模拟中，置信区间（非常宽）有些保守，在我将CV改变多个数量级的情况下，没有经验覆盖率（在100,000个模拟中）低于99.15％。

$6300X^2$ $10000X^2$

$(0,4900X^2)$

— 乔纳森·克里斯滕森
source

t \geq \dots

$t \geq \cdots$

t \leq \dots

$t \leq \cdots$

还有两点：您的解决方案可以做到非常接近，而无需对参数进行任何更改。请注意，您可以声明

P (| X | \leq a) \leq 2 a / σ \sqrt{2 π}

$\mathbb P(|X| \leq a) \leq 2 a / \sigma \sqrt{2\pi}$ 。然后间隔变为

(0, 2 X^{2} / π α^{2})

$(0,2X^2/\pi\alpha^2)$ 对于任何

α

$\alpha$ 。使用

α = 0.01

$\alpha = 0.01$ 产量

T (X) \approx 6366.198 X^{2}

$T(X) \approx 6366.198 X^2$ 与

1 / q_{0.01} \approx 6365.864

$1/q_{0.01} \approx 6365.864$ 在我的回答中。置信度越高（即，

α

$\alpha$ ），则您的方法与我的方法相比越近（尽管您的时间间隔将始终更宽）。

— 红衣主教

第二，我没有看过这篇论文，但是我强烈怀疑

(0, 4900 X^{2})

$(0,4900 X^2)$ 可以是有效的99％置信区间。实际上，请考虑以下形式的所有置信区间

(0, b X^{2})

$(0, b X^2)$ 对于一些

b

$b$ 。然后，当

μ = 0

$\mu = 0$ ，我们有

X^{2} / σ^{2}

$X^2/\sigma^2$ 恰好是具有一个自由度的卡方，所以最小

b

$b$ 我们可以在这种情况下选择

b = 1 / q_{α}

$b = 1/q_{\alpha}$ 。换句话说，我的答案中给出的间隔是陈述形式中最窄的。

— 主教

我做了（疑似）错字更正。此外，pchisq(1/4900,1,lower.tail=F)在Rreturn中0.9886，与您的模拟结果非常接近

(0, 4900 X^{2})

$(0,4900X^2)$ 间隔。

— 红衣主教

感谢所有评论，@ cardinal。我认为您所做的更改是正确的，尽管我以原始解决方案中的键入方式进行了键入-我猜是典型的。

— 乔纳森·克里斯滕森

CI的 $(0,\infty)$ 想必。

— Scortchi-恢复莫妮卡
source

我认为这对您说出为什么不能获得有限长度的置信区间会有所帮助。

— 假设正常的2012年

@Max我不够聪明-但问题并没有要求。

— Scortchi-恢复莫妮卡

为此+1。问题并没有说CI的覆盖范围很小，实际上暗示它可以通过其好奇的措辞“可接受的置信区间，置信水平至少为 99％” 来接受。

— Ari B. Friedman