RMSE的置信区间

我从总体中抽取了数据点的样本。这些点中的每一个都有一个真实值（从基本事实中获知）和一个估计值。然后，我计算每个采样点的误差，然后计算样本的均方根误差。 $n$

然后，如何根据样本大小推断此RMSE的某种置信区间？ $n$

如果我使用均值而不是RMSE，那么我这样做就不会有问题，因为我可以使用标准方程式

$m = \frac{Z \sigma}{\sqrt{n}}$

但我不知道这对RMSE是否有效，而不是平均值。有什么办法可以使我适应吗？

（我已经看到了这个问题，但是我的人口是否分布正常没有问题，这就是那里的答案）

confidence-interval

— 罗宾特
source

当您“计算样本的RMSE”时，您要具体计算什么？它是对的RMSE 真值，对的估计值，或者它们的区别是什么？

— Whuber

我正在计算差异的均方根误差，即计算真实值与估算值之间平方差的均值的平方根。

— robintw

如果您知道“基本事实”（尽管我不确定这实际上意味着什么），那么为什么需要RMSE中的不确定性？您是否要对没有基本事实的情况进行某种推断？这是校准问题吗？

— Glen_b-恢复莫妮卡

@Glen_b：是的，这正是我们想要做的。我们没有整个人口的基本事实，只是样本。然后，我们正在为样本计算均方误差，并且我们希望对此有一个置信区间，因为我们正在使用此样本来推断总体的均方误差。

— robintw

RMSE

— 好奇的2013年

Answers:

使用与此处类似的推理，在某些情况下，我也许可以回答您的问题。

令是您的第数据点的真实值，并是估计值。如果我们假设估算值与真实值之间的差异为 $x_{i}$ $i^{th}$ $\hat{x}_{i}$

均值零（即分布在周围） $\hat{x}_{i}$ $x_{i}$
服从正态分布
并具有相同的标准偏差 $\sigma$

简而言之：

{\hat{X}}_{一世} - X_{一世} 〜 ñ （ 0 ， σ^{2} ） ，

$\hat{x}_{i}-x_{i} \sim \mathcal{N}\left(0,\sigma^{2}\right),$

那么您真的想要的置信区间。 $\sigma$

如果以上假设均成立遵循分布，其中（不是）度为自由。这意味着

\frac{ñ {RMSE}^{2}}{σ^{2}} = \frac{ñ \frac{1个}{ñ} \sum_{一世} {（ \hat{X_{一世}} - X_{一世} ）}^{2}}{σ^{2}}

$\frac{n\mbox{RMSE}^{2}}{\sigma^{2}} = \frac{n\frac{1}{n}\sum_{i}\left(\hat{x_{i}}-x_{i}\right)^{2}}{\sigma^{2}}$

χ_{n}^{2}

$\chi_{n}^{2}$

n

$n$

n - 1

$n-1$

\begin{aligned} P （ χ_{\frac{α}{2} ， ñ}^{2} \leq \frac{ñ {RMSE}^{2}}{σ^{2}} \leq χ_{1个 - \frac{α}{2} ， ñ}^{2} ） = 1个 - α \\ \Leftrightarrow P （ \frac{ñ {RMSE}^{2}}{χ_{1个 - \frac{α}{2} ， ñ}^{2}} \leq σ^{2} \leq \frac{ñ {RMSE}^{2}}{χ_{\frac{α}{2} ， ñ}^{2}} ） = 1个 - α \\ \Leftrightarrow P （ \sqrt{\frac{ñ}{χ_{1个 - \frac{α}{2} ， ñ}^{2}}} RMSE \leq σ \leq \sqrt{\frac{ñ}{χ_{\frac{α}{2} ， ñ}^{2}}} RMSE ） = 1个 - α 。 \end{aligned}

$\begin{align} P\left(\chi_{\frac{\alpha}{2},n}^{2}\le\frac{n\mbox{RMSE}^{2}}{\sigma^{2}}\le\chi_{1-\frac{\alpha}{2},n}^{2}\right) = 1-\alpha\\ \Leftrightarrow P\left(\frac{n\mbox{RMSE}^{2}}{\chi_{1-\frac{\alpha}{2},n}^{2}}\le\sigma^{2}\le\frac{n\mbox{RMSE}^{2}}{\chi_{\frac{\alpha}{2},n}^{2}}\right) = 1-\alpha\\ \Leftrightarrow P\left(\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\le\sigma\le\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right) = 1-\alpha. \end{align}$

因此，是您的置信区间。

[\sqrt{\frac{ñ}{χ_{1个 - \frac{α}{2} ， ñ}^{2}}} RMSE ， \sqrt{\frac{ñ}{χ_{\frac{α}{2} ， ñ}^{2}}} RMSE]

$\left[\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE},\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right]$

这是一个模拟您情况的python程序

from scipy import stats
from numpy import *
s = 3
n=10
c1,c2 = stats.chi2.ppf([0.025,1-0.025],n)
y = zeros(50000)
for i in range(len(y)):
    y[i] =sqrt( mean((random.randn(n)*s)**2))

print "1-alpha=%.2f" % (mean( (sqrt(n/c2)*y < s) & (sqrt(n/c1)*y > s)),)

希望能有所帮助。

如果不确定这些假设是否适用，或者不确定是否要将我写的内容与其他方法进行比较，则可以随时尝试使用bootstrapping。

— 法比
source

我认为您错了-他希望CI代表RMSE，而不是。而且我也想要它：)

σ

$\sigma$

— 好奇

我认为我没有错。只需这样考虑：由于。唯一的区别是您要除以而不是因为这里没有减去样本均值。然后，RMSE对应于。因此，总体RMSE为，您需要一个CI。这就是我得出的。否则，我必须完全误解您的问题。

MSE = {\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - {\hat{x}}_{i})^{2}

$\mbox{MSE} = \hat\sigma^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\hat x_i)^2$

n

$n$

n - 1

$n-1$

σ

$\sigma$

σ

$\sigma$

— fabee

如果将其应用于STDE（误差的标准偏差）而不是RMSE，则fabee 答案中的推理似乎是正确的。使用类似的命名法，是代表每个数据记录的索引，是真实值，是度量或预测。 $i=1,\,\ldots,\,n$ $x_i$ $\hat{x}_i$

错误，BIAS，MSE（均方误差）和RMSE由以下公式给出： $\epsilon_i$

ϵ_{一世} = {\hat{X}}_{一世} - X_{一世} ， 偏压 = \bar{ϵ} = \frac{1个}{ñ} \sum_{一世 = 1个}^{ñ} ϵ_{一世} ， 微软 = \bar{ϵ^{2}} = \frac{1个}{ñ} \sum_{一世 = 1个}^{ñ} ϵ_{一世}^{2} ， RMSE = \sqrt{微软} 。

$\epsilon_i = \hat{x}_i-x_i\,,\\ \text{BIAS} = \overline{\epsilon} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i\,,\\ \text{MSE} = \overline{\epsilon^2} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i^2\,,\\ \text{RMSE} = \sqrt{\text{MSE}}\,.$

同意这些定义，BIAS对应于的样本均值，但MSE并非偏差样本方差。而是：或者，如果同时计算了BIAS和RMSE，则注意，偏置样本方差被用于代替无偏，以保持一致性与用于MSE和RMSE给出的前面的定义。 $\epsilon$

{STDE}^{2} = \bar{（ ϵ - \bar{ϵ} ）^{2}} = \frac{1个}{ñ} \sum_{一世 = 1个}^{ñ} （ ϵ_{一世} - \bar{ϵ} ）^{2} ，

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2} = \frac{1}{n}\sum_{i=1}^{n}(\epsilon_i-\overline{\epsilon})^2\,,$

{STDE}^{2} = \bar{（ ϵ - \bar{ϵ} ）^{2}} = \bar{ϵ^{2}} - {\bar{ϵ}}^{2} = {RMSE}^{2} - {偏压}^{2} 。

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2}=\overline{\epsilon^2}-\overline{\epsilon}^2 = \text{RMSE}^2 - \text{BIAS}^2\,.$

因此，在我看来，fabee建立的置信区间指的是，STDE 的样本标准偏差。类似地，可以基于z分数（如果则为t分数）和为BIAS建立置信区间。 $\epsilon$ $n<30$ $\left.\text{STDE}\middle/\sqrt{n}\right.$

— 录像机
source

您说得对，但错过了我的部分答案。我基本上假设BIAS = 0（请参阅假设1）。在这种情况下，您导出的。由于和均为并且存在两个 RV 的和的近似形式解，因此对于假设1掉落的情况，您可能可以得出近似形式置信区间。如果您这样做并更新了答案，我一定会赞成。

R M S E^{2} = S T D E^{2}

$RMSE^2 = STDE^2$

R M S E^{2}

$RMSE^2$

B I A S^{2}

$BIAS^2$

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

— fabee 2015年

在Faaber 1999之后，RMSE的不确定度表示为，其中是数据点的数量。

σ （ \hat{[R 中号 小号 Ë} ） / [R 中号 小号 Ë = \sqrt{\frac{1个}{2 ñ}}

$\sigma (\hat{RMSE})/RMSE = \sqrt{\frac{1}{2n}}$

n

$n$

— LKlevin
source