方差和均方误差之间有什么区别？

27

我很惊讶以前没有问过这个问题，但是我找不到关于stats.stackexchange的问题。

这是计算正态分布样本方差的公式：

\frac{\sum (X - \bar{X})^{2}}{n - 1}

$\frac{\sum(X - \bar{X}) ^2}{n-1}$

这是用于在简单的线性回归中计算观测值的均方误差的公式：

\frac{\sum (y_{i} - {\hat{y}}_{i})^{2}}{n - 2}

$\frac{\sum(y_i - \hat{y}_i) ^2}{n-2}$

这两个公式有什么区别？我可以看到的唯一区别是MSE使用。因此，如果这是唯一的区别，为什么不将它们都称为方差，而将其具有不同的自由度呢？ $n-2$

variance error

— 卢西亚诺
source

这里不清楚维基百科页面有什么内容？

— TrynnaDoStat 2015年

3

方差是观测值与平均值的平方偏差的平均值。相反，MSE是预测值与真实值的平方偏差的平均值。

— random_guy 2015年

3

“方差”和“均方误差”都有多个公式和不同的应用。为了澄清您的问题，您能否（a）描述您将这些概念应用于哪种数据，以及（b）为其提供公式？（这样做很有可能也会使您找到问题的答案。）

— whuber

6

有一个更通用的公式，它们都是以下特殊情况：，其中是在获取估计的参数数量

\frac{\sum_{i} (y_{i} - {\hat{y}}_{i})^{2}}{n - p}

$\frac{\sum_i(y_i-\hat{y}_i)^2}{n-p}$

p

$p$

\hat{y}

$\hat{y}$

— Glen_b-恢复莫妮卡2015年

@Glen_b您能否提供参考以获取有关此常规公式的更多信息？

— trianta2

Answers:

28

您为OLS编写的均方误差隐藏了一些内容：

\frac{\sum_{i}^{n} (y_{i} - {\hat{y}}_{i})^{2}}{n - 2} = \frac{\sum_{i}^{n} {[y_{i} - ({\hat{β}}_{0} + {\hat{β}}_{x} x_{i})]}^{2}}{n - 2}

$\frac{\sum_{i}^{n}(y_i - \hat{y}_i) ^2}{n-2} = \frac{\sum_{i}^{n}\left[y_i - \left(\hat{\beta}_{0} + \hat{\beta}_{x}x_{i}\right)\right] ^2}{n-2}$

请注意，分子的总和为和，因此您失去了每个变量的自由度，因此。在样本方差的公式中，分子是单个变量的函数，因此分母仅损失一个自由度。 $y$ $x$ $n-2$

但是，您正在注意这些在概念上是相似的数量。样本方差度量数据在样本均值周围的扩散（以平方单位），而MSE度量数据在样本回归线周围的垂直扩散（以垂直平方单位）。

— 亚历克西斯
source

@amoeba嘿！感谢您的关注。是否有官方的简历样式指南提示进行此编辑？如果是这样，我想学习。如果不是这样的话，Glen_b曾经一次正确地告诫我，要以我的个人风格偏好和对其他问与答的编辑作为殖民地。你怎么看？（我以大学的口吻问这个问题：我认为您的编辑确实添加了一些内容。只是想更好地理解我们的编辑值。）

— Alexis 2015年

1

我认为没有官方的CV样式指南提出此建议，但在LaTeX中，直接在文本块中呈现内联公式（标有一个美元符号），并显示了公式（标有两个美元符号）。在单独的行上呈现。显示的公式使用不同的布局。您的公式最初在单独的一行上，但标有一个美元符号；我认为这没有道理。但是，您对个人喜好是正确的，因此请随时道歉。我编辑的原因是无论如何我正在修正Q中的错字。

— 变形虫说恢复莫妮卡

如果回归问题中没有拦截项，则MSE的自由度等于如方差公式所示）而不是

β_{0}

$\beta_0$

n - 1

$n-1$

n - 2

$n-2$

— develarist

1

在方差公式中，样本均值近似于总体均值。对于具有数据点的给定样本，计算样本均值。知道样本均值后，我们仅剩下独立的数据点，因为第^个数据点受样本均值约束，因此方差公式中分母的（）自由度（DOF）。 $n$ $n-1$ $n$ $n-1$

为了在MSE公式中获得y的估计值（），我们需要同时估算（即截距）和（即斜率），因此我们损失了2个自由度，这就是MSE公式中分母为（）的原因。 $= \beta_{0} + \beta_{1}\times x$ $\beta_{0}$ $\beta_{1}$ $n-2$

— 布拉吉什·库玛（Brajesh Kumar）
source

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.

Licensed under cc by-sa 3.0 with attribution required.