残差是“预测的减去实际值”还是“预测的实际减去值”

46

我已经看到“残差”被不同定义为“预测的减去实际值”或“实际的减去预测值”。为了说明目的，为了显示两个公式都被广泛使用，请比较以下Web搜索：

在实践中，几乎没有任何区别，因为单个残差的符号通常并不重要（例如，平方或取绝对值）。但是，我的问题是：这两个版本之一（预测优先与实际优先）是否被视为“标准”？我希望在使用中保持一致，因此，如果有完善的常规标准，我希望遵循它。但是，如果没有标准，我很乐意接受这作为答案，只要可以令人信服地证明没有标准约定。

residuals terminology error

— 三方
source

8

由于残差与模型的误差有关，因此当我们写

y = a + b x + ϵ

$y = a + bx + \epsilon$ 时，我们就认为

y

$y$ 是“固定部分”加上“随机部分”，因此残差是

y

$y$ 减去

a + b x

$a + bx$ 。

— AdamO '18 -4-24

预测的减去实际或实际的负值将是预测误差（或其负值），而拟合的减去实际或实际的负数将是残差（或其负值）。Stephen Kolassa的答案出于某种原因提到了预测错误。

— 理查德·哈迪

我发现（实际预测）更方便使用。通常，您需要针对某些参数计算残差的导数。如果您使用（实际预测的），则出现负号，表示您必须跟踪其余的所有计算，必须使用更多的括号，并确保在出现双负数时消除它们，依此类推。根据我的经验，这将导致更多的错误

— 尼克阿尔及尔

42

残差始终为实际值减去预测值。的模型是：因此，残差，这是误差的估计：

y = f (x; β) + ε

$y=f(x;\beta)+\varepsilon$

\hat{ε}

$\hat\varepsilon$

ε

$\varepsilon$

\hat{ε} = y - \hat{y} \hat{y} = f (x; \hat{β})

$\hat\varepsilon=y-\hat y\\\hat y=f(x;\hat\beta)$

我同意@whuber所说的符号在数学上并不重要。虽然有一个约定是很好的。目前的惯例与我的回答相同。

由于OP在这方面挑战了我的权威，因此我添加了一些参考资料：

》（2008年，《残留》。摘自：《统计简明百科全书》。Springer，纽约，NY，给出了相同的定义。
费舍尔的“研究人员的统计方法”（1925年）也具有相同的定义，请参阅1934年版的第26节。尽管标题不张扬，但这是历史背景下的重要作品

— 阿克萨卡尔族
source

3

我修改了问题，添加了一些示例网络搜索，这些搜索清楚地表明残差并非总是实际的负值；替代者也相当频繁-因此我感到困惑。我的问题是，是否有关于正确约定的权威文档，但是很遗憾，您的回答没有提供。

— Tripartio

5

在我的观察中

预测是统计学中的大多数现代惯例。但是，值得注意的是，高斯使用了相反的约定：自然平方残差在最小二乘，平方和或均方的上下文中是相同的。尽管有19世纪或更早的先例来研究单个残差，但是直到1960年代初，关心和特别是绘制残差才开始变得普遍和常规。也就是说，只有当残差的迹象出现时，任何人才需要关心它的含义。

-

$-$

— 尼克·考克斯

18

+1。剩余的概念源自“剩余；剩下的”：换句话说，考虑了预测后数据中剩余的内容。这表明，将这些数量命名为“剩余”的人都会想到“数据值减去拟合值”的定义。

— whuber

3

@NickCox，能否请您以引文形式将您的评论形式化为答案？我的问题不是关于统计学，而是关于科学惯例，因此，您的评论中指出的历史和用法洞察力正是我要寻找的答案。

— Tripartio

6

残长这个词早于萨尔斯堡。我不得不说，尽管他的书有时很有趣，但远非权威。如果有兴趣，可以在Biometrics上 找到

— Nick Cox

22

我只是碰上了一个令人信服的理由对一个答案是在正确的。

$y$ $x$

蓝色曲线是普通的最小二乘拟合。它绘制拟合值。

$y$ $\hat y$

这是一个标准的诊断图，显示了偏移的条件分布如何随预测值变化。从几何上讲，它几乎与“直到”散布上一个散点图相同。

$\hat y - y,$

它显示的数量与之前的图相同，但是通过从拟合中减去数据来计算残差-这与否定先前的残差相同。

尽管前面的两个图在数学上都是等效的-仅通过在蓝色地平线上翻转这些点就可以将它们转换成另一个-但其中一个与原始图具有更直接的视觉关系。

因此，如果我们的目标是将残差的分布特性与原始数据的特性相关联（而且几乎总是这样），那么最好是简单地移动响应而不是移动和反转它们。

$y - \hat y.$

— ub
source

1

我不认为我在这里遵循偏斜的特殊之处-您对与原始图匹配的残差的论点不是立竿见影吗？

— MichaelChirico

2

@Michael你是正确的。但是，偏斜度对于说明这一点很有用，因为它可以清楚地区分分布的形状和其负数的形状。

— whuber

10

Green＆Tashman（2008，Foresight）的一份关于类似预测误差问题的小型调查报告。我将总结它们所报告的任一约定的参数：

“实际预测的”参数

$y=\hat{y}+\epsilon$
至少一位地震学的受访者写道，这也是对地震波传播时间进行建模的惯例。“当实际地震波在模型预测的时间之前到达时，我们就有负的传播时间残差（误差）。” （原文如此）
$\hat{y}$
$+$ $-$

“预测的实际”参数

$y=\hat{y}-\epsilon$

相关地，如果将正偏差定义为正预期误差，则意味着按照该惯例，预测平均而言过高。

这几乎是为此公约提供的唯一论据。再者，鉴于其他约定可能导致的误解（正错误=预测过低），这是一个很强的约定。

最后，我认为这取决于您需要向谁传达残差。鉴于此讨论肯定有两个方面，因此明确指出您遵循的约定是有意义的。

— S. Kolassa-恢复莫妮卡
source

7

x

$x$

3

@NickCox：抽象，你是对的。但是，请大量的人问他们：“今天温度的天气预报有很大的正误差。您是否认为天气预报是（A）太高或（B）太低？” 我想我可以预测绝大多数会选择（A）还是（B）中的哪一个。

— S. Kolassa-恢复莫妮卡

6

是的，如果您将问题表达为“您是否认为温度比预测高（A）或（B）更低 ”，您很可能会得到完全相反的答案！提到“正错误”只会引起“什么是错误”的问题，这使我们（以一种完美的循环方式）回到了最初的问题。

— ub

2

@whuber这是一个相当不自然的问题措辞。假定“观察到的”是“固定的”，则模型与其之间的关系似乎比其他方法更自然。我因超速而获得超速罚单，而不是“速度限制低于我的速度”。当然，自然语言参数对技术术语/语言的应用有限/

— mbrig

2

@whuber我的意思是，表达问题的一种方法显然更自然（至少在英语中如此）。

— mbrig

4

不同的术语表示不同的约定。术语“残差”表示在考虑所有解释变量（即实际预测的变量）后剩下的内容。“预测误差”表示预测偏离实际值（即实际预测值）的程度。

$X = x_1,x_2...$ $y$ $\hat y$

$y$ $\hat y$ $X$ $y$ $\hat y$ $\hat y$ $y$ $\hat y$ $\hat y$ $y$ $\hat y$ $y$ $e = \hat y -y$

$\hat y$ $X$ $X$ $x \rightarrow f(X)\rightarrow f(X)+error()$ $\hat y$ $X$ $y$ $\sqrt{\frac{2x}{g}}$

$\hat y = \sqrt{\frac{2x}{g}}$
$y = \hat y +error$

$\hat y$ $y$ $\hat y$ $X$

$\sqrt{\frac{2x}{g}}$ $y = \hat y +error$

$X$

$\hat y = f(X)$
$y = \hat y+g(?)$
$g = y-\hat y$

— 积累
source

4

@Aksakal的答案是完全正确的，但是我只添加一个我认为可以帮助我（和我的学生）的其他元素。

座右铭：统计数字是“完美的”。在这种情况下，我总是可以提供完美的预测（我知道现在有些眉毛在抬头……所以听听我的声音）。

$y_i$ $\hat{y}_i$

y_{i} \neq {\hat{y}}_{i}

$y_i \ne \hat{y}_i$

ϵ_{i}

$\epsilon_i$

y_{i} = {\hat{y}}_{i} + ϵ_{i}

$y_i = \hat{y}_i + \epsilon_i$ 现在，我们有了“完美”的预测……我们的“最终”值与我们的观测值匹配。

$\epsilon_i$

— 格雷格·H
source

2

{\hat{y}}_{i} - y_{i}

$\hat{y}_i - y_i$

6

为什么“最好将其添加到我们的预测值中”？为什么不“查看需要调整多少数据才能与我们的预测相符”？两种方法似乎都没有声称比另一种更为明显，有意义或“直觉”。

— whuber

2

@whuber一项是“真实的”（观察到的具体），另一项是“假设的”构造；如果我们根据体重对身高进行建模，那么将某人“收缩” 3英寸以使其实际/观察到的身高与某个（虚构）预测值相匹配是否合理？

— Gregg H

2

是的-这是一种常见的数据思考方式。我只是在指出您关于人们如何看待这个问题并理解“最佳”含义的假设可能是推测性的和主观的。

— whuber

公平点...将以简短评论进行更新

— Gregg H

2

$\newcommand{\e}{\varepsilon}$ 我将使用最小二乘线性回归的特殊情况。如果我们把我们的模型为则作为@Aksakal指出我们很自然地结束了等等。如果取而代之，我们当然可以自由地使用作为我们的模型，那么我们得到。在这一点上，除了模糊的偏爱比之外，实际上没有理由比另一个更喜欢一个。 $Y = X\beta + \e$ $\e = Y - X\beta$ $\hat \e = Y - \hat Y$ $Y = X\beta - \e$ $\e = X\beta - Y \implies \hat \e = \hat Y - Y$ $1$ $-1$

但是，如果那么我们将通过获得残差，其中是一个投影到与设计矩阵的列空间正交的空间中的幂等矩阵。如果我们改用那么最终得到。但是本身不是幂等的。因此，实际上是投影矩阵的负值，即。因此，我认为这是消除使用引入的负数，因此，为了简化起见，最好只使用 $\hat \e = Y - \hat Y$ $(I - P_X)Y$ $I - P_X$ $X$ $Y = X\beta - \e$ $\hat \e = (P_X - I)Y$ $P_X - I$ $(P_X - I)^2 = P_X^2 - 2P_X + I = -(P_X - I)$ $P_X - I$ $I - P_X$ $Y = X\beta - \e$ $Y = X\beta + \e$ 这又给我们作为残差。 $Y - \hat Y$

正如在其他地方所提到的，如果使用并不会导致任何中断，但是最终会遇到这种双重否定的情况，我认为这就是使用充分理由。 $\hat Y - Y$ $Y - \hat Y$

— jld
source

但是写任何东西与的特定值的符号无关，只不过写是对或在实践中为正的承诺或假设。它可能是相同的等式，但的符号相反。

+ e

$+ e$

e

$e$

y = β_{0} + β_{1} x

$y = \beta_0 + \beta_1 x$

β_{0}

$\beta_0$

β_{1}

$\beta_1$

e

$e$

— Nick Cox

@NickCox谢谢您的评论，我意识到我以我们要编写模型的假设为前提。我已将其重写以解决此问题

Y = X β + ε

$Y = X\beta + \varepsilon$

— jld