我们为什么说结果变量“在”预测变量上“回归”？

该术语是否有一些直观的解释？为什么这样做，而不是将预测变量回归结果？

理想情况下，我希望对这种术语为何存在的正确解释能够帮助学生记住它，并阻止他们以错误的方式来讲。

我不知道“回归”的词源是什么，但这是我说或听到此表达时要记住的解释。请参考Hastie等人的《统计学习的要素》中的下图：

在其核心上，线性回归等于$\mathbf y$在（到）上的正交投影$\mathbf X$，其中$\mathbf y$是因变量观测值的$n$维向量，而$\mathbf X$是预测变量向量跨越的子空间。

这是线性回归的非常有用的解释。

由于被投影在X上，所以当我听到y在X上“回归” 时，我就是这样想的。从这个角度来看，它将使不及义地说，X是退步Ÿ或Ÿ使其回归“反对”或“与” X。$y$$X$$y$$X$$X$$y$$y$$X$

理想情况下，我希望对这种术语为何存在的正确解释能够帮助学生记住它，并阻止他们以错误的方式来讲。

就像我说的那样，我怀疑这是为什么存在该术语的解释（也许仅仅是为什么它持续存在？），但我确信它可以帮助学生记住它。

我经常使用和听到这种说话方式。我猜想，在预测变量之前提到结果或响应的序列是遵循书面约定，使用单词或符号或将两者混合在一起，一直到

$Y = X\beta$

抛开我们所谓的不同类型变量的同样有趣（或无趣！）的问题。

但是，从数学和统计学角度来说，首先提及预测变量似乎同样有效，就像许多数学家首先撰写带有自变量的映射或函数一样。

可能经常导致我们在统计讨论中使用的顺序的原因是，从科学或实践上，我们通常对我们要预测的内容有清晰的认识-是死亡率，收入，小麦收成，选举中的投票数或其他-尽管潜在的或实际的预测因素库可能不太清楚。即使很清楚，也要先提到重要的事情。你想做什么？预测什么。你打算怎么做？使用部分或全部这些变量。

我没有关于“上”的故事，没有其他合适的词。我没有听到“反对”或“反对”的声音。这里可能没有逻辑，只是在教科书，教学和讨论中传递了模因。

一般来说，要当心。考虑一个相关的问题，即“对抗”的含义。我长大后说“ 对（或对）x [水平轴变量] 绘制 [垂直轴变量]”，相反的声音对我来说很奇怪。然而，具有丰富经验和专业知识的人却反过来。有时，这种差异可以追溯到自从您坐在脚下以来就一直模仿的超凡魅力和特质老师。$y$$x$

1）术语回归来自以下事实：在通常的简单线性回归模型中：

$y = \alpha + \beta x + \epsilon$

$y$$x$$\hat{y}$$\bar{y}$$x$$\bar{x}$

$|\hat{y} - \bar{y}| / s_y < |x - \bar{x}| / s_x$

例如，如果我们使用R中内置的BOD数据帧，则：

fm <- lm(demand ~ Time, BOD)
with(BOD, all( abs(fitted(fm) - mean(demand)) / sd(demand) < abs(scale(Time))))
## [1] TRUE

有关证明，请参见：https : //en.wikipedia.org/wiki/Regression_toward_the_mean

2）术语上来自一个事实，即拟合值是结果变量的投影到由预测器变量（包括截距跨越的子空间）如在许多来源进一步解释如HTTP：//people.eecs.ku .edu /〜jhuan / EECS940_S12 / slides / linearRegression.pdf。

注意

关于下面的评论，评论者正在说的是答案已经在上面以公式形式陈述了，只是答案正确地陈述了。实际上，由于平等：

$(\hat{y} - \bar{y}) = \hat{\beta} (x - \bar{x})$

$| \beta | < 1$

$beta > 1$

就个人而言，在解释术语时，我发现术语本身的定义总是有帮助的，尤其是在向学生解释时。单词regress的实际定义是：

“回到以前或欠发达的状态”。

因此，我想一种解释方式是：

“将结果视为完全发展的状态，我们尝试使用欠发达的状态（即独立变量）来解释结果。因此，结果在预测变量上回归。”

希望能有所帮助。