广义最小二乘：从回归系数到相关系数？

对于具有一个预测变量的最小二乘法：

$y = \beta x + \epsilon$

如果和在拟合之前已标准化（即），则：$x$$y$$\sim N(0,1)$

• $\beta$与皮尔逊相关系数。$r$
• $\beta$在反射回归中相同：$x = \beta y + \epsilon$

对于广义最小二乘（GLS），是否同样适用？即，如果我将数据标准化，是否可以直接从回归系数中获得相关系数？

通过对数据的实验，反射的GLS得出不同的系数，而且我不确定我是否认为回归系数与我的相关期望值相符。我知道人们引用了GLS相关系数，所以我想知道他们是如何得出的，它们的真正含义是什么？$\beta$

答案是肯定的，线性回归系数是预测变量与响应的相关性，但前提是您使用正确的坐标系。

要了解我的意思，请记住，如果和居中并标准化，则每个和之间的相关性只是点积$x_1, x_2, \ldots, x_n$$y$$x_i$$y$$x_i^t y$。另外，线性回归的最小二乘解是

$$\beta = (X^t X)^{-1} X^t y$$

如果它恰巧（单位矩阵），那么$X^{t} X = I$

$$\beta = X^t y$$

然后我们恢复相关向量 它经常是有吸引力的预测方面重铸回归问题满足〜X吨〜X = 我通过找到原始预测，使这种关系真（或等同地，坐标的线性变化）的适当的线性组合; 这些新的预测变量称为主要成分。$\tilde{x}_i$$\tilde{X}^t \tilde{X} = I$

因此，总的来说，您的问题的答案是肯定的，但前提是预测变量本身不相关。否则，表达式

$$X^t X \beta = X^t y$$

结果表明，必须将beta 与预测变量本身之间的相关关系混合在一起，才能恢复预测变量与响应之间的相关性。

附带说明，这也解释了为什么对于一个变量线性回归，结果始终为真。一旦预测向量标准化，则：$x$

$$x_0^t x = \sum_i x_{i} = 0$$

$x_0$$X$$X^t X = I$