可以使用线性回归中的标准化

我试图解释一篇文章的结果，他们运用多元回归来预测各种结果。但是的（定义为标准B系数，其中是从属变量且是预测变量）报告似乎与报告的不匹配： $\beta$ $\beta_{x_1} = B_{x_1} \cdot \frac{\mathrm{SD}_{x_1}}{\mathrm{SD}_y}$ $y$ $x_1$ $R^2$

尽管为-0.83，-0.29，-0.16，-0.43、0.25和-0.29，但报告的仅为0.20。 $\beta$ $R^2$

同样，三个预测因子：体重，BMI和脂肪％是共线的，在性别内彼此相关，r = 0.8-0.9。

值是否适合这些，或者与之间没有直接关系？ $R^2$ $\beta$ $\beta$ $R^2$

此外，多共线性预测变量的问题可能会影响第四个预测变量的（VO2max），它与上述三个变量在r = 0.4附近相关吗？ $\beta$

— Sakari Jukarainen
source

在这种情况下，

是什么？β系数（标准化回归）？或者是其他东西？如果是这样的话，他们真的不能说什么，只是对标准偏差的解释。该系数表示影响很大的事实，并不意味着

值较高

β

$\beta$

R^{2}

$R^2$

— -Repmat

ß表示标准b系数。对于1个预测变量的情况，ß等于pearson的r，这与R平方直接相关，但是在这种多元情况下，为什么高ß并不意味着高R平方？

— Sakari Jukarainen '16

不，在一个回归变量中，

不等于Pearson的相关性：

β

$\beta$

。

和

之间的关系不是那么简单。

β = \frac{Cov (y, x)}{Var (x)} \neq \frac{Cov (y, x)}{\sqrt{Var (y) \times Var (x)}} = ρ (y, x)

$\beta=\frac{\text{Cov}(y,x)}{\text{Var}(x)}\neq\frac{\text{Cov}(y,x)}{ \sqrt{ \text{Var}(y)\times\text{Var}(x) } }=\rho(y,x)$

β

$\beta$

R^{2}

$R^2$

— 理查德·哈迪

@RichardHardy我怀疑混淆是Sakari将

定义为标准化回归系数。在二元线性回归中，回归系数（Sakari表示法中的

）为

β

$\beta$

b

$b$

，其中

是相关系数，

是标准偏差。为了标准化回归系数，我们将系数除以

的标准偏差，然后再乘以

标准偏差，因此只剩下相关性。所以Sakari是对的。

r_{x y} \frac{s_{y}}{s_{x}}

$r_{xy}\frac{s_y}{s_x}$

r

$r$

s

$s$

y

$y$

x

$x$

— Maarten Buis

我仍然不明白为什么您认为这是错误的？如果论文中有一些摘要统计信息，您可以简单地检查数字是否加起来。您甚至提供了这样做的公式。您不能仅仅因为影响过大而得出结论，这些模型就可以很好地说明y的方差。

— Repmat '16

普通最小二乘回归的几何解释提供了必要的见解。

我们需要知道的大多数信息都可以在两个回归和且响应为的情况下看到。的标准化系数，或“测试版”，当所有三个向量标准化为共同的长度（我们可采取是统一）出现。因此，和是平面中的单位向量-它们位于单位圆上是包含该平面的三维欧氏空间中的单位向量。拟合值是的正交（垂直）的投影 $x_1$ $x_2$ $y$ $x_1$ $x_2$ $E^2$ $y$ $E^3$ $\hat y$ 到。因为根本的平方长度，我们甚至不需要想象所有的三个维度：我们需要的所有信息，可以在平面绘制。 $y$ $E^2$ $R^2$ $\hat y$

正交回归

最好的情况是当回归变量正交时，如第一个图所示。

$图1显示了回归器和$ \ hat y $作为平面中的向量。$

在本图和其余图中，我将始终以白色绘制单位磁盘，并以黑色箭头绘制回归曲线。将始终直接指向右侧。粗红色箭头描绘的组件在和方向：即，和。的长度是其上点的位置与灰色圆圈的半径-但要记住，是 $x_1$ $\hat y$ $x_1$ $x_2$ $\beta_1 x_1$ $\beta_2 x_2$ $\hat y$ $R^2$ 正方形的是长度。

该勾股定理断言

R^{2} = | \hat{y} |^{2} = | β_{1} x_{1} |^{2} + | β_{2} x_{2} |^{2} = β_{1}^{2} (1) + β_{2}^{2} (1) = β_{1}^{2} + β_{2}^{2} .

$R^2 = |\hat y|^2 = |\beta_1 x_1|^2 + |\beta_2 x_2|^2 = \beta_1^2(1)+\beta_2^2(1) = \beta_1^2 + \beta_2^2.$

由于毕达哥拉斯定理具有任意数量的维，因此该推理可推广到任意数量的回归变量，从而得出我们的第一个结果：

当回归变量正交时，等于beta的平方和。 $R^2$

一个直接的推论是，当只有一个回归变量（单变量回归）时，是标准斜率的平方。 $R^2$

代数结果

通常，让回归变量为（列向量），响应为。 标准化装置（a）每正交于矢量和（b）它们具有单元长度： $x_1, x_2, \ldots, x_p$ $y$ $(1,1,\ldots,1)^\prime$

| x_{i} |^{2} = | y |^{2} = 1.

$|x_i|^2 = |y|^2 = 1.$

将列向量组装到矩阵。矩阵乘法的规则意味着 $x_i$ $n\times p$ $X$

Σ = X^{'} X

$\Sigma = X^\prime X$

是的相关矩阵。贝塔系数由正态方程式给出 $x_i$

β = (X^{'} X)^{- 1} X^{'} y = Σ^{- 1} (X^{'} y) .

$\beta = (X^\prime X)^{-1} X^\prime y = \Sigma^{-1} (X^\prime y).$

此外，根据定义，拟合度为

\hat{y} = X β = X (Σ^{- 1} X^{'} y) .

$\hat y = X \beta = X (\Sigma ^{-1} X^\prime y).$

它的平方长度根据定义给出： $R^2$

R^{2} = | \hat{y} |^{2} = {\hat{y}}^{'} \hat{y} = (X β)^{'} (X β) = β^{'} (X^{'} X) β = β^{'} Σ β .

$R^2 = |\hat y|^2 = \hat y^\prime \hat y = (X\beta)^\prime (X\beta) = \beta^\prime (X^\prime X)\beta = \beta^\prime \Sigma\beta.$

几何分析建议我们寻找与和β平方和有关的不等式， $R^2$

\sum_{i = 1}^{p} β_{i}^{2} = β^{'} β .

$\sum_{i=1}^p \beta_i^2 = \beta^\prime \beta.$

任何矩阵的范数均由其系数的平方和得出（基本上将矩阵视为欧几里德空间中分量的向量）， $L_2$ $A$ $p^2$

| A |_{2}^{2} = \sum_{i, j} a_{i j}^{2} = tr (A^{'} A) = tr (A A^{'}) .

$|A|_2^2 = \sum_{i,j} a_{ij}^2 = \operatorname{tr}(A^\prime A) = \operatorname{tr}(AA^\prime).$

Cauchy-Schwarz不等式暗示

R^{2} = tr (R^{2}) = tr (β^{'} Σ β) = tr (Σ β β^{'}) \leq | Σ |_{2} | β β^{'} |_{2} = | Σ |_{2} β^{'} β .

$R^2 = \operatorname{tr}(R^2) = \operatorname{tr}(\beta^\prime \Sigma \beta) = \operatorname{tr}(\Sigma \beta \beta^\prime) \le |\Sigma|_2 | \beta\beta^\prime|_2 = |\Sigma|_2 \beta^\prime \beta.$

因为平方相关系数不能超过和有刚在它们的矩阵，不能超过 $1$ $p^2$ $p\times p$ $\Sigma$ $|\Sigma|_2$ 。因此 $\sqrt{1\times p^2} = p$

R^{2} \leq p β^{'} β .

$R^2 \le p\, \beta^\prime \beta.$

例如，当所有完全正相关时，就可以实现不等式。 $x_i$

可以有多大的上限。每个回归变量的平均值不能超过标准化系数的平方和。 $R^2$ $R^2/p$

结论

我们总体上可以得出什么结论？显然，有关回归变量的相关结构以及β的符号的信息可以用于限制的可能值，甚至可以精确地计算出它。缺席的是完整信息，很少能够超出一个明显的事实是，当回归量是线性独立的，单个非零的β意味着所述是非零值，证明是非零值。 $R^2$ $\hat y$ $R^2$

我们可以从问题的输出中明确得出的结论是，数据是相关的：由于beta的平方和等于，超过了的最大可能值（即），因此必须存在一定的相关性。 $1.1301$ $R^2$ $1$

另一件事是，因为最大的β（大小）为，其平方为 --far超过所报告的 -我们可以得出结论，一些回归量必须呈负相关。 （实际上， $-0.83$ $0.69$ $R^2$ $0.20$ 在任何涵盖广泛的后者值的样本中，可能与年龄，体重和脂肪呈极显着的负相关。） $\text{VO}_{2\,\text{max}}$

如果只有两个回归系数，我们可以推断出更大量的关于高回归相关性和贝塔检验的知识，因为这将使我们得出的如何准确的草图，，和必须位于。不幸的是，这个六变量问题中的其他回归变量使事情变得相当复杂。在分析任何两个变量时，我们必须“取出”或“控制”其他四个回归变量（“协变量”）。这样，我们缩短了，和 $R^2$ $x_1$ $x_2$ $\hat y$ $x_1$ $x_2$ $y$ 未知数量（取决于这三个变量与协变量之间的关系），我们几乎不了解所使用向量的实际大小。

— ub
source

+1，但我不明白为什么，在非正交的情况下，你的项目

向量垂直于轴线的预测，而不是使突出虚线平行去到另一个预测。这听起来很麻烦，但我想您会明白我的意思的。您的“预测”（两个较小的红色向量）不会有的可达获得大红色

载体。

\hat{y}

$\hat y$

\hat{y}

$\hat y$

— 变形虫

@amoeba你说的很对。我太急于创建这些图像！我将（希望暂时）删除该帖子，直到我有机会纠正该问题。感谢您指出这一点。

— ub

@Amoeba我已经更正了图片并修改了分析以使其匹配。尽管细节发生了很大变化，但结论仍然相同。

— ub

@amoeba再次您是正确的。冒着失去感兴趣的读者的风险，但现在不得不对几何直觉进行量化了，我加紧了这个结论，并用一点代数证明了这一点。（我相信代数是正确的！）

— ub

非常感谢！附带说明，VO2max与体重和BMI呈负相关，因为它们与较高的瘦体重有关。在所述表中，VO2max实际上对应于VO2max除以重量（这是将VO2max缩放为身体尺寸的一种不好的方式）。如表中所述，表中的最大摄氧量/体重与所有其他预测变量（性别除外）呈负相关，这可能解释了较高的ß但较低的R平方。

— Sakari Jukarainen