多元回归还是偏相关系数？两者之间的关系

我什至不知道这个问题是否有意义，但是多元回归和部分相关之间有什么区别（除了相关性和回归之间的明显区别之外，这不是我的目标）？

我想弄清楚以下几点：
我有两个自变量（，）和一个因变量（）。现在，独立变量不再与因变量相关。但是对于给定的当减小时减小。那么，我是否可以通过多元回归或偏相关来分析呢？ $x_1$ $x_2$ $y$ $x_1$ $y$ $x_2$

编辑以希望改善我的问题： 我正在尝试了解多元回归和偏相关之间的区别。所以，当对于给定的减小时降低，是由于的组合效果和上（多重回归），或者它是由于去除的效果（部分相关）？ $y$ $x_1$ $x_2$ $x_1$ $x_2$ $y$ $x_1$

multiple-regression regression-coefficients partial-correlation

— 用户34927
source

您要回答的实质性问题是什么？

— gung-恢复莫妮卡

另请参阅非常类似的问题stats.stackexchange.com/q/50156/3277。

— ttnphns

多个线性回归系数和偏相关直接相关，并且具有相同的显着性（p值）。部分r只是与β系数（标准化回归系数）一起标准化系数的另一种方法。因此，如果因变量是而独立变量是和则 $^1$ $y$ $x_1$ $x_2$

Beta: β_{x_{1}} = \frac{r_{y x_{1}} - r_{y x_{2}} r_{x_{1} x_{2}}}{1 - r_{x_{1} x_{2}}^{2}}

$\text{Beta:} \quad \beta_{x_1} = \frac{r_{yx_1} - r_{yx_2}r_{x_1x_2} }{1-r_{x_1x_2}^2}$

Partial r: r_{y x_{1} . x_{2}} = \frac{r_{y x_{1}} - r_{y x_{2}} r_{x_{1} x_{2}}}{\sqrt{(1 - r_{y x_{2}}^{2}) (1 - r_{x_{1} x_{2}}^{2})}}

$\text{Partial r:} \quad r_{yx_1.x_2} = \frac{r_{yx_1} - r_{yx_2}r_{x_1x_2} }{\sqrt{ (1-r_{yx_2}^2)(1-r_{x_1x_2}^2) }}$

您将看到而分子是该告诉两个公式相同的测量同样的独特效果的。我将尝试解释两个公式在结构上如何相同，以及如何不同。 $x_1$

假设您对所有三个变量进行了z标准化（均值0，方差1）。分子然后等于两种残差之间的协方差：（a）通过 [两个变量标准] 预测留下的残差和（b）通过 [两个变量标准] 预测剩下的残差。此外，残差（a）的方差为；残差（b）的方差为。 $y$ $x_2$ $x_1$ $x_2$ $1-r_{yx_2}^2$ $1-r_{x_1x_2}^2$

为下式的部分相关那么显然出现平原皮尔逊的式，作为残差（a）和残差（B）之间计算在这种情况下：皮尔逊，我们知道，被协方差由是几何平均的分母划分两个不同的差异。 $r$ $r$

标准系数β在结构上与Pearson类似，只是分母是与自身的方差的几何平均值。未计算残差（a）的方差；它由残差方差的第二次计数（b）代替。因此，贝塔值是两个残差相对于其中一个残差的协方差（具体来说，一个与感兴趣的预测变量）。正如已经注意到的，部分相关是相对于其混合方差的相同协方差。两种类型的系数都是标准化在其他预测变量的环境中的影响的方法。 $r$ $x_1$ $x_1$

某些数值后果的差异。如果通过和的多元回归的R平方恰好是1，则预测变量与因变量的两个部分相关性也都将是1绝对值（但beta通常不会是1）。确实，如前所述，是的残差与的残差之间的相关性。如果有什么不内是究竟什么是不内那么有没有什么内部既不是也不 $y$ $x_1$ $x_2$ $r_{yx_1.x_2}$ y <- x2x1 <- x2 $x_2$ $y$ $x_2$ $x_1$ $y$ $x_1$ $x_2$ ：完全适合。如果（）中剩余的无法解释的部分（由）的量是多少，如果它被的独立部分（由捕获）相对较高。），则会很高。，在另一方面，将以高仅提供的是捕获的原因不明的部分是本身的实质部分。 $x_2$ $y$ $1-r_{yx_2}^2$ $x_1$ $1-r_{x_1x_2}^2$ $r_{yx_1.x_2}$ $\beta_{x_1}$ $y$ $y$

从上面的公式中，可以获得（并从2个预测变量回归到具有任意数量的预测变量的回归）beta和相应的部分r之间的转换公式： $x_1,x_2,x_3,...$

r_{y x_{1} . X} = β_{x_{1}} \sqrt{\frac{var (e_{x_{1} \leftarrow X})}{var (e_{y \leftarrow X})}},

$r_{yx_1.X} = \beta_{x_1} \sqrt{ \frac {\text{var} (e_{x_1 \leftarrow X})} {\text{var} (e_{y \leftarrow X})}},$

其中代表除当前（）以外的所有预测变量的集合；是乘以的残差，是乘以的残差，这两个回归变量都将其标准化。 $X$ $x_1$ $e_{y \leftarrow X}$ $y$ $X$ $e_{x_1 \leftarrow X}$ $x_1$ $X$

注意：如果我们需要计算每个预测变量的局部相关性，我们通常将不需要使用此公式进行另外两个回归。相反，将完成扫描操作（通常在逐步和所有子集回归算法中使用）或计算反图像相关矩阵。 $y$ $x$

$^1$ $\beta_{x_1} = b_{x_1} \frac {\sigma_{x_1}}{\sigma_y}$ 是原始与采用截距回归的标准系数之间的关系。 $b$ $\beta$

— ttnphns
source

谢谢。但是我该如何决定选择哪一个，例如出于问题中所述的目的呢？

— user34927

显然，您可以自由选择：分子是相同的，因此它们传达的信息是相同的。至于您的问题（尚未完全澄清），它似乎与“ r不能为0时可以表示系数为0”有关。“当r为0 时，可以表示系数不为0”。网站上对此有很多疑问。例如，您可以阅读stats.stackexchange.com/q/14234/3277 ; stats.stackexchange.com/q/44279/3277。

— ttnphns 2013年

我想澄清我的问题..

— user34927

固定X1（“给定x1”）=消除（控制）X1的效果。多元回归中没有“组合效应”之类的东西（除非您添加交互X1 * X2）。多元回归的影响具有竞争性。线性回归效应实际上是部分相关。

— ttnphns 2013年

请稍候，@ user34927。

to prove that the DV (Y) is significantly correlated with one of two IVs (X1) if the effect of the other IV (X2) is removed

效果从哪里删除？如果从“ Y”和“ X1”中“删除” X2，则更正。Y和X1之间的关系就是偏相关。如果仅从X1“删除” X2，则更正。Y和X1之间的关系称为部分（或半部分）相关。是你真的问它？

— ttnphns

$\beta_{x_1}$ $\sqrt{SSY/SSX_1}$

β_{x_{1}} = \frac{r_{y x_{1}} - r_{y x_{2}} r_{x_{1} x_{2}}}{1 - r_{x_{1} x_{2}}^{2}} \times \sqrt{\frac{S S Y}{S S X_{1}}},

$\beta_{x_1} = \frac{r_{yx_1} - r_{y x_2} ~r_{x_1 x_2}} {1-r^2_{x_1 x_2}} \times \sqrt{\frac{SSY}{SSX_1}},$

S S Y = \sum_{i} (y_{i} - \bar{y})^{2}

$SSY=\sum_i (y_i-\bar y)^2$

S S X_{1} = \sum_{i} (x_{1 i} - {\bar{x}}_{1})^{2}

$SSX_1 = \sum_i {(x_{1i} - \bar{x}_1)^2}$

— 布拉尼
source

b

$b$

β

$\beta$