简单线性回归中切换响应和解释变量的影响

48

假设 $y$ 和之间存在某种“真实”关系， $x$ 使得 $y = ax + b + \epsilon$ ，其中和是常数，是同等噪声。当我从那个R代码随机生成数据时：然后适合一个模型，显然，我得到和合理估计。 $a$ $b$ $\epsilon$ x <- 1:100; y <- ax + b + rnorm(length(x))y ~ x $a$ $b$

如果我在切换变量的作用(x ~ y)，但是，然后重写结果为是的函数，将得到的斜率总是更陡比由所估计的（或更负或更积极的）回归。我正在尝试确切地理解为什么会这样，如果有人能给我关于那里发生的事情的直觉，我将不胜感激。 $y$ $x$ y ~ x

regression

— 格雷格·阿庞特（Greg Aponte）
source

1

通常情况并非如此。也许您只是在数据中看到了这一点。粘贴以下代码：y = rnorm（10）; x = rnorm（10）; lm（y〜x）; lm（x〜y）; 多次进入R，您会发现它是双向的。

— 2012年

这与我所描述的有些不同。在您的示例中y根本不是x的函数，因此实际上没有任何“斜率”（在我的示例中为'a'）。

— 格雷格·阿蓬特

LM（Y〜x）的适合的模型

y = β_{0} + β_{1} x + ε

$y = \beta_{0} + \beta_{1}x + \varepsilon$ 由最小二乘（相当于ML估计当所述误差是独立同分布的正常）。有一个斜坡。

— 2012年

2

可以在stats.stackexchange.com/questions/13126和stats.stackexchange.com/questions/18434上问和回答您的问题。不过，我相信没有人还没有贡献（一）回归之间的关系的一个简单，明确的解释

Y

$Y$ VS

X

$X$ ，（B）的回归

X

$X$ VS

Y

$Y$ ，的相关性（三）分析

X

$X$ 和

Y

$Y$ ，（D）

X

$X$ 和

的变量误差回归

Y

$Y$ ，以及（e）将二元正态分布拟合为

(X, Y)

$(X,Y)$ 。这将是一个很好的展览地点:-)。

— Whuber

2

当然，Macro是正确的：因为x和y在问题中扮演相同的角色，因此哪个斜率更极端是一个偶然的问题。但是，几何形状提示（不正确），当我们在回归中反转x和y时，应该得到原始斜率的公式。除非x和y线性相关，否则这永远不会发生。这个问题可以解释为问为什么。

— ub

23

鉴于 $n$ 数据点 $(x_i,y_i), i = 1,2,\ldots n$ ，在飞机上，让我们画出直线 $y = ax+b$ 。如果我们预测，则平方误差为 $ax_i+b$ 作为值的，则误差是 $\hat{y}_i$ $y_i$ $(y_i-\hat{y}_i) = (y_i-ax_i-b)$ ，总平方误差。我们问 $(y_i-ax_i-b)^2$ $\sum_{i=1}^n (y_i-ax_i-b)^2$

什么选择的 $a$ 和使最小化？ $b$ $S =\displaystyle\sum_{i=1}^n (y_i-ax_i-b)^2$

由于是距直线的垂直距离，因此我们要求得到这样一条线，即点与点的垂直距离的平方和线越小越好。现在是两者的二次函数和并达到其最小值时和是这样的， $(y_i-ax_i-b)$ $(x_i,y_i)$ $S$ $a$ $b$ $a$ $b$ 。从第二方程，我们得到

\begin{aligned} \frac{\partial S}{\partial a} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- x_{i}) & = 0 \\ \frac{\partial S}{\partial b} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- 1) & = 0 \end{aligned}

$\begin{align*} \frac{\partial S}{\partial a} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-x_i) &= 0\\ \frac{\partial S}{\partial b} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-1) &= 0 \end{align*}$

其中

b = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - a x_{i}) = μ_{y} - a μ_{x}

$b = \frac{1}{n}\sum_{i=1}^n (y_i - ax_i) = \mu_y - a\mu_x$

分别是

和

的算术平均值。代入第一个方程，我们得到

μ_{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}, μ_{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\displaystyle \mu_y = \frac{1}{n}\sum_{i=1}^n y_i, ~ \mu_x = \frac{1}{n}\sum_{i=1}^n x_i$

y_{i}

$y_i$

x_{i}

$x_i$

因此，最大限度地减少了线

可以表示为

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

S

$S$

和的最小值

是

y = a x + b = μ_{y} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}) (x - μ_{x}),

$y = ax+b = \mu_y + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}\right) (x - \mu_x),$

S

$S$

S_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$S_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

如果我们互换的角色和，画线，并要求的值和，最大限度地减少 $x$ $y$ $x = \hat{a}y + \hat{b}$ $\hat{a}$ $\hat{b}$ 也就是我们希望线条使得的平方和水平从线中点的距离尽可能小，然后我们得到

T = \sum_{i = 1}^{n} (x_{i} - \hat{a} y_{i} - \hat{b})^{2},

$T = \sum_{i=1}^n (x_i - \hat{a}y_i - \hat{b})^2,$

和的最小值是

x = \hat{a} y + \hat{b} = μ_{x} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}) (y - μ_{y})

$x = \hat{a}y+\hat{b} = \mu_x + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}\right) (y - \mu_y)$

T

$T$

T_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}} .

$T_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}.$

注意，这两个线穿过点但斜率 $(\mu_x,\mu_y)$ 等一般不同。确实，正如@whuber在评论中指出的那样，当所有点时，斜率都相同

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}, {\hat{a}}^{- 1} = \frac{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2},~~ \hat{a}^{-1} = \frac{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}$

(x_{i}, y_{i})

$(x_i,y_i)$ 位于同一直线上。看到这一点，请注意

{\hat{a}}^{- 1} - a = \frac{S_{min}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}} = 0 \Rightarrow S_{min} = 0 \Rightarrow y_{i} = a x_{i} + b, i = 1, 2, \dots, n .

$\hat{a}^{-1} - a = \frac{S_{\min}}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y} = 0 \Rightarrow S_{\min} = 0 \Rightarrow y_i=ax_i+b, i=1,2,\ldots, n.$

— 迪利普·萨瓦特（Dilip Sarwate）
source

谢谢！abs（correlation）<1解释了为什么在相反情况下斜率会系统地变陡。

— 格雷格·阿邦特

（+1），但我添加了一个答案，仅说明了您刚才所说的内容，因为我有一个几何思维：)

— Elvis 2012年

课堂回复（+1）

— Digio 2015年

39

只是为了说明Dilip的答案：在以下图片中，

黑点是数据点;
左边的黑线是通过获得的回归线y ~ x，它使红色段的长度的平方最小。
右侧的黑线是通过获得的回归线x ~ y，该线使红色段的长度的平方最小。

回归线

编辑（最小矩形回归）

如果没有自然的方法来选择“响应”和“协变量”，而是两个变量是相互依赖的，则您可能希望保留对称的作用 $y$ $x$

$Y = aX + b + \epsilon$
$\hat y_i = a x_i + b$ $\hat x_i = {1\over a} (y_i - b)$ $Y_i$ $X = x_i$ $X_i$ $Y = y_i$
$\sum_i | x_i - \hat x_i | \cdot | y_i - \hat y_i|$ $\hat{y} = s i g n (c o v (x, y)) \frac{{\hat{σ}}_{y}}{{\hat{σ}}_{x}} (x - \bar{x}) + \bar{y} .$ $\hat y = \mathrm{sign}\left(\mathrm{cov}(x,y)\right){\hat\sigma_y \over \hat\sigma_x} (x-\overline x) + \overline y.$

这是具有相同数据点的示例，对于每个点，将“矩形”计算为两个红色段的长度的乘积，并且将矩形的总和最小化。我对这种回归的性质了解不多，对Google也了解不多。

最小矩形

— 猫王
source

14

X = (y, x)

$\mathbf X = (\mathbf y, \mathbf x)$

14

δ = 1

$\delta = 1$

2

@cardinal非常有趣的评论！（+1）我相信长轴（最小化法线与所有点之间的垂直距离，即PCA）或减小的长轴回归或P Legendre 在lmodel2 R软件包中举例说明的II型回归也与此处相关因为这些技术是在难以分辨每个变量扮演什么角色（响应或预测变量）或我们想解决测量误差时使用的。

— chl 2012年

1

@chl：（+1）是的，我相信您是对的，并且总最小二乘法在Wikipedia页面上列出了同一过程的其他几个名称，但并不是我所熟悉的所有名称。它似乎至少可以追溯到R. Frisch，《通过完全回归系统进行统计合流分析》，UniversitetetsØkonomiskeInstituut，1934，在这里被称为对角回归。

— 红衣主教

3

@cardinal我在阅读Wikipedia条目时应该更加小心...作为参考，以下是M. Logan 摄于Biostatistical Design and Analysis Using R的照片，作者是M. Logan（Wiley，2010年；图8.4，第174页），总结了不同的方法，就像猫王的精美插图一样。

— chl 2012年

13

$x$ $y$ $s_{x}$ $s_{y}$ $x$ $y$ $r$ $y$ $r\frac{s_{y}}{s_{x}}$ $x$ $r\frac{s_{x}}{s_{y}}$ $r^2\leq 1$

因此，解释的方差比例越大，从每种情况获得的斜率越接近。注意，在简单线性回归中，解释的方差比例是对称的，并且等于平方相关。

— 概率逻辑
source

1

$y=\alpha+\beta x+\epsilon$

$y=a_{y\sim x}+b_{y\sim x} x$
$x=a_{x\sim y}+b_{x\sim y} y$

$b_{y\sim x}=\frac{cov(x,y)}{var(x)}=\frac{cov(x,y)}{var(y)}\frac{var(y)}{var(x)}$

b_{y \sim x} = b_{x \sim y} \frac{v a r (y)}{v a r (x)}

$b_{y\sim x}=b_{x\sim y}\frac{var(y)}{var(x)}$

$\frac{var(y)}{var(x)}$

\frac{v a r (y)}{v a r (x)} = \frac{β^{2} v a r (x) + v a r (ϵ)}{v a r (x)}

$\frac{var(y)}{var(x)}=\frac{\beta^2 var(x) + var(\epsilon)}{var(x)}$

链接其他答案

$R^2=1$ $R^2=1\Rightarrow var(\epsilon) = 0$ $b_{y\sim x}=\beta$

R^{2} = 1 \Rightarrow b_{y \sim x} = b_{x \sim y} \frac{β^{2} v a r (x) + 0}{v a r (x)} = b_{x \sim y} β^{2}

$R^2=1\Rightarrow b_{y\sim x}=b_{x\sim y}\frac{\beta^2 var(x) + 0}{var(x)}=b_{x\sim y}\beta^2$

$b_{x\sim y}=1/\beta$

— 马蒂福
source

0

当您的输入上也有噪音时（我们可以说总是这样，没有命令或观察是完美的），这变得很有趣。

$x = y$

x = np.linspace(0, 1, n)
y = x

x_o = x + np.random.normal(0, 0.2, n)
y_o = y + np.random.normal(0, 0.2, n)

查看不同的结果（这里的odr是正交距离回归，即与最小矩形回归相同）：

所有代码都在其中：

https://gist.github.com/jclevesque/5273ad9077d9ea93994f6d96c20b0ddd

— 莱夫斯克
source

0

回归线（总是）与真实关系不同

您可能有一些“真正的”因果关系，例如

y = a + b x + ϵ

$y = a + bx + \epsilon$

但拟合的回归线y ~ x或x ~ y与该因果关系的含义不同（即使在实践中，回归线之一的表达可能与因果“真”关系的表达重合）

坡度之间更精确的关系

对于两个切换的简单线性回归：

Y = a_{1} + b_{1} X X = a_{2} + b_{2} Y

$Y = a_1 + b_1 X\\X = a_2 + b_2 Y$

您可以按照以下方式关联斜率：

b_{1} = ρ^{2} \frac{1}{b_{2}} \leq \frac{1}{b_{2}}

$b_1 = \rho^2 \frac{1}{b_2} \leq \frac{1}{b_2}$

因此，斜率不是彼此相反的。

直觉

原因是

回归线和相关性就没有必要对应一个-to-one的因果关系。
回归线与条件概率或最佳预测更直接相关。

您可以想象条件概率与关系的强度有关。回归线反映了这一点，当关系的强度较小时，线的斜率可能会变浅，而当关系的强度较强时，线的斜率可能会变陡。斜率不只是彼此成反比。

例

$X$ $Y$

Y = a little bit of X + a lot of error

$Y = \text{a little bit of $X + $ a lot of error}$

X

$X$

Y

$Y$

代替

X = a lot of Y + a little of error

$X = \text{a lot of $Y + $ a little of error}$

最好也使用

X = a little bit of Y + a lot of error

$X = \text{a little bit of $Y + $ a lot of error}$

$\Sigma_{11} \Sigma_{22}=1$ $\Sigma_{12} = \Sigma_{21} = \rho$

条件期望值（线性回归中的值）为

\begin{matrix} E (Y | X) & = & ρ X \\ E (X | Y) & = & ρ Y \end{matrix}

$\begin{array}{} E(Y|X) &=& \rho X \\ E(X|Y) &=& \rho Y \end{array}$

$X,Y$

\begin{matrix} Y & \sim & N (ρ X, 1 - ρ^{2}) \\ X & \sim & N (ρ Y, 1 - ρ^{2}) \end{matrix}

$\begin{array}{} Y & \sim & N(\rho X,1-\rho^2) \\ X & \sim & N(\rho Y,1-\rho^2) \end{array}$

$\rho X$ $1-\rho^2$

$\rho$ Y ~ XX ~ Y

— 天性
source

0

简短的答案

简单线性回归的目标是在y给定变量值的情况下，得出x变量的最佳预测。这与尝试在x给定变量值的情况下对y变量进行最佳预测相比，是一个不同的目标。

简单的线性回归可y ~ x为您提供“最佳”的预测y给定的模型x。因此，如果您为拟合模型x ~ y并进行代数反演，则该模型最多只能与的模型一样好y ~ x。但是，与“最佳” 模型相比，反转适合的模型x ~ y在预测y给定值时通常会做得更糟，因为创建“反转模型”是为了实现不同的目标。xy ~ xx ~ y