回归分析和方差分析之间的区别？

21

我现在正在学习回归分析和方差分析。

在回归分析中，您固定了一个变量，并且想知道该变量与另一个变量的关系。

例如，在方差分析中，您想知道：如果这种特定的动物食物影响动物的体重...那么一个固定的变量以及对其他变量的影响...

是对还是错，请帮助我...

regression

— 马克斯
source

Answers:

25

假设你的数据集由一组为和你想看看的依赖上。 $(x_i,y_i)$ $i=1,\ldots,n$ $y$ $x$

假设你发现值和的和最小化平方残差之和然后，将用作任何（不一定已经观察到）值的预测值。那是线性回归。 $\hat\alpha$ $\hat\beta$ $\alpha$ $\beta$

\sum_{i = 1}^{n} (y_{i} - (α + β x_{i}))^{2} .

$\sum_{i=1}^n (y_i - (\alpha+\beta x_i))^2.$

\hat{y} = \hat{α} + \hat{β} x

$\hat y = \hat\alpha+ \hat\beta x$

y

$y$

x

$x$

现在考虑分解平方的总和与个自由度，分为“无法解释的”和“无法解释的”部分：分别具有和个自由度。那是对方差的分析，然后考虑诸如F统计量类的事物。这个

\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2} where \bar{y} = \frac{y_{1} + \dots + y_{n}}{n}

$\sum_{i=1}^n (y_i - \bar y)^2 \qquad\text{where }\bar y = \frac{y_1+\cdots+y_n}{n}$

n - 1

$n-1$

\underset{explained}{\underset{⏟}{\sum_{i = 1}^{n} ((\hat{α} + \hat{β} x_{i}) - \bar{y})^{2}}} + \underset{unexplained}{\underset{⏟}{\sum_{i = 1}^{n} (y_{i} - (\hat{α} + \hat{β} x_{i}))^{2}}} .

$\underbrace{\sum_{i=1}^n ((\hat\alpha+\hat\beta x_i) - \bar y)^2}_{\text{explained}}\ +\ \underbrace{\sum_{i=1}^n (y_i - (\hat\alpha+\hat\beta x_i))^2}_{\text{unexplained}}.$

1

$1$

n - 2

$n-2$

F = \frac{\sum_{i = 1}^{n} ((\hat{α} + \hat{β} x_{i}) - \bar{y})^{2} / 1}{\sum_{i = 1}^{n} (y_{i} - (\hat{α} + \hat{β} x_{i}))^{2} / (n - 2)} .

$F = \frac{\sum_{i=1}^n ((\hat\alpha+\hat\beta x_i) - \bar y)^2/1}{\sum_{i=1}^n (y_i - (\hat\alpha+\hat\beta x_i))^2/(n-2)}.$ F统计量检验原假设。

β = 0

$\beta=0$

当预测变量是分类变量时，通常会首先遇到术语“方差分析”，因此您要拟合模型，其中确定哪个类别是预测变量的值。如果有类别，则在F统计量的分子中将获得个自由度，而在分母中通常将获得个自由度。但是，对于这种模型，回归和方差分析之间的区别仍然相同。

y = α + β_{i}

$y = \alpha + \beta_i$

i

$i$

k

$k$

k - 1

$k-1$

n - k

$n-k$

还有几点要点：

对于某些数学家来说，上述解释似乎使整个领域似乎只是上面所看到的，因此，回归和方差分析都是活跃的研究领域，这似乎很神秘。有许多内容不适合在此处发布。
有一个流行且诱人的错误，那就是“线性”，因为的图形是一条线。那是错误的。我较早的答案之一解释了当您通过最小二乘法拟合多项式时为什么仍称其为“线性回归”。 $y=\alpha+\beta x$

— 迈克尔·哈迪
source

5

@MichaelHardy虽然方差分解为回归中的组成部分通常被称为方差表分析。这不是统计学家通常所说的方差分析。方法1）线性回归，2）方差分析和3）协方差分析是一般线性模型总标题下的类别，线性回归涉及连续协变量，ANOVA仅包含离散组，ANCOVA是连续协变量的组合，离散组。

— Michael R. Chernick

1

非正式地，有人有时会这样说，而我的回答并没有那么说，但人们应该知道（1）在两个问题（连续或类别预测变量）中进行系数的最小二乘估计，并对总和进行分解在两个问题中的任一个中，也完成了具有相应自由度的正方形的计算（方差分析表）。

— Michael Hardy 2012年

5

有了这个让步，那么您必须承认我的回答没有错。同样，方差分析，ANCOVA和回归不是术语。它们是非常形式化的，并且不能告诉OP ANOVA是回归中方差的分解。名为anova的人可以执行任何线性模型的统计程序这一事实并不能证明任何事情。在SAS中，proc reg仅处理回归，而proc anova仅处理我定义的方差分析，而proc glm是处理两者的方法。

— Michael R. Chernick 2012年

1

.... R中，“ lm（....）”给出两种情况的回归系数，“ anova（lm（.......））”给出平方和自由度之和的分解，在两种情况下。至于“必须承认”，我已经在您的回答下面加上了一些其他评论。当然，如果您要提到逻辑回归，那么如果您不谈论线性回归就说“回归”一词是一个非常宽泛的术语，可以包含许多内容，那么就会更清楚。

— 迈克尔·哈迪

@MichaelHardy随时对stats.SE网站上提出的问题发表评论。我认为您的回答和我对这个问题的回答在某种程度上都是正确的。我当然反对我的回答被否决。我想征询统计界其他人士的意见。

— 2012年

5

主要区别是响应变量。在线性回归分析和非线性回归中，逻辑回归处理二进制响应时，响应变量是连续的。您有一个变量（也称为协变量），该变量与连续响应变量具有函数关系。在方差分析中，响应是连续的，但属于几个不同的类别（例如，治疗组和对照组）。在方差分析中，您要寻找组之间平均响应的差异。在线性回归中，您将观察响应如何随协变量的变化而变化。观察差异的另一种方法是说，在回归中协变量是连续的，而在方差分析中它们是一组离散的组。

— 迈克尔·R·切尼克
source

6

我会问这个问题的意思是线性回归和方差分析之间的差异。引入逻辑回归似乎无法解决这个话题。但是，您的最后一句话是错误的。无论预测变量是离散的还是连续的，都可以进行方差分析。

— Michael Hardy

1

在方差分析中确实存在预测因素。在您的示例中，预测变量是分类的，但不一定要是分类变量。方差分析不仅考虑了涉及“离散组”的问题。

— 迈克尔·哈迪

3

@MichaelHardy我要退后一步，因为当我查看统计百科全书时，发现在一般线性模型的方差分解方面引用了方差分析。但是该术语有两个含义，按照我的描述，ANOVA通常与ANCOVA和回归有所区别。因此，OP应该同时注意两个术语，一个是指一般线性模型中的方差分量不如一个，另一个是指仅涉及离散组的线性模型的子类。

— Michael R. Chernick

2

我认为您使用的用法是非正式的。提到逻辑回归而没有说它只是各种“回归”之一似乎很奇怪，当广义地使用该术语来估计给定另一个变量的平均值或预测值，然后将其与方差分析区分开来时。但是，线性回归模型与方差分析之间的差异问题似乎是一个更明智的问题。但是通常对于原始海报的意图还不确定。

— Michael Hardy 2012年

7

无论您打算做什么，我都认为“ 我拥有统计学博士学位…… ”的评论是不合适的。首先，它无法解决当前的问题。呼吁权威是证明事实的一种经常使用的方法，但却是非常误导的方法。诉诸自己的权威甚至更成问题。也可以解释为（无意间或以其他方式）不尊重@MichaelHardy（您要联系的人），他也恰好从一个非常有名的程序获得统计学博士学位。

— 主教

2

方差分析（ANOVA）是一种统计方法，用于分析假设具有结构性的观察结果

$y_i=\beta_1x_{i1}+\beta_2x_{i2}+\dots+\beta_px_{ip}+e_i,~i=1(1)n$ ，它们由未知量的线性组合组成加上误差和{ }是已知的常数系数，与rv的{ }是不相关的，并且均值和方差（未知）。 $p$ $\beta_1,\beta_2,\dots,\beta_p$ $e_1,e_2,\dots,e_n$ $x_{ij}$ $e_i$ $0$ $\sigma^2$

即其中 D是色散矩阵或方差-协方差矩阵。 $E(y^{n \times 1})=X\beta,D(y)=\sigma^2I_n$

$x_{ij}$ $\beta_j$ $x_{ij}$ $\beta_j$ $0$ $1$

$x_{ij}$ $t$ $T$ $t^2,e^{-T}$

主要是这两种是两种分析。

— ha
source

i = 1 (1) n

$i=1(1)n$

1

i = 1 (1) n

$i=1(1)n$

i = 1, 2, \dots, n

$i=1,2,\dots,n$

-1

在回归分析中，您固定了一个变量，并且想知道该变量与另一个变量的关系。

例如，在方差分析中，您想知道：如果这种特定的动物性食物影响动物的体重...那么一个固定的变量，对其他变量的影响。

— 相泽
source

1

您好Aiza，欢迎来到SE。您需要对其进行编辑以提供更多的上下文，并弄清楚问题的实质。

— 快速停止关闭问题，

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.

Licensed under cc by-sa 3.0 with attribution required.