回归分析和曲线拟合之间的区别


17

有人可以向我解释回归分析和曲线拟合(线性和非线性)之间的实际差异,并举个例子吗?

似乎两者都试图找到两个变量(因变量与独立变量)之间的关系,然后确定与所提出的模型相关的参数(或系数)。例如,如果我有一组数据,例如:

Y = [1.000 1.000 1.000 0.961 0.884 0.000] 
X = [1.000 0.063 0.031 0.012 0.005 0.000]

有人可以建议这两个变量之间的相关公式吗?我很难理解这两种方法之间的区别。如果您希望用其他数据集来支持您的答案,那是可以的,因为那似乎很难适应(也许仅对我而言)。

上面的数据集代表接收器工作特性(ROC)曲线的y轴,其中y真实的阳性率(TPR),x错误的阳性率(FPR)。xyyx

我正在尝试拟合曲线,或者根据我最初的问题(还不确定)进行回归分析,以估计任何特定FPR的TPR(反之亦然)。

首先,在两个自变量(TPR和FPR)之间找到这样的曲线拟合函数在科学上是否可以接受?

第二,如果我知道实际否定案例和实际肯定案例的分布不正常,找到这样的函数在科学上是可以接受的吗?


1
不幸的是,不同的人在不同的上下文中使用了不同的术语。您能否链接到/提供一个示例,让人们在他们之间进行区分?
gung-恢复莫妮卡

这就是我要弄清楚的,它们之间的区别以及如何区分它们。
阿里·苏丹

1
足够公平,但是有人告诉过您他们应该与众不同吗?
gung-恢复莫妮卡

2
在此站点上,有些人使用了“曲线拟合”,这种感觉不能被视为回归。例如,他们中的一些人将估算密度视为对直方图的“曲线拟合”形式。
ub

Answers:


22

我怀疑回归分析曲线拟合在统计学上的科学和领域之间是否存在清晰一致的区别。

没有资格的回归意味着线性回归和最小二乘估计。这并不排除其他或更广泛的含义:的确,一旦允许logit,泊松,负二项式回归等,就很难在某种意义上看什么模型不是回归。

曲线拟合确实暗示了可以在平面上或至少在低维空间中绘制的曲线。回归没有那么有限,可以预测几维空间中的曲面。

曲线拟合可以使用或不使用线性回归和/或最小二乘。它可能是指拟合多项式(幂级数)或一组正弦和余弦项,或者在某种程度上实际上符合线性回归的关键意义,即在参数中拟合函数形式。当非线性回归也是回归时,确实可以进行曲线拟合。

曲线拟合一词可用于贬低,贬损,贬低或轻蔑的意义(“就是曲线拟合!”),或者(几乎是完全相反的意思),它可能是指根据特定的物理(生物学,生物学,经济的或合理的)原理或为匹配特定种类的初始或极限行为而设计的(例如,总是积极的,在一个或两个方向上有界,单调,带有拐点,具有单个转折点,摆动等)。

这里的几个模糊问题之一是,相同的函数形式在某些情况下充其量只能是经验性的,而在另一些情况下则是出色的理论性的。牛顿教授说,弹丸的轨迹可以是抛物线形的,因此很自然地可以由二次拟合,而在社会科学中,与年龄相关的二次拟合通常只是与数据中某些曲率匹配的软糖。指数衰减是放射性同位素的一个很好的近似值,并且有时对于地价随距中心的距离而下降的方式也不太疯狂。

您的示例没有得到我的明确猜测。这里的大部分观点是,由于只有很少的数据集,而且完全没有有关变量是什么或期望它们如何表现的信息,因此建议模型形式可能是不负责任或愚蠢的。也许数据应该从(0,0)急剧上升然后接近(1,1),或者其他。你告诉我们!

注意。回归和曲线拟合均不限于单个预测变量或单个参数(系数)。


2
“曲线拟合”对我来说意味着一种理论上的东西(例如,低等)。经济学家有时将a理论函数拟合称为“图表”,这听起来与曲线拟合的某些用法类似。我认为,如果正确理解,它(例如低级)既有优点也有缺点。但是,很难知道有人在没有更多上下文的情况下明显地意味着这些术语。
gung-恢复莫妮卡

1
@gung我认为在几种自然(和非自然)科学中也有类似的部分幽默,部分严肃的用法。问题之一是,给定足够的参数,您必然有很大的回旋余地。我想起了时间序列模型,该模型不仅允许ARIMA,而且还允许在数据提示的地方使用正弦项和阶跃,斜率和尖峰。
Nick Cox 2015年

第二点,曲线拟合至少对我而言具有更多的非参数含义。
克里斯多夫·汉克

1
@ChristophHanck请不要将“非参数”引入其中!讨论已经很混乱了!
尼克·考克斯

1
@gung:例如,将平滑样条和RKHS方法视为“曲线拟合”的支柱,我认为“曲线拟合”比“回归”更具理论性。(+1到NickCox此答案)
usεr11852恢复单胞菌说,

8

除了@NickCox的出色答案(+1),我还想分享我对这个有点模糊的术语主题的主观印象。我认为这两个术语之间的细微差别在于以下内容。一方面,回归(如果不是总是)通常意味着一种解析解决方案(对回归器的引用意味着确定其参数,因此是我关于解析解决方案的观点)。另一方面,曲线拟合并不一定意味着产生分析解决方案,恕我直言经常可能被用作探索性方法


2
出于探索性原因,也不能使用带有分析解决方案的东西吗?我认为我没有得到您的反对。
变形虫说恢复莫妮卡

@amoeba:分析解决方案当然也可以用于探索性研究。但是,我要说的是有关这些术语的最流行的 隐含本质
Aleksandr Blekh
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.