3维的多元线性回归是最佳拟合平面还是最佳拟合线?


11

我们的专家没有进入多元线性回归的数学甚至几何表示,这让我有些困惑。

一方面,即使在更高的维度上,它仍然被称为多元线性回归。在另一方面,如果我们有例如Ÿ = b 0 + b 1 X 1 + b 2 X 2,我们可以在任何值,插上我们想为X 1X 2,就不该给我们一个可能的解决方案平面而不是一条线?Y^=b0+b1X1+b2X2X1X2

总的来说,我们的预测表面不是k个独立变量的维超平面吗?kk

Answers:


12

没错,解决方案表面通常将是超平面。只是“ hyperplane”一词是满嘴的,平面更短,线甚至更短。随着您继续数学学习,一维案例变得越来越少被讨论,因此需要权衡取舍

Big words for high dimensional, Small words for small dimensional

开始向后看。

例如,当我看到一个像的方程,其中A是矩阵,x b是向量时,我称其为线性方程。在我生命的早期,我将其称为线性方程组,为一维情况保留线性方程。但是后来我得出结论,一维案例很少出现,而多维案例无处不在。一种X=b一种Xb

这也发生与符号。见过有人写

FX=2X

左侧的符号是函数的名称,因此要正式且学究,您应编写

FXX=2X

在多维中,情况变得更糟,当导数接受两个参数时,一个是您取导数的位置,另一个是评估导数的方向,这看起来像

XFv

但是人们很快就会变得懒惰,并开始抛弃一个或另一个论点,从而使他们被上下文所理解。

专业的数学家,用舌头坚定地把这种称呼称为滥用。在某些主题中,如果不滥用符号,我将无法表达自己的观点,我钟爱的微分几何就是一个的例子。伟大的尼古拉斯·鲍勃基(Nicolas Bourbaki)非常雄辩地表达了这一观点

我们尽可能在文本中引起对语言滥用的关注,没有这些语言,任何数学文本都会冒着学步的风险,更不用说可读性。

-Bourbaki(1988)

您甚至对我掉进上面的一种符号滥用方式发表评论,而自己却没有注意到!

从技术上讲,由于您将df / dx写为偏导数,所以即使其他隐含变量将保持不变,从技术上讲,偏导数也不是原始函数所有变量的函数,如df / dx( x,y,...)?

您是完全正确的,这很好地(无意地)说明了我在这里所发生的事情。

dFdX

猜猜我认为这是当我们说“无穷大”时,而不是“随着项数趋于无穷大时,总和的极限”。我认为的方式是,只要概念上的区别很明显就可以。在这种情况下(多元回归),我真的不确定我们一开始在说什么。

Σ旧符号或术语的广义概念。

作为懒惰的人,我们希望在常见情况下节省单词。

(*)从历史上看,这不是无限和发展的方式。当数学家开始遇到需要非常精确地推理的情况时,部分和定义的极限就发展为后验。


举一个偏导数的例子很有趣,因为我以前总是对此感到疑惑(自我学习的乐趣...)。顺便说一句(与我无关,不是我的书呆子,只是想确保我尽可能地理解),因为您将df / dx写为偏导数,即使其他隐含变量将保持不变,也不会从技术上讲,偏导数仍是原始函数所有变量的函数,如df / dx(x,y,...)?我想我的问题是偏导数是否仍是所有变量的函数?
杰里米·拉德克里夫

另外,感谢您解释所有这些。我想我认为这是当我们说“无穷大”时,而不是“随着项数趋于无穷大时,总和的极限”。我认为的方式是,只要概念上的区别很明显就可以。在这种情况下(多元回归),我真的不确定我们一开始在说什么。我试图想象3d中的一条线,然后意识到如果让几个自变量自由变化就没有意义,所以我只是想确定一下。
杰里米·拉德克里夫

+1好答案。有时人们很懒惰,会引起很多混乱。这就是为什么我试图在这篇文章中问符号。stats.stackexchange.com/questions/216286/...
杜海涛

@jeremyradcliff我在一些评论中进行了编辑。
马修·德鲁里

@MatthewDrury,谢谢您抽出宝贵时间发表我的意见。这对我非常有帮助,因为我会自学绝大多数我所知道的数学,而且缺乏周围的文化和与数学家的接触使得诸如stackexchange之类的地方以及像您这样的答案对我来说都是无价之宝。
杰里米·拉德克里夫

5

“线性”并不完全意味着您在这种情况下会做些什么-有点笼统

首先,它实际上并不是对x线性的引用,而是对参数*(“参数中的线性”)的引用。

Ëÿ|X=Xββ

因此,最佳拟合的平面(或更一般地说是超平面)仍然是“线性回归”。

1个XβXβ

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.