给定两个线性回归模型，哪种模型效果更好？

我在学院上过机器学习课程。在其中一项测验中，有人问了这个问题。

模型1：
$y = θ x + ϵ$ $y = \theta x + \epsilon$ 模型2： $y = θ x + θ^{2} x + ϵ$ $y = \theta x + \theta^2 x + \epsilon$
以上哪个模型更适合数据？（假设数据可以使用线性回归建模）

正确的答案（根据教授）是，两个模型的性能都一样好。但是我相信第一个模型会更合适。

这就是我回答背后的原因。第二个模型，其可以被重写为，将不一样的第一模型。事实上是一个抛物线，因此具有一个最小值（在这种情况下）。因此，第一模型中的的范围大于第二模型中的的范围。因此，如果数据是这样的，最适合的有坡度小于，所述第二模式将非常差相比于第一个作为执行。但是，如果最佳拟合的斜率大于 $\alpha x + \epsilon$ $\alpha = \theta + \theta^2$ $\alpha$ $-0.25$ $\theta$ $\alpha$ $-0.25$ ，两个模型的性能相同。 $-0.25$

那么第一个比较好，还是两者完全一样？

— 库什
source

我认为你是对的。要求的参数

是表达为

（对于某些

）确实执行什么约束

的是可能的。这意味着，第二模型可以表达少比第一关系，因为它本质上是现在约束的优化问题。您的推理对我来说似乎很扎实。

α

$\alpha$

θ + θ^{2}

$\theta + \theta^2$

θ

$\theta$

α

$\alpha$

— 马修·德鲁里

@MatthewDrury我只是想知道我出了什么问题，请看下面的答案（和评论）

— 库什

我看到你的评论，但这是一些相当严肃的体操，假设

将采用复杂的值。我一定会参加一些办公时间，与您的教授讨论这个问题。无论哪种方式，您都会得到很好的讨论。

θ

$\theta$

— 马修·德鲁里

我不清楚-0.25的来源。你能澄清一下吗？

— 疯狂杰克

我会对您的教授如何将每个模型拟合到两点数据集

感兴趣。在模型1和

的情况下，拟合是理想的，但是他/她将如何估算模型2中的

以获得理想的拟合？

{(1, - 1), (2, - 2)}

$\{(1,-1),(2,-2)\}$

θ = - 1

$\theta=-1$

θ

$\theta$

— ub

Answers:

模型2可以写为：这似乎与模型1类似，只是超参数（）的符号不同。然而，对于模型1，我们可以写出

y = (θ + θ^{2}) x + ϵ = β x + ϵ .

$y=(\theta + \theta^{2}) x+\epsilon=\beta x+\epsilon.$

θ, β

$\theta, \beta$

\hat{θ} = (X^{^{'}} X)^{- 1} X^{^{'}} y .

$\hat{\theta}=(X^{'}X)^{-1}X^{'}y.$

但是，由于在模型2中，我们有然后当你确实提到的范围应该属于对于。这将导致这两个模型的差异。

β = θ + θ^{2},

$\beta=\theta + \theta^{2},$

\hat{β}

$\hat{\beta}$

[- 0.25, + \infty]

$[-0.25,+\infty]$

θ \in R

$\theta \in R$

因此，在模型2您约束您的系数估计不像模型1.为了使这更清楚，但应注意的是，在模型1中是通过最小化平方损失得到 $\hat{\theta}$ 然而，在模型2中的估计是通过获得

\hat{θ} = \arg min_{θ \in R} (y - X θ)^{^{'}} (y - X θ) = (X^{^{'}} X)^{- 1} X^{^{'}} y .

$\hat{\theta}=\arg\min_{\theta\in{R}} \ \ (y-X\theta)^{'}(y-X\theta)=(X^{'}X)^{-1}X^{'}y.$

这可能会导致不同的结果。

\hat{β} = \arg min_{β \geq - 0.25} (y - X β)^{^{'}} (y - X β)

$\hat{\beta}=\arg\min_{\beta\geq-0.25} \ \ (y-X\beta)^{'}(y-X\beta)$

— 威斯
source

θ

$\theta$

θ + θ^{2}

$\theta + \theta^2$

θ

$\theta$

@kush请检查我编辑过的回复，该回复也可以解决您的问题

— 2016年

不确定我是否理解您的理由。如果您采取：

y = α x + ϵ

$y = \alpha x+\epsilon$

y = θ x + ϵ

$y = \theta x + \epsilon$

$\alpha$ $\theta$ $\alpha$ $\theta$ $R^2$ $\theta$ $\alpha = \theta + \theta^2$

— 造血学家
source

θ

$\theta$

(- \infty, \infty)

$(- \infty, \infty)$

α

$\alpha$

(- 0.25, \infty)

$(- 0.25, \infty)$

x

$x$