正则化和拉格朗日乘数法之间有什么联系？

为了防止人们过度拟合，人们在线性回归的成本函数中添加了正则化项（与模型参数的平方和成正比），正则化项为。这个参数λ与拉格朗日乘数相同吗？那么正则化和拉格朗日乘数法一样吗？或这些方法如何连接？ $\lambda$$\lambda$

假设我们通过最小化某些准则f （→ θ）来优化参数的模型，该准则受参数向量幅值的约束（例如，通过构造一组递增的模型来实现结构风险最小化方法复杂性），我们需要解决：$\vec{\theta}$$f(\vec{\theta})$

$\mathrm{min}_\vec{\theta} f(\vec{\theta}) \quad \mathrm{s.t.} \quad \|\vec{\theta}\|^2 < C$

这个问题的拉格朗日公式是（caveat：我认为，这是漫长的一天... ;-)

$\Lambda(\vec{\theta},\lambda) = f(\vec{\theta}) + \lambda\|\vec{\theta}\|^2 - \lambda C.$

$\lambda$$C$

$C_1 > C_2$

$\|\vec{\theta}\|^2 < C_2$

也将在约束条件下可用

$\|\vec{\theta}\|^2 < C_1$

$\lambda$