Questions tagged «lagrange-multipliers»

我读过统计学习中最受欢迎的书 1- 统计学习的要素。 2- 统计学习简介。 两者都提到岭回归有两个等价的公式。有没有可以理解的数学证明呢？ 我还经历了交叉验证，但在那里找不到确定的证明。 此外，LASSO是否会享受相同类型的证明？

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

目的 确认对KKT的理解是否正确。寻求有关KKT的进一步解释和确认。 背景 试图了解KKT条件，尤其是补充条件，在SVM文章中总是突然出现这种情况。我不需要抽象公式列表，但确实需要具体，直观和图形化的说明。 题 如果使成本函数f（X）最小的P在约束内（g（P）> = 0），则为解。KKT在这种情况下似乎无关紧要。 KKT似乎说，如果P不在约束内，那么解X应该在图中满足。到底是KKT，还是我想念其他重要方面？ 其他说明 f（x）是否应凸出才能应用KKT？ g（x）是否应线性适用于KKT？ λ* g（X）= 0时，λ是否必要？为什么g（X）= 0或g（Xi）= 0还不够？ 参考文献 拉格朗日乘积KKT条件 SVM中的每个排水沟点都有正乘数吗？ http://fnorio.com/0136Lagrange_method_of_undetermined_multipliers/Lagrange_method_of_undetermined_multipliers.html 更新1 感谢您的回答，但仍然难以理解。仅在此处关注必要性： 马修·冈恩（Matthew Gunn）回答中关于非最佳点（绿色圆圈）和KKT的条件（2）在那里是否不满足？就像Mark L. Stone的答案那样，通过观察Hessian可以识别出这一点吗？ 我想另外一种情况是鞍点，但是否同样适用？ 用户名

13 svm  optimization  lagrange-multipliers 

我对LASSO回归的理解是选择回归系数来解决最小化问题： 分β∥ ÿ- Xβ∥22 s 。Ť 。∥ β∥1个≤ 吨分β‖ÿ-Xβ‖22 s。Ť。‖β‖1个≤Ť\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t 实际上，这是使用拉格朗日乘数来完成的，从而可以解决问题 分β∥ ÿ- Xβ∥22+ λ ∥ β∥1个分β‖ÿ-Xβ‖22+λ‖β‖1个\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 λλ\lambda和t是什么关系ŤŤt？维基百科无奈地简单地指出“依赖于数据”。 我为什么在乎？首先是出于求知欲。但是我也担心通过交叉验证选择\ lambda的后果λλ\lambda。 具体来说，如果我要进行n倍交叉验证，则可以将n个不同的模型拟合到我的训练数据的n个不同分区中。然后，针对给定的\ lambda，在未使用的数据上比较每个模型的准确性λλ\lambda。但是相同的\ lambda对数据的不同子集λλ\lambda意味着不同的约束（ŤŤt）（即t = f（λ ）Ť=F（λ）t=f(\lambda)是“数据相关的”）。 我不是真的要解决交叉验证问题，以找到能够提供最佳偏差精度折衷方案的ŤŤt吗？ 通过为每个交叉验证拆分和\ lambda计算\ | \ beta \ | …

10 optimization  lasso  regularization  lagrange-multipliers