目的

确认对KKT的理解是否正确。寻求有关KKT的进一步解释和确认。

背景

试图了解KKT条件，尤其是补充条件，在SVM文章中总是突然出现这种情况。我不需要抽象公式列表，但确实需要具体，直观和图形化的说明。

题

如果使成本函数f（X）最小的P在约束内（g（P）> = 0），则为解。KKT在这种情况下似乎无关紧要。

KKT似乎说，如果P不在约束内，那么解X应该在图中满足。到底是KKT，还是我想念其他重要方面？

其他说明

1. f（x）是否应凸出才能应用KKT？
2. g（x）是否应线性适用于KKT？
3. λ* g（X）= 0时，λ是否必要？为什么g（X）= 0或g（Xi）= 0还不够？

参考文献

• 拉格朗日乘积KKT条件
• SVM中的每个排水沟点都有正乘数吗？
• http://fnorio.com/0136Lagrange_method_of_undetermined_multipliers/Lagrange_method_of_undetermined_multipliers.html

---

更新1

感谢您的回答，但仍然难以理解。仅在此处关注必要性：

马修·冈恩（Matthew Gunn）回答中关于非最佳点（绿色圆圈）和KKT的条件（2）在那里是否不满足？就像Mark L. Stone的答案那样，通过观察Hessian可以识别出这一点吗？

我想另外一种情况是鞍点，但是否同样适用？

用户名

$\mathbf{x}$$\boldsymbol{\delta}$$f$$\mathbf{x}$$\mathbf{x}$

假设您遇到优化问题：

$$\begin{equation} \begin{array}{*2{>{\displaystyle}r}} \mbox{minimize (over $\mathbf{x}$)} & f(\mathbf{x}) \\ \mbox{subject to} & \forall_{j \in \{1\ldots k\}}\; g_j(\mathbf{x}) \leq 0 \end{array} \end{equation}$$

其中并且有约束。$\mathbf{x} \in \mathbb{R}^n$$k$

KKT条件和Farkas Lemma

令为列向量，表示在求值的的梯度。$\nabla f(\mathbf{x})$$f$$\mathbf{x}$

应用于这种情况，Farkas Lemma指出，对于中的任何点，以下语句之一完全成立：$\mathbf{x} \in \mathbb{R}^n$

1. 存在使得和$\boldsymbol{\lambda} \in \mathbb{R}^k$$\sum_{j=1}^k \lambda_j \nabla g_j(\mathbf{x}) = -\nabla f(\mathbf{x})$$\boldsymbol{\lambda} \geq \mathbf{0}$
2. 存在这样和$\boldsymbol{\delta} \in \mathbb{R}^n$$\forall_j \boldsymbol{\delta}' g_j(\mathbf{x}) \leq 0$$\boldsymbol{\delta}'\nabla f(\mathbf{x}) < 0$

这是什么意思？这意味着对于任何可行的点，要么：$\mathbf{x}$

• 条件（1）成立，并且满足KKT条件。
• 条件（2）成立，并且存在一个可行的方向，它在不增加约束情况下改善了目标函数。（例如，您可以通过从移至来改善）$\boldsymbol{\delta}$$f$$g_j$$f$$\mathbf{x}$$\mathbf{x} + \epsilon \boldsymbol{\delta}$

条件（1）指出存在非负乘数，从而在点处满足KKT条件。（从几何角度讲，它表示位于由约束的梯度定义的凸锥中。）$\boldsymbol{\lambda}$$\mathbf{x}$$- \nabla f$

条件（2）指出，在点，存在一个方向（局部）移动，使得：$\mathbf{x}$$\boldsymbol{\delta}$

• 朝方向移动会降低目标函数（因为和的点积小于零）。$\boldsymbol{\delta}$$\nabla f(\mathbf{x})$$\boldsymbol{\delta}$
• 朝方向移动不会增加约束的值（因为和的点积对于所有点都小于或等于零约束）。$\boldsymbol{\delta}$$\nabla g_j(\mathbf{x})$$\boldsymbol{\delta}$$j$

（在几何上，可行方向定义了矢量和矢量定义的凸锥之间的分离超平面。）$\boldsymbol{\delta}$$-\nabla f(\mathbf{x})$$\nabla g_j(\mathbf{x})$

（注意：要将其映射到Farkas Lemma中，请定义矩阵）$A = \begin{bmatrix} \nabla g_1, \nabla g_2, \ldots, \nabla g_k \end{bmatrix}$

此参数为您提供了最佳的KKT条件的必要性（但不是充分性）。如果不满足KKT条件（并且满足约束条件），则可以在不违反约束的情况下提高目标。

约束资格的作用

有什么问题吗？您可能会遇到退化的情况，其中约束的梯度不能准确描述移动的可行方向。

有多种不同的约束条件可供选择，这将使上述论点起作用。

最小，最大解释（恕我直言最直观）

形成拉格朗日

$$\mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) = f(\mathbf{x}) + \sum_{j=1}^k \lambda_jg_j(\mathbf{x})$$

与其在约束约束下最小化，想象一下，您正在尝试最小化而某些对手正在尝试使其最大化。您可以将乘数解释为违反约束的惩罚（某些对手选择）。 克Ĵ 大号λ $f$$g_j$$\mathcal{L}$$\lambda_i$

原始优化问题的解决方案等效于：

$$\min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$$

那是：

1. 您首先选择以使拉格朗日最小化，从而认识到...$\mathbf{x}$$\mathcal{L}$
2. 然后，我将选择以使拉格朗日最大化（观察到您的选择）。$\boldsymbol{\lambda}$$\mathbf{x}$

例如，如果您违反约束，我可以通过将设置为infinity 来惩罚您！$g_2$$\lambda_2$

对偶性弱

对于任何函数请注意：$f(x, y)$

$$\forall_{\hat{x},\hat{y}} \quad \min_x f(x, \hat{y}) \leq f(\hat{x}, \hat{y}) \leq \max_y f(\hat{x}, y)$$

由于这适用于任何和因此它也适用于： $\hat{x}$$\hat{y}$

$$\max_y \min_x f(x, y) \leq \min_x \max_y f(x, y)$$

在Langrian设置中，此结果为被称为弱对偶。$\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) \leq \min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

双重问题为您提供了解决方案的下限$\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

强对偶

在某些特殊条件下（例如，Slater条件成立的凸问题），您具有很强的对偶性（即，鞍点性质）。

$$\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) = \min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$$

这个美丽的结果意味着您可以反转问题的顺序。

1. 我首先选择惩罚以使拉格朗日最大化。$\boldsymbol{\lambda}$

2. 然后，选择以最小化拉格朗日。$\mathbf{x}$$\mathcal{L}$

在此过程中设置的是违反约束的价格，并且已将价格设置为永远不会违反约束。$\lambda$

f（x）是凸的，对于KKT来说，足以使x成为局部最小值。如果f（x）或-g（x）不是凸的，则满足KKT的x可以是局部最小值，鞍点或局部最大值。

g（x）是线性的，而f（x）是连续可微的，对于局部最小值而言，KKT条件就足够了。g（x）是线性的意味着满足KKT对于局部最小值的线性约束条件。但是，还有其他限制性较小的约束条件，足以满足KKT条件对局部最小值的要求。请参阅https://en.wikipedia.org/wiki/Karush%E2%80%93Kuhn%E2%80%93Tucker_conditions的正则条件（或约束条件）部分。

如果局部最小值不具有“活动”约束（因此，在仅不等式约束的情况下，该约束不满足相等性），则与此类约束关联的拉格朗日乘数必须为零，在这种情况下，KKT会降低为目标的梯度=0。在这种情况下，约束的ε收紧的最佳目标值的“成本”为零。

更多信息：

目标函数和约束是凸的，并且连续可微表示KKT足以满足全局最小值。

如果目标函数和约束条件是可连续微分的，并且约束条件满足约束条件条件，则必须将KKT设为局部最小值。

如果目标函数和约束是连续可微的，凸的，并且约束满足约束条件，则KKT对于全局最小值是必要且足够的。

上面的讨论实际上仅涉及一阶KKT条件。还有二阶KKT条件，可以表示为：如果将Lagrangian的Hessian投影到坐标系中，则满足一阶KKT条件且目标函数和约束连续可微两次的点是（足以）局部最小值。活动约束的雅可比行列的零空间为正半定。（我将让您查找前一句中使用的术语。）令为主动约束的雅可比行列的零空间的基础，二阶KKT条件是为正半定号，其中$Z$$Z^T H Z$$H$是拉格朗日的黑森州。主动约束由所有相等约束加上所有不平等约束组成，这些不平等约束在所考虑的时间点均由平等满足。如果在考虑的一阶KKT点上没有约束处于活动状态，则恒等矩阵为零空间基，并且所有拉格朗日乘数必须为零，因此，局部最小值的二阶必要条件从无约束的优化变为熟悉的条件目标函数的Hessian是正半定的。如果所有约束都是线性的，则拉格朗日的Hessian =目标函数的Hessian，因为线性函数的二阶导数= 0。$Z$