原始，对偶和内核岭回归之间的差异

Primal，Dual和Kernel Ridge回归有什么区别？人们正在使用这三种方法，并且由于每个人在不同来源使用的概念不同，因此我很难理解。

那么有人可以用简单的话告诉我这三个之间有什么区别吗？此外，每种技术都有哪些优点或缺点，其复杂性又是什么？

简短的答案：Primal和Dual之间没有区别-这只是到达解决方案的方式。内核岭回归与通常的岭回归基本相同，但是使用内核技巧进行非线性运算。

线性回归

首先，通常的最小二乘线性回归尝试以使平方误差之和最小的方式使一条直线适合数据点集。

我们与参数化最佳拟合线$\mathbb w$和每个数据点$(\mathbf x_i, y_i)$，我们希望$\mathbf w^T \mathbf x_i \approx y_i$。令$e_i = y_i - \mathbf w^T \mathbf x_i$为误差-预测值与真实值之间的距离。因此，我们的目标是尽量减少误差平方的总和$\sum e_i^2 = \| \mathbf e \|^2 = \| X \mathbf w - \mathbf y \|^2$其中$X = \begin{bmatrix} — \mathbf x_1 \,— \\ — \mathbf x_2 \,— \\ \vdots \\ — \mathbf x_n \,— \end{bmatrix}$-与每个数据矩阵$\mathbf x_i$是一排，和$\mathbf y = (y_1 , \ ... \ , y_n)$与所有的向量$y_i$的。

$\min\limits_{\mathbf w} \| X \mathbf w - \mathbf y \|^2$$\mathbf w = (X^T X)^{-1} X^T \mathbf y$（称为“正规方程”）。

对于一个新的看不见的数据点我们将其目标值预测为$\mathbf x$ÿ$\hat y$ÿ = 瓦特 Ť X$\hat y = \mathbf w^T \mathbf x$。

岭回归

当线性回归模型中有许多相关变量时，系数可能会变得不确定，并且会有很多方差。其中一个解决这个问题的是制约权重，使他们不超出预算的一些。这等效于使用正则化，也称为“权重衰减”：它将减少方差，但有时会丢失正确的结果（即通过引入一些偏差）。$\mathbf w$$\mathbf w$$C$$L_2$

现在，目标变为，其中是正则化参数。通过数学运算，我们得到以下解决方案：。这与通常的线性回归非常相似，但是在这里，我们在每个对角元素上添加。$\min\limits_{\mathbf w} \| X \mathbf w - y \|^2 + \lambda \, \| \mathbf w \|^2$$\lambda$$\mathbf w = (X^T X + \lambda \, I )^{-1} X^T \mathbf y$$\lambda$$X^T X$

请注意，我们可以将重写为（有关详细信息，请参见此处）。对于一个新的看不见的数据点我们预测其目标值为。令。然后$\mathbf w$$\mathbf w = X^T \, (X X^T + \lambda \, I)^{-1} \mathbf y$X Ŷ Ŷ = X Ť 瓦特 = X Ť X Ť$\mathbf x$$\hat y$$\hat y = \mathbf x^T \mathbf w = \mathbf x^T X^T \, (X X^T + \lambda \, I)^{-1} \mathbf y$$\boldsymbol \alpha = (X X^T + \lambda \, I)^{-1} \mathbf y$Ŷ = X Ť X Ť α = Ñ Σ我= 1 α 我 ⋅ X Ť X我$\hat y = \mathbf x^T X^T \boldsymbol \alpha = \sum\limits_{i=1}^{n} \alpha_i \cdot \mathbf x^T \mathbf x_i$。

岭回归对偶形式

我们可以从不同的角度看待我们的目标-并定义以下二次程序问题：

$\min\limits_{\mathbf e, \mathbf w} \sum\limits_{i = 1}^n e_i^2$ e i = y i - w T x i i=1 st for和$e_i = y_i - \mathbf w^T \mathbf x_i$$i = 1 \, .. \, n$$\| \mathbf w \|^2 \leqslant C$。

这是相同的目标，但表达方式有所不同，这里大小的约束是明确的。为了解决这个问题，我们定义了拉格朗日 -这是包含原始变量和的原始形式。然后我们优化它wrt和。为了得到对偶公式，我们将和放回到。$\mathbf w$$\mathcal L_p(\mathbf w, \mathbf e ; C)$$\mathbf w$$\mathbf e$$\mathbf e$$\mathbf w$$\mathbf e$$\mathbf w$$\mathcal L_p(\mathbf w, \mathbf e ; C)$

因此，。通过取导数wrt和 ，我们得到和。通过让并将和放回到$\mathcal L_p(\mathbf w, \mathbf e ; C) = \| \mathbf e \|^2 + \boldsymbol \beta^T (\mathbf y - X \mathbf w - \mathbf e) - \lambda \, (\| \mathbf w \|^2 - C)$$\mathbf w$$\mathbf e$$\mathbf e = \cfrac{1}{2} \boldsymbol \beta$$\mathbf w = \cfrac{1}{2 \lambda} X^T \boldsymbol \beta$$\boldsymbol \alpha = \cfrac{1}{2 \lambda} \boldsymbol \beta$$\mathbf e$$\mathbf w$$\mathcal L_p(\mathbf w, \mathbf e ; C)$大号d（α，λ;Ç）=-λ2‖α‖2+2λ，我们得到双拉格朗日$\mathcal L_d(\boldsymbol \alpha, \lambda; C) = -\lambda^2 \| \boldsymbol \alpha \|^2 + 2 \lambda \, \boldsymbol \alpha^T y - \lambda \| X^T \boldsymbol \alpha \| - \lambda C$。如果我们使用wrt的导数，则会得到与通常的Kernel Ridge回归的答案相同。不需要使用派生wrt它依赖于，这是一个正则化参数-它使$\boldsymbol \alpha$$\boldsymbol \alpha = (XX^T - \lambda I)^{-1} \mathbf y$$\lambda$$C$$\lambda$正则化参数。

接下来，将放在的原始形式解中，并得到$\boldsymbol \alpha$$\mathbf w$$\mathbf w = \cfrac{1}{2 \lambda} X^T \boldsymbol \beta = X^T \boldsymbol \alpha$。因此，对偶形式提供了与通常的Ridge回归相同的解决方案，而这只是获得相同解决方案的不同方式。

核岭回归

内核用于计算某些特征空间中两个向量的内积，而无需访问它。我们可以将内核看作，尽管我们不知道是什么-我们只知道它的存在。有很多内核，例如RBF，Polynonial等。$k$$k(\mathbf x_1, \mathbf x_2) = \phi(\mathbf x_1)^T \phi(\mathbf x_2)$$\phi(\cdot)$

我们可以使用内核使Ridge回归非线性。假设我们有一个内核。令为矩阵，其中每一行为，即$k(\mathbf x_1, \mathbf x_2) = \phi(\mathbf x_1)^T \phi(\mathbf x_2)$$\Phi(X)$$\phi(\mathbf x_i)$$\Phi(X) = \begin{bmatrix} — \phi(\mathbf x_1) \,— \\ — \phi(\mathbf x_2) \,— \\ \vdots \\ — \phi(\mathbf x_n) \,— \end{bmatrix}$

现在我们可以采用Ridge回归的解决方案并将每个替换为：。对于一个新的看不见的数据点我们将其目标值预测为。$X$$\Phi(X)$$\mathbf w = \Phi(X)^T \, (\Phi(X) \Phi(X)^T + \lambda \, I)^{-1} \mathbf y$$\mathbf x$$\hat y$$\hat y= \mathbf \phi(\mathbf x)^T \Phi(X)^T \, (\Phi(X) \Phi(X)^T + \lambda \, I)^{-1} \mathbf y$

首先，我们可以用矩阵替换，该矩阵的计算公式为。然后，是。因此，在这里我们设法用内核来表达问题的每个点积。$\Phi(X) \Phi(X)^T$$K$$(K)_{ij} = k(\mathbf x_i, \mathbf x_j)$$\phi(\mathbf x)^T \Phi(X)^T$$\sum\limits_{i = 1}^n \phi(\mathbf x)^T \phi(\mathbf x_i) = \sum\limits_{i = 1}^n k(\mathbf x, \mathbf x_j)$

最后，通过使（如前所述），我们获得$\boldsymbol \alpha = (K + \lambda \, I)^{-1} \mathbf y$$\hat y= \sum\limits_{i = 1}^n \alpha_i k(\mathbf x, \mathbf x_j)$

参考文献

• 我在柏林工业大学上课的机器学习
• 统计学习的要素，http：//statweb.stanford.edu/~tibs/ElemStatLearn/
• http://0agr.ru/wiki/index.php/Normal_Equation
• http://stat.wikia.com/wiki/Kernel_Ridge_Regression
• http://stat.rutgers.edu/home/tzhang/papers/ml02_dual.pdf
• http://www.ics.uci.edu/~welling/classnotes/papers_class/Kernel-Ridge.pdf
• http://www.cs.nyu.edu/~mohri/mls/lecture_8.pdf