1
正则化线性与RKHS回归
我正在研究RKHS回归中的正则化与线性回归之间的差异,但是我很难理解两者之间的关键差异。 给定的输入-输出对,我想估计的函数如下 ,其中是内核函数。可以通过求解来找到 系数 其中,在某种程度上滥用符号的情况下,内核矩阵K的第i,j个条目是{\ displaystyle K(x_ {i},x_ {j})}。这给出 \ begin {equation} \ alpha ^ * =(K + \ lambda nI)^ {-1} Y。\ end {equation}(xi,yi)(xi,yi)(x_i,y_i)f(⋅)f(⋅)f(\cdot)f(x)≈u(x)=∑i=1mαiK(x,xi),f(x)≈u(x)=∑i=1mαiK(x,xi),\begin{equation}f(x)\approx u(x)=\sum_{i=1}^m \alpha_i K(x,x_i),\end{equation}K(⋅,⋅)K(⋅,⋅)K(\cdot,\cdot)αmαm\alpha_m我,Ĵķķ(X我,XĴ)α*=(ķ+λÑ我)-1ÿ。minα∈Rn1n∥Y−Kα∥2Rn+λαTKα,minα∈Rn1n‖Y−Kα‖Rn2+λαTKα,\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}i,ji,ji,jKKKK(xi,xj)K(xi,xj){\displaystyle K(x_{i},x_{j})} α∗=(K+λnI)−1Y.α∗=(K+λnI)−1Y.\begin{equation} \alpha^*=(K+\lambda nI)^{-1}Y. \end{equation} 另外,我们可以将该问题视为正常的岭回归/线性回归问题: 分α ∈ [Rñ1个ñ∥ ÿ− Kα ∥2[Rñ+ λ αŤα,分α∈[Rñ1个ñ‖ÿ-ķα‖[Rñ2+λαŤα,\begin{equation} {\displaystyle \min …