正则化线性与RKHS回归

我正在研究RKHS回归中的正则化与线性回归之间的差异，但是我很难理解两者之间的关键差异。

给定的输入-输出对，我想估计的函数如下，其中是内核函数。可以通过求解来找到系数其中，在某种程度上滥用符号的情况下，内核矩阵的第个条目是。这给出 $(x_i,y_i)$ $f(\cdot)$

f (x) \approx u (x) = \sum_{i = 1}^{m} α_{i} K (x, x_{i}),

$\begin{equation}f(x)\approx u(x)=\sum_{i=1}^m \alpha_i K(x,x_i),\end{equation}$

K (\cdot, \cdot)

$K(\cdot,\cdot)$

α_{m}

$\alpha_m$

min_{α \in R^{n}} \frac{1}{n} ‖ Y - K α ‖_{R^{n}}^{2} + λ α^{T} K α,

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}$

i, j

$i,j$

K

$K$

K (x_{i}, x_{j})

$K(x_{i},x_{j})$

α^{*} = (K + λ n I)^{- 1} Y .

$\begin{equation} \alpha^*=(K+\lambda nI)^{-1}Y. \end{equation}$ 另外，我们可以将该问题视为正常的岭回归/线性回归问题：

\underset{α \in {[R}^{ñ}}{分} \frac{1个}{ñ} ‖ ÿ - ķ α ‖_{{[R}^{ñ}}^{2} + λ α^{Ť} α ，

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}\alpha},\end{equation}$ 与解决方案

α^{*} = （ ķ^{Ť} ķ + λ ñ 一世 ）^{- 1个} ķ^{Ť} ÿ 。

$\begin{equation} {\alpha^*=(K^{T}K +\lambda nI)^{-1}K^{T}Y}. \end{equation}$

这两种方法及其解决方案之间的关键区别是什么？

— 甲基硫磺
source

stats.stackexchange.com/questions/79192/...

— Cagdas Ozgenc

@MThQ-您对“正常”山脊回归的描述是否仍然适用于双重？只是为了澄清一下，我认为正常的岭回归被认为在原始中起作用（在该处进行了显式特征表示）。

— rnoodle

正如您在写下优化问题时可能已经注意到的那样，最小化的唯一区别是使用哪种希尔伯特范式进行惩罚。也就是说，量化 “大”值是为了惩罚的目的。在RKHS设置中，我们使用RKHS内积，而岭回归相对于欧几里得范数不利。 $\alpha$ $\alpha^tK\alpha$

一个有趣的理论结果是每种方法如何影响复制内核的频谱。根据RKHS理论，我们得出是对称正定的。通过谱定理，我们可以写成，其中是特征值的对角矩阵，是特征向量的正交矩阵。因此，在RKHS设置中，同时，在Ridge回归设置中，请注意，是对称的， $K$ $K$ $K = U^tDU$ $D$ $U$

\begin{aligned} （ ķ + λ ñ 一世 ）^{- 1个} ÿ & = [ü^{Ť} （ d + λ ñ 一世 ） ü]^{- 1个} ÿ \\ = ü^{Ť} [d + λ ñ 一世]^{- 1个} ü ÿ 。 \end{aligned}

$\begin{align} (K+\lambda nI)^{-1}Y &= [U^t(D+\lambda nI)U]^{-1}Y\\ &= U^t[D+\lambda nI]^{-1}UY. \end{align}$

K^{t} K = K^{2}

$K^tK=K^2$

\begin{aligned} （ ķ^{2} + λ ñ 一世 ）^{- 1个} ķ ÿ & = [ü^{Ť} （ d^{2} + λ ñ 一世 ） ü]^{- 1个} ķ ÿ \\ = ü^{Ť} [d^{2} + λ ñ 一世]^{- 1个} ü ķ ÿ \\ = ü^{Ť} [d^{2} + λ ñ 一世]^{- 1个} d ü ÿ \\ = ü^{Ť} [d + λ ñ d^{- 1个}]^{- 1个} ü ÿ 。 \end{aligned}

$\begin{align} (K^2+\lambda nI)^{-1}KY &= [U^t(D^2+\lambda nI)U]^{-1}KY\\ &= U^t[D^2+\lambda nI]^{-1}UKY\\ &= U^t[D^2+\lambda nI]^{-1}DUY\\ &= U^t[D+\lambda nD^{-1}]^{-1}UY. \end{align}$ 让的频谱是。在RKHS回归中，特征值由。在Ridge回归中，我们有。结果，RKHS统一修改特征值，而如果相应的较小，则Ridge将添加较大的值。

K

$K$

ν_{1}, \dots, ν_{n}

$\nu_1,\ldots,\nu_n$

ν_{i} \to ν_{i} + λ n

$\nu_i\rightarrow\nu_i+\lambda n$

ν_{i} \to ν_{i} + λ n / ν_{i}

$\nu_i\rightarrow \nu_i + \lambda n/\nu_i$

ν_{i}

$\nu_i$

根据内核的选择，的两个估计值可能彼此接近或相距甚远。运营商规范意义上的距离为但是，对于给定的仍然是有界的 $\alpha$

\begin{aligned} ‖ α_{RKHS} - α_{岭} ‖_{ℓ^{2}} & = ‖ {一个}_{RKHS} ÿ - {一个}_{岭} ÿ ‖_{ℓ^{2}} \\ \leq ‖ [d + λ ñ 一世]^{- 1个} - [d + λ ñ d^{- 1个}]^{- 1个} ‖_{\infty} ‖ ÿ ‖_{ℓ^{2}} \\ \leq \underset{一世 = 1个 ， \dots ， ñ}{最高} {| （ ν_{一世} + λ ñ ）^{- 1个} - （ ν_{一世} + λ ñ / ν_{一世} ）^{- 1个} |} ‖ ÿ ‖_{ℓ^{2}} \\ \leq \underset{一世 = 1个 ， \dots ， ñ}{最高} {\frac{λ ñ | 1个 - ν_{一世} |}{（ ν_{一世} + λ ñ ） （ ν_{一世}^{2} + λ ñ ）}} ‖ ÿ ‖_{ℓ^{2}} \end{aligned}

$\begin{align} \|{\alpha_\text{RKHS}-\alpha_\text{Ridge}}\|_{\ell^2} &= \|{ A_\text{RKHS}Y-A_\text{Ridge}Y }\|_{\ell^2}\\ &\le \|[D+\lambda nI]^{-1}-[D+\lambda n D^{-1}]^{-1}\|_\infty\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{| (\nu_i+\lambda n)^{-1} - (\nu_i+\lambda n/\nu_i)^{-1} |\right\}\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{ \frac{\lambda n|1-\nu_i|}{(\nu_i+\lambda n)(\nu_i^2+\lambda n)} \right\}\|Y\|_{\ell^2}\\ \end{align}$

Y

$Y$ ，因此您的两个估算器不能任意分开。因此，如果您的内核接近于身份，那么在方法上几乎没有什么区别。如果您的内核有很大不同，则两种方法仍然可以得出相似的结果。

在实践中，很难确切地说出在给定情况下一个是否比另一个更好。由于在用核函数表示数据时我们将平方误差最小化，因此我们正在有效地从函数的相应希尔伯特空间中选择最佳回归曲线。因此，对RKHS内部产品进行惩罚似乎是自然而然的方法。

— 亚当·卡什拉克（Adam B Kashlak）
source

您对此有参考吗？

— rnoodle