Questions tagged «kernel-trick»

机器学习中使用内核方法将线性技术推广到非线性情况,尤其是SVM,PCA和GP。不要与[内核平滑]混淆,以进行内核密度估计(KDE)和内核回归。

1
正则化线性与RKHS回归
我正在研究RKHS回归中的正则化与线性回归之间的差异,但是我很难理解两者之间的关键差异。 给定的输入-输出对,我想估计的函数如下 ,其中是内核函数。可以通过求解来找到 系数 其中,在某种程度上滥用符号的情况下,内核矩阵K的第i,j个条目是{\ displaystyle K(x_ {i},x_ {j})}。这给出 \ begin {equation} \ alpha ^ * =(K + \ lambda nI)^ {-1} Y。\ end {equation}(xi,yi)(xi,yi)(x_i,y_i)f(⋅)f(⋅)f(\cdot)f(x)≈u(x)=∑i=1mαiK(x,xi),f(x)≈u(x)=∑i=1mαiK(x,xi),\begin{equation}f(x)\approx u(x)=\sum_{i=1}^m \alpha_i K(x,x_i),\end{equation}K(⋅,⋅)K(⋅,⋅)K(\cdot,\cdot)αmαm\alpha_m我,Ĵķķ(X我,XĴ)α*=(ķ+λÑ我)-1ÿ。minα∈Rn1n∥Y−Kα∥2Rn+λαTKα,minα∈Rn1n‖Y−Kα‖Rn2+λαTKα,\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}i,ji,ji,jKKKK(xi,xj)K(xi,xj){\displaystyle K(x_{i},x_{j})} α∗=(K+λnI)−1Y.α∗=(K+λnI)−1Y.\begin{equation} \alpha^*=(K+\lambda nI)^{-1}Y. \end{equation} 另外,我们可以将该问题视为正常的岭回归/线性回归问题: 分α ∈ [Rñ1个ñ∥ ÿ− Kα ∥2[Rñ+ λ αŤα,分α∈[Rñ1个ñ‖ÿ-ķα‖[Rñ2+λαŤα,\begin{equation} {\displaystyle \min …

2
用于二进制分类问题的哪个SVM内核?
我是支持向量机的初学者。是否有一些准则说明哪个内核(例如线性,多项式)最适合特定问题?就我而言,我必须根据网页是否包含某些特定信息对网页进行分类,即我存在二进制分类问题。 您能否总体说出最适合此任务的内核?还是我必须在特定的数据集上尝试其中的几个才能找到最佳数据集?顺便说一句,我正在使用利用libSVM库的Python库scikit-learn。


2
可以使用内核PCA进行功能选择吗?
是否可以以与使用PCA相同的方式将内核主成分分析(kPCA)用于潜在语义索引(LSI)? 我使用prcompPCA功能在R中执行LSI,并从第一个中提取负载最大的功能ķkk组件。这样,我就可以最好地描述组件的功能。 我试图使用该kpca功能(从kernlib包装中获取),但看不到如何访问要素的权重。使用内核方法时,总体上可能吗?
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.