核岭回归效率

岭回归可以表示为，其中是预测标签，的识别矩阵，我们试图找到一个标签的对象，而的的矩阵对象使得：

\hat{y} = (X^{'} X + a I_{d})^{- 1} X x

$\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}x$

\hat{y}

$\hat{y}$

I_{d}

$\mathbf{I}_d$

d \times d

$d \times d$

x

$\mathbf{x}$

X

$\mathbf{X}$

n \times d

$n \times d$

n

$n$

x_{i} = (x_{i, 1}, . . ., x_{i, d}) \in R^{d}

$\mathbf{x}_i = (x_{i,1}, ..., x_{i,d})\in \mathbb{R}^d$

X = (\begin{matrix} x_{1, 1} & x_{1, 2} & \dots & x_{1, d} \\ x_{2, 1} & x_{2, 2} & \dots & x_{2, d} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ x_{n, 1} & x_{1, 2} & \dots & x_{n, d} \end{matrix})

$\mathbf{X} = \begin{pmatrix} x_{1,1} & x_{1,2} & \ldots & x_{1,d}\\ x_{2,1} & x_{2,2} & \ldots & x_{2,d}\\ \vdots & \vdots & \ddots & \vdots\\ x_{n,1} & x_{1,2} &\ldots & x_{n,d} \end{pmatrix}$

我们可以将其内核化如下：

\hat{y} = (K + a I_{d})^{- 1} k

$\hat{y} = (\mathbf{\mathcal{K}} + a\mathbf{I}_d)^{-1} \mathbf{k}$

其中是内核函数的矩阵 $\mathbf{\mathcal{K}}$ $n \times n$ $K$

K = (\begin{matrix} K (x_{1}, x_{1}) & K (x_{1}, x_{2}) & \dots & K (x_{1}, x_{n}) \\ K (x_{2}, x_{1}) & K (x_{2}, x_{2}) & \dots & K (x_{2}, x_{n}) \\ ⋮ & ⋮ & ⋱ & ⋮ \\ K (x_{n}, x_{1}) & K (x_{n}, x_{2}) & \dots & K (x_{n}, x_{n}) \end{matrix})

$\mathcal{K} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x}_1) & K(\mathbf{x}_1,\mathbf{x}_2) & \ldots & K(\mathbf{x}_1,\mathbf{x}_n)\\ K(\mathbf{x}_2,\mathbf{x}_1) & K(\mathbf{x}_2,\mathbf{x}_2) & \ldots & K(\mathbf{x}_2,\mathbf{x}_n)\\ \vdots & \vdots & \ddots & \vdots\\ K(\mathbf{x}_n,\mathbf{x}_1) & K(\mathbf{x}_n,\mathbf{x}_2) &\ldots & K(\mathbf{x}_n,\mathbf{x}_n) \end{pmatrix}$

和内核函数 $\mathbf{k}$ 的 $n \times 1$ 列向量 $K$

ķ = （ \begin{matrix} ķ （ X_{1个} ， X ） \\ ķ （ X_{2} ， X ） \\ ⋮ \\ ķ （ X_{ñ} ， X ） \end{matrix} ）

$\mathbf{k} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x})\\ K(\mathbf{x}_2,\mathbf{x}) \\ \vdots \\ K(\mathbf{x}_n,\mathbf{x}) \end{pmatrix}$

问题：

（a）如果对象比维数多，不使用内核有意义吗？例如，假设为矩阵，则将为，我们最终将矩阵取而代之，而不是如果使用内核，则必须将矩阵。这是否意味着如果我们不应该使用内核？ $\mathbf{x}_i$ $\mathbf{X}$ $50 \times 3$ $\mathbf{X}'\mathbf{X}$ $3 \times 3$ $3 \times 3$ $50 \times 50$ $d \leq n$

（b）是否应使用最简单的内核？似乎岭回归中的核用于抵消维数的影响，而不是利用特征空间的某些属性（与支持向量机不同）。尽管内核可以改变对象之间的距离，但是在岭回归中是否有常用的内核？

（c）岭回归和/或核岭回归的时间复杂度是多少？ $O$

regression ridge-regression kernel-trick

— 螺旋
source

“效率”在统计数据中具有不同的含义。您是说“计算复杂性”吗？（标题中）

— 纪念

我的意思是“算法效率”。尽管我的问题的确从本质上将其降低为“计算复杂性”。

— Helix

（a）使用核的目的是在这种情况下解决非线性回归问题。一个好的内核将使您能够解决可能具有无限维的特征空间中的问题。但是，使用线性核并在对偶空间中进行核岭回归与解决原始空间中的问题相同，即，它没有带来任何优势（随着观察到的样本数量的增加，它要慢得多）。 $K(\mathbf{x,y}) = \mathbf{x}^\top \mathbf{y}$

（b）最受欢迎的选择之一是平方指数核是通用的（请参阅下面的参考）。内核有很多，每个内核都会为您的特征空间引入不同的内部乘积（并因此生成度量标准）。 $K(x,y) = \exp(-\frac{\tau}{2} ||\mathbf{x}-\mathbf{y}||^2)$

（c）直接实现需要求解大小为的线性方程，因此它是。有许多更快的逼近方法，例如Nyström逼近。这是一个活跃的研究领域。 $n$ $O(n^3)$

参考文献：

Bharath Sriperumbudur，Kenji Fukumizu和Gert Lanckriet。关于通用性，特征核与RKHS措施嵌入之间的关系。机器学习研究杂志，2010年9：773-780。
Bernhard Schlkopf，Alexander J.Smola。与内核一起学习：支持向量机，正则化，优化以及 2002年之后的版本

— 记忆
source