高斯核的特征图

24

K (x, y) = \exp (- \frac{‖ x - y ‖_{2}^{2}}{2 σ^{2}}) = ϕ (x)^{T} ϕ (y)

$K(x,y)=\exp\left({-\frac{\|x-y\|_2^2}{2\sigma^2}}\right)=\phi(x)^T\phi(y)$

x, y \in R^{n}

$x, y\in \mathbb{R^n}$

ϕ

$\phi$

我还想知道是否其中中的。现在，我认为这并不相等，因为使用内核可以处理线性分类器无法工作的情况。我知道将x到一个无限的空间。因此，即使它仍然保持线性，无论它有多少个维度，svm仍然无法进行良好的分类。

\sum_{i} c_{i} ϕ (x_{i}) = ϕ (\sum_{i} c_{i} x_{i})

$\sum_ic_i\phi(x_i)=\phi \left(\sum_ic_ix_i \right)$

c_{i} \in R

$c_i\in \mathbb R$

ϕ

$\phi$

machine-learning svm kernel-trick

— 维维安
source

为什么这个内核意味着转换？还是在指代相关的特征空间？

— Placidia 2015年

是的，特征空间

是多少，

ϕ (\cdot)

$\phi(\cdot)$ 所以

ϕ^{T} (x) ϕ (x^{^{'}}) = e x p (- \frac{1}{2 σ^{2}} ‖ x - x^{^{'}} ‖^{2})

$\phi^T(x)\phi(x^{'}) = exp(-\frac{1}{2\sigma^2}\|x-x^{'}\|^2)$

— user27886

20

你可以得到的明确公式为通过的泰勒级数展开高斯核。为了标记简单起见，假设： $\phi$ $e^x$ $x\in \mathbb{R}^1$

ϕ (x) = e^{- x^{2} / 2 σ^{2}} [1, \sqrt{\frac{1}{1! σ^{2}}} x, \sqrt{\frac{1}{2! σ^{4}}} x^{2}, \sqrt{\frac{1}{3! σ^{6}}} x^{3}, \dots]^{T}

$\phi(x) = e^{-x^2/2\sigma^2} \Big[ 1, \sqrt{\frac{1}{1!\sigma^2}}x,\sqrt{\frac{1}{2!\sigma^4}}x^2,\sqrt{\frac{1}{3!\sigma^6}}x^3,\ldots\Big]^T$

NTU的Chih-Jen Lin 在幻灯片中对此进行了更详细的讨论（特别是幻灯片11）。请注意，幻灯片被用作内核参数。 $\gamma=\frac{1}{2\sigma^2}$

OP中的方程式仅适用于线性核。

— 马克·克莱森
source

2

嗨，但是上面的方程式只适合一维。

— 维维安

所以，在这里，再生核希尔伯特空间的子空间

，正确吗？

ℓ^{2}

$\ell^2$

— The_Anomaly

是否有拉普拉斯内核的显式表示？

— Felix Crazzolara

13

对于任何有效PSD内核，存在一个特征映射使得。实际上，空间和嵌入不必是唯一的，但是有一个重要的唯一对称为复制内核希尔伯特空间（RKHS）。 $k : \mathcal X \times \mathcal X \to \mathbb R$ $\varphi : \mathcal X \to \mathcal H$ $k(x, y) = \langle \varphi(x), \varphi(y) \rangle_{\mathcal H}$ $\mathcal H$ $\varphi$ $(\mathcal H, \varphi)$

RKHS的讨论者：Steinwart，Hush和Scovel，《高斯RBF核的再现核希尔伯特空间的明确描述》，IEEE信息理论2006年交易（doi，免费citeseer pdf）。

这有点复杂，但归结为：定义为 $e_n : \mathbb C \to \mathbb C$

e_{n} (z) := \sqrt{\frac{(2 σ^{2})^{n}}{n!}} z^{n} e^{- σ^{2} z^{2}} .

$e_n(z) := \sqrt{\frac{(2 \sigma^2)^n}{n!}} z^n e^{-\sigma^2 z^2} .$

令是一个遍及所有个非负整数的元组的序列；如果，也许，， $n : \mathbb{N}_0 \to \mathbb{N}_0^d$ $d$ $d = 3$ $n(0) = (0, 0, 0)$ $n(1) = (0, 0, 1)$ $n(2) = (0, 1, 1)$ ，等等。用表示第个元组的第个分量。 $j$ $i$ $n_{ij}$

则第个分量为。因此，将向量映射为无穷维复向量。 $i$ $\varphi(x)$ $\prod_{j=1}^d e_{n_{ij}}(x_j)$ $\varphi$ $\mathbb R^d$

要注意的是，我们还必须以一种特殊的方式为这些无限维复数定义范数。有关详细信息，请参见本文。

Steinwart等。还提供一个更简单（我的思维）嵌入到从平方可积函数，希尔伯特空间： $L_2(\mathbb R^d)$ $\mathbb R^d \to \mathbb R$

Φ_{σ} (x) = \frac{(2 σ)^{\frac{d}{2}}}{π^{\frac{d}{4}}} e^{- 2 σ^{2} ‖ x - \cdot ‖_{2}^{2}} .

$\Phi_\sigma(x) = \frac{(2 \sigma)^{\frac{d}{2}}}{\pi^{\frac{d}{4}}} e^{- 2 \sigma^2 \lVert x - \cdot \rVert_2^2} .$

Φ_{σ} (x)

$\Phi_\sigma(x)$

R^{d}

$\mathbb R^d$

R

$\mathbb R$

d

$d$

x

$x$

\frac{1}{4 σ^{2}} I

$\frac{1}{4 \sigma^2} I$

⟨ Φ (x), Φ (y) ⟩_{L_{2}} = \int [Φ (x)] (t) [Φ (y)] (t) d t,

$\langle \Phi(x), \Phi(y) \rangle_{L_2} = \int [\Phi(x)](t) \; [\Phi(y)](t) \,\mathrm d t ,$ we're taking the product of Gaussian density functions, which is itself a certain constant times a Gaussian density functions. When you do that integral by

t

$t$ , then, the constant that falls out ends up being exactly

k (x, y)

$k(x, y)$ .

These are not the only embeddings that work.

Another is based on the Fourier transform, which the celebrated paper of Rahimi and Recht (Random Features for Large-Scale Kernel Machines, NIPS 2007) approximates to great effect.

You can also do it using Taylor series: effectively the infinite version of Cotter, Keshet, and Srebro, Explicit Approximations of the Gaussian Kernel, arXiv:1109.4603.

— Dougal
source

1

Douglas Zare gave a 1d version of the "more straightforward" embedding in an interesting thread here.

— Dougal

Here you find a more 'intuitive' explanation that the

Φ

$\Phi$ can map onto a spave of dimension equal to the size of the training sample, even for an infinite training sample: stats.stackexchange.com/questions/80398/…

6

It seems to me that your second equation will only be true if $\phi$ is a linear mapping (and hence $K$ is a linear kernel). As the Gaussian kernel is non-linear, the equality will not hold (except perhaps in the limit as $\sigma$ goes to zero).

— Dikran Marsupial
source

thank you for your answer. When

σ \to 0

$\sigma\rightarrow 0$ , the dimension of the Gaussian kernel projects would increase. And by your inspiration, now I think it is not equal. Because, using kernel just handle the situation that linear classification does not work.

— Vivian