如何证明径向基函数是一个内核？

35

如何证明径向基函数是一个内核？据我了解，为了证明这一点，我们必须证明以下任何一项： $k(x, y) = \exp(-\frac{||x-y||^2)}{2\sigma^2})$

对于任何一组向量矩阵 =是正半定的。 $x_1, x_2, ..., x_n$ $K(x_1, x_2, ..., x_n)$ $(k(x_i, x_j))_{n \times n}$
可以表示映射例如 =。 $\Phi$ $k(x, y)$ $\langle\Phi(x), \Phi(y)\rangle$

有什么帮助吗？

svm kernel-trick

— 狮子座
source

1

只是为了使其更明显地链接起来：在该问题中还讨论了特征图，尤其是Marc Claesen基于泰勒级数和我的答案，其中讨论了RKHS和下面由道格拉斯给出的嵌入的一般版本。

L_{2}

$L_2$

— Dougal 2015年

26

Zen使用方法1。方法2：将映射到希尔伯特空间以为中心的球对称高斯分布。为了使其正常工作，必须对标准偏差和常数因子进行调整。例如，在一维中 $x$ $x$ $L^2$

\int_{- \infty}^{\infty} \frac{\exp [- (x - z)^{2} / (2 σ^{2})]}{\sqrt{2 π} σ} \frac{\exp [- (y - z)^{2} / (2 σ^{2})}{\sqrt{2 π} σ} d z = \frac{\exp [- (x - y)^{2} / (4 σ^{2})]}{2 \sqrt{π} σ} .

$\int_{-\infty}^\infty \frac{\exp[-(x-z)^2/(2\sigma^2)]}{\sqrt{2 \pi} \sigma} \frac{\exp[-(y-z)^2/(2 \sigma^2)}{\sqrt{2 \pi} \sigma} dz = \frac{\exp [-(x-y)^2/(4 \sigma^2)]}{2 \sqrt \pi \sigma}.$

因此，使用的标准偏差并缩放高斯分布即可得出。因为正态分布的范数通常不为，所以发生了最后一次重新缩放。 $\sigma/\sqrt 2$ $k(x,y) = \langle \Phi(x), \Phi(y)\rangle$ $L^2$ $1$

— 道格拉斯·扎尔
source

2

@ Zen，Douglas Zare：谢谢您的出色回答。我现在应该如何选择正式答案？

— 2012年

23

我将使用方法1。使用方法2来检查Douglas Zare的答案以作证明。

我将证明是实数的情况，因此。一般情况比照相同的论点作必要修改，是值得做的。 $x,y$ $k(x,y)=\exp(-(x-y)^2/2\sigma^2)$

不失一般性，假定。 $\sigma^2=1$

写，其中是具有分布的随机变量的特征函数。 $k(x,y)=h(x-y)$

h (t) = \exp (- \frac{t^{2}}{2}) = E [e^{i t Z}]

$h(t)=\exp\left(-\frac{t^2}{2}\right)=\mathrm{E}\left[e^{itZ}\right]$

Z

$Z$

N (0, 1)

$N(0,1)$

对于实数和，我们有这意味着是一个正半定函数，又名内核。 $x_1,\dots,x_n$ $a_1,\dots,a_n$

\sum_{j, k = 1}^{n} a_{j} a_{k} h (x_{j} - x_{k}) = \sum_{j, k = 1}^{n} a_{j} a_{k} E [e^{i (x_{j} - x_{k}) Z}] = E [\sum_{j, k = 1}^{n} a_{j} e^{i x_{j} Z} a_{k} e^{- i x_{k} Z}] = E [{| \sum_{j = 1}^{n} a_{j} e^{i x_{j} Z} |}^{2}] \geq 0,

$\sum_{j,k=1}^n a_j\,a_k\,h(x_j-x_k) = \sum_{j,k=1}^n a_j\,a_k\,\mathrm{E} \left[ e^{i(x_j-x_k)Z}\right] = \mathrm{E} \left[ \sum_{j,k=1}^n a_j\,e^{i x_j Z}\,a_k\,e^{-i x_k Z}\right] = \mathrm{E}\left[ \left| \sum_{j=1}^n a_j\,e^{i x_j Z}\right|^2\right] \geq 0 \, ,$

k

$k$

要更广泛地了解此结果，请查看Bochner定理：http : //en.wikipedia.org/wiki/Positive-definite_function

— 禅
source

2

这是在正确方向上的一个良好的开始，有两个警告：（a）不等于所示的期望值（请选中指数中的符号），并且（b）这似乎限制了对以下情况的注意：和是标量而不是向量。同时，我也提出了建议，因为博览会既干净又干净，我相信您会很快填补这些小空白。:-)

h (t)

$h(t)$

x

$x$

y

$y$

— 红衣主教

1

Tks！我在这里赶时间。:-)

— 禅

1

请问，我真的看不到您如何在此作必要的变通。如果在传递给表单之前制定了规范，那么您将获得乘积，并且无法交换乘积和总和。而且，在传递给h形式以获得漂亮的表达式后，我根本看不出如何制定规范。你能带我去那里吗？:)

h

$h$

— Alburkerk

23

我将添加第三个方法，以适应各种变化：从已知的创建pd内核的一系列常规步骤中构建内核。令表示下面内核的域，而表示特征映射。 $\mathcal X$ $\varphi$

缩放比例： 如果是pd内核，则任何常量也是。 $\kappa$ $\gamma \kappa$ $\gamma > 0$

证明：如果是的特征图，则是的有效特征图。 $\varphi$ $\kappa$ $\sqrt\gamma \varphi$ $\gamma \kappa$
总结： 如果和是pd内核，则。 $\kappa_1$ $\kappa_2$ $\kappa_1 + \kappa_2$

证明：将要素映射和，以获得。 $\varphi_1$ $\varphi_2$ $x \mapsto \begin{bmatrix}\varphi_1(x) \\ \varphi_2(x)\end{bmatrix}$
限制： 如果是pd内核，并且对于所有都存在，则是pd。 $\kappa_1, \kappa_2, \dots$ $\kappa(x, y) := \lim_{n \to \infty} \kappa_n(x, y)$ $x, y$ $\kappa$

证明：对于每个和每个我们得到。将限制设为赋予相同的属性。 $m, n \ge 1$ $\{ (x_i, c_i) \}_{i=1}^m \subseteq \mathcal{X} \times \mathbb R$ $\sum_{i=1}^m c_i \kappa_n(x_i, x_j) c_j \ge 0$ $n \to \infty$ $\kappa$
产品： 如果和是pd内核，则。 $\kappa_1$ $\kappa_2$ $g(x, y) = \kappa_1(x, y) \, \kappa_2(x, y)$

证明：紧接着是Schur积定理，但是Schölkopf和Smola（2002）提供了以下很好的基本证明。令是独立的。因此协方差矩阵必须为psd，因此考虑的协方差矩阵证明这一点。
$(V_{1}, \dots, V_{m}) \sim N (0, {[κ_{1} (x_{i}, x_{j})]}_{i j}) (W_{1}, \dots, W_{m}) \sim N (0, {[κ_{2} (x_{i}, x_{j})]}_{i j})$ $(V_1, \dots, V_m) \sim \mathcal{N}\left( 0, \left[ \kappa_1(x_i, x_j) \right]_{ij} \right) \\ (W_1, \dots, W_m) \sim \mathcal{N}\left( 0, \left[ \kappa_2(x_i, x_j) \right]_{ij} \right)$ $C o v (V_{i} W_{i}, V_{j} W_{j}) = C o v (V_{i}, V_{j}) C o v (W_{i}, W_{j}) = κ_{1} (x_{i}, x_{j}) κ_{2} (x_{i}, x_{j}) .$ $\mathrm{Cov}(V_i W_i, V_j W_j) = \mathrm{Cov}(V_i, V_j) \,\mathrm{Cov}(W_i, W_j) = \kappa_1(x_i, x_j) \kappa_2(x_i, x_j).$ $(V_1 W_1, \dots, V_n W_n)$
幂： 如果是pd内核，则对于任何正整数。 $\kappa$ $\kappa^n(x, y) := \kappa(x, y)^n$ $n$

证明：直接来自“产品”属性。
指数： 如果是pd内核，则。 $\kappa$ $e^\kappa(x, y) := \exp(\kappa(x, y))$

证明：我们有 ; 使用“幂”，“缩放比例”，“求和”和“限制”属性。 $e^\kappa(x, y) = \lim_{N \to \infty} \sum_{n=0}^N \frac{1}{n!} \kappa(x, y)^n$
函数： 如果是pd内核，并且，则也是如此。 $\kappa$ $f : \mathcal X \to \mathbb R$ $g(x, y) := f(x) \kappa(x, y) f(y)$

证明：使用特征图。 $x \mapsto f(x) \varphi(x)$

现在，请注意从线性核，用应用“缩放”，应用 “指数”，并应用。

\begin{aligned} k (x, y) & = \exp (- \frac{1}{2 σ^{2}} ‖ x - y ‖^{2}) \\ = \exp (- \frac{1}{2 σ^{2}} ‖ x ‖^{2}) \exp (\frac{1}{σ^{2}} x^{T} y) \exp (- \frac{1}{2 σ^{2}} ‖ y ‖^{2}) . \end{aligned}

$\begin{align*} k(x, y) &= \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x - y \rVert^2 \right) \\&= \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x \rVert^2 \right) \exp\left( \tfrac{1}{\sigma^2} x^T y \right) \exp\left( - \tfrac{1}{2 \sigma^2} \lVert y \rVert^2 \right) .\end{align*}$

κ (x, y) = x^{T} y

$\kappa(x, y) = x^T y$

\frac{1}{σ^{2}}

$\frac{1}{\sigma^2}$

x \mapsto \exp (- \frac{1}{2 σ^{2}} ‖ x ‖^{2})

$x \mapsto \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x \rVert^2 \right)$

— 杜加尔
source