点积下核函数的紧密性证明

13

如何证明两个内核函数的逐点乘积是一个内核函数？

machine-learning kernel-trick

— 吉吉利
source

18

按点积，我假设您的意思是，如果都是有效的内核函数，则它们的乘积 $k_1(x,y), k_2(x,y)$

\begin{aligned} k_{p} (x, y) = k_{1} (x, y) k_{2} (x, y) \end{aligned}

$\begin{align} k_{p}( x, y) = k_1( x, y) k_2(x,y) \end{align}$

也是有效的内核函数。

当我们调用Mercer定理时，证明此属性非常简单。由于 $k_1, k_2$ 是有效内核，我们（通过Mercer）知道它们必须接受内部产品表示。让我们 $a$ 分别表示的特征向量 $k_1$ 和 $b$ 表示了同样的 $k_2$ 。

\begin{aligned} k_{1} (x, y) = a (x)^{T} a (y), a (z) = [a_{1} (z), a_{2} (z), \dots a_{M} (z)] \\ k_{2} (x, y) = b (x)^{T} b (y), b (z) = [b_{1} (z), b_{2} (z), \dots b_{N} (z)] \end{aligned}

$\begin{align} k_1(x,y) = a(x)^T a(y), \qquad a( z ) = [a_1(z), a_2(z), \ldots a_M(z)] \\ k_2(x,y) = b(x)^T b(y), \qquad b( z ) = [b_1(z), b_2(z), \ldots b_N(z)] \end{align}$

因此，是产生 -dim向量的函数，产生 -dim向量的函数。 $a$ $M$ $b$ $N$

接下来，我们只用和表示乘积，然后执行一些重新分组。 $a$ $b$

\begin{aligned} k_{p} (x, y) & = k_{1} (x, y) k_{2} (x, y) \\ = (\sum_{m = 1}^{M} a_{m} (x) a_{m} (y)) (\sum_{n = 1}^{N} b_{n} (x) b_{n} (y)) \\ = \sum_{m = 1}^{M} \sum_{n = 1}^{N} [a_{m} (x) b_{n} (x)] [a_{m} (y) b_{n} (y)] \\ = \sum_{m = 1}^{M} \sum_{n = 1}^{N} c_{m n} (x) c_{m n} (y) \\ = c (x)^{T} c (y) \end{aligned}

$\begin{align} k_{p}(x,y) &= k_1(x,y) k_2(x,y) \\&= \Big( \sum_{m=1}^M a_m(x) a_m(y) \Big) \Big( \sum_{n=1}^N b_n(x) b_n(y) \Big) \\&= \sum_{m=1}^M \sum_{n=1}^N [ a_m(x) b_n(x) ] [a_m(y) b_n(y)] \\&= \sum_{m=1}^M \sum_{n=1}^N c_{mn}( x ) c_{mn}( y ) \\&= c(x)^T c(y) \end{align}$

其中是维向量，st。 $c(z)$ $M \cdot N$ $c_{mn}(z) = a_m(z) b_n(z)$

现在，因为我们可以使用特征图将写为内部乘积，所以我们知道是有效的内核（通过Mercer定理）。这里的所有都是它的。 $k_p(x,y)$ $c$ $k_p$

— 迈克·休斯
source

您怎么知道特征希尔伯特空间是有限维的？难道甚至是不可分割的？

— 安德烈（Andrei Kh）

根据您的第一段，我们仅知道核内部乘积表示的存在。但是在结论中，您使用的是内部乘积表示形式的存在暗示是内核。为什么这样有效？

k

$k$

⟹

$\implies$

k_{p}

$k_p$

— 维克多·格隆比克

3

下列证明如何：

资料来源：UChicago内核方法讲座，第5页

— 帕伦
source

0

假设和分别是这两个内核和的内核矩阵，并且它们是PSD。我们定义并想证明它也是一个内核。这等效于证明其对应的内核矩阵为PSD。 $K1$ $K2$ $k_1(x,y)$ $k_2(x,y)$ $k(x,y) = k_1(x,y)k_2(x,y)$ $K = K1 \circ K2$

$K_3 = K1 \otimes K2$ 是一个PSD（两个PSD的kronecker乘积是PSD）。
$K$ 是的主要子矩阵，因此是PSD（PSD的主要子矩阵是PSD）。 $K_3$

— 张策尧
source