如何证明径向基函数是一个内核?


35

如何证明径向基函数是一个内核?据我了解,为了证明这一点,我们必须证明以下任何一项:k(x,y)=exp(||xy||2)2σ2)

  1. 对于任何一组向量矩阵 =是正半定的。x1,x2,...,xnK(x1,x2,...,xn)(k(xi,xj))n×n

  2. 可以表示映射例如 =。Φk(x,y)Φ(x),Φ(y)

有什么帮助吗?


1
只是为了使其更明显地链接起来:在该问题中还讨论了特征图,尤其是Marc Claesen基于泰勒级数和的答案,其中讨论了RKHS和下面由道格拉斯给出的嵌入的一般版本。L2
Dougal 2015年

Answers:


26

Zen使用方法1。方法2:将映射到希尔伯特空间以为中心的球对称高斯分布。为了使其正常工作,必须对标准偏差和常数因子进行调整。例如,在一维中xxL2

exp[(xz)2/(2σ2)]2πσexp[(yz)2/(2σ2)2πσdz=exp[(xy)2/(4σ2)]2πσ.

因此,使用的标准偏差并缩放高斯分布即可得出。因为正态分布的范数通常不为,所以发生了最后一次重新缩放。σ/2k(x,y)=Φ(x),Φ(y)L21


2
@ Zen,Douglas Zare:谢谢您的出色回答。我现在应该如何选择正式答案?
2012年

23

我将使用方法1。使用方法2来检查Douglas Zare的答案以作证明。

我将证明是实数的情况,因此。一般情况比照相同的论点作必要修改,是值得做的。x,yk(x,y)=exp((xy)2/2σ2)

不失一般性,假定。σ2=1

写,其中是具有分布的随机变量的特征函数。ħ = EXP - 2k(x,y)=h(xy)žÑ01

h(t)=exp(t22)=E[eitZ]
ZN(0,1)

对于实数和,我们有 这意味着是一个正半定函数,又名内核。一个1... 一个Ñ Ñ Σ Ĵ ķ = 1一个Ĵx1,,xna1,,anķ

j,k=1najakh(xjxk)=j,k=1najakE[ei(xjxk)Z]=E[j,k=1najeixjZakeixkZ]=E[|j=1najeixjZ|2]0,
k

要更广泛地了解此结果,请查看Bochner定理:http : //en.wikipedia.org/wiki/Positive-definite_function


2
这是在正确方向上的一个良好的开始,有两个警告:(a)不等于所示的期望值(请选中指数中的符号),并且(b)这似乎限制了对以下情况的注意:和是标量而不是向量。同时,我也提出了建议,因为博览会既干净又干净,我相信您会很快填补这些小空白。:-)x yh(t)xy
红衣主教

1
Tks!我在这里赶时间。:-)

1
请问,我真的看不到您如何在此作必要的变通。如果在传递给表单之前制定了规范,那么您将获得乘积,并且无法交换乘积和总和。而且,在传递给h形式以获得漂亮的表达式后,我根本看不出如何制定规范。你能带我去那里吗?:)h
Alburkerk

23

我将添加第三个方法,以适应各种变化:从已知的创建pd内核的一系列常规步骤中构建内核。令表示下面内核的域,而表示特征映射。 φXφ

  • 缩放比例: 如果是pd内核,则任何常量也是。γ κ γ > 0κγκγ>0

    证明:如果是的特征图,则是的有效特征图。κ φκγκγφγκ

  • 总结: 如果和是pd内核,则。κ 2 κ 1 + κ 2κ1κ2κ1+κ2

    证明:将要素映射和,以获得。φ 2 X [ φ 1X φ 2X ]φ1φ2x[φ1(x)φ2(x)]

  • 限制: 如果是pd内核,并且对于所有都存在,则是pd。κ X ÿ = LIM Ñ →交通 κ ÑX ÿ X ÿ κκ1,κ2,κ(x,y):=limnκn(x,y)x,yκ

    证明:对于每个和每个我们得到。将限制设为赋予相同的属性。m,n1{(xi,ci)}i=1mX×Ri=1mciκn(xi,xj)cj0nκ

  • 产品: 如果和是pd内核,则。κ1κ2g(x,y)=κ1(x,y)κ2(x,y)

    证明:紧接着是Schur积定理,但是Schölkopf和Smola(2002)提供了以下很好的基本证明。令 是独立的。因此 协方差矩阵必须为psd,因此考虑的协方差矩阵证明这一点。

    (V1,,Vm)N(0,[κ1(xi,xj)]ij)(W1,,Wm)N(0,[κ2(xi,xj)]ij)
    Cov(ViWi,VjWj)=Cov(Vi,Vj)Cov(Wi,Wj)=κ1(xi,xj)κ2(xi,xj).
    (V1W1,,VnWn)
  • 幂: 如果是pd内核,则对于任何正整数。κκn(x,y):=κ(x,y)nn

    证明:直接来自“产品”属性。

  • 指数: 如果是pd内核,则。κeκ(x,y):=exp(κ(x,y))

    证明:我们有 ; 使用“幂”,“缩放比例”,“求和”和“限制”属性。eκ(x,y)=limNn=0N1n!κ(x,y)n

  • 函数: 如果是pd内核,并且,则也是如此。κf:XRg(x,y):=f(x)κ(x,y)f(y)

    证明:使用特征图。xf(x)φ(x)

现在,请注意 从线性核,用应用“缩放”,应用 “指数”,并应用。κxy=xTy1

k(x,y)=exp(12σ2xy2)=exp(12σ2x2)exp(1σ2xTy)exp(12σ2y2).
κ(x,y)=xTy XEXP-11σ2xexp(12σ2x2)
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.