通过无限维基函数视图了解高斯过程回归

人们常说，高斯过程回归（GPR）对应于（可能）无限数量基函数的贝叶斯线性回归。我目前正在尝试详细了解这一点，以直观了解我可以使用GPR表示哪种模型。

1. 您是否认为这是理解GPR的好方法？

在书高斯过程机器学习拉斯穆森和Williams显示该组高斯过程的描述由参数化指数平方内核

$$k(x,x';l)= \sigma_p^2\exp\left(-\frac{(x-x)^2}{2l^2}\right)$$ 可以等价描述为与现有信念贝叶斯回归$w \sim \mathcal{N}(0,\sigma_p^2 I)$上的权重和的形式的基础函数的无限量 $$\phi_c(x;l)=\exp\left(-\frac{(x-c)^2}{2l^2}\right)$$ 因此，内核的参数化可以完全转换为基本函数的参数化。

2. 是否可以将可微内核的参数化始终转换为先验函数和基本函数的参数化，或者是否存在可微内核，例如，基本函数的数量取决于组态？

我的理解至今是，对于一个固定的内核函数K（X，X'）Mercer的定理告诉我们，可以表示为ķ （X ，X '）= ∞ ＆Sigma;我= 1 λ 我φ 我（X ）φ 我（X '） 其中，φ 我是一个函数要么到实数或复数。因此，对于给定的内核，相应的贝叶斯回归模型具有先验$k(x,x')$

$$k(x,x')=\sum_{i=1}^\infty \lambda_i\phi_i(x)\phi_i(x')$$ $\phi_i$和基函数 φ 我。因此，每个GP甚至可以用对角先验公式化为贝叶斯线性回归模型。但是，如果我们现在使用mercers定理参数化内核的每个配置 ķ （X ，X '，θ ）是在每一个微 θ对于每个配置相应的特征值和特征函数可能不同。$w \sim \mathcal{N}(0,\text{diag}([\lambda_1^2,\ldots]))$$\phi_i$$k(x,x',\theta)$$\theta$

我的下一个问题是关于默瑟定理的逆定理。

3. 哪些基础函数集会导致有效内核？

和扩展

4. 哪些参数化基础函数集会导致有效的可区分内核？

这里有几点评论。也许其他人可以填写详细信息。

1）基础表示总是一个好主意。如果您想对协方差函数进行实际计算，很难避免它们。基础扩展可以使您大致了解内核以及需要使用的内容。希望您可以找到对您要解决的问题有意义的基础。

$\theta$$\theta$

通常，基函数的数量（无限）是无限的，因此，除非某些值导致内核退化，否则基数不会随参数而变化。

$w \sim \mathcal{N}(0,diag[\lambda_1^2, \ldots])$$w$$diag[\lambda_1^2, \ldots]$

$\lambda_i$$\lambda_i$$x$的

如果基函数不是正交的，那么将很难显示由它们定义的协方差是正定的。显然，在这种情况下，您不是在处理本征展开，而是在以其他方式逼近目标函数。

但是，我不认为人们通常从一堆函数开始，然后尝试从中构建协方差内核。

RE：内核的可微性和基本函数的可微性。我实际上不知道这个问题的答案，但是我将提供以下观察。

通过用有限的简单函数之和逼近函数（从无穷维空间中）来进行功能分析。为此，一切都取决于所涉及的融合类型。通常，如果您正在对感兴趣的函数使用具有强收敛性（一致收敛或绝对可加性）的紧集，那么您将得到所需的直观结果：简单函数的属性传递给极限函数-例如，如果内核是参数的可微函数，则扩展函数必须是同一参数的可微函数，反之亦然。在较弱的收敛性或非紧凑域下，这不会发生。以我的经验，每个提出的“合理”想法都有一个反例。

注意：为避免读者对此问题产生混淆，请注意，点1的高斯展开式不是点2的本征展开式的示例。