高斯过程（回归）是否具有通用逼近性质？

是否可以通过高斯过程（回归）对[a，b]上的任何连续函数（其中a和b是实数）进行近似或任意接近（在一定范数下）该函数？

gaussian-process approximation

— 迈克尔·D
source

更加详细一些！

— Henry.L

是！好吧，实际上，这取决于协方差函数，但是对于某些协方差函数来说，确实如此。Dustin Tran等。在变分高斯过程的贝叶斯框架中也证明了一个通用逼近定理，该函数由于翘曲函数而更为复杂，但是却有着密切的联系。如果问题重新出现，我会写一个答案。PS注意，对于神经网络，通用逼近仅适用于紧凑集，而不适用于所有

。

R^{p}

$\mathbb{R}^p$

— DeltaIV '17

这个问题中的“通用逼近”陈述似乎与所引用的Wikipedia文章中的陈述几乎没有关系。确实，甚至还不清楚如何用一个过程近似一个函数。您能详细说明您要问的问题吗？

— ub

@whuber尽管技术性可能有点松散，但我认为问题本质上是指“对于输入函数

，是否存在一个任意近似于

（在某种规范下）的特定GP的实现？” 或者，也许是“当我们从函数

观察到无限多个采样点，并对数据进行标准GP推断时，所学习的后验均值函数是否在某种意义上逼近了真实函数

？” 这两个当然是不同的属性，但是我认为它们足够接近以至于可以负责（因此进行了第五次重新投票）。

f

$f$

f

$f$

f

$f$

f

$f$

— Dougal

也许您想证明收敛而不是近似。否则，证明很简单：您可以将函数用作均值的先验。它不超过

，但是可以工作。

x = x

$x=x$

— 卡雷尔·麦凯克

如@Dougal所述，可以用两种不同的方式来解释您的问题。它们似乎密切相关，即使看起来并非如此。

第一种解释是：令为的紧凑子集（紧致性是以下所有方面的基础！！！），令为上定义的连续协方差函数（或核），和表示具有的连续函数的赋范空间，配备有最大范。对于任何函数，可以 $X$ $\mathbb{R}^d$ $k(\mathbf{x},\mathbf{x})$ $X\times X$ $C(X)$ $X$ $||\cdot||_{\infty}$ $f\in C(X)$ $f$ 通过与相关的RKHS（再现内核希尔伯特空间）中的函数近似于预定公差 $\epsilon$ $k$ 。您可能很想知道RKHS是什么，这与高斯过程回归有什么关系。一个RKHS 是由所有可能的有限的线性的所有可能的功能的组合所形成的向量空间的封闭其中。这与高斯过程回归非常严格相关，因为给定高斯过程先于 $K(X)$ $f_\mathbf{y}(\mathbf{x})=k(\mathbf{x},\mathbf{y})$ $\mathbf{y}\in X$ 在空间，那么所有可能由高斯过程回归产生的后均值空间的（封闭）就是RKHS。实际上，所有可能的后部均形式为 $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$

f (x) = \sum_{i = 1}^{n} c_{i} k (x, x_{i})

$f(\mathbf{x}) =\sum_{i=1}^n c_i k(\mathbf{x},\mathbf{x}_i)$

即，它们是函数有限线性组合。因此，我们有效地询问是否，给出的高斯过程之前上，对于任何函数总有一个函数 $f_\mathbf{x_i}(\mathbf{x})=k(\mathbf{x},\mathbf{x_i})$ $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$ $f\in C(X)$ $f^*$ 在GPR可以生成的所有函数的（封闭）空间中，该空间尽可能接近。 $f$

对于某些特定的内核（包括经典的平方指数内核，但不包括多项式内核），答案是肯定的。可以证明，对于这样的内核是密集在，即，对于任何和任何公差，有一个在，使得 $K(X)$ $C(X)$ $f\in C(X)$ $\epsilon$ $f^*$ $K(X)$ $||f-f^*||_{\infty}<\epsilon$ 。注意以下假设：是紧致的，是连续的，是具有所谓的通用逼近性质的连续核。有关更一般（因此很复杂）的上下文的完整证明，请参见此处。 $X$ $f$ $k$

此结果远不如乍看之下强大。即使处于GPR可以产生的后均值（封闭）空间中，对于足够大的训练集，我们还没有证明它是 GPR返回的特定后验均值，当然训练集由在点处的嘈杂观测值组成。对于，我们甚至还没有证明GPR返回的后均值完全收敛 $f^*$ $f$ $\mathbf{x}_1,\dots,\mathbf{x}_n$ $n \to \infty$ ！这实际上是@Dougal建议的第二种解释。在这个问题的答案取决于回答第一个问题：如果没有任何功能在RKHS这是一个“很好的近似”来，我们当然不能指望后平均通过GPR收敛返回它。但是，这是一个不同的问题。如果您也想回答这个问题，请提出一个新问题。 $f^*$ $f$

— 三角洲IV
source