高斯过程：函数逼近性质

我正在学习高斯过程，只听过一点点的内容。非常感谢您提出意见和答案。

对于任何数据集，高斯过程函数逼近在数据点处给出零或可忽略的拟合误差是真的吗？在另一个地方，我还听说过高斯过程对于嘈杂的数据特别有用。这似乎与任何观察到的数据的低拟合误差相冲突？

此外，离数据点越远，不确定性就越大（协方差更大）。如果是这样，它的行为是否类似于本地模型（RBF等）？

最后，是否有任何通用逼近性质？

gaussian-process

— 欧拉
source

假设数据样本为。还假设，我们有一个协方差函数并且为Gussian过程指定了零均值。新点分布将为高斯，均值 $D = (X, \mathbf{y}) = \{\mathbf{x}_i, y_i = y(x_i)\}_{i = 1}^N$ $k(\mathbf{x}_1, \mathbf{x}_2)$ $\mathbf{x}$

m (x) = k K^{- 1} y

$m(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y}$

V (x) = k (x, x) - k K^{- 1} k^{T} .

$V(\mathbf{x}) = k(\mathbf{x}, \mathbf{x}) - \mathbf{k} K^{-1} \mathbf{k}^T.$

k = {k (x, x_{1}), \dots, k (x, x_{N})}

$\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_1), \ldots, k(\mathbf{x}, \mathbf{x}_N)\}$

K = {k (x_{i}, x_{j})}_{i, j = 1}^{N}

$K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$

m (X) = K K^{- 1} y = y .

$m(X) = K K^{-1} \mathbf{y} = \mathbf{y}.$

K + σ I

$K + \sigma I$

K

$K$

m (X) = K (K + σ I)^{- 1} y \neq y .

$m(X) = K (K + \sigma I)^{-1} \mathbf{y} \neq \mathbf{y}.$

$\sigma$ $\sigma = 0$ ），或者我们要处理嘈杂的观察结果（ $\sigma$ 大）。

同样，高斯过程回归是局部方法，因为预测的方差随与学习样本的距离而增加，但是我们可以选择适当的协方差函数 $k$ 并且比RBF能够处理更复杂的问题。另一个不错的属性是参数数量少。通常等于 $O(n)$ ，在哪里 $n$ 是数据维度。

— 阿列克谢·扎伊采夫（Alexey Zaytsev）
source