高斯过程的好处

我对高斯过程的好处感到困惑。我的意思是将其与简单的线性回归进行比较，在线性回归中我们定义了线性函数对数据进行建模。

但是，在高斯过程中，我们定义函数的分布意味着我们没有明确定义函数应该是线性的。我们可以定义先于函数的先验，即先验高斯先验，先验先验定义一些特征，例如函数应具有的平滑程度以及全部。

因此，我们不必明确定义模型应该是什么。但是，我有疑问。我们确实有边际可能性，使用它可以调整高斯先验的协方差函数参数。因此，这类似于定义不是应该的功能类型。

归结为定义参数的同一件事，即使在GP中它们是超参数。例如在本文中。他们定义GP的均值函数类似于

$$m(x) = ax ^2 + bx + c \quad \text{i.e. a second order polynomial.}$$

因此，肯定是定义了模型/功能，不是吗。那么像LR中那样将函数定义为线性有什么区别。

我只是没有获得使用GP的好处

$D = (X,\mathbf{y}) = \{(\mathbf{x}_i, y_i)\}_{i = 1}^N$

$$L = -\frac12 \left( \log |K| + \mathbf{y}^T K^{-1} \mathbf{y}\right),$$ $K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$$k(\mathbf{x}_i, \mathbf{x}_j)$$\mathbf{x}$ $$\hat{y}(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y},$$ $\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_i)\}_{i = 1}^N$

$k(\mathbf{x}_i, \mathbf{x}_j) = \mathbf{x}_i^T \mathbf{x}_j$

$$\hat{y}(\mathbf{x}) = \mathbf{x}^T X^T (X X^T)^{-1} \mathbf{y} = \mathbf{x}^T (X^T X)^{-1} X^T \mathbf{y}.$$ $(X X^T)^{-1}$

$\exp \left( -(\mathbf{x}_i - \mathbf{x}_j)^T A^{-1} (\mathbf{x}_i - \mathbf{x}_j) \right)$$A$

。

因此，好处是我们可以使用适当的协方差函数对非线性函数建模（我们可以选择最先进的函数，在大多数情况下，平方指数协方差函数是一个不错的选择）。非线性的来源不是您提到的趋势成分，而是协方差函数。

$x$$f$$f(x)$

$max$$f$$x$$f$$\mu$$\Sigma$ （不确定性），例如可以优化昂贵的黑匣子功能。