为什么高斯过程中的均值函数无趣？

我刚刚开始阅读有关GP的信息，类似于正则高斯分布，它的特征在于均值函数和协方差函数或内核。我在一次演讲中，发言人说，平均值函数通常很有趣，所有推理工作都花在了估计正确的协方差函数上。

有人可以向我解释为什么会这样吗？

我想我知道发言人的意思。就我个人而言，我并不完全同意她/他的意见，而且有很多人不同意。公平地说，还有很多人在做:)首先，请注意，指定协方差函数（内核）意味着指定函数的先验分布。只需更改内核，高斯过程的实现就会从平方指数内核产生的非常平滑，无穷微的函数中发生巨大变化。

以“尖峰”，对应于指数内核不可微函数（或Matern内核）$\nu=1/2$

$x^*$

$\mathbf{k}^*$$x^*$$x_1,\ldots,x_n$$K$$\sigma$$\sigma=0$$\mathbf{y}=(y_1,\ldots,y_n)$是训练集中观察的向量。如您所见，即使GP先验的平均值为零，预测平均值也不为零，并且取决于内核和训练点数，它可以是一个非常灵活的模型，能够学习复杂的模式。

更一般而言，是内核定义了GP的泛化属性。一些内核具有通用近似属性，即，在足够的训练点下，它们原则上能够将紧凑子集中的任何连续函数近似为任何预先指定的最大容差。

$k(x_i-x^*) \to 0$$\operatorname{dist}(x_i,x^*)\to\infty$$y^*\approx 0$

现在，这在您的应用程序中可能很有意义：毕竟，使用数据驱动的模型来进行预测而不是用于训练模型的数据点集通常是一个坏主意。请参阅此处，以获取许多有趣而有趣的示例，说明为什么这可能不是一个好主意。在这方面，总是远离训练集收敛到0的零均值GP比模型（例如高阶多元正交多项式模型）更安全，因为模型会很快地发出疯狂的大预测您可以摆脱训练数据。

$x^*$

我们不能代表演讲者说话；发言者发言时也许会想到一个不同的想法。但是，如果您尝试从GP构造后验预测，则恒定均值函数具有可以精确计算的封闭形式的解。但是，在使用更一般的均值函数的情况下，必须诉诸近似方法，例如模拟。

此外，协方差函数可控制与均值函数发生偏差的速度（以及在何处），因此通常情况下，更灵活/刚性的协方差函数可以“足够好”以逼近更华丽的均值函数-这再次证明了访问恒定均值函数的便利性。

$y_t=c+\gamma y_{t-1}+e_t$$E[y_t]\equiv\mu=\frac{c}{1-\gamma}$

$c$$\gamma$

$x_i$$\mu(x_i)$

$x$

简单地说，对于远离观测值的输入，均值函数主导协方差函数。
这是将您的先验知识注入系统宏观动态的一种方法。