对高斯过程回归方程推导的怀疑

我正在阅读本文的预印本，在他们推导高斯过程回归方程式时遇到了困难。他们使用Rasmussen＆Williams的设置和符号。因此，假定具有方差加性，零均值，平稳和正态分布噪声：$\sigma^2_{noise}$

$$y=f(\mathbf{x})+\epsilon, \quad \epsilon\sim N(0,\sigma^2_{noise})$$

对于假定GP均值为零，这意味着，\ mathbf {f} = \ {f（\ mathbf {x_1}），\ dots，f （\ mathbf {x_d}）\}是具有均值0和协方差矩阵的高斯向量$f(\mathbf{x})$$\forall \ d\in N$$\mathbf{f}=\{f(\mathbf{x_1}),\dots,f(\mathbf{x_d})\}$

$$\Sigma_d=\pmatrix{k(\mathbf{x_1},\mathbf{x_1})& & k(\mathbf{x_1},\mathbf{x_d}) \\ & \ddots & \\k(\mathbf{x_d},\mathbf{x_1})& & k(\mathbf{x_d},\mathbf{x_d}) }$$

从现在开始，我们假设超参数是已知的。那么，论文的等式（4）是显而易见的：

$$p(\mathbf{f},\mathbf{f^*})=N\left(0,\pmatrix { K_{\mathbf{f},\mathbf{f}} & K_{\mathbf{f^*},\mathbf{f}} \\K_{\mathbf{f^*},\mathbf{f}} & K_{\mathbf{f^*},\mathbf{f^*}}} \right)$$

怀疑来了：

1. 等式（5）：

   $$p(\mathbf{y}|\mathbf{f})=N\left(\mathbf{f},\sigma^2_{noise}I \right)$$

   E [ y | f ] = f ≠ 0 f y = c + ϵ c$E[\mathbf{f}]=0$，但是我猜 是因为当我以条件时，然后是 其中是常数向量，只有 是随机的。正确？$E[\mathbf{y}|\mathbf{f}]=\mathbf{f}\neq0$$\mathbf{f}$$\mathbf{y}=\mathbf{c}+\boldsymbol{\epsilon}$$\mathbf{c}$$\boldsymbol{\epsilon}$

2. 无论如何，等式（6）对我来说更晦涩：

   $$p(\mathbf{f},\mathbf{f^*}|\mathbf{y})=\frac{p(\mathbf{f},\mathbf{f^*})p(\mathbf{y}|\mathbf{f})}{p(\mathbf{y})}$$

   这不是贝叶斯定理的通常形式。贝叶斯定理是

   $$p(\mathbf{f},\mathbf{f^*}|\mathbf{y})=\frac{p(\mathbf{f},\mathbf{f^*})p(\mathbf{y}|\mathbf{f},\mathbf{f^*})}{p(\mathbf{y})}$$

   我有点理解为什么两个方程式相同：直观地，响应向量仅取决于相应的潜向量，因此以 或应该导致相同的分布。但是，这是一种直觉，而不是证明！你能帮我看看为什么吗f f（f，f ∗$\mathbf{y}$$\mathbf{f}$$\mathbf{f}$$(\mathbf{f},\mathbf{f^*})$

   $$p(\mathbf{y}|\mathbf{f},\mathbf{f^*})=p(\mathbf{y}|\mathbf{f})$$

1. 如果我们修复，则所有不确定性都来自噪声。因此，对于本文中的方程式（5），我们得到给定，在每个点处都有独立的噪声，其方差为且均值为零。我们添加初始均值并得到答案。ÿ ˚F σ 2 Ñ ø 我小号Ë$\mathbf{f}$$\mathbf{y}$$\mathbf{f}$$\sigma_{noise}^2$$0$
2. 证明建议的相等性 一种方法是在以下位置找到分布质量的左侧和右侧。他们都是高斯人，对于左侧我们已经知道答案了。对于右侧，我们以类似的方式进行。让我们找到的条件分布。根据第一部分的结果，我们知道： 使用概率规则，很容易集成了从（Ý，ÿ *）p （Ý，ÿ * | ˚F，˚F *）= Ñ（（˚F，˚F *），σ 2 Ñ ø 我š e我）。y ∗（y，y $$p(\mathbf{y} | \mathbf{f}, \mathbf{f}^*) = p(\mathbf{y} | \mathbf{f})$$ $(\mathbf{y}, \mathbf{y}^*)$ $$p(\mathbf{y}, \mathbf{y}^* | \mathbf{f}, \mathbf{f}^*) = \mathcal{N}((\mathbf{f}, \mathbf{f}^*), \sigma^2_{noise} I).$$ $\mathbf{y}^*$$(\mathbf{y}, \mathbf{y}^*)$，因为协方差矩阵是对角线，向量和是独立的。通过这样做，我们得到： $\mathbf{y}$$\mathbf{y}^*$ $$p(\mathbf{y} | \mathbf{f}, \mathbf{f}^*) = \mathcal{N}(\mathbf{f}, \sigma^2_{noise} I) = p(\mathbf{y} | \mathbf{f}).$$