高斯过程中的观测合并

我正在使用高斯过程（GP）进行回归。

在我的问题中，两个或多个数据点相对于长度彼此接近是很常见的问题的规模。此外，观察结果可能会非常嘈杂。为了加快计算速度并提高测量精度，只要我关心更大范围的预测，合并/积分彼此接近的点的群集就显得很自然。$\vec{x}^{(1)},\vec{x}^{(2)},\ldots$

我想知道什么是快速但半原则的方法。

如果两个数据点完全重叠，则，并且观察噪声（即似然性）是高斯分布，可能是异方差但已知，处理的自然方式似乎是将它们合并到一个数据点中：$\vec{x}^{(1)} = \vec{x}^{(2)}$

• $\vec{\bar{x}} \equiv \vec{x}^{(k)}$，其中。$k=1,2$

• 观测值是观测值平均值，以其相对精度加权：。$\bar{y}$$y^{(1)}, y^{(2)}$$\bar{y} = \frac{\sigma_y^2(\vec{x}^{(2)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} y^{(1)} + \frac{\sigma_y^2(\vec{x}^{(1)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} y^{(2)}$

• 与观察相关的噪声等于：。$\sigma_y^2(\bar{x}) = \frac{\sigma_y^2(\vec{x}^{(1)}) \sigma_y^2(\vec{x}^{(2)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})}$

但是，如何合并两个相近但不重叠的点呢？

• 我认为应该仍然是两个位置的加权平均值，再次使用相对可靠性。理由是质量中心论证（即，将非常精确的观察视为一堆不太精确的观察）。$\vec{\bar{x}}$

• 对于与上述公式相同。$\bar{y}$

• 对于与观测相关的噪声，我想知道是否除了上面的公式之外，还应该在噪声中添加一个校正项，因为我正在移动数据点。本质上，我会得到与和有关的不确定性增加（分别是信号方差和协方差函数的长度尺度）。我不确定这个术语的形式，但是在给定协方差函数的情况下，我对如何计算它有一些初步的想法。$\sigma_f^2$$\ell^2$

在继续之前，我想知道那里是否已经有东西。如果这似乎是明智的处理方法，或者有更好的快速方法。

我在文献中能找到的最接近的东西是这篇论文：E. Snelson和Z. Ghahramani，使用伪输入的稀疏高斯过程，NIPS '05；但是（相对）涉及到他们的方法，需要进行优化才能找到伪输入。

好的问题和您的建议听起来很合理。但是，就我个人而言，为了提高效率，我会采取不同的做法。正如您所说，两个接近的点提供的附加信息很少，因此模型的有效自由度小于观察到的数据点的数量。在这种情况下，可能需要使用在GPML中很好描述的Nystroms方法（有关稀疏近似的章节，请参见http://www.gaussianprocess.org/gpml/）。该方法非常易于实施，最近被Rudi等人证明是高度准确的。（http://arxiv.org/abs/1507.04717）

在执行高斯过程回归时，我也一直在研究合并观察。在我的问题中，我只有一个协变量。

我不确定我是否一定同意使用奈斯特罗姆近似法。特别是，如果可以基于合并的数据集找到足够的近似值，则计算可能会比使用Nystrom近似值时更快。

以下是一些图表，这些图表显示了1000个数据点和后GP均值，合并记录的后GP均值以及使用Nystrom近似的后GP均值。根据相等大小的有序协变量桶将记录分组。近似顺序与合并记录时的组数和Nystrom近似顺序有关。当近似阶数等于点数时，合并方法和Nystrom近似都产生与标准GP回归相同的结果。

在这种情况下，当近似阶数为10时，合并方法似乎更可取。当阶数为20时，尽管基于合并观测值的均值可能已经足够好，但从Nystrom近似值得出的均值与精确的GP后均值在视觉上是无法区分的。当阶数为5时，两者都很差。