增量高斯过程回归

我想使用在数据点上通过数据流一个一到达的滑动窗口来实现增量式高斯过程回归。

让表示输入空间的维数。因此，每个数据点x i具有d个元素。$d$$x_i$$d$

令为滑动窗口的大小。$n$

为了做出预测，我需要计算语法矩阵的逆，其中K i j = k （x i，x j），k是平方指数核。$K$$K_{ij} = k(x_i, x_j)$

为了避免K随着每个新数据点变大，我认为可以在添加新点之前删除最旧的数据点，这样可以防止gram增长。例如，让其中，Σ是权重的协方差和φ是由平方指数内核隐含的隐式映射函数。$K = \phi(X)^{T}\Sigma\phi(X)$$\Sigma$$\phi$

现在让 ]和X n e w = [ x t − n + 2 | 。。。| X Ť | X 吨+ 1 ]，其中X “s的ð由1列的矩阵。$X=[x_{t-n+1}|x_{t-n+2}|...|x_{t}$$X_{new}=[x_{t-n+2}|...|x_{t}|x_{t+1}]$$x$$d$$1$

我需要一种有效的方法来找到可能使用K的。这看起来不像可以用Sherman-Morrison公式有效处理的Rank-1更新矩阵问题的逆函数。$K_{new}^{-1}$$K$

有几种递归算法可以做到这一点。您应该看一下内核递归最小二乘（KRLS）算法以及相关的在线GP算法。

• Van Vaerenbergh，S.，Santamaria，I.，Liu，W.和Principe，JC（2010）。固定预算内核递归最小二乘。在2010年IEEE国际会议上的语音和信号处理（ICASSP）中，第1882-1885页。IEEE。
• M.的Lazaro-Gredilla，S。的Van Vaerenbergh和I.的Santamaria（2011）。用核递归最小二乘跟踪的贝叶斯方法。在信号处理的机器学习（MLSP）中，2011 IEEE国际研讨会，第1-6页。IEEE。
• Perez-Cruz，F.，Van Vaerenbergh，S.，Murillo-Fuentes，JJ，Lazaro-Gredilla，M.和Santamaria，I.（2013）。非线性信号处理的高斯过程：最新进展概述。IEEE信号处理杂志，30（4）：40-50。

GP模型的逐步估计在文献中已有很好的研究。基本思想不是以要预测的所有新观测值为条件，而是以第一步为前提条件，然后重复进行此操作。这在某种程度上接近于卡尔曼滤波。