您如何比较两个高斯过程？

Kullback-Leibler散度是用于比较两个概率密度函数的度量，但是使用什么度量来比较两个GP的和？$X$$Y$

请注意，高斯过程是多元高斯对可能无限的扩展。因此，您可以通过对进行积分来使用GP概率分布之间的KL散度：$\mathcal{X}\to\mathbb{R}$$\mathcal{X}$$\mathbb{R}^\mathcal{X}$

$$D_{KL}(P|Q)=\int_{\mathbb{R}^\mathcal{X}} \log \frac{dP}{dQ} dP\,.$$

通过根据过程的GP分布重复采样过程，可以使用MC方法在离散用数值近似地表示此数量。我不知道收敛速度是否足够好...$\mathcal{X}$

请注意，如果用是有限的，那么您会退回到多元正态分布的通常KL散度： $\mathcal{X}$$|\mathcal{X}|=n$

$$D_{KL}\big(\mathcal{GP}(\mu_1,K_1), \mathcal{GP}(\mu_2,K_2)\big) = \frac 1 2 \Big(tr(K_2^{-1}K_1) + (\mu_2\!-\!\mu_1)^\top K_2^{-1}(\mu_2\!-\!\mu_1)-n+\log\frac{|K_2|}{|K_1|}\Big)$$

请记住，如果$X:T\times \Omega\to\mathbb{R}$是一个高斯过程均值函数米和协方差函数ķ，然后，对于每吨1，... ，吨ķ ∈ Ť，随机矢量（X （t 1），… ，X （t k））具有多元正态分布，均值向量为（m （t 1），… ，m （t k$m$$K$$t_1,\dots,t_k\in T$$(X(t_1),\dots,X(t_k))$）和协方差矩阵 Σ = （σ 我Ĵ）= （ķ （吨我，吨Ĵ）），在这里，我们使用了通用缩写 X （吨）= X （吨$(m(t_1),\dots,m(t_k))$$\Sigma=(\sigma_{ij})=(K(t_i,t_j))$⋅）。$X(t)=X(t,\,\cdot\,)$

每个实现X （⋅，ω ）是实函数，其结构域是索引集合 Ť。假设 Ť = [ 0 ，1 ]。给定两个高斯过程 X和 Y，两个实现 X $X(\,\cdot\,,\omega)$$T$$T=[0,1]$$X$$Y$⋅，ω ）和 Y $X(\,\cdot\,,\omega)$⋅，ω ）是 SUP 吨∈ [ 0 ，1 ] | X （t ，ω ）− Y （t ，ω ）| 。因此，将两个过程 X和 Y之间的距离定义为 d （X ，Y ）= E似乎很自然。$Y(\,\cdot\,,\omega)$$\sup_{t\in[0,1]} |X(t,\omega) - Y(t,\omega)|$$X$$Y$[ SUP 吨∈ [ 0 ，1 ] | X （t ）− Y （t ）| ]。（∗ ） 我不知道该距离是否存在解析表达式，但我相信您可以按以下方式计算蒙特卡洛近似值。修正了一些细网格 0 ≤ 吨1 < ⋯ < 吨ķ ≤ 1，并得出样本（X 我1，... ，X 我ķ）和（Ý 我1，... ，ÿ 我ķ）从正常随机向量（X （t 1

$$d(X,Y) = \mathbb{E}\!\left[\sup_{t\in[0,1]} \left| X(t) - Y(t)\right|\right] \, . \qquad (*)$$ $0\leq t_1<\dots<t_k\leq 1$$(x_{i1},\dots,x_{ik})$$(y_{i1},\dots,y_{ik})$，… ，X （t k））和 （Y （t 1），… ，Y （t k）），对于 i = 1 ，… ，N。约 d （X ，Y ）乘 $(X(t_1),\dots,X(t_k))$$(Y(t_1),\dots,Y(t_k))$$i=1,\dots,N$$d(X,Y)$ $$\frac{1}{N} \sum_{i=1}^N \max_{1\leq j\leq k} |x_{ij}-y_{ij}| \, .$$