高斯过程回归中的超参数调整

我正在尝试调整已实现的高斯过程回归算法的超参数。我只是想最大化由公式，其中是与元素其中而和是超参数。

日志 （ ÿ | X ， θ ） = - \frac{1个}{2} ÿ^{Ť} ķ_{ÿ}^{- 1个} ÿ - \frac{1个}{2} 日志 （ t （ ķ ） ） - \frac{ñ}{2} 日志 （ 2 π ）

$\log(\mathbf{y}|X,\mathbf{\theta})=-\frac{1}{2} \mathbf{y}^TK_y^{-1}\mathbf{y}-\frac{1}{2}\log(\det(K))-\frac{n}{2}\log(2\pi)$

K

$K$

ķ_{一世 Ĵ} = ķ （ X_{一世} ， X_{Ĵ} ） = b^{- 1个} 经验值 （ - \frac{1个}{2} （ X_{一世} - X_{Ĵ} ）^{Ť} 中号 （ X_{一世} - X_{Ĵ} ） ） + {一种}^{- 1个} δ_{一世 Ĵ}

$K_{ij}=k(x_i,x_j)=b^{-1}\exp(-\frac{1}{2}(x_i-x_j)^TM(x_i-x_j))+a^{-1}\delta_{ij}$

M = l I

$M=lI$

a, b

$a,b$

l

$l$

对数边际似然率wrt参数的偏导数由以下

\frac{日志 （ ÿ | X ， θ ）}{d θ} = \frac{1个}{2} Ť [R 一种 C Ë （ ķ^{- 1个} \frac{d ķ}{d θ} ） + \frac{1个}{2} （ ÿ \frac{d ķ}{d θ} ķ^{- 1个} \frac{d ķ}{d θ} ÿ ）

$\frac{\log(\mathbf{y}|X,\mathbf{\theta})}{d\theta}=\frac{1}{2}\mathrm{trace}(K^{-1}\frac{dK}{d\theta})+\frac{1}{2}(\mathbf{y}\frac{dK}{d\theta}K^{-1}\frac{dK}{d\theta}\mathbf{y})$

由于的项 $K$ 取决于参数，所以导数和逆数也取决于参数 $K$ 。这意味着，当使用基于梯度的优化器时，在给定点（参数值）上评估梯度将需要重新计算协方差矩阵。在我的应用中，这是不可行的，因为从头开始计算协方差矩阵并在每次梯度上升迭代中计算其逆值都太昂贵了。我的问题是，找到这三个参数的较好组合是我的选择？而且我也不知道首先要优化哪个参数，对于这个问题，我也将不胜感激。

— 牛fa
source

我已经成功地使用HMC为适度大小的数据集采样了GP超参数。

— Sycorax说恢复莫妮卡

@Sycorax，您好，请您告诉我们您如何使用这项技术解决此问题？我遇到了与OP相同的问题，一直在考虑使用MCMC来解决它，但还不知道该怎么做。

— Willian Fuks

我刚刚在Stan中编写了GP。GP超参数被声明为模型的参数，并据此进行推断。这为每个HMC迭代生成了一组预测。Gelman说明了这一切如何在BDA3中工作。

— Sycorax说恢复莫妮卡

没错，您需要在每次梯度上升迭代中进行新的协方差矩阵计算。因此，如果矩阵计算对您的设置不可行，那么我认为您不能使用基于梯度的边际似然优化。

我的建议是使用无梯度方法进行超参数调整，例如网格搜索，随机搜索或基于贝叶斯优化的搜索。这些方法广泛用于优化其他机器学习算法（例如SVM）的超参数。

我建议您先尝试使用网格搜索。您基本上形成了一个可能的超参数表（网格），尝试每个参数，然后寻找最佳的验证性能（或最佳的边际可能性）。

网格搜索会产生一组次优的超参数，您必须自己指定网格。（而且您不需要渐变！）

如果您不熟悉网格搜索，则可以查找Wikipedia：超参数优化-网格搜索

— 尹三雄
source