Questions tagged «bayesian-optimization»

梯度下降和许多其他方法可用于在成本函数中找到局部最小值。当可以在数字或分析上快速评估成本函数时，它们会非常有效。 我觉得这是一种不寻常的情况。我的成本函数的每次评估都很昂贵。我正在尝试找到一组参数，以将3D表面相对于地面真实表面最小化。每当我更改参数时，都需要针对整个样本队列运行算法以衡量其效果。为了计算梯度，我需要独立更改所有15个参数，这意味着我必须重新生成所有曲面并与样本同类进行比较，每个梯度的次数太多，并且在优化过程中肯定也进行了太多次。 我已经开发出一种方法来解决此问题，并且目前正在对其进行评估，但令我感到惊讶的是，我在文献中并未发现太多有关昂贵的成本函数评估的内容。这使我想知道我是否正在使问题变得更加棘手，并且可能已经有了更好的方法。 所以我的问题基本上是这样的：当评估缓慢时，有人知道优化成本函数的方法吗？或者，我是否首先通过重新运行算法并与样本组进行多次比较来做一些愚蠢的事情？

59 gradient-descent  optimization  bayesian-optimization 

关于贝叶斯优化（1）的大量当代研究用于调整ML超参数。此处的驱动动机是，需要最少数量的数据点来做出明智的选择，以选择值得尝试的点（目标函数调用价格昂贵，因此减少选点会更好），因为训练模型会占用大量时间-适度我正在处理的大型SVM问题可能需要几分钟到几个小时才能完成。 另一方面，Optunity是一个粒子群实现，可以解决同一任务。我对PSO并不十分熟悉，但是在要求更多的试验点和目标函数评估来评估超参数表面的意义上，PSO的效率似乎必须较低。 我是否错过了使PSO在机器学习环境中优于BO的关键细节？还是在针对超参数调整任务的两个始终固有的上下文之间进行选择？ （1）Shahriari等人，“将人类带出循环：贝叶斯优化理论综述”。

18 hyperparameter  bayesian-optimization  optunity 

背景与问题 我正在使用高斯过程（GP）进行回归和随后的贝叶斯优化（BO）。为了进行回归，我使用了针对MATLAB 的gpml包，并进行了一些自定义修改，但是问题很普遍。 众所周知的事实是，当两个训练输入在输入空间中太近时，协方差矩阵可能变为非正定的（此站点上有几个问题）。结果，由于数值误差，各种GP计算所需的协方差矩阵的Cholesky分解可能会失败。在使用我使用的目标函数执行BO时，在某些情况下这发生在我身上，我想对其进行修复。 拟议的解决方案 AFAIK，减轻不适的标准解决方案是在协方差矩阵的对角线上添加一个脊或块。对于GP回归，这等于增加（或增加，如果已经存在）观察噪声。 到现在为止还挺好。我修改了gpml的精确推论代码，以便每当Cholesky分解失败时，我都会尝试将协方差矩阵固定为Frobenius范数中最接近的对称正定（SPD）矩阵，这是受约翰d'Errico的MATLAB代码启发的。这样做的理由是要尽量减少对原始矩阵的干预。 这个变通办法可以完成工作，但是我注意到对于某些功能，BO的性能大大降低了-可能是每当算法需要放大某些区域时（例如，因为算法越来越接近最小值，或者因为长度缩放）问题变得越来越小）。这种行为是有道理的，因为每当两个输入点距离太近时，我都会有效地增加噪声，但这当然不是理想的选择。或者，我可以删除有问题的点，但是，有时候，我需要输入点很接近。 题 我认为GP协方差矩阵的Cholesky因式分解的数值问题不是一个新问题，但令我惊讶的是，除了增加噪声或消除彼此之间太近的点外，到目前为止，我找不到许多解决方案。另一方面，我的某些功能确实表现得很差，所以也许我的情况不是那么典型。 有什么建议/参考可以在这里有用吗？

12 regression  covariance-matrix  gaussian-process  bayesian-optimization