优化只能评估的未知函数？

给定一个未知函数，我们可以在它的域中的任意点求值，但是没有表达式。换句话说，f对我们来说就像一个黑匣子。$f:\mathbb R^d \to \mathbb R$$f$

找到的最小化器的问题的名字是什么？有哪些方法？$f$

寻找方程的解的问题的名字是什么？有哪些方法？$f(x)=0$

另外，在上述两个问题，它是一个好主意，内插或配合到f的一些评价：使用函数克θ与已知形式和参数θ要确定，然后最小化克θ或发现其根源？$(x_i, f(x_i)), i=1, \dots, n$$g_\theta$$\theta$$g_\theta$

感谢致敬！

您要查找的方法（即仅使用函数求值而不使用导数的方法）称为无导数优化方法。关于它们的文献很多，您可以在大多数有关优化的书籍中找到有关此类方法的章节。典型的方法包括

• 如果可以合理地预期函数是平滑的并且可能是凸的，则可以通过有限差分来近似梯度。
• 蒙特卡洛方法，例如模拟退火；
• 遗传算法。

我认为您应该从以下内容开始：GECCO实参黑盒子优化基准测试研讨会（BBOB 2016） http://numbbo.github.io/workshops/index.html

您会发现在以前的比赛中使用过许多不同的算法，并且已经对它们进行了比较。如果您从其他地方开始，您很快就会淹没在成百上千篇论文中，这些论文声称它们的方法和算法比其他方法有更好的表现，而这些证据和实践却很少。

坦率地说，直到最近，INRIA，GECCO和许多其他机构才为建立合理的比较框架而付出了巨大的努力，这是一种令人毛骨悚然的事态。

我要补充一点，这里的关键之一是能够在多核CPU上扩展优化方法。如果您可以同时执行多个功能评估，则可以使加速速度等于所涉及的多个内核。将此与仅使用稍微更准确的响应模型进行比较，可使您的效率提高10％左右。

我建议看一下这段代码，它对可以访问许多内核的人很有用。本文描述了它背后的数学。