搜索方法和优化方法的含义

我想知道“搜索方法”和“优化方法”之间有什么区别和关系？

特别是在解决优化问题时？我强调解决优化问题的上下文，因为我想搜索方法不仅用于解决优化问题，而且还用于非优化问题？

我的困惑来自以下事实：

1. 有一些名为“ xxx搜索”的优化方法，例如 本地搜索，随机搜索 ...。“搜索”实际上是什么意思？我想知道是否存在不是“搜索”的优化方法？
2. 同样在《Spall的随机搜索和优化简介》这本书中，我不太了解“搜索”和“优化”在标题和内容上的区别。如果含义相同，为什么需要区分“搜索”和“优化”？还是“优化”是指随机的优化任务/问题而不是优化方法，而不是“搜索”是指解决优化任务/问题的方法？
3. 此外，在搜索和优化方面没有免费的午餐可以再次区分搜索和优化。

谢谢并恭祝安康！

search =尝试找到一个满足所有约束条件的可行点（为了进行优化，比到目前为止找到的更好的点），通常仅使用函数值。

局部搜索：通过在相邻点之间搜索来改善可行点（或到可行度量的距离）。

随机搜索：使用不确定性标准进行搜索以选择试验点。

这与是否给出优化标准无关。特别地，在“在搜索和优化中没有免费的午餐”中，搜索是指搜索可行性，而优化是指搜索最优性。

一般而言，对于优化问题，搜索和优化是等效的。但是，它们具有使该术语的用法有所不同的含义。

最优化方法=一种解决最优化问题的方法，通常（但不一定）使用梯度（或次梯度甚至是Hessian）信息。

能够使用梯度极大地提高了优化方法的效率。在这种情况下（即已知梯度），仅在“线搜索”组合中使用术语搜索，这意味着沿选定方向搜索更好的点。

“搜索”和“优化”之间的术语差异来自以下事实：搜索是指找到一个 $x^\ast$ 因此对于给定 $g(x)$ 我们有 $g(x^\ast)=0$，即我们搜索根。在优化中，我们想找到一个$x^\ast$ 以便 $f(x) \rightarrow \textrm{min!}$。至少如果$f$ 是平滑的，那么找到这个最小值通常会转化为找到根的问题 $g(x)=\nabla f(x)$。换句话说，术语“搜索”来自一个更普遍的问题，但是对于优化问题，通常将与优化有关的事情简化为与搜索有关的问题。