（元）启发式方法的含义

1. 为了优化，请参阅Wikipedia：

   在计算机科学中，元启发法指的是一种计算方法，该方法通过反复尝试针对给定的质量度量来改进候选解决方案来优化问题。元启发法很少或根本没有假设要优化的问题，并且可以搜索很大范围的候选解。但是，元启发法不能保证找到最佳解决方案。许多元启发法实现某种形式的随机优化。

   其他与元启发式具有相似含义的术语是：无导数，直接搜索，黑盒或实际上只是启发式优化器。关于该主题已经出版了几本书和调查论文。

   • 我想知道如何判断优化方法是否是元启发式的？例如，

     （1）线性规划元启发式的单纯形法吗？

     （2）是否存在大多数非线性编程方法，例如梯度下降，拉格朗日乘数方法，罚分方法，内点方法（屏障方法），元启发式方法？

     （3）是否所有无梯度方法（例如Nelder–Mead方法或下坡单纯形方法）都属于启发式方法？

   • 什么不是元启发式优化方法？

2. 从Wikipedia上更一般地（超越优化）解决问题的技术：

   启发式是指用于解决问题，学习和发现的基于经验的技术。如果无法进行详尽的搜索，则可以使用启发式方法来加快找到令人满意的解决方案的过程。此方法的示例包括使用经验法则，有根据的猜测，直观的判断或常识。

   准确地说，启发法是使用易于访问但宽松的信息来控制人类和机器中问题解决的策略。

   我想知道如何理解“启发式”的含义吗？

   • 如何判断“解决问题，学习和发现”技术是否具有启发性？

   • 什么是非启发式的“解决问题，学习和发现”技术？

谢谢并恭祝安康！

启发式方法在很多情况下都可以在实践中起作用，尽管对于为什么它应该很好起作用尚无详细的论据。

元启发式算法不是一种算法，而是可以在特定算法中使用的通用启发式方案或思想。

例如，线性规划的单纯形算法既不是启发式算法也不是元启发式算法，因为它具有完善的收敛理论。sqame适用于顺序二次方编程或内部点方法。（内点方法是一种通用方案，但不是启发式的，因此也不是元启发式的，因为与此相关的理论很强。）

用于使函数最小化的Nelder-Mead =下坡单纯形算法是启发式的（实际上，它可能在较高维上的相当简单的问题上会失败），禁忌搜索是元启发式的（因为可以编写很多使用禁忌搜索的多种算法，但是否则质量会大不相同。

因为@ArnoldNeumaier已经给出了很好的解释，但是我想加2美分，所以我不会遍历单纯形和Nelder-Mead。

我前段时间听到的最好的报价之一，是描述启发式和元启发式的区别：启发式是一个很好的规则。元启发法是找到很好规则的很好规则。

您应该将其视为找到针对特定问题的良好启发式方法的一种方法。基本上，如果您问自己以下问题之一，则是在谈论元启发式方法：

• 我应该如何调整此启发式方法的参数以提高该问题的性能？
• 这种启发式方法是否比那种启发式方法更好？

您可以使用许多元启发法来解决问题，学习和发现，即：

• 模拟退火：我曾在一个问题中使用过此方法，以优化网格上已连接组件的放置，以使总连接成本降至最低。
• 粒子群
• 蚁群
• 禁忌搜索

我发现大多数元启发式方法在某种程度上是受自然现象启发的，这些自然现象很难严格解释，但具有良好的收敛性。

如果您想阅读更多有关其他一些启发式技术的信息，这是一个很好的链接