HMM拟合中MLE和Baum Welch之间的区别

在这个受欢迎的问题中，高评价的答案使MLE和Baum Welch在HMM拟合中分开。

对于训练问题，我们可以使用以下3种算法：MLE（最大似然估计），Viterbi训练（不要与Viterbi解码混淆），Baum Welch =前向后向算法

但在维基百科中，它说

Baum-Welch算法使用众所周知的EM算法来找到参数的最大似然估计

那么，MLE和Baum-Welch算法之间是什么关系？

我的尝试：Baum-Welch算法的目标是使可能性最大化，但它使用专用算法（EM）来解决优化问题。我们仍然可以通过使用其他方法（例如，梯度体面）来最大程度地提高似然度。这就是为什么答案将两个算法分开的原因。

我是对的，谁能帮我澄清一下？

请参阅您提供的问题链接中的（Masterfool的）答案之一，

莫拉特的答案在某一点上是错误的：Baum-Welch是一种Expectation-Maximization算法，用于训练HMM的参数。它在每次迭代过程中使用前向-后向算法。前向-后退算法实际上只是前向和后向算法的组合：一个向前通过，一个向后通过。

我在这里同意PierreE的回答，即Baum-Welch算法用于求解HHM中的最大似然。如果状态是已知的（有监督的，标记序列），则使用最大化MLE的其他方法（例如，简单地对训练数据中观察到的每个发射和跃迁的频率进行计数，请参阅Franck Dernoncourt提供的幻灯片）。

在HMM的MLE设置中，我认为您不能只使用梯度下降，因为可能性（或对数似然）没有封闭形式的解决方案，必须迭代求解，与混合模型，因此我们转向EM。（有关详细信息，请参阅Bishop的“模式识别”书第13.2.1页Pg614）

那么，MLE和Baum-Welch算法之间是什么关系？

期望最大化（EM）算法更为通用，Baum-Welch算法只是其实例化，而EM是最大似然（ML）的迭代算法。那么Baum-Welch算法也是最大似然的迭代算法。

通常，有三种用于最大似然估计的优化算法（一种常客方法）：1）梯度下降；2）Markov Chain蒙特卡洛；3）期望最大化。

这个问题已经存在了几个月，但是作为大卫·巴蒂斯塔（David Batista）评论的补充，这个答案可能会对新读者有所帮助。

Baulm-Welch算法（BM）是一种期望最大化算法，用于解决最大似然估计（MLE），以便在状态未知/隐藏时进行HMM训练（无监督训练）。

但是，如果您知道状态，则可以使用MLE方法（不会是BM）以监督的方式将模型拟合到对数据/状态。