这是用于估计均值和标准差的期望最大化（EM）的示例。该代码是使用Python编写的，但是即使您不熟悉该语言，它也应易于遵循。
EM的动机
下面显示的红点和蓝点是根据两种不同的正态分布绘制的，每种均具有特定的均值和标准差：
要计算红色分布的“真实”均值和标准偏差参数的合理近似值，我们可以非常轻松地查看红色点并记录每个红色点的位置，然后使用熟悉的公式（蓝色组类似） 。
现在考虑这样一种情况：我们知道有两组点，但是看不到哪个点属于哪一组。换句话说，颜色是隐藏的：
如何将这些点分为两组并不是很明显。现在，我们不能仅查看位置并计算红色分布或蓝色分布的参数的估计值。
在这里可以使用EM解决问题。
使用EM估计参数
这是用于生成上面显示的点的代码。您可以看到从中提取点的正态分布的实际均值和标准偏差。变量red和分别blue保存红色和蓝色组中每个点的位置：
import numpy as np
from scipy import stats
np.random.seed(110) # for reproducible random results
# set parameters
red_mean = 3
red_std = 0.8
blue_mean = 7
blue_std = 2
# draw 20 samples from normal distributions with red/blue parameters
red = np.random.normal(red_mean, red_std, size=20)
blue = np.random.normal(blue_mean, blue_std, size=20)
both_colours = np.sort(np.concatenate((red, blue)))
如果我们可以看到每个点的颜色，我们将尝试使用库函数来恢复均值和标准差：
>>> np.mean(red)
2.802
>>> np.std(red)
0.871
>>> np.mean(blue)
6.932
>>> np.std(blue)
2.195
但是由于颜色对我们来说是隐藏的，因此我们将开始EM过程...
首先，我们只猜测每个组的参数值（步骤1）。这些猜测不一定是好的：
# estimates for the mean
red_mean_guess = 1.1
blue_mean_guess = 9
# estimates for the standard deviation
red_std_guess = 2
blue_std_guess = 1.7
相当糟糕的猜测-手段似乎离一组要点的任何“中间”都还很遥远。
为了继续进行EM并改善这些猜测，我们计算了在这些猜测下出现的每个数据点（无论其秘密颜色如何）的均值和标准差的可能性（步骤2）。
该变量both_colours保存每个数据点。该函数stats.norm使用给定参数计算正态分布下该点的概率：
likelihood_of_red = stats.norm(red_mean_guess, red_std_guess).pdf(both_colours)
likelihood_of_blue = stats.norm(blue_mean_guess, blue_std_guess).pdf(both_colours)
例如，这告诉我们，根据当前的猜测，位于1.761的数据点更有可能是红色（0.189）而不是蓝色（0.00003）。
我们可以将这两个似然值转换为权重（步骤3），以使它们的总和为1，如下所示：
likelihood_total = likelihood_of_red + likelihood_of_blue
red_weight = likelihood_of_red / likelihood_total
blue_weight = likelihood_of_blue / likelihood_total
利用我们当前的估计值和新计算的权重，我们现在可以计算参数的新估计值（可能更好）（步骤4）。我们需要一个均值函数和一个标准差函数：
def estimate_mean(data, weight):
return np.sum(data * weight) / np.sum(weight)
def estimate_std(data, weight, mean):
variance = np.sum(weight * (data - mean)**2) / np.sum(weight)
return np.sqrt(variance)
这些看起来与通常的函数的数据均值和标准差非常相似。不同之处在于使用weight了为每个数据点分配权重的参数。
此权重是EM的关键。数据点上颜色的权重越大，数据点对该颜色参数的下一个估计值的影响就越大。最终，这具有沿正确方向拉出每个参数的效果。
使用以下函数计算新的猜测：
# new estimates for standard deviation
blue_std_guess = estimate_std(both_colours, blue_weight, blue_mean_guess)
red_std_guess = estimate_std(both_colours, red_weight, red_mean_guess)
# new estimates for mean
red_mean_guess = estimate_mean(both_colours, red_weight)
blue_mean_guess = estimate_mean(both_colours, blue_weight)
然后从步骤2开始，使用这些新的猜测重复EM过程。我们可以针对给定的迭代次数（例如20次）重复这些步骤，或者直到我们看到参数收敛为止。
经过五次迭代，我们看到最初的错误猜测开始变得更好：
经过20次迭代后，EM流程或多或少地收敛了：
为了进行比较，以下是EM处理的结果与未隐藏颜色信息的计算值的比较：
| EM guess | Actual
----------+----------+--------
Red mean | 2.910 | 2.802
Red std | 0.854 | 0.871
Blue mean | 6.838 | 6.932
Blue std | 2.227 | 2.195
注意：此答案改编自我对此处的 Stack Overflow的回答。
