注意：此答案背后的代码可在此处找到。
假设我们从两个不同的组（红色和蓝色）中采样了一些数据：
在这里，我们可以看到哪个数据点属于红色或蓝色组。这样可以轻松找到表征每个组的参数。例如，红色组的均值约为3，蓝色组的均值约为7（如果需要，我们可以找到确切的均值）。
一般来说，这被称为最大似然估计。给定一些数据，我们将计算最能解释该数据的一个或多个参数的值。
现在想象一下，我们无法看到其值从组的抽样。一切对我们来说都是紫色的：
在这里，我们有知识，有2个值的组，但我们不知道任何特定值属于哪个组。
我们是否仍可以估计最适合此数据的红色和蓝色组的平均值？
是的，通常我们可以！期望最大化为我们提供了一种实现方法。该算法背后的非常笼统的想法是：
- 从每个参数可能的初始估算开始。
- 计算每个参数产生数据点的可能性。
- 根据参数产生的可能性，计算每个数据点的权重，以指示它是红色还是蓝色。将权重与数据（期望值）相结合。
- 使用权重调整的数据为参数计算更好的估计值（最大化）。
- 重复步骤2到4，直到参数估计收敛为止（该过程停止产生其他估计）。
这些步骤需要进一步说明，因此我将逐步解决上述问题。
示例：估计均值和标准差
在本示例中，我将使用Python，但是如果您不熟悉这种语言，则代码应该很容易理解。
假设我们有两组，红色和蓝色，其值的分布如上图所示。具体来说，每个组均包含一个从正态分布中提取的值，其中包含以下参数：
import numpy as np
from scipy import stats
np.random.seed(110) # for reproducible results
# set parameters
red_mean = 3
red_std = 0.8
blue_mean = 7
blue_std = 2
# draw 20 samples from normal distributions with red/blue parameters
red = np.random.normal(red_mean, red_std, size=20)
blue = np.random.normal(blue_mean, blue_std, size=20)
both_colours = np.sort(np.concatenate((red, blue))) # for later use...
这再次是这些红色和蓝色组的图像（以免您不得不向上滚动）：
当我们看到每个点的颜色（即它属于哪个组）时，很容易估计每个组的均值和标准差。我们只是将红色和蓝色值传递给NumPy中的内置函数。例如：
>>> np.mean(red)
2.802
>>> np.std(red)
0.871
>>> np.mean(blue)
6.932
>>> np.std(blue)
2.195
但是，如果我们有什么不能看的点的颜色？也就是说，每个点都用紫色代替了红色或蓝色。
要尝试恢复红色和蓝色组的均值和标准差参数，我们可以使用期望最大化。
我们的第一步（上面的步骤1）是猜测每组平均值和标准偏差的参数值。我们不必聪明地猜测；我们可以选择任何我们喜欢的数字：
# estimates for the mean
red_mean_guess = 1.1
blue_mean_guess = 9
# estimates for the standard deviation
red_std_guess = 2
blue_std_guess = 1.7
这些参数估计会产生钟形曲线，如下所示：
这些是错误的估计。例如，对于有意义的点组，这两种方式（垂直虚线）都远离任何类型的“中间”。我们希望改善这些估计。
下一步（步骤2）是计算每个数据点在当前参数猜测下出现的可能性：
likelihood_of_red = stats.norm(red_mean_guess, red_std_guess).pdf(both_colours)
likelihood_of_blue = stats.norm(blue_mean_guess, blue_std_guess).pdf(both_colours)
在这里，我们使用红色和蓝色的均值和标准差的当前猜测，将每个数据点简单地放入正态分布的概率密度函数中。这就告诉我们，例如，我们目前猜测在1.761的数据点是多少更有可能被红色（0.189），比蓝（0.00003）。
对于每个数据点，我们可以将这两个似然值转换为权重（步骤3），以使它们的总和为1，如下所示：
likelihood_total = likelihood_of_red + likelihood_of_blue
red_weight = likelihood_of_red / likelihood_total
blue_weight = likelihood_of_blue / likelihood_total
使用我们当前的估计值和新计算的权重，我们现在可以计算红色和蓝色组的均值和标准差的新估计值（步骤4）。
我们使用所有数据点两次计算平均值和标准偏差，但是使用不同的权重：一次用于红色权重，一次用于蓝色权重。
直觉的关键在于，颜色在数据点上的权重越大，数据点对该颜色参数的下一个估计值的影响就越大。这具有沿正确方向“拉动”参数的效果。
def estimate_mean(data, weight):
"""
For each data point, multiply the point by the probability it
was drawn from the colour's distribution (its "weight").
Divide by the total weight: essentially, we're finding where
the weight is centred among our data points.
"""
return np.sum(data * weight) / np.sum(weight)
def estimate_std(data, weight, mean):
"""
For each data point, multiply the point's squared difference
from a mean value by the probability it was drawn from
that distribution (its "weight").
Divide by the total weight: essentially, we're finding where
the weight is centred among the values for the difference of
each data point from the mean.
This is the estimate of the variance, take the positive square
root to find the standard deviation.
"""
variance = np.sum(weight * (data - mean)**2) / np.sum(weight)
return np.sqrt(variance)
# new estimates for standard deviation
blue_std_guess = estimate_std(both_colours, blue_weight, blue_mean_guess)
red_std_guess = estimate_std(both_colours, red_weight, red_mean_guess)
# new estimates for mean
red_mean_guess = estimate_mean(both_colours, red_weight)
blue_mean_guess = estimate_mean(both_colours, blue_weight)
我们对参数有新的估计。为了再次改善它们，我们可以跳回到步骤2并重复该过程。我们这样做直到估计收敛为止，或者在执行了一些迭代之后（步骤5）。
对于我们的数据，此过程的前五个迭代如下所示（最近的迭代具有更强的外观）：
我们看到均值已经在一些值上收敛，并且曲线的形状（由标准偏差控制）也变得更加稳定。
如果继续进行20次迭代，最终结果如下：
EM过程已收敛到以下值，结果非常接近实际值（在这里我们可以看到颜色-没有隐藏变量）：
| EM guess | Actual | Delta
----------+----------+--------+-------
Red mean | 2.910 | 2.802 | 0.108
Red std | 0.854 | 0.871 | -0.017
Blue mean | 6.838 | 6.932 | -0.094
Blue std | 2.227 | 2.195 | 0.032
在上面的代码中，您可能已经注意到，新的标准差估算是使用先前迭代的平均值估算来计算的。最终，我们是否首先计算平均值就没有关系，因为我们只是在某个中心点附近找到值的（加权）方差。我们仍将看到参数估计值收敛。