最大似然估计-多元高斯

语境

多元高斯在机器学习中经常出现，并且以下结果在许多没有衍生的机器学习书籍和课程中使用。

给定以m × p尺寸 的矩阵形式给出的数据，如果我们假设数据遵循 参数均值为μ（p × 1）和协方差矩阵Σ（p × p）的p变量高斯分布，则最大似然估计为由：$\mathbf{X}$$m \times p$$p$$\mu$$p \times 1$$\Sigma$$p \times p$

• $\hat \mu = \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}}$
• $\hat \Sigma = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T$

我了解多变量高斯知识是许多ML课程的先决条件，但是一劳永逸地完全自成一题，这对我很有帮助，因为我感到许多自学者都在关注统计数据。 stackexchange和math.stackexchange网站寻找答案。

---

题

多元高斯方程的最大似然估计的全推导是什么

---

例子：

这些讲义（第11页）上的线性判别分析，或这些的使用结果，并承担以前的知识。

也有一些帖子被部分回答或关闭：

• 多元正态分布的最大似然估计
• 需要帮助以了解多元正态分布的最大似然估计吗？

推导最大似然估计

假设我们有随机向量，每个尺寸的p：X （1 ），X （2 ），。。。，X （米），其中每个随机向量可以跨越被解释为观测（数据点）p的变量。如果每个X （i ）作为多元高斯向量被iid表示：$m$$p$$\mathbf{X^{(1)}, X^{(2)},...,X^{(m)}}$$p$$\mathbf{X}^{(i)}$

$$\mathbf{X^{(i)}} \sim \mathcal{N}_p(\mu, \Sigma)$$

参数未知。为了获得他们的估计，我们可以使用最大似然方法并使对数似然函数最大化。$\mu, \Sigma$

注意，由随机向量的独立性，数据的联合密度是各个密度的乘积，即∏ m i = 1 f X （i ）（x （i ） ; μ ，Σ）。取对数给出对数似然函数$\mathbf{ \{X^{(i)}}, i = 1,2,...,m\}$$\prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} ; \mu , \Sigma })$

$$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \log \prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} | \mu , \Sigma }) \\ & = \log \ \prod_{i=1}^m \frac{1}{(2 \pi)^{p/2} |\Sigma|^{1/2}} \exp \left( - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \\ & = \sum_{i=1}^m \left( - \frac{p}{2} \log (2 \pi) - \frac{1}{2} \log |\Sigma| - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \end{aligned}$$

$$\begin{aligned} l(\mu, \Sigma ; ) & = - \frac{mp}{2} \log (2 \pi) - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \end{aligned}$$

派生μ$\hat \mu$

为了获得关于的导数并等于零，我们将使用以下矩阵演算恒等式：$\mu$

如果瓦特 不依赖于阿和阿是对称的。$\mathbf{ \frac{\partial w^T A w}{\partial w} = 2Aw}$$\mathbf{w}$$\mathbf{A}$$\mathbf{A}$

$$\begin{aligned} \frac{\partial }{\partial \mu} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \sum_{i=1}^m \mathbf{ \Sigma^{-1} ( \mu - x^{(i)} ) } = 0 \\ & \text{Since $\Sigma$ is positive definite} \\ 0 & = m \mu - \sum_{i=1}^m \mathbf{ x^{(i)} } \\ \hat \mu &= \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}} \end{aligned}$$

通常称为样本均值向量。

推导Σ$\hat \Sigma$

推导协方差矩阵的MLE需要更多的工作，并需要使用以下线性代数和微积分属性：

• 在矩阵乘积的循环排列下，迹线是不变的：$tr[ACB] = tr[CAB] = tr[BCA]$
• 由于是标量，因此我们可以追踪它并获得相同的值：x t A x = t r [ x T A x ] = t r [ x t x A $x^TAx$$x^tAx = tr[x^TAx] = tr[x^txA]$
• $\frac{\partial}{\partial A} tr[AB] = B^T$
• $\frac{\partial}{\partial A} \log |A| = A^{-T}$

结合这些属性，我们可以计算

$$\frac{\partial}{\partial A} x^tAx =\frac{\partial}{\partial A} tr[x^TxA] = [xx^t]^T = x^{TT}x^T = xx^T$$

向量与自身的外积。$x$

现在，我们可以重新写数似然函数和计算导WRT （注ç为常数）$\Sigma^{-1}$$C$

$$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \text{C} - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \\ & = \text{C} + \frac{m}{2} \log |\Sigma^{-1}| - \frac{1}{2} \sum_{i=1}^m tr[ \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)^T \Sigma^{-1} } ] \\ \frac{\partial }{\partial \Sigma^{-1}} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \frac{m}{2} \Sigma - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \ \ \text{Since $\Sigma^T = \Sigma$} \end{aligned}$$

等于零并求解$\Sigma$

$$\begin{aligned} 0 &= m \Sigma - \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \\ \hat \Sigma & = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T \end{aligned}$$

资料来源

• https://people.eecs.berkeley.edu/~jordan/courses/260-spring10/other-readings/chapter13.pdf
• http://ttic.uchicago.edu/~shubhendu/Slides/Estimation.pdf

为一个替代证明Σ，是以衍生物相对于Σ直接：$\widehat{\Sigma}$$\Sigma$

以上述对数似然来拾取：

$$\begin{eqnarray} \ell(\mu, \Sigma) &=& C - \frac{m}{2}\log|\Sigma|-\frac{1}{2} \sum_{i=1}^m \text{tr}\left[(\mathbf{x}^{(i)}-\mu)^T \Sigma^{-1} (\mathbf{x}^{(i)}-\mu)\right]\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| + \sum_{i=1}^m\text{tr} \left[(\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T\Sigma^{-1} \right]\right)\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| +\text{tr}\left[ S_\mu \Sigma^{-1} \right] \right) \end{eqnarray}$$ 其中，$S_\mu = \sum_{i=1}^m (\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T$和我们已经使用了环状和$\text{tr}$线性性质。为了计算$\partial \ell /\partial \Sigma$我们首先观察到 $$\frac{\partial}{\partial \Sigma} \log |\Sigma| = \Sigma^{-T}=\Sigma^{-1}$$ 由上述第四个属性决定。要采取的第二项的导数，我们需要的属性， $$\frac{\partial}{\partial X}\text{tr}\left( A X^{-1} B\right) = -(X^{-1}BAX^{-1})^T.$$ （摘自Matrix Cookbook的公式63）。与应用此$B=I$，我们获得 $$\frac{\partial}{\partial \Sigma}\text{tr}\left[S_\mu \Sigma^{-1}\right] = -\left( \Sigma^{-1} S_\mu \Sigma^{-1}\right)^T = -\Sigma^{-1} S_\mu \Sigma^{-1}$$ 因为两个$\Sigma$和$S_\mu$是对称的。然后 $$\frac{\partial}{\partial \Sigma}\ell(\mu, \Sigma) \propto m \Sigma^{-1} - \Sigma^{-1} S_\mu \Sigma^{-1}.$$ 将其设置为0，并且重新排列给 Σ =1 $$\widehat{\Sigma} = \frac{1}{m}S_\mu.$$

$\Lambda = \Sigma^{-1}$$\partial/{\partial \Sigma^{-1}}$$\partial/\partial \Sigma$