拉普拉斯平滑和Dirichlet先验

在拉普拉斯平滑（或加法平滑）的维基百科文章中，据说从贝叶斯角度来看，

这使用参数为先验的对称Dirichlet分布对应于后验分布的期望值。$\alpha$

我对这到底是怎么回事感到困惑。有人可以帮助我了解这两件事是如何等效的吗？

谢谢！

当然。本质上是这样的观察：狄利克雷分布是多项式分布的共轭先验。这意味着它们具有相同的功能形式。本文提到了这一点，但我只是强调，这是从多项式采样模型得出的。所以，开始吧...

$x$$K$$N = \sum_{i=1}^K x_i$$x$$\pi$$\mathrm{Dir}(\alpha)$$K$

$\pi$$\alpha$$x$

$$p(\pi | x, \alpha) = p(x | \pi) p(\pi|\alpha)$$

$p(x|\pi)$

$$p(x|\pi) = \frac{N!}{x_1!\cdots x_k!} \pi_1^{x_1} \cdots \pi_k^{x_k}$$

和

$$p(\pi|\alpha) = \frac{1}{\mathrm{B}(\alpha)} \prod_{i=1}^K \pi_i^{\alpha - 1}$$

$\mathrm{B}(\alpha) = \frac{\Gamma(\alpha)^K}{\Gamma(K\alpha)}$

$$p(\pi|\alpha,x) = p(x | \pi) p(\pi|\alpha) \propto \prod_{i=1}^K \pi_i^{x_i + \alpha - 1}.$$

换句话说，后部也是 Dirichlet。问题是关于后均值。由于后验是Dirichlet，因此我们可以将公式用于Dirichlet的均值来发现，

$$E[\pi_i | \alpha, x] = \frac{x_i + \alpha}{N + K\alpha}.$$

希望这可以帮助！

附带说明一下，我还想在上述推导中增加一点，这与主要问题无关。但是，谈到有关多项式分布的Dirichlet先验时，我认为值得一提的是，如果我们将概率作为扰动变量，则似然函数的形式是什么。

$p(\pi | \alpha, x)$$\prod_{i=1}^{K} \, \pi_i^{x_i+\alpha-1}$$p(x|\alpha)$

$$\begin{equation} p(x | \alpha) = \int \prod_{i=1}^{K}p(x | \pi_i, \alpha)p(\pi|\alpha) \mathrm{d} \pi_1 \mathrm{d} \pi_2 ...\mathrm{d} \pi_K \end{equation}$$

$$\begin{equation} p(x|\alpha) = \frac{\Gamma(K\alpha)}{\Gamma(N + K\alpha)} \prod_{i=1}^{K} \frac{\Gamma(x_i + \alpha)}{\Gamma(\alpha)} \end{equation}$$

$N$