为什么Dirichlet分布优先于多项式分布？

在LDA主题模型算法中，我看到了这个假设。但是我不知道为什么选择Dirichlet分布？我不知道我们是否可以对多项式使用均匀分布？

的狄利克雷分布是现有共轭的多项分布。这意味着，如果多项式参数的先验分布是Dirichlet，则后验分布也是Dirichlet分布（参数与先验分布不同）。这样做的好处是（a）后验分布易于计算，并且（b）在某种意义上可以量化在收集数据后我们的信念发生了多少变化。

当然，可以讨论是否这些是选择特定先验的好理由，因为这些标准与实际先验信念无关。但是，共轭先验很受欢迎，因为出于上述原因，它们通常相当灵活且易于使用。

对于多项式分布的特殊情况，令为多项式参数的向量（即不同类别的概率）。如果（p 1，... ，p ķ）〜狄利克雷（α 1，... ，α ķ）收集数据，然后，给定观测之前（X 1，... ，X ķ）在不同的类别， $(p_1,\ldots,p_k)$

$$(p_1,\ldots,p_k)\sim \mbox{Dirichlet}(\alpha_1,\ldots,\alpha_k)$$ $(x_1,\ldots,x_k)$ $$(p_1,\ldots,p_k)\Big|(x_1,\ldots,x_k)\sim \mbox{Dirichlet}(\alpha_1+x_1,\ldots,\alpha_k+x_k).$$

$\alpha_1=\alpha_2=\cdots=\alpha_k=1$$\alpha_1=\cdots=\alpha_k=1/2$

除了与MånsT的答案相矛盾之外，我只是指出贝叶斯建模中不存在“先验”之类的东西！Dirichlet分布是一种方便的选择，因为（a）共轭，（b）计算，以及（c）与非参数统计的联系（因为这是Dirichlet过程的离散版本）。

但是，（i）在多项式权重上施加的优先级在主观贝叶斯水平上都是合理的答案，并且（ii）在获得先验信息的情况下，没有理由将其简化为Dirichlet分布。还要注意，Dirichlet分布的混合和卷积可以用作先验。