浓度参数具有超先验分布的多项式-Dirichlet模型

我将尝试尽可能概括地描述当前的问题。我正在将观察建模为具有参数概率向量theta 的分类分布。

然后，我假设参数向量theta遵循Dirichlet先验分布，参数为。$\alpha_1,\alpha_2,\ldots,\alpha_k$

那么是否可以对参数施加超先验分布呢？它必须是多元分布，例如分类分布和狄利克雷分布吗？在我看来，alpha总是为正，因此应优先使用gamma hyperprior。$\alpha_1,\alpha_2,\ldots,\alpha_k$

不知道是否有人尝试拟合这种（可能）过参数化的模型，但对我而言，认为阿尔法不应该是固定的而是来自伽马分布的，似乎是合理的。

请尝试为我提供一些参考，以及在实践中如何尝试这种方法的见解。

我认为这根本不是一个“过度参数化”的模型。我认为，通过在Dirichlet参数之前放置优先级，您对任何特定结果的投入都会减少。特别地，如你可能知道，对于对称狄利克雷分布（即）设定α < 1提供了更多的先验概率，以稀疏多项分布，而α > 1提供了更多的先验概率来平滑多项式分布。$\alpha_1 = \alpha_2 = ... \alpha_K$$\alpha<1$$\alpha>1$

如果人们对稀疏或密集的多项式分布都不抱有很高的期望，则在Dirichlet分布上放置一个超优先级可以使模型在它们之间进行选择时具有更大的灵活性。

我最初是从这篇论文中想到的。他们使用的超级优先级与您的建议稍有不同。他们从狄利克雷采样概率向量，然后通过从指数（或伽马）中抽取来缩放它。所以模型是

$$\begin{eqnarray} \beta &\sim &Dirichlet(1)\\ \lambda& \sim &Exponential(\cdot)\\ \theta& \sim &Dirichlet(\beta\lambda) \end{eqnarray}$$

额外的Dirichlet只是为了避免施加对称性。

我还看到人们在具有多项发射分布的隐马尔可夫模型的背景下，仅对Dirichlet使用Gamma hyper优先级，但我似乎找不到参考。另外，似乎我遇到了主题模型中使用的类似超级链接。

为了演示针对此优先级问题的解决方案，我在PyMC3中实现了分层的gamma-Dirichlet-多项式模型。Dirichlet的先验伽玛值由Ted Dunning的博客文章指定和采样。

我实现的模型可以在此要点找到，但也将在下面进行描述：

这是用于电影分级的贝叶斯分层（池）模型。每部电影的评分范围为零到五。每部电影都被评级几次。我们希望找到每部电影的收视率分布平滑。

我们将从数据中了解电影分级的高级先验分布（超优先级）。然后，每部电影都有其自己的先验，并可以通过此顶级先验平滑。对此的另一种思考方式是，将每部电影的收视率先于组级别或集中发行。

如果电影的收视率分布不典型，则这种方法会将收视率缩小到与预期更符合的水平。此外，这种先验知识对于引导评级很少的电影可能非常有用，以使它们与评级很多的电影相比有意义。

该模型如下：

$\gamma_{k=1...K} \sim Gamma(\alpha, \beta)$

$\theta_{m=1...M} \sim Dirichlet_M(c\gamma_1, ..., c\gamma_K)$

$z_{m=1...M,n=1...N_m} \sim Categorical_M(\theta_m)$

哪里：

• $K$$K = 6$
• $M$
• $N_m$$m$
• $\alpha = 1 / K$
• $\beta$
• $c$
• $\gamma_k$$k$
• $\theta_m$$K$
• $z_{mn}$$n$$m$

这是直接的贝叶斯共轭先验建模。Beta-Binomial模型的自然扩展。这方面的一个很好的资源可能来自这本书。后验也是Dirichlet，因此从dirichlet进行模拟将提供必要的摘要