Dirichlet分布中的alpha到底是什么？

我对贝叶斯统计非常陌生，遇到了一种校正的相关度量SparCC，该度量在其算法的后端使用Dirichlet流程。我一直在尝试逐步了解算法，以真正理解正在发生的事情，但是我不确定alpha在Dirichlet分布中矢量参数的作用以及如何规范化alpha矢量参数？

该实现Python使用的是NumPy：https : //docs.scipy.org/doc/numpy/reference/generated/numpy.random.dirichlet.html

文档说：

alpha：数组分布的参数（k维为k维样本）。

我的问题：

1. 如何将alphas影响分布?;

2. 如何alphas被标准化？和

3. 当alphas不是整数时会发生什么？

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# Reproducibility
np.random.seed(0)

# Integer values for alphas
alphas = np.arange(10)
# array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

# Dirichlet Distribution
dd = np.random.dirichlet(alphas) 
# array([ 0.        ,  0.0175113 ,  0.00224837,  0.1041491 ,  0.1264133 ,
#         0.06936311,  0.13086698,  0.15698674,  0.13608845,  0.25637266])

# Plot
ax = pd.Series(dd).plot()
ax.set_xlabel("alpha")
ax.set_ylabel("Dirichlet Draw")

的狄利克雷分布是描述多元概率分布变量X 1，... ，X ķ，使得每个X 我 ∈ （0 ，1 ）和Σ Ñ 我= 1 X 我 = 1，由一个向量参数化正值参数。参数不$k\ge2$$X_1,\dots,X_k$$x_i \in (0,1)$$\sum_{i=1}^N x_i = 1$$\boldsymbol{\alpha} = (\alpha_1,\dots,\alpha_k)$必须是整数，它们只需要是正实数。它们没有以任何方式“标准化”，它们是此分布的参数。

Dirichlet分布是beta分布到多个维度的概括，因此您可以从了解beta分布开始。Beta是由参数和参数化的随机变量的单变量分布。关于它的漂亮的直觉来，如果你还记得，它是共轭先验的二项分布，如果我们假设一个测试之前通过参数和的二项式分布的概率参数，那么后验分布也是一个beta分布参数化$X \in (0,1)$$\alpha$$\beta$$\alpha$$\beta$$p$$p$$\alpha' = \alpha + \text{number of successes}$和。因此，您可以将和视为成功和失败的伪计数（它们不必为整数）（也请检查此线程）。$\beta' = \beta + \text{number of failures}$$\alpha$$\beta$

在狄利克雷分布的情况下，它是现有的缀合物用于多项分布。如果在二项式分布的情况下，我们可以用画the的黑色和白色球来代替它，那么在多项式分布的情况下，我们用种颜色显示的替换球来绘制，其中每种颜色可以用概率绘制球的数量。Dirichlet分布是概率的共轭先验，并且参数可以被认为是假设先验的每种颜色的球的伪$N$$k$$p_1,\dots,p_k$$p_1,\dots,p_k$$\alpha_1,\dots,\alpha_k$（但您还应该阅读有关此类推理的陷阱）。在Dirichlet多项式模型通过将它们与每个类别中观察到的计数相加来进行更新：，其方式类似于beta-二项式模型。$\alpha_1,\dots,\alpha_k$$\alpha_1+n_1,\dots,\alpha_k+n_k$

值越高， “权重” 就越大，并且为其分配的“质量”越多（请记住，总和必须为）。如果所有相等，则分布是对称的。如果，可以认为是将推向极限的权重，而当它很高时，它会将吸引到某个中心值（在所有点都集中在中心点的意义上是中心点，而不是在感觉它在中心对称）。如果，则这些点将均匀分布。$\alpha_i$$X_i$$x_1+\dots+x_k=1$$\alpha_i$$\alpha_i < 1$$x_i$$x_i$$\alpha_1 = \dots = \alpha_k = 1$

可以在下面的图中看到，在这里您可以看到由（a），（b），（c），（d）。$\alpha_1 = \alpha_2 = \alpha_3 = 1$$\alpha_1 = \alpha_2 = \alpha_3 = 10$$\alpha_1 = 1, \alpha_2 = 10, \alpha_3 = 5$$\alpha_1 = \alpha_2 = \alpha_3 = 0.2$

Dirichlet分布有时称为“分布之上的分布”，因为它可以被认为是概率本身的分布。注意，由于每个和，所以与概率的第一和第二公理是一致的。因此，您可以将Dirichlet分布用作由诸如分类或多项式之类的分布描述的离散事件的概率分布。这是不$x_i \in (0,1)$$\sum_{i=1}^k x_i = 1$$x_i$确实，它是任何分布上的分布，例如，它与连续随机变量的概率无关，甚至与某些离散变量也不相关（例如，泊松分布随机变量描述了观测值为任何自然数的概率），因此使用Dirichlet根据其概率分布，您需要无限数量的随机变量）。$k$

免责声明：我以前从未使用过此发行版。该答案基于此维基百科文章以及我对此的解释。

---

Dirichlet分布是具有与Beta分布相似的属性的多元概率分布。

PDF的定义如下：

$$\{x_1, \dots, x_K\} \sim\frac{1}{B(\boldsymbol{\alpha})}\prod_{i=1}^Kx_i^{\alpha_i - 1}$$

其中，和。$K \geq 2$$x_i \in (0,1)$$\sum_{i=1}^Kx_i = 1$

如果我们看一下密切相关的Beta分布：

$$\{x_1, x_2 (=1-x_1)\} \sim \frac{1}{B(\alpha,\beta)}x_1^{\alpha-1}x_2^{\beta-1}$$

我们可以看到，如果，这两个分布是相同的。因此，让我们首先基于此进行解释，然后再推广到。$K=2$$K>2$

---

在贝叶斯统计中，将Beta分布用作二项式参数的共轭先验（请参见Beta分布）。可以将先验定义为和一些先验知识（或与Dirichlet分布和）。如果某些二项式试验于是具有成功和故障，后验分布然后如下：和。（我不会解决这个问题，因为这可能是您从贝叶斯统计中学到的第一件事）。$\alpha$$\beta$$\alpha_1$$\alpha_2$$A$$B$$\alpha_{1,pos} = \alpha_1 + A$$\alpha_{2,pos}=\alpha_2 + B$

因此，Beta分布然后表示和上的一些后验分布，这可以分别解释为二项分布中成功和失败的概率。并且，您拥有的数据（和）越多，则后验分布越窄。$x_1$$x_2 (=1-x_1)$$A$$B$

---

现在我们知道了的分布是如何工作的，我们可以将其推广为多项式分布而不是二项式。这意味着我们将允许结果，而不是两个可能的结果（成功或失败）（请参阅如果为什么它会推广到Beta / Binom ）。这些结果中的每一个将具有概率，与概率一样，其总和为1。$K=2$$K$$K=2$$K$$x_i$

$\alpha_i$然后在Beta发行版中扮演的角色与中的和类似，并且以类似的方式进行更新。$\alpha_1$$\alpha_2$$x_i$

现在开始回答您的问题：

如何将alphas影响分配？

分布受限制和。该确定哪些部分维空间得到最大量。您可以在这张图片中看到此图片（由于我不拥有图片，所以不能将其嵌入此处）。（使用该解释）后验中的数据越多，越高，因此您对的值或每个结果的概率的确定性就越高。这意味着密度将更加集中。$x_i \in (0,1)$$\sum_{i=1}^Kx_i = 1$$\alpha_i$$K$$\sum_{i=1}^K\alpha_i$$x_i$

如何alphas标准化？

分布的归一化（确保积分等于1）经过项：$B(\boldsymbol{\alpha})$

$$B(\boldsymbol{\alpha}) = \frac{\prod_{i=1}^K\Gamma(\alpha_i)}{\Gamma(\sum_{i=1}^K\alpha_i)}$$

再次，如果查看情况我们可以看到归一化因子与Beta分布中的归一化因子相同，后者使用以下内容：$K=2$

$$B(\alpha_1, \alpha_2) = \frac{\Gamma(\alpha_1)\Gamma(\alpha_2)}{\Gamma(\alpha_1+\alpha_2)}$$

这延伸到

$$B(\boldsymbol{\alpha}) = \frac{\Gamma(\alpha_1)\Gamma(\alpha_2)\dots\Gamma(\alpha_K)}{\Gamma(\alpha_1+\alpha_2+\dots+\alpha_K)}$$

当字母不是整数时会发生什么？

的解释不变，但是如您在我之前链接的图像中所见，如果，则分布的质量会累积在范围的边缘。另一方面必须是一个整数和。$\alpha_i>1$$\alpha_i < 1$$x_i$$K$$K\geq2$