贝叶斯如何比较分布？

因此，我认为我对频繁出现概率和统计分析的基础知识（以及使用它的严重程度）有很好的了解。在一个频繁论者的世界中，提出这样的问题是有意义的：“此分布是否不同于该分布”，因为假定分布是真实的，客观的且不变的（至少对于给定的情况而言），因此我们可以得出从一个形状像另一个样本的分布中抽取一个样本的可能性有多大。

在贝叶斯世界观中，考虑到我们过去的经验，我们只关心我们期望看到的结果（在这一部分上我仍然有点含糊，但是我理解贝叶斯更新的概念）。如果是这样，贝叶斯怎么能说“这组数据与那组数据不同”？

出于这个问题的目的，我不在乎统计意义或类似意义，而只是在乎如何量化差异。我同样对参数和非参数分布感兴趣。

将您的陈述视为常客，首先使其更加具体。常问的人没有进一步说明就不能说“数据集A与数据集B不同”。

首先，您必须声明“不同”的含义。也许您的意思是“具有不同的平均值”。再说一遍，您可能意味着“具有不同的差异”。还是别的？

然后，您必须说明要使用哪种测试，这取决于您认为对数据的有效假设。您是否假设数据集在某种程度上都是正态分布的？还是您认为它们都是Beta发行版？或者是其他东西？

现在您是否可以看到第二个决策与贝叶斯统计中的先验非常相似？这不仅是“我过去的经验”，而是我相信以及我的同龄人会相信的，是对我的数据的合理假设。（贝叶斯算法可以使用统一的先验，这将事情推向了频繁计算。）

编辑：回应您的评论：下一步包含在我提到的第一个决定中。如果要确定两组均值是否不同，则可以在一定的置信度下查看两组均值差的分布，以查看此分布是否包含零。您究竟算得上接近零的程度为零，并且使用的（后验）分布的确切部分取决于您和您所需要的置信度。

在Kruschke的论文中可以找到关于这些想法的讨论，他还写了一本非常易读的书《做贝叶斯数据分析》，其中涵盖了第307-309页的示例“不同的群体是否相等？”。（第二版：第468-472页。）他还对此问题发表了博客文章，并进行了一些问答。

进一步编辑：您对贝叶斯过程的描述也不是很正确。根据我们独立于数据而了解的信息，贝叶斯主义者只关心数据告诉我们的内容。（正如Kruschke所指出的，先验不一定发生在数据之前。这就是这个短语的含义，但这实际上只是我们的知识，不包括某些数据。）我们独立于特定数据集所知的内容可能是含糊的或特定的并且可能基于共识，基础数据生成过程的模型，也可能只是其他（不一定是先前的）实验的结果。

本文可能会引起您的兴趣：http : //arxiv.org/pdf/0906.4032v1.pdf

它很好地总结了一些常见问题和贝叶斯方法来解决这两个样本问题，并讨论了参数和非参数情况。

它可能会在其他答案中添加一些内容，以举一个简单的例子。假设您有两个数据集和，其中每个和每个均为或。在两种情况下都假设一个iid Bernoulli模型，因此每个和每个 。你的假设在测试场景都在频率论者和贝叶斯设置可以是：ÿ X 我ý Ĵ 0 1 X 我〜乙Ë ř Ñ （p ）ÿ 我〜乙Ë ř Ñ （q $\mathbf{x}$$\mathbf{y}$$x_i$$y_j$$0$$1$$x_i\sim Bern(p)$$y_i\sim Bern(q)$

$\mathcal{H}_0: \: \: p=q$

$\mathcal{H}_1: \: \: p,q$不一定相等。

在每种情况下，数据的可能性为：

在：$\mathcal{H}_0$$L_0(p) = f(\mathbf{x},\mathbf{y};p) = \prod_i p^i (1-p)^{1-i} \prod_j p^j(1-p)^{1-j}$

在：L 1（p ，q ）= f （x，y ; p ，q ）= ∏ i p i（1 − p ）1 − i ∏ j q j（1 − q ）1 − $\mathcal{H}_1$$L_1(p,q) = f(\mathbf{x},\mathbf{y};p,q) = \prod_i p^i (1-p)^{1-i} \prod_j q^j(1-q)^{1-j}$

（由于）。解决该问题的常用方法可能是进行似然比检验，从而计算统计量：$\mathcal{H}_0 \:\: q=p$

$W = -2\log\left\{ \frac{L_0(p_{max})}{L_1(p_{max},q_{max})}\right\},$

其中分别表示为最大似然估计p和q有关假设下（因此p 米一个X在分子可能不一样p 米一个X在分母）。 w ^渐近服从χ 2 1分配（例如参见Pawitan，2001），所以你会指定一个显着性水平和拒绝/不拒绝^ h 0为合适。$p_{max},q_{max}$$p$$q$$p_{max}$$p_{max}$$W$$\chi^2_1$$\mathcal{H}_0$

传统上，在贝叶斯方法中，检验统计量将是贝叶斯因子。首先，你将承担一些相关的先验概率下^ h 0和p ，q 〜π 1下^ h 1。贝叶斯因子是边际可能性的比率，由下式给出：$p\sim \pi_0$$\mathcal{H}_0$$p,q\sim \pi_1$$\mathcal{H}_1$

。$BF = \frac{ f(\mathbf{x},\mathbf{y}|\mathcal{H}_0) }{f(\mathbf{x},\mathbf{y}|\mathcal{H}_1)} = \frac{ \int_0^1 L_0(p)\pi_0(p)dp}{\int_0^1 \int_0^1 L_1(p,q)\pi_1(p,q)dpdq}$

$\mathcal{H}_0$$\mathcal{H}_1$$\mathcal{H}_0$$\mathcal{H}_1$ $p(\mathcal{H}_0)=p(\mathcal{H}_1) = 1/2$

$\frac{p(\mathcal{H}_0|\mathbf{x},\mathbf{y})}{p(\mathcal{H}_1|\mathbf{x},\mathbf{y})} = BF \times \frac{p(\mathcal{H}_0)}{p(\mathcal{H}_1)} = BF \times \frac{1/2}{1/2} = BF.$

$>1$$\mathcal{H}_0$$\mathcal{H}_1$$\mathcal{H}_0$

$\mathcal{H}_1$

希望能对已经发布的其他答案有所帮助。

在给定数据的情况下，我们有多强的信念认为两组不是来自同一人口（H_1：他们不是来自同一人口，而H_0：他们是来自同一人口）。这可以通过贝叶斯t检验来完成。

复杂度用于计算先验与一个假设的重叠程度。拟合用于计算后验与一个假设的重叠程度。综合起来，您可以比较这些假设并表达对这些假设是否来自同一人群的后信。