多项式(1 / n,…,1 / n)可以表征为离散Dirichlet(1,..,1)吗?


24

所以这个问题有点混乱,但是我将提供彩色图表来弥补这一点!首先是背景,然后是问题。

背景

假设您有维多项式分布,并且在类别上的Probailites相等。令是该分布的归一化计数(),即:nnπ=(π1,,πn)c

(c1,,cn)Multinomial(1/n,,1/n)πi=cin

现在上的分布已支持n -simplex,但具有离散步骤。例如,对于n = 3,此分布具有以下支持(红点):πnn=3

在此处输入图片说明

具有类似支持的另一个分布是维分布,即单位单纯形上的均匀分布。例如,这是一个3维 1,1,1)的随机抽奖:狄利克雷1 ... 1 狄利克雷1 1 1 nDirichlet(1,,1)Dirichlet(1,1,1)

在此处输入图片说明

现在我有了一个想法,即分布中的分布可以被描述为来自离散化为的离散支持。我想到的离散化(似乎很好用)是将单纯形中的每个点取整并“舍入”到支持的最接近点。对于3维单纯形,您将获得以下分区,其中每个有色区域中的点应“舍入”到最接近的红点:πMultinomial(1/n,,1/n)Dirichlet(1,,1)ππ

在此处输入图片说明

由于狄利克雷分布是均匀的,因此每个点的最终密度/概率与“四舍五入”到每个点的面积/体积成比例。对于二维和三维情况,这些概率为:

在此处输入图片说明这些概率来自蒙特卡洛模拟

这样看来,至少对于2维和3维,以这种特殊方式离散化所得到的概率分布与的概率分布相同。那就是分布的标准化结果。我也尝试过使用4维,并且似乎可以使用。Dirichlet(1,,1)πMultinomial(1/n,,1/n)

问题

所以我的主要问题是:

当以这种特定方式离散化统一Dirichlet时,与适用于进一步的尺寸?关系是否成立?(我仅使用蒙特卡洛模拟方法尝试过此方法...)Multinomial(1/n,,1/n)

我进一步想知道:

  • 如果这种关系成立,那么结果是否已知?我可以为此提供一些资料吗?
  • 如果均匀Dirichlet的离散化与多项式没有这种关系。是否有类似的构造?

一些背景

我问这个问题的原因是,我正在研究非参数Bootstrap与贝叶斯Bootstrap之间的相似性,然后才提出来。我还注意到,上面3维单形上的彩色区域上的图案看起来像(应该是)Voronoi图。您可以考虑的一种方式(我希望)是作为Pascal的Triangle / Simpex的序列(http://www.math.rutgers.edu/~erowland/pascalssimplices.html)。在2-d情况下,着色区域的大小遵循Pascal三角形的第二行,在3-d情况下,着色区域的大小遵循Pascal四面体的第三行,依此类推。这可以解释与多项式分布的关系,但是在这里我真的很陷入困境……


2
好玩!(和往常一样。)但是我很想念袜子。
西安

好吧,我开始更换袜子。但是后来我开始考虑贝叶斯Boostrap,一件事导致另一件事,这就是我到这里为止的方式:)
RasmusBååth2015年

2
@西安也许应该是袜子而不是小狗才能成为贝叶斯吉祥物?
蒂姆

Answers:


14

那些两个分布是每个不同n4

符号

我将按比例缩放单形,以便晶格点具有整数坐标。这并没有改变任何东西,我只是认为它使符号的使用不再那么麻烦。n

Ñ - 1 单纯形,给出的点的凸包Ñ 0 ... 0 ,..., 0 ... 0 Ñ ř Ñ。换句话说,它们是所有坐标均为非负且坐标之和为n的点S(n1)(n,0,,0)(0,,0,n)Rnn

表示晶格点集合,即S中所有坐标都是积分的点。ΛS

如果是晶格点,则让V P表示其Voronoi单元,定义为S中与Λ中的其他点相比(严格)更接近P的那些点。PVPSPΛ

我们放置两个可以放在上的概率分布。一个是多项分布,其中,所述点一个1Ñ具有概率2 - Ñ Ñ /a 1a n。另一方面,我们将调用狄利克雷模型,并将其分配给每个P ∈ Λ正比于体积的概率V PΛ(a1,...,an)2nn!/(a1!an!)PΛVP

非常非正式的理由

我声称多项模型和狄氏模型给出不同的分布,每当ñ 4Λn4

看到这一点,考虑的情况下,以及点= 2 2 0 0 = 3 1 0 0 。我声称V V 经由翻译是全等的由矢量1 - 1 0 0 。这意味着V AV Bn=4A=(2,2,0,0)B=(3,1,0,0)VAVB(1,1,0,0)VAVB具有相同的体积,因此Dirichlet模型中B具有相同的概率。在另一方面,在多项式模型,它们具有不同的概率(2 - 44 /2 2 2 - 44 / 3 ),和它遵循的分布可以不相等。AB244!/(2!2!)244!/3!

V B完全相同的事实来自以下合理但不明显(且有些含糊)的主张:VAVB

合理的权利要求:形状和尺寸只受的“近邻” P,(即,在这些点Λ,其不同于P由矢量看起来像1 - 1 0 ... 0 ,其中11可能在其他地方)VPPΛP(1,1,0,,0)11

不难看出,B的“直接邻居”的配置是相同的,因此可以得出V AV B是一致的。ABVAVB

万一,我们可以发挥同样的游戏,用= 2 2 Ñ - 4 0 ... 0 = 3 1 Ñ - 4 0 ... 0 ,例如。n5A=(2,2,n4,0,,0)B=(3,1,n4,0,,0)

我认为这种说法并不完全明显,我也不会证明它,而是会采用略有不同的策略。不过,我认为这是一个更直观的答案,为什么分布是不同的n4

严格的证明

采取如在上面的非正式理由。我们只需要证明V AV B是全等的即可。ABVAVB

给出,我们将定义w ^ P如下:w ^ P是点的集合X 1... X Ñ小号,为此,最大1 Ñ一个 - p - 分钟1 ñ一个P=(p1,,pn)ΛWPWP(x1,,xn)S。(在更易消化方式:令 v = 一个 - p W¯¯ P是点的集合的量,最高和最低之间的差 v 是小于1)max1in(aipi)min1in(aipi)<1vi=aipiWPvi

我们将证明,VP=WP

步骤1

权利要求: VPWP

这相当简单:假设不在W P中。让v = X - p ,并且假设(不失一般性),该v 1 = 最大值1 Ñ v v 2 = 分钟1 Ñ v v 1v 2X=(x1,,xn)WPvi=xipiv1=max1inviv2=min1invi由于 Σ Ñ = 1 v = 0,我们也知道, v 1 > 0 > v 2v1v21i=1nvi=0v1>0>v2

现在让。由于PX都具有非负坐标,所以不Q,接下去就是Q 小号,所以Q Λ。在另一方面,ð 小号 2X P - d 小号 2Q=(p1+1,p21,p3,,pn)PXQQSQΛ。因此, X是至少尽可能接近 Q P,所以 X V P。这表明(通过补充)dist2(X,P)dist2(X,Q)=v12+v22(1v1)2(1+v2)2=2+2(v1v2)0XQPXVPVpWP

第2步

要求成对不相交。WP

Suppose otherwise. Let P=(p1,,pn) and Q=(q1,,qn) be distinct points in Λ, and let XWPWQ. Since P and Q are distinct and both in Λ, there must be one index i where piqi+1, and one where piqi1. Without loss of generality, we assume that p1q1+1, and p2q21. Rearranging and adding together, we get q1p1+p2q22.

Consider now the numbers x1 and x2. From the fact that XWP, we have x1p1(x2p2)<1. Similarly, XWQ implies that x2q2(x1q1)<1. Adding these together, we get q1p1+p2q2<2, and we have a contradiction.

Step 3

We have shown that VPWP, and that the WP are disjoint. The VP cover S up to a set of measure zero, and it follows that WP=VP (up to a set of measure zero). [Since WP and VP are both open, we actually have WP=VP exactly, but this is not essential.]

Now, we are almost done. Consider the points A=(2,2,n4,0,,0) and B=(3,1,n4,0,,0). It is easy to see that WA and WB are congruent and translations of each other: the only way they could differ, is if the boundary of S (other than the faces on which A and B both lie) would ``cut off'' either WA or WB but not the other. But to reach such a part of the boundary of S, we would need to change one coordinate of A or B by at least 1, which would be enough to guarantee to take us out of WA and WB anyway. Thus, even though S does look different from the vantage points A and B, the differences are too far away to be picked up by the definitions of WA and WB, and thus WA and WB are congruent.

It follows then that VA and VB have the same volume, and thus the Dirichlet model assigns them the same probability, even though they have different probabilities in the multinomial model.


Wow, rigorous! Thanks! So the slight correspondence I was hoping for was accidental I guess...
Rasmus Bååth
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.