多项式的渐近分布

10

我正在寻找关于d个结果的多项式分布的极限分布。IE浏览器，以下的分布

lim_{n \to \infty} n^{- \frac{1}{2}} X_{n}

$\lim_{n\to \infty} n^{-\frac{1}{2}} \mathbf{X_n}$

其中 $\mathbf{X_n}$ 是与密度的矢量值随机变量 $f_n(\mathbf{x})$ 为 $\mathbf{x}$ ，使得 $\sum_i x_i=n$ ， $x_i\in \mathbb{Z}, x_i\ge 0$ 和对于所有其他为0 $\mathbf{x}$ ，其中

f_{n} (x) = n! \prod_{i = 1}^{d} \frac{p_{i}^{x_{i}}}{x_{i}!}

$f_{n}(\mathbf{x})=n!\prod_{i=1}^d\frac{p_i^{x_i}}{x_i!}$

我在拉里·瓦瑟曼（Larry Wasserman）的“所有统计”定理14.6（第237页）中找到了一种形式，但是为了限制分布，它为Normal提供了奇异的协方差矩阵，因此我不确定如何对其进行归一化。您可以将随机向量投影到（d-1）维空间中，以使协方差矩阵满秩，但是要使用什么投影？

更新11/5

雷·库普曼（Ray Koopman）对奇高斯问题做了一个很好的总结。基本上，奇异协方差矩阵表示变量之间的完美相关性，这不可能用高斯表示。但是，条件随机密度的取值可以是高斯分布，其前提是随机向量的值是有效的（在上述情况下，分量的总和为 $n$ ）。

条件高斯的不同之处在于，用伪逆代替了逆，并且归一化因子使用“非零特征值的乘积”而不是“所有特征值的乘积”。伊恩·弗里斯（Ian Frisce）提供了一些细节的链接。

还有一种无需参考特征值即可表达条件高斯归一化因子的方法，这是一个推导

asymptotics multinomial

— 雅罗斯拉夫·布拉托夫（Yaroslav Bulatov）
source

在这种情况下，限制分配到底意味着什么？

— 罗比·麦基利姆

即，您从中央极限定理中得到的那个，让我更新详细信息

— Yaroslav Bulatov 2010年

1

您所指的是多项式的最大似然估计器的渐近分布。同样，第一个方程应该是n ^ {-1}，而不是n ^ {-1/2}。

— 西蒙·伯恩

1

在上面的表示法中，对于d = 2，X_n是掷n个硬币后的正面数，因此接近正常的是X_n / sqrt（n），不是X_n / n，不是吗？

— Yaroslav Bulatov

1

你是对的。我只是在迷惑自己。

— 西蒙·伯恩

6

协方差仍然是非负定的（有效多元正态分布也是），但不是正定的：这意味着（至少）随机向量的一个元素是其他元素的线性组合。

结果，任何来自此分布的绘图将始终位于的子空间上。结果，这意味着不可能定义密度函数（因为分布集中在子空间上：请考虑如果方差为零，则单变量法线将集中在均值处的方式）。 $R^d$

但是，正如Robby McKilliam所建议的，在这种情况下，您可以删除随机向量的最后一个元素。该缩减向量的协方差矩阵将是原始矩阵，最后一列和最后一行被删除，现在将是正定的，并且具有密度（此技巧在其他情况下也适用，但是您必须注意哪个元素您放下，并且可能需要放下多个）。

— 西蒙·伯恩
source

选择的自由有点不令人满意，要获得有效的密度，我需要要求A x的分布，其中A是一些d-1级（d）x（d-1）矩阵。对于A的所有选择，有限n的CLT近似误差是否相等？这不是很清楚，我

— 雅罗斯拉夫Bulatov

1

是的，错误应该始终相同。请记住，向量的最后一个元素在功能上取决于其他（d-1）个元素（在有限样本和渐近情况下）。

— 西蒙·伯恩

并不是'last'元素是依赖的，Yaroslav的问题是他不喜欢选择删除哪个元素的想法。我同意您给出的答案，但我也认为这里需要更多的思考和关注。

— 罗比·麦基利姆

@Yaroslav：在这里考虑一下您打算使用哪种应用程序可能会很好，因为在此阶段，您的问题可能有很多答案。

— 罗比·麦基利姆

1

罗比-我想到的应用程序在这里 mathoverflow.net/questions/37582/…CLT 提出的高斯积分基本上可以很好地近似二项式系数的总和（对于小n，甚至比直接积分Gamma表示还要好！），因此，我正在查看是否可以做类似的事情来获得多项式系数的近似和，我需要为各种钳工（例如，最大似然）获得非渐近误差范围

— Yaroslav Bulatov

2

这里奇异协方差没有内在的问题。您的渐近分布是奇异正态。请参阅http://fedc.wiwi.hu-berlin.de/xplore/tutorials/mvahtmlnode34.html，其中给出了奇异法线的密度。

— 伊恩·菲斯克（Ian Fiske）
source

从技术上讲，问题在于奇异的协方差矩阵意味着变量的某些子集是完全相关的，因此在某些区域中概率密度应该恰好为0，但这对于高斯是不可能的。一种解决方案是改为查看条件密度，条件是随机变量位于可行区域内。看起来就像他们在链接中所做的一样。从未听说过“ G逆”一词，我猜它是Penrose-Moore伪逆吗？

— Yaroslav Bulatov

虽然这是事实，传统的d维高斯对所有的支持

，单数高斯没有。G逆是广义逆，是的，我相信Penrose-Moore定义在这里起作用。我认为存在一个用于奇异协方差的CLT，正如预期的那样，在向奇异CLT的分布中收敛，尽管我现在找不到引用。

ℜ^{d}

$\Re^d$

— 伊恩·菲斯克

1

它通过向量在我看来就像Wasserman的协方差矩阵是奇异的，看到的，乘它的，即的长度。 $d$ $[1,1,1,\dots,1]^\prime$ $d$

无论如何，维基百科给出了相同的协方差矩阵。如果我们仅将自己限制为二项式分布，则标准中心极限定理告诉我们，二项式分布（在适当缩放后）收敛为正态变大（再次参见Wikipedia）。运用相似的思想，您应该能够证明适当缩放的多项式将在分布上收敛于多元正态，即每个边际分布仅是一个二项式，并且收敛于正态分布，并且它们之间的方差是已知的。 $n$

因此，我非常有信心您会发现的分布收敛到均值为零且协方差为零的多元法线

\frac{X_{n} - n p}{\sqrt{n}}

$\frac{X_n - np}{\sqrt{n}}$

其中，

是所讨论的多项式的协方差矩阵，

是概率

的向量。

\frac{C}{n}

$\frac{C}{n}$

C

$C$

p

$p$

[p_{1}, \dots, p_{d}]

$[p_1,\dots,p_d]$

— 罗比·麦基利姆（Robby McKilliam）
source

1

但是所讨论的多项式的协方差矩阵是奇异的，您自己展示了它……

— Yaroslav Bulatov 2010年

d

$d$

C

$C$

[p_{1}, p_{2}, \dots, p_{d - 1}]

$[p_1,p_2,\dots,p_{d-1}]$

我发现的一个建议是仍然使用高斯，但是使用伪逆而非行列式和“非零特征值的乘积”代替行列式。对于d = 2，这似乎给出了正确的密度形式，但是归一化因子

— 不可用

1

$|S_{-i}|=|S_{-j}|$ $i,j$ $S_{-i}$ $i$

— 吉迪永
source

这些矩阵不相等，这是协方差矩阵yaroslavvb.com/upload/multinomial-covariance-matrix.png

— Yaroslav

是的，这确实是协方差矩阵。我的观点是，删除任何ith列和行都会导致对高斯的归一化术语相同。也许我缺少明显的东西？

— jvdillon

n

$n$

p_{i} = 1 - \sum_{j \neq i} p_{j}

$p_i=1-\sum_{j\ne i}p_j$

p_{i}

$p_i$

S

$S$

顺便说一句，我喜欢您对这个想法的应用-因此，我很想回应。

— jvdillon