负二项分布的最大似然估计

问题如下：

从参数k = 3的负二项式分布中收集n个值的随机样本。

找到参数π的最大似然估计。

为该估计量的标准误差找到一个渐近公式。

说明如果参数k足够大，为什么负二项式分布将近似正态。此正态近似的参数是什么？

我的工作如下：
1.我觉得这是需要的，但是我不确定在这里我是否准确，或者鉴于提供的信息，我是否可以做得更好？

p (x) = (\binom{x - 1}{k - 1}) π^{k} (1 - π)^{x - k} L (π) = Π_{i}^{n} p (x_{n} | π) ℓ (π) = Σ_{i}^{n} \ln (p (x_{n} | π)) ℓ ‘ (π) = Σ_{i}^{n} \frac{k}{π} - \frac{(x - k)}{(1 - π)}

$p(x) = {x-1 \choose k-1}\pi^k(1-\pi)^{x-k}\\ L(\pi) = \Pi_i^n p(x_n|\pi)\\ \ell(\pi) = \Sigma_i^n\ln(p(x_n|\pi))\\ \ell`(\pi) = \Sigma_i^n\dfrac{k}{\pi}-\dfrac{(x-k)}{(1-\pi)}$

我认为以下是要求的。对于最后部分我感觉需要更换 $\hat{\pi}$ 与 $\dfrac{k}{x}$
$ℓ ‘ ‘ (\hat{π}) = - \frac{k}{{\hat{π}}^{2}} + \frac{x}{(1 - \hat{π})^{2}} s e (\hat{π}) = \sqrt{- \frac{1}{ℓ ‘ ‘ (\hat{π})}} s e (\hat{π}) = \sqrt{\frac{{\hat{π}}^{2}}{k} - \frac{(1 - \hat{π})^{2}}{x}}$ $\ell``(\hat{\pi}) = -\dfrac{k}{\hat{\pi}^2} + \dfrac{x}{(1-\hat{\pi})^2}\\ se(\hat{\pi}) = \sqrt{-\dfrac{1}{\ell``(\hat{\pi})}}\\ se(\hat{\pi}) = \sqrt{\dfrac{\hat{\pi}^2}{k} - \dfrac{(1-\hat{\pi})^2}{x}}\\$
我不确定如何证明这一点，并且仍在研究中。任何提示或有用的链接将不胜感激。我觉得这可能与负二项式分布可以看作是几何分布的集合有关，或者与二项式分布的倒数有关，但不确定如何处理。

任何帮助将不胜感激

self-study maximum-likelihood negative-binomial

— 西索尔
source

（1）要找到最大似然估计您需要找到对数似然函数达到最大值的位置。计算分数（相对于的对数似然函数的一阶导数）是一个开始-这将取最大值吗？（记住，您不需要估计。）

\hat{π}

$\hat \pi$

π

$\pi$

k

$k$

— Scortchi-恢复Monica

为了计算最大值，我忘记添加对数似然= 0的导数。如果我正确地认为了这一点（自发布以来仍在处理），我所拥有的就是

\frac{k}{π} - \frac{Σ_{i = 0}^{n} (x_{i} - k)}{(1 - π)} = 0

$\dfrac{k}{\pi}-\dfrac{\Sigma_{i=0}^n(x_i-k)}{(1-\pi)} = 0$

— Syzorr

请注意：另外请注意，开始在1

\sum_{i = 1}^{n} \frac{k}{π} - \sum_{i = 1}^{n} \frac{(x_{i} - k)}{(1 - π)} = ?

$\sum_{i=1}^n \frac{k}{\pi} - \sum_{i=1}^n{\frac{(x_i-k)}{(1-\pi)}} = \ ?$

i

$i$

— Scortchi -恢复莫妮卡

在（2）中，差的倒数很少是倒数的差。这个错误极大地影响了您的最终公式。

s e (\hat{π})

$se(\hat\pi)$

— ub

1。

$p(x) = {x_i-1 \choose k-1}\pi^k(1-\pi)^{x_i-k}$

$L(\pi;x_i) = \prod_{i=1}^{n}{x_i-1 \choose k-1}\pi^k(1-\pi)^{x_i-k}\\$

$\ell(\pi;x_i) = \sum_{i=1}^{n}[log{x_i-1 \choose k-1}+klog(\pi)+(x_i-k)log(1-\pi)]\\ \frac{d\ell(\pi;x_i)}{d\pi} = \sum_{i=1}^{n}[\dfrac{k}{\pi}-\dfrac{(x_i-k)}{(1-\pi)}]$

设置为零，

$\frac{nk}{\pi}=\frac{\sum_{i=1}^nx_i-nk}{1-\pi}$

$\therefore$ $\hat\pi=\frac{nk}{\sum_{i=1}^nx}$

2。

第二部分，您需要使用以下定理：，是此处的渔夫信息。因此，标准偏差将。或者您将其称为标准错误，因为您在此处使用CLT。 $\sqrt{n}(\hat\theta-\theta) \overset{D}{\rightarrow}N(0,\frac{1}{I(\theta)})$ $I(\theta)$ $\hat\theta$ $[nI(\theta)]^{-1/2}$

因此，我们需要计算负二项式分布的Fisher信息。

$\frac{\partial^2 \log(P(x;\pi))}{\partial\pi^2}=-\frac{k}{\pi^2}-\frac{x-k}{(1-\pi)^2}$

$I(\theta)=-E(-\frac{k}{\pi^2}-\frac{x-k}{(1-\pi)^2})=\frac{k}{\pi^2}+\frac{k(1-\pi)}{(1-\pi)^2\pi}$

注意：表示负二项式pmf $E(x) =\frac{k}{\pi}$

因此，对于标准误差是 $\hat \pi$ $[n(\frac{k}{\pi^2}+\frac{k(1-\pi)}{(1-\pi)^2\pi})]^{-1/2}$

简化我们得到我们得到 $se(\pi)=\sqrt{\dfrac{\pi^2(\pi-1)}{kn}}$

3。

当k = 1时，几何分布是负二项式分布的特殊情况。注意是几何分布 $\pi(1-\pi)^{x-1}$

因此，负二项式变量可以写为k个独立的，均匀分布的（几何）随机变量的总和。

因此，通过CLT，如果参数k足够大，负二项式分布将近似为正态分布

— 深北
source

请阅读我在这里可以询问哪些主题？关于自学问题：我们不是帮助人们做家庭作业，而是尝试帮助他们自己做。

— Scortchi-恢复莫妮卡

在计算MLE时，您确实需要考虑样本大小。您可能会混淆独立观测值的描述，每个都不是。一次观察到否的情况下达到故障（）所需的试验次数。达到故障所需的试验次数（）。前者给出的可能性；后者。

n

$n$

n

$n$

k

$k$

x_{1}, x_{2}, \dots, x_{n}

$x_1, x_2, \ldots, x_n$

k

$k$

n

$n$

\sum_{i = 1}^{n} π^{(} 1 - π)^{x_{i} - k}

$\sum_{i=1}^n{\pi^(1-\pi)^{x_i-k}}$

π^{k} (1 - π)^{n - k}

$\pi^k(1-\pi)^{n-k}$

— Scortchi-恢复莫妮卡

您是对的，我在这方面总是感到困惑。非常感谢你。我也在此板上提出了很多问题，但我确实希望人们能给我非常详细的答案，然后我可以自己一步一步地研究它。

— 2015年

是的我明白了为什么不提供太多细节的规则，但是这个答案加上我自己在演讲中的笔记，使我能够将很多零散的东西绑在一起。我打算今天就此与我的讲师交谈，以便他能澄清一下。现在是星期五。如上所述，作业应在周一到期。我们是在周三学到的，只有一个使用二项式分布的示例。非常感谢您提供详细信息。

— Syzorr

您在那儿工作有一些错误，因为I（θ）= E []而不是-E []（这一直困扰着我，直到我继续搜索您使用的方程式为止）最终以结尾

s e (π) = \sqrt{\frac{π^{2} (π - 1)}{k n}}

$se(\pi)=\sqrt{\dfrac{\pi^2(\pi-1)}{kn}}$

— Syzorr 2015年