一个不可能的估计问题？

题

负二项式（NB）分布的方差始终大于其均值。当样本均值大于其方差时，尝试以最大似然或矩估计拟合NB的参数将失败（没有有限参数的解决方案）。

但是，从NB分布获取的样本的平均值可能大于方差。这是R中的可复制示例。

set.seed(167)
x = rnbinom(100, size=3.2, prob=.8);
mean(x) # 0.82
var(x) # 0.8157576

NB将产生无法估计参数的样本的可能性为非零（通过最大似然法和矩量法）。

可以对此样本给出合理的估计吗？
当没有为所有样本定义估计量时，估计理论怎么说？

关于答案

@MarkRobinson和@Yves的答案使我意识到参数化是主要问题。NB的概率密度通常写为

P (X = k) = \frac{Γ (r + k)}{Γ (r) k!} (1 - p)^{r} p^{k}

$P(X = k) = \frac{\Gamma(r+k)}{\Gamma(r)k!}(1-p)^rp^k$ 或

P (X = k) = \frac{Γ (r + k)}{Γ (r) k!} {(\frac{r}{r + m})}^{r} {(\frac{m}{r + m})}^{k} .

$P(X = k) = \frac{\Gamma(r+k)}{\Gamma(r)k!} \left(\frac{r}{r+m}\right)^r \left(\frac{m}{r+m}\right)^k.$

在第一个参数化下，每当样本的方差小于均值时，最大似然估计为，因此关于不能说有用。根据第二，它是，所以我们可以给的合理估计。最后，@ MarkRobinson表明我们可以使用解决无限值问题 $(\infty, 0)$ $p$ $(\infty, \bar{x})$ $m$ 代替。 $\frac{r}{1+r}$ $r$

总之，这个估计问题从根本上没有错，只是您不能总是对每个样本给出和有意义的解释。公平地说，这两个答案中都包含了这些想法。我选择@MarkRobinson中的那个作为他给出的补码的正确选择。 $r$ $p$

estimation maximum-likelihood negative-binomial

— gui11aume
source

陈述最大可能性在这种情况下失败是不正确的。只有片刻的方法可能会遇到困难。

— 西安

@西安你能扩大吗？该样品的似然度在域中没有最大

（也可参见此为实例）。我想念什么吗？无论如何，如果您可以针对这种情况给出参数的ML估计值，我将更新问题。

(0, \infty) \times (0, 1)

$(0,\infty) \times (0,1)$

— gui11aume15 2015年

对于

和

该可能性在无限距离处可能具有最大值。Lomax分布也有类似的问题，但诊断更简单：已知当样本的变异系数

时，形状的ML估计是无限的。然而，对于任何样本大小，此事件的概率都是正的，并且对于例如

且

，该概率非常大。

p \to 0

$p \to 0$

r \to \infty

$r \to \infty$

CV < 1

$\text{CV} < 1$

α = 20

$\alpha = 20$

n = 200

$n = 200$

— 伊夫2015年

@Yves感谢另一个示例（我不知道）。人们在这种情况下会做什么？

— gui11aume15年

在Lomax示例中，某些人会选择使用指数分布，这是

和

的极限。归结为接受无限的ML估计。为了通过重新参数化保持不变，我相信在某些情况下无限参数是有意义的。对于您的NB示例，如果我们选择使用

所得的泊松分布，则会发生同样的情况。

α \to \infty

$\alpha \to \infty$

λ / α \to θ > 0

$\lambda / \alpha \to \theta >0$

r p / (1 - p) \to λ

$rp/(1-p) \to \lambda$

— 伊夫2015年

Answers:

基本上，对于您的样本，size参数的估计值位于参数空间的边界上。也可以考虑重新设置参数，例如d = size /（size + 1）; 当size = 0时，d = 0，当大小趋于无穷大时，d接近1。事实证明，对于给定的参数设置，无穷大（d接近1）的大小估计发生在大约13％的时间Cox-Reid调整轮廓似然（APL）估计，它是NB的MLE估计的替代方法（此处显示示例）。均值参数（或“概率”）的估计似乎还可以（见图，蓝线是真实值，红点是您的seed = 167样本的估计）。有关APL理论的更多详细信息，请参见此处。

因此，我想对1.说：可以得到不错的参数估计值。给定样本，size = infinity或离散度= 0是合理的估计值。考虑不同的参数空间，估计将是有限的。

— 马克·罗宾逊
source

感谢您加入该网站回答我的问题！Cox-Reid调整轮廓可能性的细节看起来很有希望。

— gui11aume15年

在负二项式（NB）的示例中，对于和，域的边界上 $p \to 0$ $r \to \infty$ $\Theta := (0,\,1)\times(0,\,\infty)$ $\lambda >0$ 连同路径移动，和 $[p,\,r] \in \Theta$ $p \to 0$ $r \to \infty$ $rp/(1-p) \to \lambda$

$\text{CV} < 1$ $>0.3$ $\alpha = 20$ $n = 200$

ML属性适用于较大的样本量：在规则条件下，ML估计存在，唯一且倾向于真实参数。但是对于给定的有限样本量，ML估计可能无法在域中存在，例如，因为在边界上达到了最大值。它也可以存在于比用于最大化的域更大的域中。

$\alpha \to \infty$ $\lambda / \alpha \to \theta >0$ $\text{GPD}(\sigma,\,\xi)$ $\xi >0$ $\widehat{\xi} < 0$ $\widehat{\xi} = 0$

为了通过重新参数化保持不变，我相信在某些情况下无限参数是有意义的。

— 伊夫
source