最大似然估计量-置信区间

如何从一个参数的MLE开始构造一个真实参数的渐近置信区间？

使用以下事实：对于给定大小为的iid样本，在某些规则性条件下，MLE是真实参数的一致估计量，并且其分布渐近正态，方差由的倒数确定费舍尔信息：$n$$\hat{\theta}$$\theta_0$

$$\sqrt{n}\left(\hat{\theta}-\theta_0\right) \rightarrow \mathcal{N}\left(0,\frac{1}{\mathcal{I}_1(\theta_0)}\right)$$ ，其中是来自单个样本的Fisher信息。在MLE处观察到的信息趋于渐近于预期的信息，因此您可以使用以下公式计算（例如95％）置信区间：$\mathcal{I}_1(\theta_0)$$I(\hat{\theta})$

$$\hat{\theta} \pm \frac{1.96}{\sqrt{nI_1\left(\hat\theta\right)}}$$

例如，如果是零截断的Poisson变量，则可以根据MLE（必须通过数字计算）获得观测信息的公式： $X$

$$\newcommand{\e}{\mathrm{e}}\newcommand{\d}{\operatorname{d}}f(x) = \frac{\e^{-\theta}\theta^x}{x!(1-e^{-\theta})}$$

$$\ell(\theta)=-\theta+ x\log\theta -\log(1-\e^{-\theta})$$

$$\frac{\d\ell(\theta)}{\d\theta} = -1 +\frac{x}{\theta} - \frac{\e^{-\theta}}{1-\e^{-\theta}}$$

$$I_1\left(\hat{\theta}\right)=-\frac{\d^2\ell\left(\hat\theta\right)}{\left(\d\hat\theta\right)^2} = \frac{x}{\hat\theta} - \frac{\e^{-\hat\theta}}{\left(1-\e^{-\hat{\theta}}\right)^2}$$

常规条件排除的值得注意的情况包括

• 参数确定数据的支持，例如从零和之间的均匀分布中采样$\theta$$\theta$
• 干扰参数的数量随样本量的增加而增加