有关Fisher信息矩阵以及与Hessian和标准误差的关系的基本问题

好的，这是一个非常基本的问题，但是我有点困惑。我在论文中写道：

通过计算（观察到的）Fisher Information矩阵对角元素的平方根的倒数，可以找到标准误差：

由于R中的优化命令最小化-日志大号的（观察到的）费舍尔信息矩阵可以通过计算的Hessian的逆找到： 我（μ，σ2）=^ h-

$$\begin{align*} s_{\hat{\mu},\hat{\sigma}^2}=\frac{1}{\sqrt{\mathbf{I}(\hat{\mu},\hat{\sigma}^2)}} \end{align*}$$ $-\log\mathcal{L}$ $$\begin{align*} \mathbf{I}(\hat{\mu},\hat{\sigma}^2)=\mathbf{H}^{-1} \end{align*}$$

我的主要问题：这是我所说的正确吗？

我有些困惑，因为在第7页的此资源中它说：

信息矩阵是黑森州矩阵的期望值的负数

（因此，没有黑森州的反面。）

而在第7页（脚注5）的此来源中指出：

所观察到的Fisher信息等于。$(-H)^{-1}$

（所以这是相反的。）

我知道减号，何时使用减号，何时不使用，但是为什么取反号与否有区别？

Yudi Pawitan在他的《所有可能性》一书中写道，以最大似然估计（MLE）评估的对数可能性的二阶导数是观测到的Fisher信息（另请参见本文档，第2页）。这正是大多数优化算法optim的R回报：Hessian在MLE上进行了评估。当负对数可能性最小化，返回负的Hessian。正如您正确指出的那样，MLE的估计标准误差是观察到的Fisher信息矩阵逆矩阵的对角元素的平方根。换句话说：Hessian的逆（或负Hessian）的对角元素的平方根是估计的标准误差。

摘要

• 在MLE处评估的负Hessian与在MLE处评估的观察到的Fisher信息矩阵相同。
• 关于您的主要问题：不，通过反转（负）粗体可以找到观察到的Fisher信息是不正确的。
• 关于第二个问题：（负）Hessian的逆是渐近协方差矩阵的估计。因此，协方差矩阵对角线元素的平方根是标准误差的估计量。
• 我认为您链接到的第二个文档弄错了。

正式地

$l(\theta)$ $\mathbf{I}(\theta)$$(p\times p)$

$$\mathbf{I}(\theta)=-\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$$ $\mathbf{I}(\hat{\theta}_{\mathrm{ML}})$ $$\mathbf{H}(\theta)=\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$$

$$\mathrm{Var}(\hat{\theta}_{\mathrm{ML}})=[\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}$$ $$\hat{\theta}_{\mathrm{ML}}\stackrel{a}{\sim}\mathcal{N}\left(\theta_{0}, [\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}\right)$$ $\theta_{0}$ $$\mathrm{SE}(\hat{\theta}_{\mathrm{ML}})=\frac{1}{\sqrt{\mathbf{I}(\hat{\theta}_{\mathrm{ML}})}}$$

估计似然函数需要两步过程。

首先，声明对数似然函数。然后优化对数似然函数。没关系。

$-1*l$$l$

$(-H)^-1$