为什么要精确使用观察到的Fisher信息？

17

在标准的最大似然设定（IID样品从一些分布密度）），并在正确指定模型的情况下，Fisher信息由下式给出 $Y_{1}, \ldots, Y_{n}$ $f_{y}(y|\theta_{0}$

I (θ) = - E_{θ_{0}} [\frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)]

$I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right]$

相对于生成数据的真实密度的期望值。我已经阅读了观察到的Fisher信息

\hat{J} (θ) = - \frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)

$\hat{J}(\theta) = -\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta)$

之所以使用，主要是因为在某些情况下，计算（预期）Fisher信息所涉及的积分可能不可行。是什么让我困惑的是，即使积分是可行的，期望有相对于真实模型，即涉及到未知参数值取。如果是这样的情况下，它似乎不知道是不可能的计算。这是真的？ $\theta_{0}$ $\theta_{0}$ $I$

maximum-likelihood fisher-information

— 用户名
source

13

你有这里四季quanties：真正的参数，一致的估计，预期的信息在和观测信息在。这些量只是渐近地等效，但是通常就是这样使用它们的。 $\theta_0$ $\hat \theta$ $I(\theta)$ $\theta$ $J(\theta)$ $\theta$

观测信息在概率收敛于期望信息
$J (θ_{0}) = \frac{1}{N} \sum_{i = 1}^{N} \frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y_{i} | θ_{0})$ $J (\theta_0) = \frac{1}{N} \sum_{i=1}^N \frac{\partial^2}{\partial \theta_0^2} \ln f( y_i|\theta_0)$ 时是独立同分布的样品从。这里表示的期望的W / R / T由索引的分配：。这种融合成立是因为大数法则，所以假设 $I (θ_{0}) = E_{θ_{0}} [\frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y | θ_{0})]$ $I(\theta_0) = E_{\theta_0} \left[ \frac{\partial^2}{\partial \theta_0^2} \ln f( y| \theta_0) \right]$ $Y$ $f(\theta_0)$ $E_{\theta_0} (x)$ $\theta_0$ $\int x f(x | \theta_0) dx$ 在这里至关重要。 $Y \sim f(\theta_0)$
当你有一个估计会聚在概率真实参数（即，是一致的），那么你可以用它替换任何地方，你看到一个以上，基本上是由于连续映射定理，和所有趋同继续存在。 $\hat \theta$ $\theta_0$ $\theta_0$ $^*$

实际上，它似乎有点微妙。 $^*$

备注

正如您所猜测的，观察到的信息通常更易于使用，因为微分比积分更容易，并且您可能已经在一些数值优化的过程中对其进行了评估。在某些情况下（正态分布），它们将是相同的。

Efron和Hinkley（1978）的文章“评估最大似然估计器的准确性：观测到的与预期的Fisher信息”提出了一个论点，即对有限样本的观测信息有利。

— 安德鲁·M
source

4

有一些模拟研究似乎支持Efron＆Hinkley的理论观察（在安德鲁的答案中提到），这是我所知道的副手：Maldonado，G.和Greenland，S.（1994）。当正确的模型形式未知时，基于模型的置信区间的性能比较。流行病学，第5期，171-182。我还没有看到任何有冲突的研究。有趣的是，我所知道的标准GLM软件包使用预期的信息来计算Wald间隔。当然，当观察到的和期望的信息矩阵相等时（如在自然参数中呈线性的GLM中），这不是问题。

— 桑德·格陵兰
source