黑森矩阵和协方差矩阵之间的关系

在研究最大似然估计时，要进行最大似然估计的推论，我们需要知道方差。要找出方差，我需要知道Cramer的Rao下界，它看起来像是在曲率上具有二阶导数的Hessian矩阵。我有点混在一起来定义协方差矩阵和粗麻布矩阵之间的关系。希望听到有关该问题的一些解释。一个简单的例子将不胜感激。

您应该首先查看有关Fisher信息矩阵的基本问题以及与Hessian和标准误差的关系

假设我们有一个统计模型（家庭分布）。在最一般的情况下，我们有d 我米（Θ ）= d，所以该家族由参数θ = （θ 1，...... ，θ d ）Ť。在一定的规律性条件下，我们有$\{f_{\theta}: \theta \in \Theta\}$$dim(\Theta) = d$$\theta = (\theta_1, \dots, \theta_d)^T$

$$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$$

其中是费希尔信息矩阵（作为的函数θ）和X是观察到的值（样品）$I_{i,j}$$\theta$$X$

$$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$$

因此Fisher信息矩阵是在一定θ条件下对数概率Hesian的否定期望值$\theta$

现在假设我们要估计未知参数某些矢量函数。通常期望估计器T （X ）= （T 1（X ），… ，T d（X ））是无偏的，即$\psi(\theta)$$T(X) = (T_1(X), \dots, T_d(X))$

$$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$$

克拉美-罗下界状态，对于每一个无偏 的C ^ Ô v θ（Ť （X ））满足$T(X)$$cov_{\theta}(T(X))$

$$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$$

其中用于矩阵装置，其甲- 乙是半正定的，＆PartialD;＆ψ （θ $A \ge B$$A - B$是一个简单的雅可比Ĵ我，Ĵ（ψ）。请注意，如果我们估计θ，即ψ（θ）=θ，则以上简化为$\frac{\partial\psi(\theta)}{\partial\theta}$$J_{i,j}(\psi)$$\theta$$\psi(\theta) = \theta$

$$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$$

但是它真的告诉我们什么？例如，回想一下

$$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$$

$A$

$$\forall_i\ A_{i,i} \ge 0$$

从上面我们可以得出结论，每个估计元素的方差都由矩阵对角元素界定$B(\theta)$

$$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$$

因此，CRLB不会告诉我们估计量的方差，但是我们的估计量是否最优，即在所有无偏估计量中其协方差最低。