为什么Fisher信息矩阵为正半定号？

18

让。Fisher信息矩阵的定义为： $\theta \in R^{n}$

I (θ)_{i, j} = - E [\frac{\partial^{2} \log (f (X | θ))}{\partial θ_{i} \partial θ_{j}} | θ]

$I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right]$

如何证明Fisher信息矩阵是正半定的？

inference linear-algebra fisher-information

— Madprob
source

7

这不是分数与其自身的乘积的期望值吗？

— Neil G

19

检查一下：http : //en.wikipedia.org/wiki/Fisher_information#Matrix_form

根据定义，我们有

I_{i j} = E_{θ} [(\partial_{i} \log f_{X ∣ Θ} (X ∣ θ)) (\partial_{j} \log f_{X ∣ Θ} (X ∣ θ))],

$I_{ij} = \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] \, ,$ 对于

i, j = 1, \dots, k

$i,j=1,\dots,k$ ，其中

\partial_{i} = \partial / \partial θ_{i}

$\partial_i=\partial /\partial \theta_i$ 。在规则性条件下，您对

I_{i j}

$I_{ij}$ 表达式来自于此表达式。

对于非 $u = (u_1,\dots,u_k)^\top\in\mathbb{R}^n$ 向量，它来自于

\sum_{一世 ， Ĵ = 1个}^{ķ} ü_{一世} {一世}_{一世 Ĵ} ü_{Ĵ} = \sum_{一世 ， Ĵ = 1个}^{ķ} （ ü_{一世} Ë_{θ} [（ \partial_{一世} 日志 F_{X ∣ Θ} （ X ∣ θ ） ） （ \partial_{Ĵ} 日志 F_{X ∣ Θ} （ X ∣ θ ） ）] ü_{Ĵ} ） = Ë_{θ} [（ \sum_{一世 = 1个}^{ķ} ü_{一世} \partial_{一世} 日志 F_{X ∣ Θ} （ X ∣ θ ） ） （ \sum_{Ĵ = 1个}^{ķ} ü_{Ĵ} \partial_{Ĵ} 日志 F_{X ∣ Θ} （ X ∣ θ ） ）] = Ë_{θ} [{（ \sum_{一世 = 1个}^{ķ} ü_{一世} \partial_{一世} 日志 F_{X ∣ Θ} （ X ∣ θ ） ）}^{2}] \geq 0 。

$\sum_{i,j=1}^k u_i I_{ij} u_j = \sum_{i,j=1}^k \left( u_i \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] u_j \right) \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\sum_{j=1}^k u_j \partial_j \log f_{X\mid\Theta} (X\mid\theta)\right)\right] \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right)^2 \right] \geq 0 \, .$

如果此分量明智的表示法太丑陋，请注意，费舍尔信息矩阵可以写成，其中分数向量定义为 $H=(I_{ij})$ $H = \mathrm{E}_\theta\left[S S^\top\right]$ $S$

小号 = {（ \partial_{1个} 日志 F_{X ∣ Θ} （ X ∣ θ ） ， \dots ， \partial_{ķ} 日志 F_{X ∣ Θ} （ X ∣ θ ） ）}^{⊤} 。

$S = \left( \partial_1 \log f_{X\mid\Theta}(X\mid\theta), \dots, \partial_k \log f_{X\mid\Theta}(X\mid\theta) \right)^\top \, .$

因此，我们有单线

ü^{⊤} H ü = ü^{⊤} Ë_{θ} [小号 {小号}^{⊤}] ü = Ë_{θ} [ü^{⊤} 小号 {小号}^{⊤} ü] = Ë_{θ} [| | {小号}^{⊤} ü | |^{2}] \geq 0。

$u^\top H u = u^\top \mathrm{E}_\theta[S S^\top] u = \mathrm{E}_\theta[u^\top S S^\top u] = \mathrm{E}_\theta\left[|| S^\top u ||^2\right] \geq 0.$

— 禅
source

3

（+1）好的答案，欢迎回来，Zen。我开始担心，鉴于您的中断时间长，我们可能会永久失去您。那真是太可惜了！

— 2013年

5

警告：不是一般性答案！

如果对应于一个完整的指数族，则对数似然的负Hessian是足够统计量的协方差矩阵。协方差矩阵始终是正半定的。由于Fisher信息是正半定矩阵的凸组合，因此它也必须是正半定矩阵。 $f(X|\theta)$

— 古斯
source