分层模型中的Fisher信息


20

给定以下层次模型, 和 其中是正态分布。有没有办法来得到一个确切的表达式的边缘分布的Fisher信息给出Ç。也就是说,什么是Fisher信息: p(x | c)= \ int p(x | \ mu)p(\ mu | c)d \ mu 在给定c的情况下,我可以得到X的边际分布的表达式。但是区分wrt c然后接受期望似乎非常困难。我是否缺少明显的东西?任何帮助,将不胜感激。μ 大号一个p Ç ë0 Ç ÑX Ç p X | C ^ = p X | μ p μ | C ^ ð μ X ç ç

XN(μ,1),
μLaplace(0,c)
N(,)Xc
p(x|c)=p(x|μ)p(μ|c)dμ
Xcc

我自己尝试过,但是这超出了我的能力。绝对值函数破坏了一切!基本上,您只能使用数值方法。
概率

3
@概率只需将积分分为和区域,就可以得到被积分数的表达式;不需要绝对值。但是结果是,和误差函数的有理有理函数,因此不可能以闭合形式积分。μ0μ<0xexp(x2)
ub

1
@whuber-这就是我所说的“希望”。并不是说积分是不可能的,而是渔夫信息是不可能的。因为您必须对两种类型的积分之比取的期望值X
概率

1
在这种情况下,Fisher信息的下限是。与普通的相比,是否有可能在Fisher信息上获得更严格的上界?1/(1+2c2)1+1/c2
emakalic 2011年

尽管解析解决方案在人类可操作性方面(数学家学科之外)将是一个挑战,但对于近似的计算解决方案是否可以接受?可以进行随机模拟,然后查看拟合的近似值。
EngrStudent-恢复莫妮卡

Answers:


2

您提供的层次模型的Fisher信息没有封闭形式的解析表达式。实际上,Fisher信息只能针对指数族分布进行解析计算。对于指数族,在足够的统计量中对数似然是线性的,并且足够的统计量具有已知的期望。对于其他分布,对数似然度不会以这种方式简化。拉普拉斯分布和分层模型都不是指数族分布,因此解析解决方案将是不可能的。


0

Normal和Laplace这两个来自指数族。如果您可以用指数形式来写分布,那么fisher信息矩阵就是指数族的对数归一化器的第二个梯度。


我认为通常的两参数Laplace不在指数族中。如果位置参数已知,则它将属于指数族,但我相信12exp(|xμ|)
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.