2
通过蒙特卡洛采样估计信息熵
我正在寻找一种方法,当从该分布进行采样的唯一实际方法是蒙特卡洛方法时,该方法可以估计该分布的信息熵。 我的问题与标准的Ising模型没有什么不同,该模型通常用作Metropolis-Hastings采样的入门示例。我有超过一组的概率分布,即我有p (一)对于每个一∈ 甲。元素一∈ 一个是组合性质的,伊辛状态,并且有一个非常高的数字他们的。这意味着在实践中,从计算机上的此分布进行采样时,我永远不会两次获得相同的采样。p (a )不能直接计算(由于不知道归一化因子),但是比率p (a一个AAp (a )p(a)p(a)一∈ 一a∈Aa \in A一∈ 一a∈Aa \in Ap (a )p(a)p(a)很容易计算。p (一1个)/ p (a2)p(a1)/p(a2)p(a_1)/p(a_2) 我想估计这种分布的信息熵 S=−∑a∈Ap(a)lnp(a).S=−∑a∈Ap(a)lnp(a). S = -\sum_{a \in A} p(a) \ln p(a). 或者,我想估计此分布与通过将分布限制为的子集(当然还有重新归一化)而获得的熵差。a∈A1⊂Aa∈A1⊂Aa\in A_1 \subset A