为什么我得到的信息熵大于1？

我实现了以下函数来计算熵：

from math import log

def calc_entropy(probs):
    my_sum = 0
    for p in probs:
        if p > 0:
            my_sum += p * log(p, 2)

    return - my_sum

结果：

>>> calc_entropy([1/7.0, 1/7.0, 5/7.0])
1.1488348542809168
>>> from scipy.stats import entropy # using a built-in package 
                                    # give the same answer
>>> entropy([1/7.0, 1/7.0, 5/7.0], base=2)
1.1488348542809166

我的理解是熵在0到1之间，0表示非常确定，而1表示非常不确定。为什么我得到的熵测量值大于1？

我知道，如果我增加对数基数的大小，则熵测度会较小，但是我认为基数2是标准的，所以我不认为这是问题所在。

我一定缺少明显的东西，但是呢？

熵和概率是不一样的。

熵衡量随机变量的“信息”或“不确定性”。使用基数2时，以位为单位；并且一个变量中可以包含多个信息。

在此示例中，一个样本“包含”约1.15位的信息。换句话说，如果您能够完美地压缩一系列样本，则每个样本平均需要那么多比特。

熵的最大值是 $\log k$，在哪里 $k$是您使用的类别数。它的数值自然取决于您使用的对数的底数。

以2为底的对数为例，如下所示： $\log_2 1$ 是 $0$ 和 $\log_2 2$ 是 $1$，因此结果大于 $1$ 如果类别数是 $1$ 要么 $2$。大于$1$ 如果超过则将是错误的 $\log_2 k$。

鉴于此，通过 $\log k$，因此结果的确介于 $0$ 和 $1$，

试试这个（注意基础 $e$）：

from math import log

def calc_entropy(probs):
    my_sum = 0
    for p in probs:
        if p > 0:
            my_sum += p * log(p)

    return - my_sum

给予：

>>> calc_entropy([1/7.0, 1/7.0, 5/7.0])
0.796311640173813