将很小的似然值转换（归一化）为概率

我正在编写一种算法，在给定模型的情况下，我计算一组数据集的似然度，然后需要对每种似然度进行标准化（以概率表示）。因此[0.00043，0.00004，0.00321]之类的内容可能会转换为[0.2，0.03，0.77]之类的内容。

我的问题是，我正在使用的对数可能性很小（例如，在对数空间中，值类似于-269647.432，-231444.981等）。在我的C ++代码中，当我尝试添加两个（通过采用它们的指数）时，得到的答案是“ Inf”。我试图将它们添加到日志空间（日志的加法/减法）中，但是再次遇到相同的问题。

谁能对此发表自己的见解？

从所有日志中减去最大对数。丢弃所有负数的结果，它们将使指数下溢。（实际上，它们的可能性为零。）

事实上，如果要的相对精度$\epsilon$（如$\epsilon = 10^{-d}$为$d$的精度位数）和你有$n$似然性，扔掉任何结果小于对数$\epsilon/n$。然后像往常一样继续对结果值取幂，然后将每个值除以所有指数的和。

$\lambda_1, \lambda_2, \ldots, \lambda_n$b > $\lambda_n = \max(\lambda_i)$$b\gt 1$

$$\alpha_i = \cases{ b^{\lambda_i - \lambda_n}, \lambda_i - \lambda_n \ge \log(\epsilon)-\log(n) \\ 0\quad \text{otherwise}.}$$

归一化的可能性等于， 之所以，是因为将所有其他下溢的替换为零会导致总错误最多为而因为并且所有均为非负数，分母，因此归零替换规则导致的总相对误差严格小于，视需要而定。我= 1 ，2 ，... ，Ñ 。α 我（ñ - 1 ）ε / Ñ < ε α Ñ = b λ ñ - λ Ñ = b 0 = 1 α 我甲= Σ Ĵ α Ĵ ≥ 1 （（ñ - $\alpha_i / \sum_{j=1}^n \alpha_j$$i = 1, 2, \ldots, n.$$\alpha_i$$(n-1)\epsilon/n\lt \epsilon$$\alpha_n=b^{\lambda_n-\lambda_n}=b^0=1$$\alpha_i$$A = \sum_j \alpha_j \ge 1$$\left((n-1)\epsilon/n \right) / A \lt \epsilon$

为避免舍入误差太大，请从的最小值开始计算总和。当第一次按升序排序时，这将自动完成。仅考虑非常大的。λ 我$\alpha_i$$\lambda_i$$n$

顺便说一句，该规定假设原木的底数大于。对于小于的底数，首先求反所有对数，然后继续进行，就好像底数等于。b 1 1 /$1$$b$$1$$1/b$

---

例

设三个具有对数（例如，自然对数）的值等于和 最后一个是最大的。从每个值中减去它得出和- 231444.981 ，- 231444.699。- 38202.733 ，- 0.282 ，$-269647.432,$ $-231444.981,$$-231444.699.$$-38202.733,$ $-0.282,$$0.$

假设您想要的精度可与IEEE双精度（约16个十进制数字）相比，因此和。（您实际上无法达到此精度，因为仅分配给三个有效数字，但这没关系：我们只是丢弃那些保证不会影响您想要的精度和实际精度更好的值计算。 = = 第一次的三点区别，低于这一点，所以把它扔掉，只留下和 幂他们给 n = 3 − 0.282 log （ϵ / n ）log （10 − 16）− log （3 ）− 37.93997。- 38202.733 ，- 0.282 0 EXP （- 0.282 ）= 0.754 EXP （0 ）= 1 0 0.754 /（1 + 0.754 ）$\epsilon=10^{-16}$$n=3$$-0.282$$\log(\epsilon/n)$$\log(10^{-16}) - \log(3)$$-37.93997.$$-38202.733,$$-0.282$$0.$$\exp(-0.282) = 0.754$和（当然）。的归一化值是-在order--你扔掉了一个，，和。$\exp(0)=1$$0$$0.754 / (1 + 0.754) = 0.430$$1/(1+0.754)=0.570$