为什么增加对数概率比相乘概率快？

为了解决这个问题，在计算机科学中，我们经常要计算以下几种概率的乘积：

P(A,B,C) = P(A) * P(B) * P(C)

最简单的方法就是将这些数字相乘，这就是我要做的。但是，老板说最好添加概率的日志：

log(P(A,B,C)) = log(P(A)) + log(P(B)) + log(P(C))

这给出了对数概率，但是如果需要，我们可以在以后获得概率：

P(A,B,C) = e^log(P(A,B,C))

日志添加被认为更好，原因有两个：

1. 它防止“下溢”，因为下溢的概率乘积如此之小，以至于四舍五入为零。由于概率通常很小，因此这通常是一种风险。
2. 它之所以快，是因为许多计算机体系结构执行加法的速度比乘法快。

我的问题是关于第二点。这就是我所看到的描述方式，但是没有考虑获取日志的额外费用！我们应该将“原木成本+加成成本”与“乘法成本”进行比较。考虑到这一点，它还会变小吗？

同样，Wikipedia页面（对数概率）在这方面令人困惑，指出“转换为对数格式很昂贵，但是只发生一次。” 我不明白这一点，因为我认为您需要在添加之前独立记录每个术语的日志。我想念什么？

最后，“计算机执行加法的速度比乘法快”的说法有点含糊。这是特定于x86指令集的，还是处理器体系结构的一些更基本的特征？

同样，Wikipedia页面（https://en.wikipedia.org/wiki/Log_probability）在这方面令人迷惑，指出“转换为日志格式很昂贵，但只发生一次。” 我不明白这一点，因为我认为您需要在添加之前独立记录每个术语的日志。我想念什么？

如果只想计算一次，那么您是对的。您将必须计算n个对数和n - 1个加法，而朴素方法需要n - 1个乘法。$P(A_1)\ldots P(A_n)$$n$$n-1$$n-1$

但是，您通常希望回答以下形式的查询：

计算对于某一子集我的{ 1 ，... Ñ }。$\prod_{i \in I} P(A_i)$$I$$\{1, \ldots n\}$

在这种情况下，您可以预处理数据以仅计算一次所有，然后通过|来回答每个查询。我| 补充。$\log P(A_i)$$|I|$

最后，“计算机执行加法的速度比乘法快”的说法有点含糊。这是特定于x86指令集的，还是处理器体系结构的一些更基本的特征？

这是一个更广泛的问题。通常，计算乘法比（加法）难。计算在a和b的大小上是线性的（使用平凡的算法），而我们目前不知道如何以相同的时间复杂度来计算a × b（在此处查看最佳算法）。$a+b$$a$$b$$a\times b$

当然，没有明确的答案：例如，如果您仅处理整数并且乘以的幂，那么您应该将shift与add操作进行比较。$2$

但是，这在所有通用计算机体系结构上都是合理的说法：浮点数的乘法将比加法慢。

$N$$p_1,...p_N$$p_i$

$N$

$O(n)$$n$$O(n^2)$

顺便说一句，这个想法类似于蒙哥马利模乘，后者以蒙哥马利的形式执行乘法，比通常的乘法然后归约要快得多。