对数概率与概率乘积


17

根据这一维基百科文章,可以使概率的乘积表示x⋅y-log(x) - log(y)使计算在计算上更优化。但是,如果我尝试一个示例,请说:

p1 = 0.5
p2 = 0.5
p1 * p2 = 0.25
-log(p1) - log(p2) = 2

p3 = 0.1
p4 = 0.1
p3 * p4 = 0.01
-log(p3) - log(p4) = 6.64

概率的产品p1p2高则的一个p3p4,但数概率较低。

怎么来的?


2
怎么了?较小的概率得到较大的值,因为增加从0p = 1朝向p 0logp0p=1p0
Dilip Sarwate 2014年

5
(+1)为什么要投票?我认为这是一个写得很好的话题,尽管非常基础。
Juho Kokkala 2014年

@DilipSarwate我的问题不是数学部分,而是这种表示概率的特殊方式。也许仅仅是适应它就可以了。
spacemonkey 2014年

Answers:


22

恐怕您误解了这篇文章的意图。这并不奇怪,因为它写得有些不清楚。有两种不同的情况。

首先是简单地在对数刻度上工作。

也就是说,而不是“ ”(当你有独立的),一个可以代替写“ 日志p = 日志p + 日志p ”。如果您需要实际的概率,则可以在最后求幂以获得p A BpAB=pApBlog(pAB)=log(pA)+log(pB)pABpAB=elog(pA)+log(pB),

logplogp

logp1<p2log(pA)<log(p2)logp

logp

si=log(pi) (s for 'surprise value'), then pAB=e[sA+sB]. As you see, that reverses direction a second time, giving us back what we need.


2
+1 "Think of negative log probability as a scale of "rarity" - the larger the number, the rarer the event is"
Zhubarb
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.