为什么要分解贝叶斯定理中的分母?


23

(我是统计工作的新手。我是数学家和程序员,我正在尝试构建类似朴素的贝叶斯垃圾邮件过滤器的工具。)

我注意到许多地方人们倾向于分解贝叶斯定理方程中的分母。所以代替这个:

P(A|B)P(B)P(A)

我们看到了这个:

P(A|B)P(B)P(A|B)P(B)+P(A|¬B)P(¬B)

您可以看到此约定在本Wikipedia文章和Tim Peters的这篇有深刻见解的帖子中使用。

我对此感到困惑。为什么分母会这样分解?这对一切有什么帮助?计算有何复杂之处?对于垃圾邮件过滤器而言,这将是什么?P(A)The probability that the word "cheese" appears in an email, regardless of whether it's spam or not


我怀疑答案是特定于域的(即特定于垃圾邮件过滤器)。如果您可以计算出分量P(A | B)等,那么您应该能够按照您所说的那样计算出简单的P(A)。或者,也许让读者了解在P(A | B)而言P(A)及其分解之间的关系,答案是关系到教学,P(B)等

1
我没有很强的答案,但是我可以说我在测试中犯了一些愚蠢的错误,我可以简单地将给定插入显式分母中,但是我以为我知道P(A),我错了。
韦恩

Answers:


16

对您的问题的简短回答是:“大多数情况下,我们不知道P(奶酪)是什么,而且通常(相对)难以计算。”

为什么贝叶斯法则/定理通常以您写的方式来表达,这是一个较长的答案,这是因为在贝叶斯问题中-我们坐在膝盖上-先验分布(上述P(B))和似然性(P(A | B),上面的P(A | notB)和计算后验(P(B | A))是一个相对简单的乘法问题。麻烦以摘要形式重新表达P(A)是一项可以在其他地方花费的工作。

在电子邮件的上下文中,它似乎并不那么复杂,因为正如您正确指出的那样,它只是P(奶酪),对吗?问题在于,在战场上存在更多的贝叶斯问题时,分母是一个难看的整数,可能有也可能没有闭式解。实际上,有时我们需要复杂的蒙特卡洛方法,只是为了近似积分,搅动数字可能会给后面带来很大的麻烦。

但更重要的是,我们通常甚至不在乎P(cheese)是什么。请记住,我们正在努力磨练我们对电子邮件是否为垃圾邮件的信念,并且不要在意数据的边际分布(上面的P(A))。无论如何,它只是一个规范化常数,与参数无关。求和操作会洗净关于参数的任何信息。该常数很容易计算,并且最终与我们对电子邮件是否为垃圾邮件的置信度为零时无关。有时我们不得不计算它,在这种情况下,最快的方法是使用我们已经拥有的信息:先验和可能性。


有人可以提供“一个难看的积分,可能有也可能没有一个封闭形式的解决方案”的例子吗?
PaulG

8

使用总概率规则的原因之一是,我们经常处理该表达式中的组件概率,并且只需插入值即可直接找到边际概率。有关此示例的说明,请参见Wikipedia上的以下示例:

另一个原因是通过操纵该表达式来识别贝叶斯规则的等效形式。例如:

P(B|A)=P(A|B)P(B)P(A|B)P(B)+P(A|¬B)P(¬B

用分子除以RHS:

P(B|A)=11+P(A|¬B)P(A|B)P(¬B)P(B)

这是贝叶斯定律的一个很好的等效形式,通过从原始表达式中减去它来获得以下代码,它甚至变得更方便:

P(¬B|A)P(B|A)=P(A|¬B)P(A|B)P(¬B)P(B)

这是用赔率表示的贝叶斯规则,即,对B的后验几率=对B的贝叶斯因数乘以对B的先验比数。(或者您可以将其求反以得到对B的比数的表达式。)贝叶斯因数是模型的似然比。鉴于我们不确定底层数据生成机制,因此我们观察数据并更新我们的信念。

我不确定您是否觉得这有用,但希望它不会令人困惑;您显然应该使用最适合您的方案的表达式。也许其他人可以以更好的理由进行讨论。


您可以更进一步并记录日志。然后,您有对数后验比率 = 对数先验比率 + 对数似然比
概率

6

先前的答复已经足够详细,但是直观地了解了为什么(即贝叶斯定理中的分母)分为两种情况。P一种

在不知道电子邮件是ham还是spam的情况下,很难评论是什么。您是正确的,“ cheese”出现在垃圾邮件中还是出现在垃圾邮件中,但是如果您查看“ cheese”出现的可能性,因为该电子邮件是ham(,代表ham),你绝对可以说很多。至少就我而言,我没有收到很多包含奶酪的垃圾邮件,因此就我而言,很高(例如90%)。同样,在我的情况下,会很低,因为不是很多垃圾邮件都包含“奶酪”一词。基本上,我们尝试查看感兴趣事件的发生(此处P一种P一种|P一种|P一种|¬)划分为两个不相交的事件,和。如果将A划分为两个独立的事件,则可以更好地说明条件概率和。为了获得总概率,我们还需要权衡我们以其为条件的事件的发生的条件概率,即和。因此,最终表达式 B¬BP(A|B)P(A|¬B)P(B)P(¬B)

P(A)=P(A|B)P(B)+P(A|¬B)P(¬B)
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.