贝叶斯定理直觉

22

我一直在尝试根据先验，后验，似然和边际概率对贝叶斯定理进行基于直觉的理解。为此，我使用以下等式：其中代表假设或信念，代表数据或证据。我已经了解了后验的概念-它是一个结合了先验信念和事件可能性的统一实体。我不明白的是什么呢的可能性，意味着什么？为什么边际

P （ 乙 | 一种 ） = \frac{P （ 一种 | 乙 ） P （ 乙 ）}{P （ 一种 ）}

$P(B|A) = \frac{P(A|B)P(B)}{P(A)}$

A

$A$

B

$B$
分母中的概率？
在回顾了一些资源之后，我发现了这句话：

的似然性是事件的重量通过的发生给定 ...是后验事件的概率，假定事件已经发生。 $B$ $A$ $P(B|A)$ $B$ $A$

以上2句话对我来说似乎是相同的，只是写法不同。谁能解释一下两者之间的区别？

bayesian likelihood intuition

— 阿纳斯·阿尤比（Anas Ayubi）
source

4

您有错别字（或误解）。应该是您的表述中的“假设或信念”，而应该是“数据或证据”。

B

$B$

A

$A$

— gung-恢复莫妮卡

1

请参阅math.stackexchange.com/a/1943255/1505上的答案，这就是我最终对它的直观理解

— Lyndon White

27

尽管在贝叶斯定律中列出了四个组成部分，但我更喜欢从三个概念性组成部分来考虑：

\underset{2}{\underset{⏟}{P （ 乙 | 一种 ）}} = \underset{3}{\underset{⏟}{\frac{P （ 一种 | 乙 ）}{P （ 一种 ）}}} \underset{1个}{\underset{⏟}{P （ 乙 ）}}

$\underbrace{P(B|A)}_2 = \underbrace{\frac{P(A|B)}{P(A)}}_3 \underbrace{P(B)}_1$

在之前是你认为什么之前已经遇到了新的相关资料片（即）。 $B$ $A$
在后是你相信（或喽，如果你是理性的）大约后，已经遇到了新的相关资料片。 $B$
该可能性的商除以新资料片的边缘概率索引信息量的你对信仰的新的信息。 $B$

— gung-恢复莫妮卡
source

19

已经有几个好的答案，但是也许这可以添加一些新的东西...

我总是从组件概率的角度来考虑贝叶斯规则，可以从事件和角度从几何上理解贝叶斯规则，如下图所示。 $A$ $B$

的边缘概率和由相应的圆的面积给出。所有可能的结果，分别由，对应于设定的事件“的或 ”。所述联合概率对应于所述事件“ 和 ”。 $P(A)$ $P(B)$ $P(A \cup B)=1$ $A$ $B$ $P(A \cap B)$ $A$ $B$

在此框架中，贝叶斯定理中的条件概率可以理解为面积比。的概率给出是的分数占用由，表示为 $A$ $B$ $B$ $A \cap B$ 同样，概率给予是的分数占用由，即

P （ 一种 | 乙 ） = \frac{P （ 一种 \cap 乙 ）}{P （ 乙 ）}

$P(A\vert B)=\frac{P(A \cap B)}{P(B)}$

B

$B$

A

$A$

A

$A$

A \cap B

$A \cap B$

P （ 乙 | 一种 ） = \frac{P （ 一种 \cap 乙 ）}{P （ 一种 ）}

$P(B\vert A)=\frac{P(A \cap B)}{P(A)}$

贝叶斯定理是真正的上述定义的只是一个数学推论，它可以重新表述为我觉得这个对称贝叶斯定理的形式更容易记住。即，无论哪个或被标记为“先验”还是“后验” ，身份始终保持不变。

P （ 乙 | 一种 ） P （ 一种 ） = P （ 一种 \cap 乙 ） = P （ 一种 | 乙 ） P （ 乙 ）

$P(B\vert A)P(A)=P(A \cap B)=P(A\vert B)P(B)$

p (A)

$p(A)$

p (B)

$p(B)$

（从更“会计电子表格”的角度，我对这个问题的回答中给出了另一种理解上述讨论的方式。）

— GeoMatt22
source

9

@gung有一个很好的答案。我将添加一个示例来说明真实示例中的“初始化”。

$H$ $A$ $E$ $B$

所以公式是

P （ H | Ë ） = \frac{P （ Ë | H ） P （ H ）}{P （ Ë ）}

$P(H|E) = \frac{P(E|H)P(H)}{P(E)}$

注意相同的公式可以写成

P （ H | Ë ） \propto P （ Ë | H ） P （ H ）

$P(H|E) \propto {P(E|H)P(H)}$

$\propto$ $P(E|H)$ $P(H)$ $P(E)$ $E$

$H \in \{0,1\}$

$1$ $1000$ $P(H=1)=0.001$ $P(H=0)=0.999$

$P(H|E)$

$E\in\{0,1\}$

$P(E=1|H=0)$ $P(E=1|H=1)$

$E=1$

— 海涛都
source

P (H = 0)

$P(H=0)$

0.999

$0.999$

P (H = 1) = 0.001

$P(H=1)=0.001$

1

请注意，贝叶斯的规则是

$P(a|b)=\frac{P(b,a)}{P(b)}=\frac{P(b,a)}{P(b)P(a)}P(a)$

注意比例

\frac{P （ b ， 一种 ）}{P （ b ） P （ 一种 ）} 。

$\frac{P(b,a)}{P(b)P(a)}.$

$B \perp A$ $P(b,a)=P(b)P(a)$

有趣的是，此比率的对数也存在于相互信息中：

一世 （ 一种 | 乙 ） = \sum_{一种 ， b} P_{} （ 一种 ， b ） 日志 \frac{P_{} （ b ， 一种 ）}{P （ b ） P （ 一种 ）}

$I(A|B) = \sum_{a,b}P_{}(a,b)\mathbf{\log\frac{P_{}(b,a)}{P(b)P(a)}}$

— 用户0
source

0

$P(A,B)$

可能性=行比例后验=列比例

类似地定义了先验和边际，但是基于“总计”而不是特定列

边际=行总比例优先=列总比例

我发现这对我有帮助。

— 概率逻辑
source