机器学习中的“优先”一词是什么意思


12

我是机器学习的新手。我已经阅读了几篇论文,他们将深度学习用于各种应用程序,并且在大多数模型设计案例中使用了“在先”一词,比如说在人体姿态估计中是先验的。有人可以解释一下这实际上意味着什么。我只能在教程中找到先验和后验的数学公式。


5
这是一个数学概念,是的,它是用数学公式表示的。但是,维基百科页面似乎提供了很多直觉。你检查了吗?如果是这样,您能否在回答中进一步说说您不了解的内容和寻找的内容?
David Richerby

@David Richerby。谢谢您的答复。是的,我已经检查了维基百科页面,并且可以收集到一个模糊的想法,即它与变量的知识或信息有关。我一直在阅读有关人体姿势估计的论文,其中提到了人体姿势先验,人体运动学先验,对3D人体姿势的先验建模,学习先验,在估算3D人体姿势之前。在这种情况下,我无法清楚弄清楚“先前”一词的实际含义。
艾米(Amy)

Answers:


13

简单地说,没有任何数学符号,先验是指根据概率分布对事件的初始信念。然后,您可以建立一个实验并获取一些数据,然后根据实验的结果(后验概率分布)“更新”您的信念(并因此更新概率分布)。

示例: 假设我们得到了两个硬币。但是我们不知道哪种硬币是假的。硬币1是无偏的(HEAD和TAILS的概率为50%),而硬币2是有偏的,也就是说,我们知道它给HEADS的概率为60%。数学上:

给定我们有HEADS,则其为硬币1的概率为0.4而其为硬币2的概率为0.6

p(H|Coin1)=0.4
p(H|Coin2)=0.6

因此,这就是我们进行实验之前所知道的一切。

现在我们将挑选一个硬币扔掉,并根据所拥有的信息(H或T)来猜测我们选择了哪种硬币(硬币1或硬币2)。

最初,我们假设这两个硬币都有相等的机会,因为我们尚无信息。这是我们的先决条件。这是均匀分布。p(Coin1)=p(Coin2)=0.5

现在,我们随机拿一个硬币,扔给它,然后放一个HEADS。此时此刻一切都发生了。我们使用贝叶斯公式计算后验概率/分布:

p(Coin1|H)=p(H|Coin1)p(Coin1)p(H|Coin1)p(Coin1)+p(H|Coin2)p(Coin2)=0.4×0.50.4×0.5+0.6×0.5=0.4

p(Coin2|H)=p(H|Coin2)p(Coin2)p(H|Coin1)p(Coin1)+p(H|Coin2)p(Coin2)=0.6×0.50.4×0.5+0.6×0.5=0.6

因此,最初每个硬币的概率为,但是现在实验之后我们的信念发生了变化,现在我们认为该硬币是硬币1,概率为0.4,它是硬币2,概率为0.6。这是我们的后验分布,伯努利分布。0.5

这是机器学习中使用的贝叶斯推理和统计的基本原理。


2
您需要修复上面的示例。该计算表明,两个硬币都有偏差(第一个硬币的正面概率为40%,第二个硬币的正面概率为60%)如果第一个硬币有偏差,它仍然是伯努利分布,但概率为P(Coin1 | H) = 5/11和P(Coin2 | H)=
6/11

1
是否应该将“给定我们拥有硬币,HEADS的概率为0.4”改写为“给定我们硬币具有HEADS的概率为0.4”
Mateen Ulhaq,

该解释并未就机器学习进行解释。
user3023715
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.