对数损失的直观解释


10

在几次kaggle比赛中,得分基于“ logloss”。这与分类错误有关。

这是一个技术性的答案,但我正在寻找一个直观的答案。我真的很喜欢答案这个有关马氏距离的问题,但PCA并不是logloss。

我可以使用分类软件提供的价值,但我不太了解。为什么用它代替真实/错误的阳性/阴性率?您能帮我,以便我可以向外婆或该领域的新手解释吗?

我也喜欢并同意以下报价:

除非您可以向祖母解释
- 否则您不会真正理解某些东西

在发布到这里之前,我尝试自行回答。

我没有发现直观或真正有用的链接包括:

这些信息丰富,准确。它们是为技术读者准备的。他们没有画简单的图画,也没有给出简单易用的例子。他们不是为我祖母写的。


您未提供技术答案的链接
bdeonovic


@ EhsanM.Kermani-我没有找到像我引用的Mahalanobis一样直观的内容。
EngrStudent

1
kaggle网站上条目对logloss给出了非常简洁的解释
bdeonovic

找到此链接:exegetic.biz/blog/2015/12/making-sense-logarithmic-loss。可能有帮助。
Deolu A

Answers:


8

对数损失是所有概率乘积的对数。假设爱丽丝预测:

  • 约翰以0.2的概率杀死杰克
  • 玛丽以0.001的概率嫁给约翰
  • 比尔以0.01的概率是一个杀人犯。

原来,玛丽没有嫁给约翰,比尔不是杀人犯,而是约翰杀死了杰克。根据爱丽丝的说法,概率的乘积为0.2 * 0.999 * 0.99 = 0.197802

鲍勃预测:

  • 约翰以0.5的概率杀死杰克
  • 玛丽以0.5的概率嫁给约翰
  • 比尔以0.5的概率是一个凶手。

乘积为0.5 * 0.5 * 0.5 = 0.125。

爱丽丝比鲍勃更好。


为什么“所有概率的乘积”起作用?这听起来像是期望最大化的亲戚。
EngrStudent

3
您需要正式证明吗?它在topicstarter提到的“技术答案”中。您需要非正式的“祖母”理由吗?您说:假设这个人给出了正确的预测。一切按实际发生的可能性是多少?这是概率的乘积。
user31264 '16

“概率乘积”不是“祖母”。概率乘积的对数是对数概率之和,它们用于期望最大化并称为“期望”。我认为它也编码在KL差异中。...我认为您可以在“奶奶谈话”中说“最有可能” =多个事件的最高总体概率。有两个“最高”值:1)最大化组合概率或2)最小化负组合概率。学习喜欢“梯度下降”或最小化不良登录损失是由样本大小缩放的概率负,并且它被最小化。。
EngrStudent

他们在这里链接说“ exp(-loss)是正确预测的平均概率”。
EngrStudent

我喜欢这里的主教裁判。它是方程4.108,它是交叉熵误差函数。
EngrStudent
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.