为什么f beta分数可以这样定义beta?


10

这是F beta得分:

Fβ=1个+β2p[RËC一世s一世Øñ[RËC一个β2p[RËC一世s一世Øñ+[RËC一个

维基百科文章指出。Fβ "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision"

我不知道这个主意。为什么要这样定义β?我可以这样定义F_ \ betaFβ

Fβ=1个+βp[RËC一世s一世Øñ[RËC一个βp[RËC一世s一世Øñ+[RËC一个

以及如何显示β times as much importance


2
在下面查看一个较新的答案,其中包括解决“为什么Beta 平方而不是Beta”的微积分。
javadba

Answers:


19

假设为您提供的第一个定义的权重,为第二个定义的权重,那么当您设置时,这两个定义是等效的,因此这两个定义仅表示分数的定义。我已经看到它定义了第一种方式(例如,在Wikipedia页面上)和第二种方式(例如,在这里)。β β = β 2 ˚F ββββ=β2Fβ

所述措施是通过取的精确度和召回,平均的精确度的倒数和召回的倒数即的倒数调和平均值获得的:F1个

F1个=1个1个21个精确+1个21个召回=2精确召回精确+召回

相反,在相等且总和为1(分母使用权召回和精密),我们可能会改为分配权重仍然总和为1,但对于其上召回重量倍大的重量上精度(为召回和为精度)。这产生了分数的第二个定义: 11个2 ββ1个2β 1ββ+1个 ˚Fβ1个β+1个Fβ

Fβ=1个1个β+1个1个精确+ββ+1个1个召回=1个+β精确召回β精确+召回

同样,如果在这里使用而不是,我们将得出您的第一个定义,因此这两个定义之间的区别只是符号上的。 ββ2β


1
为什么将与精度项而不是召回项相乘?β
安瓦尔维奇

1
下面的较新答案中包括解决“为什么Beta 平方而不是Beta”的微积分。
javadba

@Anwarvic他们将与召回率相乘。分解并使用扩展后,剩下一个术语1 + β 精度召回β 精度β1个+β精确召回β精确
user2740

6

其原因与定义在F-β得分正是你所提供(即想附上报价给出一个具体的定义是什么意思,附加倍之多重视召回精密)回忆的精确度是精确度的两倍。β2ββ

定义导致表示的两个度量的相对重要性的特定方法可以在信息检索中找到(Van Rijsbergen,1979):β2

定义:用户对精度和查全率的相对重视程度是的比率,其中是基于精确度和召回率的有效性度量。P/[RË/[R=Ë/PË=ËP[R

这样做的动机是:

我知道的最简单的量化方法是指定比率,在该比率下,用户愿意以精度的增加换取相等的召回损失。P/[R

要查看得出公式,我们可以从和的加权谐波均值的通用公式开始,并计算它们相对于和的偏导数。引用的来源使用(用于“有效性度量”),它仅为并且无论我们考虑还是,其解释都是等效的。β2P[RP[RË1个-FËF

F=1个αP+1个-α[R

F/P=ααP+1个-α[R2P2

F/[R=1个-ααP+1个-α[R2[R2

现在,将导数设置为彼此相等会限制与比率之间的关系。鉴于我们希望将时间与回忆一样重视,因此我们将考虑 1的比率:αP/[Rβ[R/P

F/P=F/[RαP2=1个-α[R2[RP=1个-αα

将定义为该比率并重新排列得出根据的权重:βαβ2

β=1个-ααβ2=1个-ααβ2+1个=1个αα=1个β2+1个

1个-α=1个-1个β2+1个β2β2+1个

我们获得:

F=1个1个β2+1个1个P+β2β2+1个1个[R

可以重新排列以给出您的问题表格。

因此,给定引用的定义,如果您希望附加时间以尽可能高的精度调用,则应使用公式。如果使用则此解释不成立。在仅使用的情况下,等效的,较不直观的解释是,我们希望将的重视程度与精度一样多。ββ2βββ

您可以根据建议定义分数,但是您应该意识到,在这种情况下,讨论的解释不再成立,或者您暗示其他定义以量化准确性和查全率之间的权衡。

脚注:

  1. P/[R用于信息检索,但这似乎是一个错字,请参阅F测度的真相(Saski,2007)。

参考文献:

  1. CJ Van Rijsbergen。1979.信息检索(第二版),第133-134页。
  2. Y.佐佐木 2007.“ F-测量的真相”,教学,辅导资料

1
这应该是公认的答案。
javadba

3

快速指出一些东西。

这意味着,随着beta值的增加,您将更加重视精度。

我实际上认为是相反的-因为F-β得分越高越好,所以您希望分母较小。因此,如果减小β,则模型将因具有良好的精度得分而受到较少的惩罚。如果增加β,则当精度较高时,对F-β分数的惩罚会更多。

如果您想对F-β得分进行加权以使其达到精度,则β应该为0 <β<1,其中β-> 0仅表示精度(分子变得非常小,分母中唯一的东西就是回想,因此F-β分数随召回率的增加而降低)。

http://scikit-learn.org/stable/modules/generation/sklearn.metrics.fbeta_score.html


0

β^ 2乘以精度的原因正是定义F分数的方式。这意味着,随着beta值的增加,您将更加重视精度。如果您想将其乘以召回率也行得通,那只是意味着随着beta值的增加,您会更加重视召回率。


By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.