我有2个类别的标签数据，正在使用多个分类器对其进行分类。并且数据集是很好平衡的。在评估分类器的性能时，我需要考虑分类器在确定真实肯定因素和真实否定因素方面的准确性。因此，如果我使用准确性，并且如果分类器偏向正值并将所有分类都归为正值，那么即使它未能对任何真实的负数进行分类，我也会获得约50％的准确性。此属性扩展到精度和召回率，因为它们仅关注一个类，而后又关注F1评分。（这是我什至从本文中了解的内容，例如“ 超越准确性，F分数和ROC：性能评估的判别方法系列 ”）。
因此，我可以使用敏感性和特异性（TPR和TNR）来查看分类器对每个类别的表现，以最大程度地提高这些值为目标。
我的问题是，我正在寻找一种将这两个值组合成一个有意义的量度的量度。我研究了该文件中提供的措施，但是发现它并不简单。基于我的理解，我想知道为什么我们不能应用像F分数这样的东西，但是我不使用精度和召回率而是使用灵敏度和特异性？因此公式为 ，我的目标是最大化这个措施。我觉得它很有代表性。已经有类似的公式吗？这是否有意义，或者在数学上是否合理？
Answers:
我要说的是，可能没有什么特别的措施，或者只有一种措施应该考虑在内。
上一次进行概率分类时，我有一个R包ROCR和False Positive和False Negatives的显式成本值。
我考虑了从0到1的所有截止点，并在选择此截止点时使用了许多措施，例如预期成本。当然，对于分类精度的一般度量，我已经采用了AUC度量。但是对我而言，这不是唯一的可能性。
FP和FN案例的值必须超出您的特定模型，也许这些是某些主题专家提供的？
例如，在客户流失分析中，错误地推断出客户没有搅动可能会更昂贵，但如果不强制将这些价格定位到正确的组，则普遍降低服务价格将很昂贵。
-分析师
分类准确性，敏感性，特异性以及它们的任何简单组合都是不正确的评分规则。也就是说，它们是通过伪模型进行优化的。使用它们会使您选择错误的功能，赋予错误的权重并做出次优的决策。次优决策的许多方法之一是，当预测概率接近使用这些度量所隐含的阈值时，您将获得虚假置信度。简而言之，这些措施都会出错。使用它们甚至可以比较两个拟合良好的模型也会误导您。