通过掷硬币来组合分类器

我正在学习机器学习课程，并且讲义幻灯片包含的信息与我推荐的书不符。

问题如下：存在三个分类器：

• 分类器A在较低的阈值范围内提供更好的性能，
• 分类器B在较高的阈值范围内提供更好的性能，
• 分类器C我们通过翻转p硬币并从两个分类器中进行选择来获得什么。

从ROC曲线上看，分类器C的性能如何？

演讲幻灯片指出，只需翻转硬币，我们就可以得到分类器A和B的ROC曲线的神奇“ 凸包 ”。

我不明白这一点。仅仅通过掷硬币，我们如何获得信息？

演讲幻灯片

这本书怎么说

推荐的书（《数据挖掘...》，作者：伊恩·H·威腾（Ian H. Witten），艾比·弗兰克（Eibe Frank）和马克·A。另一方面，）指出：

要看到这一点，请为方法A选择一个特定的概率临界值，分别给出真实的和错误的正比率tA和fA，为方法B选择另一个临界值，给出tB和fB。如果您以概率p和q随机使用这两种方案，其中p + q = 1，那么您将获得p的真假率。tA + q tB和p。fA + q fB。这表示位于连接点（tA，fA）和（tB，fB）的直线上的点，并且通过改变p和q可以找出这两个点之间的整条线。

以我的理解，这本书所说的是要真正获得信息并到达凸包，我们需要做的事情比简单地抛掷p硬币还要先进。

AFAIK，正确的方法（如书中所建议的）如下：

1. 我们应该找到分类器A的最佳阈值Oa
2. 我们应该找到分类器B的最佳阈值Ob

3. 将C定义如下：

   • 如果t <Oa，则将分类器A与t一起使用
   • 如果t> Ob，则将分类器B与t一起使用
   • 如果Oa <t <Ob，则用概率作为我们在Oa和Ob之间的线性组合，在带Oa的分类器A和带Ob的B之间进行选择。

它是否正确？如果是，则与幻灯片建议的内容有一些主要差异。

1. 这不是简单的掷硬币，而是一种更高级的算法，该算法需要根据我们所处的区域手动定义点和拾取。
2. 它永远不会使用阈值介于Oa和Ob之间的分类器A和B。

你能给我解释一下这个问题，什么是正确的理解方式，如果我的理解是不正确的？

如果我们像幻灯片所示那样简单地翻转p硬币，将会发生什么？我认为我们会得到一个介于A和B之间的ROC曲线，但是在给定的点上永远不会比更好的ROC曲线“更好”。

据我所知，我真的不理解幻灯片的正确性。左侧的概率计算对我来说没有意义。

更新： 找到了发明凸包方法的原始作者写的文章：http : //www.bmva.org/bmvc/1998/pdf/p082.pdf

（已编辑）

演讲幻灯片是正确的。

方法A具有“最佳点”，该“最佳点”分别给出了真假率（图中的TPA，FPA）。该点将对应于阈值，或更一般地对应于A的最佳决策边界。B同样如此（但阈值和边界不相关）。

可以看出，当我们要“最大化真实的积极性”（渴望策略）时，分类器A在“最小化误报”（保守策略）和分类器B的表现很好。

第一个问题的答案基本上是肯定的，只是硬币的概率（在某种意义上）是任意的。最终的竞争者将是：

$x$$x$$p$并使用分类器A或B。

（更正：实际上，讲座是完全正确的，在任何情况下我们都可以掷硬币。参见图表）

$p$

[*]您在这里应该很笼统：如果您考虑单个标量阈值，那么所有这些都没有多大意义；具有基于阈值的分类器的一维特征无法为您提供足够的自由度，以使A和B具有不同的分类器，当自由参数（决策边界=阈值）变化时，分类器会沿着不同的曲线执行。换句话说：A和B被称为“方法”或“系统”，而不是“分类器”；因为A是整个分类器家族，由确定决策边界的参数（标量）参数化，而不仅仅是标量]

我添加了一些图表以使其更加清晰：

$t$$t$$t$$t_A=2$$t$$t_B=4$

那么，在这种情况下，可以说填充的橙色线是“最优A分类器”（在其族内），对于B来说也是相同的。当我们将高成本分配给误报时，效果会更好；反之，当我们将高成本分配给误报时，效果会更好。

现在，这两种分类器可能无法满足我们的需求，我们希望两种类型的错误具有相似的权重。我们希望不要使用分类器A（橙色点）或B（蓝色点）来达到它们之间的性能。当然，只要掷硬币并随机选择一个分类器就可以达到这一目的。

仅仅通过掷硬币，我们如何获得信息？

我们不会获得信息。在分配给每种错误类型的成本方面，我们新的随机分类器并非简单地比A或B“好”，它的性能约为A和B的平均值。根据我们的成本，这对我们是否有利。

AFAIK，正确的方法（如书中所建议的）如下：这是正确的吗？

$p$

我同意你的推理。如果当您在A点和B点之间时通过硬币翻转使用分类器来选择一个，则曲线上的点将始终在较好的分类器之下，在较差的分类器之上，而可能不在两者之上！该图一定有问题。在2条ROC曲线交叉处，随机选择算法将具有与两种算法相同的性能。它不会以图表描述的方式位于其上方。