为什么朴素贝叶斯分类器最适合0-1损失？

朴素贝叶斯分类器是基于最大化类成员资格的后验P （C | x ）将项分配给类C的分类器，并假定项的特征是独立的。$x$$C$$P(C|x)$

0-1损失是指将任何未分​​类归类为“ 1”的损失，并将任何正确分类为“ 0”的损失。

我经常读（1），“朴素贝叶斯”分类器对于0-1损失是最佳的。为什么会这样呢？

（1）一个示例性来源：贝叶斯分类器和贝叶斯误差

实际上，这非常简单：贝叶斯分类器选择发生后验概率最大的类（所谓的最大后验估计）。在0-1不敌功能惩罚分类错误，即它分配的最小损失的具有正确分类的数量最多的解决方案。因此，在两种情况下，我们都在讨论估计模式。回想一下，模式是数据集中最常见的值，或者是最可能的值，因此最大化后验概率和最小化0-1损失都会导致估计模式。

如果需要正式证明，可以在Angela J. Yu的贝叶斯决策理论简介论文中给出：

0-1二进制损失函数具有以下形式：

$$l_\boldsymbol{x}(\hat s, s^*) = 1 - \delta_{\hat ss^*} = \begin{cases} 1 & \text{if} \quad \hat s \ne s^* \\ 0 & \text{otherwise} \end{cases}$$

其中是Kronecker Delta函数。（...）预期损失为：$\delta$

$$\begin{align} \mathcal{L}_\boldsymbol{x}(\hat s) &= \sum_{s^*} l_\boldsymbol{x}(\hat s, s^*) \; P(s = s^* \mid \boldsymbol{x}) \\ &= \sum_{s^*} (1 - \delta_{\hat ss^*}) \; P(s = s^* \mid \boldsymbol{x}) \\ &= \sum_{s^*} P(s = s^* \mid \boldsymbol{x}) ds^* - \sum_{s^*} \delta_{\hat ss^*} P(s = s^* \mid \boldsymbol{x}) \\ &= 1 - P(s = s^* \mid \boldsymbol{x}) \end{align}$$

通常，对于最大后验估计，这是正确的。因此，如果您知道后验分布，那么假设损失为0-1，则最佳分类规则是采用后验分布的模式，我们称其为最佳贝叶斯分类器。在现实生活中，我们通常不知道后验分布，而是估计它。朴素贝叶斯分类器通过查看经验分布并假设预测变量的独立性来近似最优分类器。因此，朴素的贝叶斯分类器本身并不是最优的，但它近似于最优解。在您的问题中，您似乎混淆了这两件事。