为什么贝叶斯分类器是理想的分类器？

这是理想的情况，其中可以很好地了解类别所依据的概率结构。

为什么使用贝叶斯分类器可以达到可以实现的最佳性能？

对此的正式证明/解释是什么？由于我们始终使用贝叶斯分类器作为基准来比较所有其他分类器的性能。

为什么使用贝叶斯分类器可以达到可以实现的最佳性能？对此的正式证明/解释是什么？

通常，数据集被视为由生成数据的分布的 iid样本组成。然后，根据给定的数据构建预测模型：给定样本，您预测类，而样本的真实类为。$D$$n$$x_i$$x_i$˚F（X 我）˚F （X 我）$\hat{f}(x_i)$$f(x_i)$

但是，从理论上讲，您可以决定不选择一个特定的模型，而是立即考虑所有可能的模型并将它们以某种方式组合为一个大模型。$\hat{f}_\text{chosen}$ ˚F ˚F$\hat{f}$$\hat F$

当然，给定数据，许多较小的模型可能不太可能或不合适（例如，即使数据集有多个目标值，这些模型也只能预测目标值之一）。$D$

无论如何，您都希望预测新样本的目标值，这些样本取自与相同的分布。一个很好的措施模型的性能将是 即概率，你预测随机采样真实目标值。$x_i$$e$

$$e(\text{model}) = P[f(X) = \text{model}(X)]\text{,}$$ $X$

使用贝叶斯公式，您可以计算出给定数据，新样本具有目标值的概率为：$x$$v$$D$

$$P(v\mid D) = \sum_{\hat{f}} P(v\mid \hat{f}) P(\hat{f}\mid D)\text{.}$$ 人们应该强调的是

• 通常为或，因为是的确定函数，$P(v\mid \hat{f})$$0$$1$˚F X$\hat{f}$$x$
• 通常，但几乎所有时间，都无法估计（上述微不足道的情况除外），$P(\hat{f}\mid D)$
• 通常，但几乎所有时间，可能模型数量太大，无法评估上限。$\hat{f}$

因此，在大多数情况下很难获得/估计。$P(v\mid D)$

现在，我们进入最佳贝叶斯分类器。对于给定的，它预测值 由于这是所有可能的目标值最可能出现的值，因此最优贝叶斯分类器将性能指标最大化。$x$

$$\hat{v} = \text{argmax}_v \sum_{\hat{f}} P(v\mid \hat{f}) P(\hat{f}\mid D)\text{.}$$ $v$$e(\hat{f})$

由于我们始终使用贝叶斯分类器作为基准来比较所有其他分类器的性能。

可能是您使用了朴素的贝叶斯分类器。它易于实现，在大多数情况下都能正常工作，但仅计算估计。$P(v\mid D)$

就分类器的成功率而言，性能与真实分类$C_T$等于预测分类$C_P$的概率有关。

您可以将该概率表示为特征向量$X$所有可能情况的积分（或$X$离散时的总和），并用条件概率对这些x进行正确分类$x$

$$P(C_T=C_P) = \int_{\text{all possible $X$}} f(x)P(C_T=C_P|x) \text{d}x$$

其中$f(x)$是特征向量$X$的概率密度。

如果对于某些可能的特征$x$，分类器没有为该特征集合选择最可能的类别，则可以对其进行改进。

贝叶斯分类器总是为每组特征$x$选择最可能的类别（项$P(C_T=C_P|x)$最大），因此至少在不基于特征$x$无法加以改进。