功能数量的增加会导致准确性下降，但prec / recall会增加

我是机器学习的新手。目前，我正在使用Naive Bayes（NB）分类器，通过NLTK和python将小文本分为正，负或中性3类。

在进行了一些测试之后，使用由300,000个实例（16,924个正值，7,477个负值和275,599个中性值）组成的数据集，我发现当我增加特征数量时，精度下降，但是正负类的精度/召回率却上升。这是NB分类器的正常行为吗？我们可以说使用更多功能会更好吗？

一些数据：

Features: 50    
Accuracy: 0.88199
F_Measure Class Neutral 0.938299
F_Measure Class Positive 0.195742
F_Measure Class Negative 0.065596

Features: 500   
Accuracy: 0.822573
F_Measure Class Neutral 0.904684
F_Measure Class Positive 0.223353
F_Measure Class Negative 0.134942

提前致谢...

编辑2011/11/26

我已经使用朴素贝叶斯分类器测试了3种不同的特征选择策略（MAXFREQ，FREQENT，MAXINFOGAIN）。首先是每类的准确性和F1度量：

然后，在将MAXINFOGAIN与前100个和前1000个功能一起使用时，我用增量训练集绘制了火车误差和测试误差：

因此，在我看来，尽管使用FREQENT可以获得最高的准确性，但是最好的分类器是使用MAXINFOGAIN的分类器，对吗？吗？使用前100个功能时，我们会产生偏差（测试错误接近训练错误），添加更多训练示例将无济于事。为了改善这一点，我们将需要更多功能。具有1000个功能，偏差会减少，但误差会增加...这样可以吗？我是否需要添加更多功能？我真的不知道该怎么解释...

再次感谢...

精度与F量度

首先，使用度量标准时，您应该知道如何进行度量。准确性衡量所有类别中正确分类的实例的比率。这就是说，如果一个类别比另一个类别更频繁地出现，那么产生的准确性显然将由主导类别的准确性决定。在您的情况下，如果构造一个模型M，该模型仅针对每个实例预测“中性”，则结果的准确性为

$acc=\frac{neutral}{(neutral + positive + negative)}=0.9188$

好，但是没用。

因此，功能的添加明显提高了NB区分类别的能力，但是通过预测“正”和“负”，可以将中性线错误分类，因此准确性下降（粗略地说）。此行为独立于NB。

或多或少的功能？

通常，最好不要使用更多功能，而要使用正确的功能。在特征选择算法具有更多选择以找到最佳子集的范围内，更多特征会更好（我建议探索：crossvalidated的特征选择）。对于NB，一种快速而可靠的方法（但不是最优方法）是使用InformationGain（Ratio）以降序对特征进行排序并选择前k个。

同样，此建议（InformationGain除外）与分类算法无关。

编辑11.11.11

对于选择正确数量的特征的偏差和方差存在很多困惑。因此，我建议阅读本教程的第一页：偏差偏差权衡。关键要素是：

• 高偏见意味着该模型不是最佳模型，即测试误差很高（如西蒙娜（Simone）所说，拟合不足）
• 高方差意味着该模型对用于构建模型的样本非常敏感。这意味着，误差高度依赖于所使用的训练集，因此误差的方差（在不同的交叉验证倍数中评估）将极为不同。（过度拟合）

由于绘制了误差，因此绘制的学习曲线确实表明了偏差。但是，您看不到方差，因为根本没有绘制误差的置信区间。

示例：当执行3倍交叉验证6次（是的，建议使用不同的数据分区进行重复，Kohavi建议进行6次重复）时，您将获得18个值。我现在希望...

• 使用少量特征时，平均误差（偏差）会降低，但是（18个值中）误差的方差会更高。
• 具有大量特征的情况下，平均误差（偏差）会更高，但是（18个值中）误差的方差会更低。

误差/偏差的这种行为正是我们在图中看到的。我们无法发表有关差异的陈述。曲线彼此接近可以表明测试集足够大以显示与训练集相同的特征，因此测得的误差可能是可靠的，但这是（至少据我所知它）不足以对（误差！）的方差做出陈述。

当添加越来越多的训练示例（保持测试集的大小固定）时，我希望两种方法（要素数量少而数量多）的方差都减小。

哦，别忘了仅使用训练样本中的数据来计算特征选择的信息增益！人们倾向于使用完整的数据进行特征选择，然后执行数据分区并应用交叉验证，但这会导致过拟合。我不知道你做了什么，这只是一个警告，永远不要忘记。

为了知道使用更多功能是否有用，我将绘制学习曲线。我认为这在斯坦福大学机器学习课程的第10单元，名为“应用机器学习的建议”中有清楚的解释，您可以在这里找到：http : //www.ml-class.org/course/video/preview_list。

绘制学习曲线可以了解您的问题是高偏差还是高方差。只要增加训练示例的数量，就应该绘制训练误差和测试误差（即1精度），后者是您的分类器在不同数据集上估计的误差。如果这些曲线彼此靠近，则可能会出现高偏差问题，因此插入更多特征可能会有所帮助。另一方面，如果只要增加训练样例的数量，曲线就完全分开，那么就存在高方差问题。在这种情况下，您应该减少使用的功能数量。

编辑

$\lambda$

$\lambda$

$\lambda$

$\lambda=1$