使用k折交叉验证时是否需要测试集？

我一直在阅读有关k折验证的信息，我想确保自己了解其工作原理。

我知道对于保持方法，数据分为三组，测试集仅在最后用于评估模型的性能，而验证集用于调整超参数等。

在k折方法中，我们是否仍然保留最后的测试集，仅将剩余数据用于训练和超参数调整，即我们将剩余数据分成k折，然后在训练后使用平均精度每折（或我们选择用来调整超参数的任何性能指标）？还是根本不使用单独的测试集，而是将整个数据集简单地分成k折（如果是这种情况，我假设我们只是将k折的平均准确度视为最终准确度）？

在K-Fold方法中，我们是否仍然保留最后的测试集，并且仅将剩余数据用于训练和超参数调整（即，我们将剩余数据分成k折，然后在每折叠训练（或选择任何性能指标）以调整我们的超参数）？

是。通常，永远不要使用测试集更改模型（例如，其超参数）。

但是，交叉验证有时可以用于超参数调整之外的其他目的，例如，确定训练/测试拆分对结果的影响程度。

通常，是的。基本上您是在谈论偏差方差的权衡。如果您使用数据构建模型（训练和验证数据），并遍历不同的超参数，并且尝试最大化平均性能指标，则您的模型可能不如所示。

但是，尤其是在小型数据集中，额外的分割可能导致更小的训练集并导致模型变坏。

理想情况下，验证（用于模型选择）和最终测试不应混在一起。但是，如果您的k值很高，或者是一劳永逸，那么使用测试结果指导模型选择的危害就较小。在这种情况下，如果您正在撰写学术论文，请不要这样做（除非您费心解释），这意味着始终要有单独的测试集。如果您正在构建一个实际的项目，则可以这样做。