交叉验证中的均值（分数）vs分数（串联）

TLDR：

我的数据集很小（120个）样本。在进行10倍交叉验证时，我应该：

1. 收集每个测试折叠的输出，将它们连接成一个向量，然后在这个完整的预测向量（120个样本）上计算误差？

2. 或者我应该代替计算上的输出我得到的错误的一个折（每个折痕12个样本），然后让我最终误差估计为平均10点的误差估计？

是否有任何科学论文争论这些技术之间的差异？

背景：多标签分类中与宏观/微观得分的潜在关系：

我认为这个问题可能与micro和Macro之间的差异有关经常在多标签分类任务（例如说5个标签）中使用的平均值平均值。

在多标签设置时，微平均得分是通过使计算的聚集对120个样本的所有5个分类器预测真阳性，假阳性，真阴性，假阴性权变表，。然后，该列联表用于计算微观精度，微观召回率和微观f测度。因此，当我们有120个样本和5个分类器时，将根据600个预测（120个样本* 5个标签）计算出微观指标。

使用Macro变体时，每个标签独立计算度量（精度，召回率等），最后将这些度量平均。

微观估算与宏观估算之间的差异背后的思想可能会扩展到二进制分类问题中以K倍设置可以完成的工作。对于10倍，我们可以对10个值进行平均（宏观测量），也可以将10个实验连接起来并计算微观措施。

背景-扩展示例：

以下示例说明了该问题。假设我们有12个测试样本，并且有10折：

• 折1：TP = 4，FP = 0，TN = 8 精度 = 1.0
• 折2：TP = 4，FP = 0，TN = 8 精度 = 1.0
• 折3：TP = 4，FP = 0，TN = 8 精度 = 1.0
• 折4：TP = 0，FP = 12， 精度 = 0
• 折5 .. 折10：都具有相同的TP = 0，FP = 12和Precision = 0

我在其中使用以下表示法：

TP =正误数， FP =错误误数， TN =正负数

结果是：

• 10折的平均精度= 3/10 = 0.3
• 10折预测的串联精度= TP / TP + FP = 12/12 + 84 = 0.125

请注意，值0.3和0.125有很大差异！

所描述的区别是恕我直言，是伪造的。

仅当真正肯定的案例（即参考方法说它是肯定的案例）的分布在折数（如示例中）和相关测试案例的数量（绩效度量的分母）上非常不相等时，您才会观察到它我们正在谈论的是，在平均倍数平均值时，没有考虑真正的正数）。

如果您用加权前三折平均值$\frac{4}{12} = \frac{1}{3}$

编辑：原始问题还询问有关迭代/重复验证的问题：

$k$

• 如果通过交换一些训练样本来干扰训练数据，那么预测会发生多少变化？
• 即，对于同一测试样本，不同“替代”模型的预测有多少变化？

您在索取科学论文：

• 搜索字词会反复进行或重复进行交叉验证。
• 载有“您应该这样做”的论文：
  
  • 苦味，ER；司马（Sima）华J. Hanczar，B.和Braga-Neto，UM：分类当前生物信息学的错误估计器的性能，2010，5，53-67。是一个很好的起点。
  • 对于光谱数据，我做了一些模拟。鲍姆加特纳河。鲍曼角；R. Somorjai；Steiner，G .；Salzer，R。和Sowa，MG：使用稀疏数据集估计分类误差时的方差减少。Chem.Intell.Lab.Syst，2005，79，91 - 100。
    预印本
• 我经常使用它，例如C. Beleites；Geiger，K .；M. Kirsch; SB Sobottka；Schackert，G.＆Salzer，R .:星形细胞瘤组织的拉曼光谱分级：使用软参考信息。《肛门生物化学》，2011，400，2801-2816

低估方差 最终，无论您进行了多少次自举或交叉验证迭代，您的数据集都有有限的（n = 120）样本大小。

• 在重新采样（交叉验证和引导超出范围）验证结果中，您至少有2个方差源：

  • 由于（测试）样本数量有限而导致的方差
  • 替代模型预测的不稳定性导致的方差

• 如果您的模型稳定，则

  • $k$
  • 但是，由于有限数量的测试样本，性能估计值仍然存在差异。
  • 如果您的数据结构是“简单的”（即，每个统计独立的案例都有一个单一的测量向量），则可以假定测试结果是伯努利过程（投币）的结果，并计算出有限检验集的方差。

• $\frac{n}{k}$
  

你应该做分数（串联）。在这个领域中，一个普遍的误解是平均分（分数）是最好的方法。可能会给您的估计带来更多偏差，尤其是在您遇到的情况下，对稀有类而言。这是支持此的论文：

http://www.kdd.org/exploration_files/v12-1-p49-forman-sigkdd.pdf

在本文中，他们使用“ Favg”代替您的“平均值（分数）”，并使用“ Ftp，fp”代替您的“分数（并置）”

玩具示例：

想象一下，您有10倍交叉验证，并且一个类出现10次，并且恰好被分配了一次，因此每遍出现一次。同样，该类总是可以正确预测的，但是数据中只有一个假阳性。包含假阳性的测试折叠将具有50％的准确性，而所有其他折叠将具有100％的准确性。因此平均（得分）= 95％。另一方面，得分（串联）为10/11，约为91％。

如果我们假设数据可以很好地表示真实总体，并且10个交叉验证分类器很好地代表了最终分类器，那么真实世界的准确度将为91％，而平均分（平均值）估计为95％ 。

在实践中，您将不想做出这些假设。取而代之的是，您可以使用分布统计信息来估计置信度，方法是对数据进行随机排列并多次重新计算得分（串联），以及进行自举。