在统计学习理论中，是否存在过度拟合测试集的问题？

让我们考虑有关对MNIST数据集进行分类的问题。

根据Yann LeCun的MNIST网页，“ Ciresan等” 使用卷积神经网络在MNIST测试集上获得了0.23％的错误率。

让我们将MNIST训练集表示为，将MNIST测试集表示为，将他们使用获得的最终假设设为，并将它们在MNIST测试集上的错误率设为作为。 $D_{train}$ $D_{test}$ $D_{train}$ $h_{1}$ $h_{1}$ $E_{test}(h_{1}) = 0.0023$

在他们看来，由于是从输入空间中随机采样的测试集，而与无关，因此他们可以坚持认为，最终假设的样本外误差性能为由Hoeffding不等式界定，其中。 $D_{test}$ $h_{1}$ $E_{out}(h_{1})$

P [| E_{o u t} (h_{1}) - E_{t e s t} (h_{1}) | < ϵ |] \geq 1 - 2 e^{2 ϵ^{2} N_{t e s Ť}}

$P[|E_{out}(h_{1}) - E_{test}(h_{1})| < \epsilon|] \geq 1 - 2e^{2\epsilon^{2}N_{test}}$

N_{t e s t} = | D_{t e s t} |

$N_{test}=|D_{test}|$

换句话说，至少为， $1-\delta$

Ë_{Ø ü Ť} （ H_{1} ） \leq Ë_{Ť Ë s Ť} （ H_{1} ） + \sqrt{\frac{1}{2 ñ_{Ť Ë s Ť}} 升 ñ \frac{2}{δ}}

$E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2\over\delta}}$

让我们考虑另一个观点。假设有人想很好地对MNIST测试集进行分类。因此，他首先查看了Yann LeCun的MNIST网页，发现了其他人使用8种不同模型获得的以下结果，

MNIST分类结果

并从8个模型中选择了在MNIST测试集上表现最好的模型。 $g$

对他来说，学习过程是从假设集中选择一个在测试集上表现最佳的假设。 $g$ $D_{test}$ $H_{trained}=\{h_1, h_2, .. ,h_8\}$

因此，在此学习过程中，测试集的误差为“样本内”误差，因此他可以将VC边界应用于有限假设集，如以下不等式所示。 $E_{test}(g)$

P [| Ë_{Ø ü Ť} （ G ） - Ë_{一世 ñ} （ G ） | < ϵ] \geq 1 - 2 | H_{Ť [R 一种 一世 ñ Ë d} | Ë^{2 ϵ^{2} ñ_{Ť Ë s Ť}}

$P[|E_{out}(g)-E_{in}(g)|<\epsilon] \geq 1 - 2|H_{trained}|e^{2\epsilon^{2}N_{test}}$

换句话说，至少是概率， $1-\delta$

Ë_{Ø ü Ť} （ G ） \leq Ë_{Ť Ë s Ť} （ G ） + \sqrt{\frac{1}{2 ñ_{Ť Ë s Ť}} 升 ñ \frac{2 | H_{Ť [R 一种 一世 ñ Ë d} |}{δ}}

$E_{out}(g) \leq E_{test}(g) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}$

该结果表明，如果我们选择模型在多个模型中表现最佳，则可能对测试集过度拟合。

在这种情况下，该人可能选择，其错误率最低。由于是该特定测试集上8个模型中最好的假设，因此是在MNIST测试集上过度拟合的假设。 $h_{1}$ $E_{test}(h_{1}) = 0.0023$ $h_{1}$ $D_{test}$ $h_{1}$

因此，这个人可以坚持以下不平等。

Ë_{Ø ü Ť} （ H_{1} ） \leq Ë_{Ť Ë s Ť} （ H_{1} ） + \sqrt{\frac{1}{2 ñ_{Ť Ë s Ť}} 升 ñ \frac{2 | H_{Ť [R 一种 一世 ñ Ë d} |}{δ}}

$E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}$

因此，我们得到两个不等式和。

P [Ë_{Ø ü Ť} （ H_{1} ） \leq Ë_{Ť Ë s Ť} （ H_{1} ） + \sqrt{\frac{1}{2 ñ_{Ť Ë s Ť}} 升 ñ \frac{2}{δ}}] \geq 1 - δ

$P[\;E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2\over\delta}}\;] \geq 1-\delta$

P [Ë_{Ø ü Ť} （ H_{1} ） \leq Ë_{Ť Ë s Ť} （ H_{1} ） + \sqrt{\frac{1}{2 ñ_{Ť Ë s Ť}} 升 ñ \frac{2 | H_{Ť [R 一种 一世 ñ Ë d} |}{δ}}] \geq 1 - δ

$P[\;E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}\;] \geq 1-\delta$

但是，很明显这两个不等式是不相容的。

我在哪里做错了？哪个是对的，哪个是对的？

如果后者是错误的，在这种情况下，将VC限制应用于有限假设集的正确方法是什么？

— asqdf
source

在这两个不平等中，我认为后者是错误的。简而言之，这是错误的，因为是测试数据的函数，而是独立于测试数据的模型，因此身份。 $g=h_1$ $g$ $h_1$

实际上，是中最能预测测试集的8个模型之一。 $g$ $H_{trained} = \{ h_1, h_2,..., h_8 \}$ $D_{test}$

因此，是的函数。对于特定的测试集（就像您提到的那样），可能会发生，但是通常，取决于测试集可以采用任何值。另一方面，只是一个值。 $g$ $D_{test}$ $D^*_{test}$ $g(D^*_{test}) = h_1$ $g(D_{test})$ $H_{trained}$ $h_1$ $H_{trained}$

对于另一个问题：

如果后者是错误的，在这种情况下，将VC限制应用于有限假设集的正确方法是什么？

只是不要用替换，您将获得正确的界限（对于，当然），并且它将与另一个界限（对于）没有冲突。 $g$ $h_1$ $g$ $h_1$

— TĩnhTrần
source