VC维度告诉我们有关深度学习的什么信息？

在基础机器学习中，我们被教导以下“经验法则”：

a）您数据的大小至少应为假设集的VC维大小的10倍。

b）具有N个连接的神经网络的VC维度约为N.

因此，当深度学习神经网络拥有数百万个单位时，这是否意味着我们应该拥有数十亿个数据点？能否请您对此有所说明？

您谈论的经验法则不能应用于神经网络。

神经网络具有一些基本参数，即其权重和偏差。权重的数量取决于网络层之间连接的数量，而偏差的数量则取决于神经元的数量。

所需的数据大小在很大程度上取决于-

1. 使用的神经网络的类型。
2. 网络中使用的正则化技术。
3. 用于训练网络的学习率。

话虽这么说，了解模型是否过度拟合的一种更正确，更确定的方法是检查验证误差是否接近训练误差。如果是，则模型工作正常。如果否，则模型很可能过度拟合，这意味着您需要减小模型的大小或引入正则化技术。