Questions tagged «vc-dimension»

神经网络的Vapnik–Chervonenkis（VC）维度公式的范围从到，在最坏的情况下为，其中是边的数量和是节点数。拥有强大泛化保证的训练样本数与VC维数成线性关系。Ô （Ë）O(E)O(E)Ô （Ë2）O(E2)O(E^2)Ô （Ë2V2）O(E2V2)O(E^2V^2)ËEEVVV 这意味着对于具有数十亿边缘的网络（如成功的深度学习模型而言），训练数据集在最佳情况下需要数十亿个训练样本，在最坏情况下需要四千万个训练样本。目前最大的训练集大约有1000亿个样本。由于没有足够的训练数据，因此深度学习模型不太可能泛化。相反，他们过度拟合了训练数据。这意味着模型在与训练数据不同的数据上将无法很好地执行，这对于机器学习来说是不希望的特性。 根据VC维度分析，鉴于深度学习无法泛化，为什么深度学习结果如此夸大？仅对某些数据集具有高精度本身并不意味着什么。深度学习架构是否有一些特别之处，可以显着降低VC维度？ 如果您认为VC维度分析不相关，请提供证据/解释，表明深度学习是泛化的，并且不适合过度。即它具有良好的召回率和精度，还是仅具有良好的召回率？100％的召回率和100％的精度都是微不足道的。两者都接近100％是非常困难的。 与此相反，这里有证据表明深度学习过于适合。过拟合模型由于包含确定性/随机噪声，因此很容易被愚弄。参见下图，了解过度拟合的示例。 另外，尽管测试数据具有良好的准确性，但请查看该问题的较低答案，以了解过拟合模型的问题。 有人回应说，正则化解决了较大的VC维度的问题。请参阅此问题以进行进一步讨论。

86 machine-learning  vc-dimension 

我的目标是解决以下问题，该问题已由其输入和输出描述： 输入： 一个有节点，源和宿的有向无环图（）。GGGmmmnnn111m>n≥1m>n≥1m > n \geq 1 输出： 具有拓扑的神经网络的VC维（或其近似值）。GGG 更多细节： 中的每个节点都是一个S型神经元。拓扑是固定的，但是边缘的权重可以通过学习算法来改变。GGG 学习算法是固定的（例如向后传播）。 所述源节点是输入神经元和只能坐从串{ - 1 ，1 } Ñ作为输入。ññn{ - 1 ，1 }ñ{-1个，1个}ñ\{-1,1\}^n 接收器节点是输出单元。它输出从实际值，我们四舍五入到1或向下- 1如果它是大于某一固定阈值δ远离0。[ - 1 ，1 ][-1个，1个][-1,1]1个1个1− 1-1个-1δδ\delta000 天真的方法只是试图通过尝试在这些点上训练网络来打破越来越多的点。但是，这种模拟方法效率不高。 题 有没有一种有效的方法来计算此函数（例如，在更改为决策问题：VC维度小于输入参数k吗？）？如果不是，是否有硬度结果？PP\mathsf{P}ķķk 有没有一种行之有效的方法来计算或近似该函数？如果是近似值，是否可以保证其准确性？ 笔记 我对stats.SE 提出了类似的问题，但没有引起任何兴趣。

19 algorithms  complexity-theory  machine-learning  neural-networks  vc-dimension