计算神经网络的VC维度

如果我有输入神经元的乙状神经元的固定非递归（DAG）拓扑（固定的节点和边集，但是学习算法可以改变边的权重），它们只能采用作为输入并导致一个输出（输出的实数值，如果它是固定的阈值（远离0），则我们向上舍入为1或向下舍入为-1）。是否有任何快速方法可以计算（或近似）该网络的VC尺寸？$n$$\{-1,1\}^n$

笔记

我在CS.SE上提出了一种更为精确的算法重新制定：

有效地计算或近似神经网络的VC维

我在寻找用于计算神经网络上VC尺寸的通用公式时偶然发现了您的帖子，但显然没有一个。显然，我们只有完全不同的VC方程的大杂烩，它们仅适用于某些狭窄的情况。警告：我将基于我几乎不了解的旧研究，基于VC Dimensions的概念，这是我现在才了解的。尽管如此，还是值得一看彼得·巴特利特（Peter L. Bartlett）和沃尔夫冈·马斯（Wolfgang Maass）撰写的这篇论文1VC尺寸的可计算性。请注意，它们如何竭尽全力在13个定理中得出VC公式，但是每个定理有多么多样和众多的必要条件。这些先决条件的范围从激活函数中的运算符数量到允许的跳跃类型，神经元数量及其位置，输入的位深度等；范围不一。这些分散的“陷阱”太多了，以致于这些公式仅对某些狭窄的问题有用。更糟的是，他们在定理5和8中指出，S型激活函数对于计算VC值特别困难。在第6-7页，他们写道：

“虽然人们很好地理解了具有分段多项式激活函数的网络的VC维，但是神经网络的大多数应用都使用对数S型函数或高斯径向基函数。不幸的是，无法使用有限数量的函数来计算此类函数。定理5中列出了算术运算。但是，Karpinski和Macintyre [Karpinski and Macintyre，1997]扩展了定理5以允许进行指数计算，证明使用了相同的想法，但是方程组解的数量是更加困难。”

我还以令人鼓舞的标题“为神经网络绑定VC维：进步与前景”浏览了这篇论文。2大量的数学知识困扰着我，而且我没有足够长的时间浏览一下以克服我缺乏翻译技能的问题，但是我怀疑它没有提供任何令人震惊的解决方案，因为它早于《巴特利特》第二版和马斯（Maass），后者引用了同一作者的最新作品。也许在过去的20年中，后来的研究改善了神经网络VC尺寸的可计算性，但是我发现的大多数参考文献似乎都可以追溯到90年代中期。显然，当时在该主题上进行了一系列的工作，此后便逐渐消失了。如果最近的奖学金没有将这些功能扩展到远超过90年代的水平，那么我希望有人尽快提出一个更广泛适用的解决方案，以便我也可以在我的神经网络上计算VC维度。对不起，我不能

1 Bartlett，Peter L.和Maass，Wolfgang，2003年，“神经网络的Vapnik-Chervonenkis维度”，第1188-1192页，在《大脑理论和神经网络手册》中，Arbib，Michael A.编辑。麻省理工学院出版社：马萨诸塞州剑桥。

2 Karpinski，Marek和Macintyre，Angus，1995年，“将VC维度用于神经网络：进步与前景”，第337-341页，在第二届欧洲计算学习理论会议上发表，西班牙巴塞罗那。Vitanyi，P.编。人工智能讲座笔记，第904号。施普林格：柏林。

这是最新的作品：http : //jmlr.org/papers/v20/17-612.html。

基本上，与网络权重，层和RELU激活如下： 为一定的常数和。$W$$L$

鉴于这项工作的有效性，我认为这为工作提供了方便。不过，我不确定边界的紧密程度（尤其是常量和），因为我还没有完全读懂它。$c$$C$