有效地计算或近似神经网络的VC维


19

我的目标是解决以下问题,该问题已由其输入和输出描述:

输入:

一个有节点,源和宿的有向无环图()。Gmn1m>n1

输出:

具有拓扑的神经网络的VC维(或其近似值)。G

更多细节

  • 中的每个节点都是一个S型神经元。拓扑是固定的,但是边缘的权重可以通过学习算法来改变。G
  • 学习算法是固定的(例如向后传播)。
  • 所述源节点是输入神经元和只能坐从串{ - 1 1 } Ñ作为输入。ñ{-1个1个}ñ
  • 接收器节点是输出单元。它输出从实际值,我们四舍五入到1或向下- 1如果它是大于某一固定阈值δ远离0[-1个1个]1个-1个δ0

天真的方法只是试图通过尝试在这些点上训练网络来打破越来越多的点。但是,这种模拟方法效率不高。


有没有一种有效的方法来计算此函数(例如,在更改为决策问题:VC维度小于输入参数k吗?)?如果不是,是否有硬度结果?Pķ

有没有一种行之有效的方法来计算或近似该函数?如果是近似值,是否可以保证其准确性?

笔记

我对stats.SE 提出了类似的问题,但没有引起任何兴趣。


1
如果您可以使传递函数更明确,则可能会使问题变得更加独立。即指定信息传播的实际公式。
Suresh'4

Answers:


9

如果您愿意通过分层网络来进一步限制问题,那么汤姆·米切尔(Tom Mitchell)的“机器学习”给出了()(7.4.4节)的上限,其中s是内部节点(必须大于2),d是各个节点的VC维,e是自然对数的底。如果您对训练示例的数量有所了解,那么此信息就足够了。2ds日志ËssdË

严格来说,这并不是对您问题的答案,但在途中可能会有所帮助。结果归因于Baum和Haussler(1989)。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.