回归模型的VC维

在讲座系列“ 从数据中学习”中，这位教授提到VC维度量了给定模型可以破碎多少点的模型复杂性。因此，这对于分类模型非常有效，在分类模型中，如果分类器能够有效地粉碎k个点，我们可以说出N个点，那么VC维度量将为K。但是我不清楚如何为回归模型测量VC维？

regression machine-learning vc-dimension

— 卡尔提克巴拉德瓦伊
source

— HALVORSEN的Kjetil b

Answers:

到目前为止，我们仅讨论了指标函数的VC维，但是可以将其扩展到实值函数。一类的实值函数的VC维被定义为所述指示器类的VC维，其中，接管的范围内的值G。 ${g(x, \alpha)}$ ${\mathbb{1}(g(x, \alpha) − \beta > 0)}$ $\beta$

或者，（稍微）更直观地找到一类实值函数的VC维，可以找到可以通过对该类实值函数进行阈值处理而形成的指标函数类的VC维。

— 肖恩·复活节
source

但是，这提供了阈值指标的VC维，从表面上看，我不知道如何获得阈值指标的PAC边界如何告诉您回归函数的性能。也许您可以提出一个参数，在该参数上对回归值进行二进制搜索（对于有界输出域）。

— VF1

@ VF1是的。如何解释回归函数的VC维可以提出一个好的单独问题。

— 肖恩·复活节

我会提出一个单独的问题，但是我相信答案仅仅是“不要使用VC dim进行回归”，因为Rademacher可以让您为任意有界损失做同样的事情。

— VF1

@ VF1我会感兴趣地读一个这么说的答案！我的意思是建议，简历准则是将每个帖子的问题限制为单个问题，并且OP并未涉及解释或目的。

— 肖恩·复活节

有关使用Lebesgue-Stieltjes测度推导阈值指标技巧的信息，请参见统计学习（Vapnik）的5.2节。AFAIK这是唯一且权威的参考。您应该已经知道在哪里可以找到这本书（以及来自Vapnik的其他书籍，它们都是最高级的）。

— 复合体
source

如果您可以总结论点而不只是提供参考，那将有所帮助。

— mdewey