VC尺寸与自由度之间的关系


9

我正在研究机器学习,我觉得VC维度的概念与更经典(统计)的自由度概念之间有着很强的联系。

谁能解释这种联系?

Answers:


7

正如Yaser Abu-Mostafa教授所说:

自由度是有效参数数量的抽象。有效数字基于一个人可以得到的二分法,而不是使用了多少个实值参数。对于二维感知器,可以考虑斜率和截距(加上区域变为+1的二进制自由度),或者可以考虑3个参数w_0,w_1,w_2(尽管权重可以是同时按比例放大或缩小而不会影响最终的假设)。但是,自由度为3,因为我们可以灵活地粉碎3个点,而不是因为计算参数数量的一种或多种方式。

二维感知器


我认为这是一个非常非标准的自由度定义!
kjetil b halvorsen

0

VC维在本文第2.1节中得到了很好的解释,并提供了基本的引理和证明。你可以通过这个。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.