反向传播期间不更改CNN过滤器权重的影响


10

在反向传播期间不更改CNN的过滤器权重有什么影响?在MNIST数据集上进行训练时,我仅更改了完全连接的图层权重,但仍达到了将近99%的精度。


有趣的是,您是从随机权重开始还是使用先前网络中的权重?另外,您是从训练集中还是从坚持测试集中得出准确性度量?
尼尔·斯莱特

@Neil Slater:我从随机高斯权重开始。精度测量在测试集上。
Abhisek Dash

@Neil Slater:即使对过滤器进行了不同的初始化,其精度也几乎保持不变。我使用了2个卷积层和最大池层以及一个具有256个隐藏神经元的FC层
Abhisek Dash

Answers:


12

通过不更改CNN的卷积层的权重,实质上是在为分类器(完全连接的层)提供随机特征(即,不是手头分类任务的最佳特征)。

MNIST是一项非常容易的图像分类任务,您几乎可以将输入像素输入分类器,而无需进行任何特征提取,并且仍然可以在90年代获得高分。除此之外,也许池化层会有所帮助...

尝试在输入图像上训练MLP(无卷积/池层),并查看其排名。是一个示例,其中MLP(1个隐藏的和1个输出层)达到了98 +%,而没有进行任何预处理/功能提取。


编辑:

我还想指出我写的另一个答案,它详细说明了为什么 MNIST像图像分类任务一样容易。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.