神经网络-权重的含义


Answers:


6

单个权重代表单元之间的连接强度。如果从单元A到单元B的权重更大(其他所有条件都相等),则意味着A对B的影响更大(即增加或降低B的激活水平)。

您还可以将输入的权重集视为衡量该单元“关心”的内容。这是最容易在第一层看到的。假设我们有一个图像处理网络。早期的设备从输入像素接收加权连接。每个单元的激活是通过激活函数传递的像素强度值的加权和。因为激活函数是单调的,所以当输入像素与该单元的传入权重相似时(在具有大的点积的情况下),给定单元的激活将更高。因此,您可以将权重视为定义图像特征的一组滤波器系数。对于较高层的单元(在前馈网络中),输入不再来自像素,而是来自较低层的单元。因此,传入的权重更像是“

不确定您的原始来源,但是如果我谈论的是“权重空间”,我指的是网络中所有权重的所有可能值的集合。


参考上面的答案,“当输入像素与该单元的输入权重相似时(从一个大的点积来看),给定单元的激活度会更高”,请您详细说明一下。这是否意味着如果输入与输入和隐藏单元之间的权重相似,那么隐藏单元的激活会更高?
Ironluca

1
这意味着,当输入和隐藏单元权重之间的点积较大时,隐藏单元的激活量将更大。可以将点积视为相似性的一种相对度量。假设我们要比较两个向量和(具有相同范数)与第三个向量。更类似于比如果,在这个意义上,之间的角度和比之间的较小和。我说相对是因为它取决于规范。参见en.wikipedia.org/wiki/Cosine_distancex 2 y x 1x1x2yx1X 2 X 1ý > X 2ý X 1个 Ÿ X 2 ÿyx2x1y>x2yx1yx2y
user20160

6

好吧,这取决于网络体系结构和特定层。通常,NN是无法解释的,这是它们在商业数据分析中的主要缺点(您的目标是从模型中发现可行的见解)。

但是我喜欢卷积网络,因为它们是不同的!尽管他们的高层学习了非常抽象的概念,可用于迁移学习和分类,这很难理解,但它们的底层直接从原始数据学习Gabor过滤器(因此可以解释为此类过滤器)。看一下Le Cun演讲中的示例:

在此处输入图片说明

此外,M。Zeiler(pdf)和许多其他研究人员发明了非常有创意的方法来“理解” 卷积网络,并确保它学到了有用的被称为反卷积网络的东西,他们在其中通过向前传递输入图片并记住哪些卷积来“追踪”某些卷积网络。神经元对图片具有最大的激活作用。这样可以进行令人惊奇的自省(下面显示了几层):

M.Zeiler的卷积网络自省

左侧的灰色图像是右侧的彩色图片所代表的神经元激活(强度越大,激活程度越大)。我们看到,这些激活是真实图片的骨架表示,即,激活不是随机的。因此,我们有一个坚定的希望,那就是我们的卷积网确实学到了一些有用的东西,并且可以在看不见的图片中得到不错的概括。


1

我认为您正在对没有太多可解释性的模型进行过多的尝试。神经网络(NN)是可以为您提供更好性能的黑匣子模型之一,但是很难理解内部发生了什么。另外,在NN中可能有成千上万的权重。

NN是一个非常大的非线性非凸函数,可以具有大量的局部最小值。如果您以不同的起点多次训练它,则权重将有所不同。您可以想出一些方法来可视化内部权重,但也不能给您太多的见识。

这是有关MNIST数据的NN可视化的一个示例。右上方的图(如下所示)显示了应用权重后的变换后的特征。

在此处输入图片说明


-1

简单的权重就是概率。

连接提供正确或错误答案的可能性有多大。多层网中即使是错误的结果也可能有用。告诉那不是什么。


好奇的是谁拒绝了我,神经网络起源于统计数据。了解您的历史..
user3800527

2
我没有投票,但说实话的答案似乎不太有用。是的,某些网络体系结构(例如Boltzmann机器或Hopfield网络)受统计机制的启发,但就“限制某个事件的相对频率”而言,权重也不是概率。权重也可以是负数或大于1,概率不能。
nikie

在这里,符号反映出答案,数字表示答案的概率。
user3800527

这仅适用于有限的体系结构和培训标签类型。
埃米尔(Emil)
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.