Questions tagged «batch-normalization»

如果我想在Keras中使用BatchNormalization函数，那么是否仅需要在开始时调用一次？ 我为此阅读了该文档：http : //keras.io/layers/normalization/ 我看不到该怎么称呼它。下面是我尝试使用它的代码： model = Sequential() keras.layers.normalization.BatchNormalization(epsilon=1e-06, mode=0, momentum=0.9, weights=None) model.add(Dense(64, input_dim=14, init='uniform')) model.add(Activation('tanh')) model.add(Dropout(0.5)) model.add(Dense(64, init='uniform')) model.add(Activation('tanh')) model.add(Dropout(0.5)) model.add(Dense(2, init='uniform')) model.add(Activation('softmax')) sgd = SGD(lr=0.1, decay=1e-6, momentum=0.9, nesterov=True) model.compile(loss='binary_crossentropy', optimizer=sgd) model.fit(X_train, y_train, nb_epoch=20, batch_size=16, show_accuracy=True, validation_split=0.2, verbose = 2) 我问，因为如果我用第二行（包括批处理规范化）运行代码，而如果我不使用第二行运行代码，则会得到类似的输出。因此，要么我没有在正确的位置调用该函数，要么我猜它并没有太大的区别。

166 python  keras  neural-network  data-science  batch-normalization 

我是卷积神经网络的新手，只是对特征图以及如何在图像上进行卷积以提取特征有所了解。我很高兴知道在CNN中应用批处理规范化的一些细节。 我阅读了https://arxiv.org/pdf/1502.03167v3.pdf这篇论文，可以理解对数据应用的BN算法，但最后他们提到在对CNN进行应用时需要稍作修改： 对于卷积层，我们还希望归一化服从卷积属性-以便以相同的方式对同一要素图的不同元素在不同位置进行归一化。为了实现这一目标，我们在所有位置上以小批量的方式联合标准化了所有激活。在Alg。在图1中，我们将B作为特征图上所有小批量和空间位置的所有值的集合–因此，对于大小为m的小批量和大小为p×q的特征图，我们使用effec -大小为m'= | B |的小批量生产 = m·pq。我们每个特征图而不是每个激活都学习一对参数γ（k）和β（k）。海藻 对图2进行类似的修改，以便在推理期间BN变换将相同的线性变换应用于给定特征图中的每个激活。 当他们说“要以相同的方式对同一要素图的不同元素在不同位置进行标准化时，我完全感到困惑 ” 我知道要素地图的含义，每个要素地图中的权重都是不同的元素。但是我不明白什么是位置或空间位置。 我根本无法理解下面的句子 “在Alg。1中，我们让B为跨越小批量和空间位置的要素的要素图中所有值的集合” 如果有人能用更简单的方式详细阐述并向我解释，我将感到非常高兴

73 machine-learning  computer-vision  deep-learning  conv-neural-network  batch-normalization