Questions tagged «sigmoid-curve»

在安德鲁·Ng的神经网络和深度学习课程Coursera他说，使用Ť 一个Ñ ħŤ一种ñHtanh几乎总是最好使用。š 我克米ø 我ds一世G米Ø一世dsigmoid 他给出的原因是，使用的输出以0为中心，而不是的为0.5，这“使下一层的学习变得容易一些”。Ť 一个Ñ ħŤ一种ñHtanhš 我克米ø 我ds一世G米Ø一世dsigmoid 为什么居中激活的输出速度学习？我假设他是在反向传播期间学习时发生的，是指上一层？ 还有其他使更可取的功能吗？陡峭的坡度会延迟消失的坡度吗？tanhŤ一种ñHtanh 在任何情况下，会更可取？sigmoids一世G米Ø一世dsigmoid 首选数学轻巧，直观的答案。

33 machine-learning  neural-networks  backpropagation  sigmoid-curve 

我正在使用Tensorflow制作的只有一个隐藏层的简单神经网络，然后尝试对隐藏层进行不同的激活： 露露 乙状结肠 Softmax（嗯，通常在最后一层使用softmax。） Relu提供最佳的列车精度和验证精度。我不确定如何解释这一点。 我们知道Relu具有良好的品质，例如稀疏性（例如无梯度消失）等，但是 问：Relu神经元通常比乙状结肠/ softmax神经元好吗？我们是否应该几乎总是在NN（甚至CNN）中使用Relu神经元？ 我认为，如果我们担心过度拟合，则更复杂的神经元会带来更好的结果，至少可以提高训练的准确性。 谢谢PS：该代码基本上来自“ Udacity-Machine learning -assignment2”，它是使用简单的1层-NN识别notMNIST的。 batch_size = 128 graph = tf.Graph() with graph.as_default(): # Input data. tf_train_dataset = tf.placeholder(tf.float32, shape=(batch_size, image_size * image_size)) tf_train_labels = tf.placeholder(tf.float32, shape=(batch_size, num_labels)) tf_valid_dataset = tf.constant(valid_dataset) tf_test_dataset = tf.constant(test_dataset) # hidden layer hidden_nodes = 1024 hidden_weights = …

22 machine-learning  neural-networks  conv-neural-network  tensorflow  sigmoid-curve