Questions tagged «deep-learning»

训练多层感知器时，时代和迭代之间有什么区别？

413 machine-learning  neural-network  deep-learning  artificial-intelligence  terminology 

我试图调和对LSTM的理解，并在克里斯托弗·奥拉（Christopher Olah）在Keras中实现的这篇文章中指出了这一点。我正在关注Jason Brownlee为Keras教程撰写的博客。我主要感到困惑的是 将数据系列重塑为 [samples, time steps, features]和， 有状态的LSTM 让我们参考下面粘贴的代码专注于以上两个问题： # reshape into X=t and Y=t+1 look_back = 3 trainX, trainY = create_dataset(train, look_back) testX, testY = create_dataset(test, look_back) # reshape input to be [samples, time steps, features] trainX = numpy.reshape(trainX, (trainX.shape[0], look_back, 1)) testX = numpy.reshape(testX, (testX.shape[0], look_back, 1)) …

311 python  deep-learning  keras  lstm 

什么是“相同”和“有效”填充之间的区别tf.nn.max_pool的tensorflow？ 我认为，“有效”表示在进行最大池化时，边缘外部不会出现零填充。 根据深度学习卷积算法指南，它说池运算符中将没有填充，即仅使用的“ VALID” tensorflow。但是最大池的“相同”填充是tensorflow什么？

309 python  tensorflow  deep-learning 

对于任何Keras层（Layer类），有人可以解释如何理解之间的区别input_shape，units，dim，等？ 例如，文档说units指定图层的输出形状。 在神经网络的图像下面hidden layer1有4个单位。这是否直接转换为对象的units属性Layer？还是units在Keras中等于隐藏层中每个权重的形状乘以单位数？ 简而言之，如何利用下面的图像来理解/可视化模型的属性，尤其是图层的属性？

261 neural-network  deep-learning  keras  keras-layer  tensor 

在以下TensorFlow函数中，我们必须在最后一层中提供人工神经元的激活。我了解。但是我不明白为什么叫logits？那不是数学函数吗？ loss_function = tf.nn.softmax_cross_entropy_with_logits( logits = last_layer, labels = target_output )

250 tensorflow  machine-learning  neural-network  deep-learning  cross-entropy 

当我使用Theano或Tensorflow训练我的神经网络时，它们将报告每个时期一个称为“损失”的变量。 我应该如何解释这个变量？更高的损失是好是坏，这对我的神经网络的最终性能（准确性）意味着什么？

201 machine-learning  neural-network  mathematical-optimization  deep-learning  objective-function 

我一直在寻找其他方法来在PyTorch中保存经过训练的模型。到目前为止，我发现了两种选择。 使用torch.save（）保存模型，使用torch.load（）加载模型。 model.state_dict（）保存训练的模型，model.load_state_dict（）加载保存的模型。 我碰到过这种讨论，其中建议方法2优于方法1。 我的问题是，为什么选择第二种方法呢？仅仅是因为torch.nn模块具有这两个功能，我们被鼓励使用它们吗？

191 python  serialization  deep-learning  pytorch  tensor 

我正在尝试训练CNN以按主题对文本进行分类。当我使用二进制交叉熵时，我的精度约为80％，而使用分类交叉熵时，我的精度约为50％。 我不明白为什么会这样。这是一个多类问题，这是否意味着我必须使用分类交叉熵，而具有二进制交叉熵的结果却毫无意义？ model.add(embedding_layer) model.add(Dropout(0.25)) # convolution layers model.add(Conv1D(nb_filter=32, filter_length=4, border_mode='valid', activation='relu')) model.add(MaxPooling1D(pool_length=2)) # dense layers model.add(Flatten()) model.add(Dense(256)) model.add(Dropout(0.25)) model.add(Activation('relu')) # output layer model.add(Dense(len(class_id_index))) model.add(Activation('softmax')) 然后我将其categorical_crossentropy作为损失函数像这样编译它： model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) 要么 model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy']) 从直觉上讲，为什么我要使用分类交叉熵是合理的，我不明白为什么使用二进制得到好的结果，而使用分类不好的原因。

159 machine-learning  keras  neural-network  deep-learning  conv-neural-network 

tf.nn.embedding_lookup(params, ids, partition_strategy='mod', name=None) 我不了解此功能的职责。像查找表吗？用哪种方法返回每个ID对应的参数（以ID为单位）？ 例如，在skip-gram模型中，如果使用tf.nn.embedding_lookup(embeddings, train_inputs)，则为每个train_input找到对应的嵌入？

158 python  tensorflow  deep-learning  word-embedding  natural-language-processing 

我已经使用CNN训练了二进制分类模型，这是我的代码 model = Sequential() model.add(Convolution2D(nb_filters, kernel_size[0], kernel_size[1], border_mode='valid', input_shape=input_shape)) model.add(Activation('relu')) model.add(Convolution2D(nb_filters, kernel_size[0], kernel_size[1])) model.add(Activation('relu')) model.add(MaxPooling2D(pool_size=pool_size)) # (16, 16, 32) model.add(Convolution2D(nb_filters*2, kernel_size[0], kernel_size[1])) model.add(Activation('relu')) model.add(Convolution2D(nb_filters*2, kernel_size[0], kernel_size[1])) model.add(Activation('relu')) model.add(MaxPooling2D(pool_size=pool_size)) # (8, 8, 64) = (2048) model.add(Flatten()) model.add(Dense(1024)) model.add(Activation('relu')) model.add(Dropout(0.5)) model.add(Dense(2)) # define a binary classification problem model.add(Activation('softmax')) model.compile(loss='categorical_crossentropy', optimizer='adadelta', metrics=['accuracy']) model.fit(x_train, …

155 python  tensorflow  deep-learning  keras 

我已经阅读了有关神经网络的一些知识，并且了解了单层神经网络的一般原理。我知道需要附加层，但是为什么要使用非线性激活函数？ 这个问题之后是这个问题：用于反向传播的激活函数的导数是什么？

139 math  machine-learning  neural-network  deep-learning 

谁能通过示例清楚地解释卷积神经网络（在深度学习中）的1D，2D和3D卷积之间的区别？

126 machine-learning  deep-learning  signal-processing  conv-neural-network  convolution 

zero_grad()训练期间需要调用该方法。但是文档不是很有帮助 | zero_grad(self) | Sets gradients of all model parameters to zero. 为什么我们需要调用此方法？

110 python  neural-network  deep-learning  pytorch  gradient-descent 

我尝试了解LSTM以及如何使用Keras构建它们。我发现，主要有4种模式可以运行RNN（图中的4种正确模式） 图片来源：Andrej Karpathy 现在，我想知道在Keras中，每个代码的简约代码段看起来如何。所以像 model = Sequential() model.add(LSTM(128, input_shape=(timesteps, data_dim))) model.add(Dense(1)) 对于这4个任务中的每一个，也许需要一点解释。

108 machine-learning  neural-network  deep-learning  keras  recurrent-neural-network 

我试图了解该Flatten功能在Keras中的作用。下面是我的代码，它是一个简单的两层网络。它接收形状为（3，2）的二维数据，并输出形状为（1，4）的一维数据： model = Sequential() model.add(Dense(16, input_shape=(3, 2))) model.add(Activation('relu')) model.add(Flatten()) model.add(Dense(4)) model.compile(loss='mean_squared_error', optimizer='SGD') x = np.array([[[1, 2], [3, 4], [5, 6]]]) y = model.predict(x) print y.shape 打印出y形状为（1、4）的图形。但是，如果我删除该Flatten行，则会打印出y形状为（1、3、4）的行。 我不明白 根据我对神经网络的理解，该model.add(Dense(16, input_shape=(3, 2)))函数正在创建一个具有16个节点的隐藏的全连接层。这些节点中的每个都连接到3x2输入元素中的每个。因此，该第一层输出处的16个节点已经“平坦”。因此，第一层的输出形状应为（1、16）。然后，第二层将此作为输入，并输出形状为（1、4）的数据。 因此，如果第一层的输出已经“平坦”并且形状为（1，16），为什么还要进一步使其平坦？

108 machine-learning  tensorflow  neural-network  deep-learning  keras