Questions tagged «tensorflow»

在大多数模型中，都有一个steps参数，指示要运行数据的步骤数。但是，我发现在最实际的用法中，我们还执行了拟合函数N epochs。 以1个时间段运行1000个步和以10个时间段运行100个步有什么区别？在实践中哪一个更好？连续纪元之间有逻辑变化吗？数据改组？

125 machine-learning  tensorflow 

我正在运行Keras模型，提交截止日期为36小时，如果我在cpu上训练我的模型大约需要50个小时，是否可以在gpu上运行Keras？ 我正在使用Tensorflow后端，并在未安装anaconda的Jupyter笔记本上运行它。

125 python  tensorflow  keras  jupyter 

在TensorBoard中查看和理解标量值确实非常简单。但是，尚不清楚如何理解直方图。 例如，它们是我的网络权重的直方图。 （在通过sunside修复错误后） 解释这些的最佳方法是什么？第1层的权重看起来基本上是平坦的，这意味着什么？ 我在这里添加了网络构建代码。 X = tf.placeholder(tf.float32, [None, input_size], name="input_x") x_image = tf.reshape(X, [-1, 6, 10, 1]) tf.summary.image('input', x_image, 4) # First layer of weights with tf.name_scope("layer1"): W1 = tf.get_variable("W1", shape=[input_size, hidden_layer_neurons], initializer=tf.contrib.layers.xavier_initializer()) layer1 = tf.matmul(X, W1) layer1_act = tf.nn.tanh(layer1) tf.summary.histogram("weights", W1) tf.summary.histogram("layer", layer1) tf.summary.histogram("activations", layer1_act) # Second layer …

120 tensorflow  histogram  tensorboard 

我正在使用Tensorflow和创建神经网络skflow。由于某种原因，我想获得某种内在的张量的值给定的输入，所以我使用的myClassifier.get_layer_value(input, "tensorName")，myClassifier作为一个skflow.estimators.TensorFlowEstimator。 但是，我发现很难找到张量名称的正确语法，即使知道它的名称也很困难（而且我对操作和张量感到困惑），因此我使用张量板来绘制图形并寻找名称。 有没有一种方法可以在不使用张量板的情况下枚举图中的所有张量？

118 python  tensorflow  tensorboard  skflow 

最初的问题是关于TensorFlow实现的。但是，答案是针对一般的实现。这个通用答案也是TensorFlow的正确答案。 在TensorFlow中使用批量归一化和辍学时（特别是使用contrib.layers），我需要担心订购吗？ 如果我在退出后立即使用批处理规范化，则可能会出现问题。例如，如果批量归一化训练中的偏移量训练输出的比例尺数字较大，但是将相同的偏移量应用到较小的比例尺数字（由于补偿了更多的输出），而在测试过程中没有丢失，则轮班可能关闭。TensorFlow批处理规范化层会自动对此进行补偿吗？还是由于某种原因我不会想念这件事吗？ 另外，将两者一起使用时还有其他陷阱吗？例如，假设我使用他们以正确的顺序在问候上述（假设有是一个正确的顺序），可以存在与使用分批正常化和漏失在多个连续层烦恼？我没有立即看到问题，但是我可能会丢失一些东西。 非常感谢！ 更新： 实验测试似乎表明排序确实很重要。我在相同的网络上运行了两次，但批次标准和退出均相反。当辍学在批处理规范之前时，验证损失似乎会随着培训损失的减少而增加。在另一种情况下，它们都下降了。但就我而言，运动缓慢，因此在接受更多培训后情况可能会发生变化，这只是一次测试。一个更加明确和明智的答案仍然会受到赞赏。

116 python  neural-network  tensorflow  conv-neural-network 

我是Tensorflow的新手，可以从我所做的一些可视化中受益匪浅。我了解Tensorboard是有用的可视化工具，但是如何在远程Ubuntu计算机上运行它？

116 tensorflow  machine-learning  data-visualization  remote-access  tensorboard 

我想了解的进步在tf.nn.avg_pool，tf.nn.max_pool，tf.nn.conv2d说法。 该文件反复说 步幅：长度大于等于4的整数的列表。输入张量每个维度的滑动窗口的步幅。 我的问题是： 4个以上的整数分别代表什么？ 对于卷积网络，为什么必须要有stride [0] = strides [3] = 1？ 在此示例中，我们看到了tf.reshape(_X,shape=[-1, 28, 28, 1])。为什么是-1？ 遗憾的是，文档中使用-1进行重塑的示例并不能很好地解释这种情况。

115 python  neural-network  convolution  tensorflow  conv-neural-network 

我在Tensorflow中阅读一些示例代码，发现以下代码 flags = tf.app.flags FLAGS = flags.FLAGS flags.DEFINE_float('learning_rate', 0.01, 'Initial learning rate.') flags.DEFINE_integer('max_steps', 2000, 'Number of steps to run trainer.') flags.DEFINE_integer('hidden1', 128, 'Number of units in hidden layer 1.') flags.DEFINE_integer('hidden2', 32, 'Number of units in hidden layer 2.') flags.DEFINE_integer('batch_size', 100, 'Batch size. ' 'Must divide evenly into the dataset sizes.') …

115 python  tensorflow 

阅读文档后，我在中保存了一个模型TensorFlow，这是我的演示代码： # Create some variables. v1 = tf.Variable(..., name="v1") v2 = tf.Variable(..., name="v2") ... # Add an op to initialize the variables. init_op = tf.global_variables_initializer() # Add ops to save and restore all the variables. saver = tf.train.Saver() # Later, launch the model, initialize the variables, do some work, save …

113 tensorflow 

我最近遇到了tf.nn.sparse_softmax_cross_entropy_with_logits，但我不知道与tf.nn.softmax_cross_entropy_with_logits有什么区别。 是唯一的区别在于训练矢量y必须是独热编码使用时sparse_softmax_cross_entropy_with_logits？ 阅读API，与相比，我找不到其他任何区别softmax_cross_entropy_with_logits。但是，为什么我们需要额外的功能呢？ 如果提供了一键编码的训练数据/矢量，softmax_cross_entropy_with_logits结果应该不会与相同sparse_softmax_cross_entropy_with_logits？

111 neural-network  tensorflow  softmax  cross-entropy 

我试图了解该Flatten功能在Keras中的作用。下面是我的代码，它是一个简单的两层网络。它接收形状为（3，2）的二维数据，并输出形状为（1，4）的一维数据： model = Sequential() model.add(Dense(16, input_shape=(3, 2))) model.add(Activation('relu')) model.add(Flatten()) model.add(Dense(4)) model.compile(loss='mean_squared_error', optimizer='SGD') x = np.array([[[1, 2], [3, 4], [5, 6]]]) y = model.predict(x) print y.shape 打印出y形状为（1、4）的图形。但是，如果我删除该Flatten行，则会打印出y形状为（1、3、4）的行。 我不明白 根据我对神经网络的理解，该model.add(Dense(16, input_shape=(3, 2)))函数正在创建一个具有16个节点的隐藏的全连接层。这些节点中的每个都连接到3x2输入元素中的每个。因此，该第一层输出处的16个节点已经“平坦”。因此，第一层的输出形状应为（1、16）。然后，第二层将此作为输入，并输出形状为（1、4）的数据。 因此，如果第一层的输出已经“平坦”并且形状为（1，16），为什么还要进一步使其平坦？

108 machine-learning  tensorflow  neural-network  deep-learning  keras 

我正在使用TensorFlow训练神经网络。这就是我初始化的方式GradientDescentOptimizer： init = tf.initialize_all_variables() sess = tf.Session() sess.run(init) mse = tf.reduce_mean(tf.square(out - out_)) train_step = tf.train.GradientDescentOptimizer(0.3).minimize(mse) 这里的问题是我不知道如何为学习率设置更新规则或为它设置衰减值。 在这里如何使用自适应学习率？

104 python  tensorflow 

根据到目前为止的经验，有几种不同的方法可以将TensorFlow图转储到文件中，然后再将其加载到另一个程序中，但是我无法找到关于它们如何工作的清晰示例/信息。我已经知道的是： 使用a将模型的变量保存到检查点文件（.ckpt）中，tf.train.Saver()并在以后还原它们（源） 将模型保存到.pb文件，然后使用tf.train.write_graph()和tf.import_graph_def()（source）将其加载回 从.pb文件加载模型，对其进行重新训练，然后使用Bazel将其转储到新的.pb文件中（源） 冻结图形以将图形和权重保存在一起（源） 使用as_graph_def()保存模型，并为权重/变量，它们映射到常数（源） 但是，我无法清除有关这些不同方法的几个问题： 关于检查点文件，它们仅保存模型的训练权重吗？是否可以将检查点文件加载到新程序中并用于运行模型，还是仅将它们用作在特定时间/阶段将权重保存在模型中的方法？ 关于tf.train.write_graph()，权重/变量也被保存吗？ 关于Bazel，它只能保存到.pb文件中或从中加载以进行重新训练吗？是否有一个简单的Bazel命令只是将图形转储到.pb中？ 关于冻结，是否可以使用来加载冻结图tf.import_graph_def()？ TensorFlow的Android演示从.pb文件加载到Google的Inception模型中。如果我想替换自己的.pb文件，该怎么做？我需要更改任何本机代码/方法吗？ 通常，所有这些方法之间到底有什么区别？或更广泛地说，/。as_graph_def()ckpt / .pb有什么区别？ 简而言之，我正在寻找一种将图形（如各种操作等）及其权重/变量都保存到文件中的方法，然后可以将其用于将图形和权重加载到另一个程序中，以供使用（不一定要继续/训练）。 关于此主题的文档不是很简单，因此，非常感谢您提供任何答案/信息。

98 python  tensorflow  protocol-buffers 

我安装了Tensorflow后端和CUDA的Keras。我有时想按需强迫Keras使用CPU。不用说在虚拟环境中安装单独的仅CPU的Tensorflow就能做到吗？如果可以，怎么办？如果后端是Theano，则可以设置标志，但是我还没有听说过可以通过Keras访问Tensorflow标志。

96 python  machine-learning  tensorflow  keras 

考虑示例代码。 我想知道如何在RNN上的该网络上应用梯度剪切，而梯度可能会爆炸。 tf.clip_by_value(t, clip_value_min, clip_value_max, name=None) 这是一个可以使用的示例，但是在哪里介绍呢？在RNN中 lstm_cell = rnn_cell.BasicLSTMCell(n_hidden, forget_bias=1.0) # Split data because rnn cell needs a list of inputs for the RNN inner loop _X = tf.split(0, n_steps, _X) # n_steps tf.clip_by_value(_X, -1, 1, name=None) 但这没有意义，因为张量_X是输入，而不是grad，要裁剪的内容是什么？ 我是否需要为此定义自己的优化器，还是有一个更简单的选择？

96 python  machine-learning  tensorflow  deep-learning  lstm