Questions tagged «deep-learning»

我正在尝试实现一种算法，其中给定一个在平面表上具有多个对象的图像，期望的是每个对象的分割蒙版的输出。与CNN不同，这里的目标是在陌生的环境中检测物体。解决此问题的最佳方法是什么？另外，在线上有任何实施示例吗？ 编辑：很抱歉，问题可能有点误导。我所说的“陌生环境”的意思是算法可能不知道对象。该算法不需要了解对象是什么，而应该仅检测对象。我应该如何解决这个问题？

10 machine-learning  deep-learning  cnn  computer-vision  object-detection 

我正在学习如何使用Keras，并使用Chollet的Python深度学习中的示例在标记数据集上取得了合理的成功。数据集是〜1000个时间序列，长度为3125，具有3个潜在类别。 我想超越基本的Dense层，该层为我提供了约70％的预测率，并且本书继续讨论LSTM和RNN层。 所有示例似乎都为每个时间序列使用了具有多个功能的数据集，因此我正在努力研究如何实现数据。 例如，如果我有1000x3125时间序列，如何将其输入到SimpleRNN或LSTM层中？我是否缺少有关这些层功能的一些基本知识？ 当前代码： import pandas as pd import numpy as np import os from keras.models import Sequential from keras.layers import Dense from keras.layers import LSTM, Dropout, SimpleRNN, Embedding, Reshape from keras.utils import to_categorical from keras import regularizers from sklearn.model_selection import train_test_split import matplotlib.pyplot as plt def readData(): # …

10 python  deep-learning  time-series  lstm  rnn 

由于某种原因，尽管AlphaGo Zero取得了令人难以置信的效果，但它却没有像原始的AlphaGo那样受到广泛的宣传。从头开始，它已经击败了AlphaGo Master，并通过了许多其他基准测试。更令人难以置信的是，它已经在40天之内完成了。Google称其为“世界上最好的Go播放器”。 DeepMind声称这是“强化学习的新形式”-这种技术真的新颖吗？还是有其他时间使用过这种技术-如果是，那么他们的结果是什么？我认为我所谈论的要求是：1）没有人为干预，并且2）没有历史性的发挥，但是这些都是灵活的。 这似乎是一个类似的问题，但所有答案似乎都始于AlphaGo Zero是此类产品的第一个假设。

10 machine-learning  deep-learning 

我是Keras的初学者，我从MNIST示例开始，以了解库的实际工作方式。Keras示例文件夹中MNIST问题的代码段为： import numpy as np np.random.seed(1337) # for reproducibility from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout, Activation, Flatten from keras.layers import Convolution2D, MaxPooling2D from keras.utils import np_utils batch_size = 128 nb_classes = 10 nb_epoch = 12 # input image dimensions img_rows, img_cols = 28, …

10 python  neural-network  deep-learning  keras 

我刚刚阅读了Geoff Hinton关于转换自动编码器的论文 Hinton，Krizhevsky和Wang：转换自动编码器。在人工神经网络和机器学习中，2011年。 并且很想玩这样的游戏。但是，看完它后，我无法从论文中获得足够的细节来说明如何实际实现它。 有谁知道输入像素到胶囊之间的映射应该如何工作？ 识别单元中到底应该发生什么？ 应该如何训练？仅仅是每个连接之间的标准后置支撑件吗？ 更好的方法是为此或类似内容链接到一些源代码。

10 neural-network  deep-learning  autoencoder 

我一直在学习卷积神经网络。在查看Keras示例时，我遇到了三种不同的卷积方法。即1D，2D和3D。这三层之间有什么区别？他们的用例是什么？是否有一些链接或参考来显示其用例？

10 machine-learning  neural-network  deep-learning  keras  cnn 

我正在阅读Ilya Sutskever和Quoc Le撰写的基础论文《使用神经网络进行序列学习》。在第一页上，它简短地提到： A surprising example of the power of DNNs is their ability to sort N N-bit numbers using only 2 hidden layers of quadratic size 谁能简要概述如何仅使用2个隐藏层对数字进行排序？

10 deep-learning 

我现在读了一本书，标题为“使用Scikit-Learn和TensorFlow进行动手机器学习”，在第11章中，对ELU（指数ReLU）的解释如下。 第三，该函数在所有位置（包括z = 0左右）都是平滑的，这有助于加速Gradescent Descent，因为它在z = 0的左右两侧反弹得不那么快。 在z装置上面的曲线图中的x轴上。我知道导数是平滑的，因为该z < 0直线具有曲线，并且在那个领域中导数不再等于0。 但是，为什么函数“在所有地方都平滑，包括z = 0左右”会加速梯度下降呢？

10 deep-learning  gradient-descent 

在简介中，我刚刚进行了更改 loss = tf.reduce_mean(tf.square(y - y_data)) 至 loss = tf.reduce_mean(tf.abs(y - y_data)) 模型无法得知损失随着时间的推移而变得越来越大。为什么？

10 neural-network  deep-learning  tensorflow 

根据定义，Relu是max(0,f(x))。然后将其梯度定义为： 1 if x > 0 and 0 if x < 0。 这不就是说当x <0时梯度总是为0（消失）吗？那么为什么我们说Relu不会遇到梯度消失问题呢？

10 deep-learning 

给定艰巨的学习任务（例如高维，固有的数据复杂性），深度神经网络变得难以训练。为了缓解许多问题，可以采取以下措施： 规范化&&精选质量数据 选择其他训练算法（例如RMSprop而不是Gradient Descent） 选择较陡峭的渐变成本函数（例如，交叉熵而不是MSE） 使用不同的网络结构（例如，卷积层而不是前馈层） 我听说有一些聪明的方法可以初始化更好的权重。例如，您可以选择更好的幅度：Glorot和Bengio（2010） 对于S形单位：对具有的Uniform（-r，r）进行采样r=6Nin+Nout−−−−−−√r=6Nin+Noutr = \sqrt{\frac{6}{N_{in} + N_{out}}} 或双曲正切单元：对的Uniform（-r，r）进行采样r = 4 6ñ我ñ+ NØ ü Ť------√r=46Nin+Noutr =4 \sqrt{\frac{6}{N_{in} + N_{out}}} 有什么一致的方法可以更好地初始化权重？

10 machine-learning  neural-network  deep-learning  randomized-algorithms 

我正在尝试训练具有两个卷积层（c1，c2）和两个隐藏层（c1，c2）的人工神经网络。我正在使用标准的反向传播方法。在反向遍历中，我根据前一层的误差，前一层的权重以及相对于当前层的激活函数的激活梯度来计算层（δ）的误差项。更具体地说，第l层的增量看起来像这样： delta(l) = (w(l+1)' * delta(l+1)) * grad_f_a(l) 我能够计算c2的梯度，该梯度连接到常规层中。我只是将h1的权重乘以它的增量。然后，我将该矩阵重塑为c2输出的形式，将其与激活函数的梯度相乘就完成了。 现在，我有了c2的增量项-这是大小为4D的矩阵（featureMapSize，featureMapSize，filterNum，patternNum）。此外，我具有c2的权重，它们是大小为3D的矩阵（filterSize，filterSize，filterNum）。 有了这两个项以及c1激活的梯度，我想计算c1的增量。 长话短说： 给定前一个卷积层的增量项和该层的权重，我如何计算卷积层的增量项？

10 machine-learning  data-mining  neural-network  deep-learning 

批次归一化和ReLU都是消失梯度问题的解决方案。如果我们使用批处理规范化，那么我们应该使用S型吗？还是ReLU的功能使其即使在使用batchnorm时仍值得使用？ 我想在batchnorm中完成的规范化将向负发送零次激活。这是否意味着batchnorm解决了“ Dead ReLU”问题？ 但是tanh和logistic的连续性仍然很吸引人。如果我使用batchnorm，tanh是否会比ReLU更好？ 我确定答案取决于。那么，您的经验中有什么起作用，您的应用程序的显着特征是什么？

9 deep-learning  batch-normalization 

我正在尝试使用预训练的模型（也在该数据集上进行训练）在Pascal VOC2012上训练Deeplabv3 +的Keras实现。 我得到了奇怪的结果，其准确度迅速收敛到1.0： 5/5 [==============================] - 182s 36s/step - loss: 26864.4418 - acc: 0.7669 - val_loss: 19385.8555 - val_acc: 0.4818 Epoch 2/3 5/5 [==============================] - 77s 15s/step - loss: 42117.3555 - acc: 0.9815 - val_loss: 69088.5469 - val_acc: 0.9948 Epoch 3/3 5/5 [==============================] - 78s 16s/step - loss: 45300.6992 …

9 python  deep-learning  keras  tensorflow 

我正在尝试生成一个智能模型，该模型可以扫描一组单词或字符串，并使用机器学习或深度学习将它们分类为名称，手机号码，地址，城市，州，国家和其他实体。 我一直在寻找方法，但是不幸的是我没有找到任何方法。我曾尝试用词袋模型和嵌入的手套词来预测字符串是名称还是城市等。 但是，我的单词袋模型并没有成功，在GloVe中，嵌入示例中没有涉及很多名称：-劳伦出现在手套中，而劳伦娜则没有 我确实在这里找到了这篇文章，该文章的答案很合理，但是除了使用NLP和SVM来解决这个问题之外，我无法采用该方法来解决该问题。 任何建议表示赞赏 致谢，Sai Charan Adurthi。

9 machine-learning  deep-learning  text-mining  natural-language-process