Questions tagged «deep-learning»

我想知道在什么情况下堆叠LSTM是有利的？

14 machine-learning  neural-network  deep-learning  lstm 

是否有一种方法可以根据LSTM（或其他递归）神经网络在时间序列预测周围计算预测间隔（概率分布）？ 假设举例来说，根据最近观察到的10个样本（t-9至t），我预测了10个样本（t + 1至t + 10），我希望在t + 1的预测会更多比t + 10时的预测准确。通常，可能会在预测周围绘制误差线以显示间隔。使用ARIMA模型（在正态分布误差的假设下），我可以围绕每个预测值计算预测间隔（例如95％）。我可以从LSTM模型中计算出相同的值（或与预测间隔有关的值）吗？ 我一直在Keras / Python的LSTMs，下面很多来自例子machinelearningmastery.com，从我的示例代码（见下文）的基础上的。我正在考虑将问题重新分类为离散的分类，因为这会使每个类产生置信度，但这似乎是一个糟糕的解决方案。 有几个类似的主题（例如以下主题），但是似乎没有什么可以直接解决LSTM（或其他）神经网络的预测间隔问题： /stats/25055/how-to-calculate-the-confidence-interval-for-time-series-prediction 使用ARIMA和LSTM进行时间序列预测 from keras.models import Sequential from keras.layers import Dense from keras.layers import LSTM from math import sin from matplotlib import pyplot import numpy as np # Build an LSTM network and train def fit_lstm(X, y, …

14 machine-learning  deep-learning  time-series  prediction  lstm 

我试图理解本文，不确定什么是双线性上采样。谁能从高层次上解释这一点？ https://arxiv.org/abs/1606.00915

13 deep-learning  convnet  cnn  convolution 

我想知道梯度下降是否是Adam，Adagrad，RMSProp等优化器中使用的主要算法。

13 machine-learning  neural-network  deep-learning  optimization  gradient-descent 

我正在尝试为多层网络找到等效的欣顿图，以在训练过程中绘制权重。 训练后的网络在某种程度上类似于Deep SRN，即它具有大量的多个权重矩阵，这会使多个Hinton图的同时绘制在视觉上造成混淆。 有人知道可视化多层多层递归网络权重更新过程的好方法吗？ 我没有找到太多关于该主题的论文。我当时想在每层权重上显示与时间相关的信息，如果我无法解决问题。例如，随着时间的推移，每一层的权重增量（省略每个连接的使用）。PCA是另一种可能性，尽管我不想产生太多额外的计算，因为可视化是在培训期间在线完成的。

13 machine-learning  neural-network  visualization  deep-learning 

如果删除一些神经元会产生更好的性能模型，为什么不首先使用层数更少，神经元更少的简单神经网络呢？为什么要在开始时建立一个更大，更复杂的模型，而在以后取消它的一部分呢？

13 machine-learning  deep-learning  keras  regularization  dropout 

如果我们看一下使用CNN（ConvNet）发表的论文中有90-99％。他们中的绝大多数使用奇数号的过滤器大小：{1、3、5、7}最常用。 这种情况可能会导致一些问题：使用这些滤波器大小时，通常在填充为2（普通填充）的情况下卷积运算并不完美，并且在此过程中会丢失input_field的某些边缘... 问题1：为什么仅对卷积滤波器大小使用奇数？ Question2：在卷积过程中忽略一小部分input_field实际上是一个问题吗？为什么这样/不呢？

13 deep-learning  convnet  computer-vision  convolution 

我读到这个： 为了训练我们的神经网络，我们将每个参数W（l）ijWij（l）和每个b（l）ibi（l）初始化为接近零的小随机值（根据Normal（0，ϵ2）Normal（0 ，ϵ2）分布一些小ϵϵ，例如0.01） 从斯坦福大学深度学习教程 在第7款的BP算法 我不明白的是为什么权重或偏差的初始化应该在0左右？

13 deep-learning  stanford-nlp  randomized-algorithms 

我对2D或3D实施情况下深度学习中卷积层在图像处理中的作用和机制有很好的一般理解-他们“简单地”尝试捕获图像中的2D模式（在3D情况下为3个通道）。 但是最近我在自然语言处理的背景下遇到了1D卷积层，这对我来说是一个惊喜，因为在我的理解中2D卷积尤其用于捕获无法以1D（矢量）形式显示的2D模式。图像像素。一维卷积背后的逻辑是什么？

13 deep-learning  nlp  convolution 

我正在运行由GPU训练的深度学习神经网络。现在，我想将此部署到多个主机以进行推断。问题是什么条件决定我应该使用GPU还是CPU进行推理？ 在下面的评论中添加更多详细信息。 我对此并不陌生，因此非常感谢您的指导。 内存：GPU是K80 框架：Cuda和cuDNN 每个工作负载的数据大小：20G 计算要消耗的节点：每个作业一个，尽管要考虑扩展选项 费用：如果理由合理，我可以负担得起GPU选项 部署：在自己托管的裸机服务器上运行，而不是在云中。 现在，我在CPU上运行只是因为应用程序运行正常。但是出于这个原因，我不确定为什么还要考虑使用GPU。

13 deep-learning  gpu 

在Wikipedia和deeplearning4j中，有人说深度学习NN（DLNN）是具有> 1隐层的NN。 对于我来说，这类NN在大学中是标准的，而DLNN如今非常受炒作。到那儿去了，做完了-有什么大不了的？ 我还听说堆叠式NN被认为是深度学习。如何真正定义深度学习？ 我的NN背景主要来自大学，而不是工作： 研究了NN在工业中的应用 关于artif的课程大约有5门。英特尔。和马赫。学习。-尽管其中有2个在NN上 使用NN进行小型，简单的图像识别项目-使用3层前馈NN 没有对他们做真正的研究（如在博士论文中）

13 neural-network  deep-learning 

当在Keras中使用Early Stopping回调时，某些指标（通常是验证损失）没有增加时，训练将停止。有没有一种方法可以使用其他指标（例如精度，召回率，f度量）代替验证损失？到目前为止，我所看到的所有示例都与此示例类似：callbacks.EarlyStopping（monitor ='val_loss'，耐心= 5，冗长= 0，mode ='auto'）

13 machine-learning  neural-network  deep-learning  keras 

我正在尝试在Keras中实现共享层。我确实看到Keras拥有keras.layers.concatenate，但是我从文档中不确定其用法。我可以使用它来创建多个共享层吗？如下所示，使用Keras来实现简单的共享神经网络的最佳方法是什么？ 请注意，所有3个NN的输入，输出和共享层的所有形状都相同。三个NN中有多个共享层（和非共享层）。着色层对于每个NN都是唯一的，并且具有相同的形状。 基本上，该图表示具有多个共享隐藏层的3个相同的NN，然后是多个非共享隐藏层。 我不确定如何像Twitter示例中那样共享多个层，只有一个共享层（API文档中的示例）。

12 machine-learning  neural-network  deep-learning  keras  multitask-learning 

大多数高级深度学习模型（例如VGG，ResNet等）都需要正方形图像作为输入，通常像素大小为224 x 224224X224224x224。 输入的形状必须相等是有原因的，还是可以建立一个100 x 200100X200100x200的convnet模型（例如，如果要进行面部识别并且有人像图像）？ 更大的像素尺寸（例如512 x 512512X512512x512是否会增加收益？

12 deep-learning  image-classification  image-recognition 

我想实现这个上一所集医疗图像的纸。我在Keras上做。该网络主要由4个conv和max-pool层组成，然后是一个完全连接的层和s​​oft max分类器。 据我所知，我遵循了本文提到的架构。但是，验证损失和准确性始终保持不变。准确性似乎固定为〜57.5％。 对于我可能会出错的任何帮助，将不胜感激。 我的代码： from keras.models import Sequential from keras.layers import Activation, Dropout, Dense, Flatten from keras.layers import Convolution2D, MaxPooling2D from keras.optimizers import SGD from keras.utils import np_utils from PIL import Image import numpy as np from sklearn.utils import shuffle from sklearn.cross_validation import train_test_split import theano import os import …

12 machine-learning  python  deep-learning  keras