Questions tagged «deep-learning»

如果您有半页内容说明辍学，您将如何进行？这项技术背后的原理是什么？

17 neural-networks  deep-learning  regularization  dropout 

我们能否将尺寸可变的图像作为卷积神经网络的输入以进行目标检测？如果可能，我们该怎么做？ 但是，如果我们尝试裁切图像，则会丢失图像的某些部分，如果尝试调整大小，则会丢失图像的清晰度。如果将图像清晰度作为主要考虑因素，这是否意味着使用固有的网络属性是最好的？

17 deep-learning  tensorflow  keras  computer-vision  object-detection 

背景：过去约4年的许多现代研究（后alexnet）似乎已不再使用对神经网络进行生成式预训练来获得最新的分类结果。 例如，此处 mnist的最高结果仅包括前两篇论文中似乎使用生成模型的50篇论文，这两篇论文都是RBM。其他48篇获奖论文涉及不同的判别式前馈体系结构，并且为寻找更好的/新颖的权重初始化和激活函数而不是RBM和许多较旧的神经网络中使用的S型曲线付出了很多努力。 问题：是否有现代的理由使用限制玻尔兹曼机？ 如果不是，是否可以对这些前馈体系结构进行实际修改，以使它们的任何层生成？ 动机：我问，因为我看到的某些模型可用，通常是RBM上的变体，不一定与这些生成层/模型具有明显相似的区分性，反之亦然。例如： mcRBM ssRBM CRBM（尽管有人可能会说CNN使用的前馈架构是判别式类似架构） 同样，分别从2010年，2011年和2009年起，这些显然也是prelex网络。

16 references  deep-learning  rbm  generative-models 

在学习卷积神经网络时，我对下图有疑问。 1）第1层中的C1有6个特征图，是否意味着有6个卷积核？每个卷积核用于基于输入生成特征图。 2）第2层中的S1具有6个特征图，C2具有16个特征图。基于S1中的6个特征图来获得这16个特征图的过程是什么样的？

16 machine-learning  neural-networks  deep-learning  pattern-recognition  conv-neural-network 

由于它们在计算机视觉中的应用，我正在研究卷积神经网络（CNN）。我已经熟悉标准的前馈神经网络，所以我希望这里的某些人可以帮助我在理解CNN方面采取额外的步骤。我对CNN的看法如下： 在传统的前馈神经网络中，我们拥有训练数据，其中每个元素都包含一个特征向量，该特征向量在“输入层”中输入到神经网络，因此在图像识别中，我们可以将每个像素作为一个输入。这些是我们的特征向量。或者，我们可以手动创建其他（可能较小）的特征向量。 CNN的优势在于它可以生成更强大的特征向量，这些特征向量对于图像失真和位置更加不变。如下图所示（来自本教程），CNN生成特征图，然后将其输入到标准神经网络中（因此，这实际上是一个巨大的预处理步骤）。 我们获得这些“更好”特征的方法是通过交替进行卷积和子采样。我了解子采样的工作原理。对于每个特征图，只取像素的一个子集，否则我们可以对像素值求平均值。 但是我主要困惑的是卷积步骤是如何工作的。我很熟悉概率论中的卷积（两个随机变量之和的密度），但是它们在CNN中如何工作，为什么有效？ 我的问题与此类似，但是特别是，我不确定为什么第一步卷积有效。

16 neural-networks  deep-learning  conv-neural-network  convolution 

卷积层传送的滤波器数量是多少？ 这个数字如何影响架构的性能或质量？我的意思是我们应该总是选择更多数量的过滤器吗？他们有什么好处？人们如何为不同的层分配不同数量的过滤器？我的意思是看这个问题：如何确定CNN中卷积运算符的数量？ 答案指定了3个卷积层，它们具有不同数量的过滤器和大小，同样在这个问题中：卷积神经网络中特征图的数量 您可以从图片中看到，第一层有28 * 28 * 6过滤器，第二层conv层有10 * 10 * 16过滤器。他们如何得出这些数字，这是通过反复试验得出的吗？提前致谢

16 deep-learning  conv-neural-network 

我正在使用i）SGD和ii）Adam Optimizer训练神经网络。当使用正常的SGD时，我得到了一条平滑的训练损耗与迭代曲线的曲线，如下图所示（红色的曲线）。但是，当我使用Adam Optimizer时，训练损耗曲线会有一些尖峰。这些尖峰的解释是什么？ 型号详情： 14个输入节点-> 2个隐藏层（100-> 40个单位）-> 4个输出单位 我使用的默认参数为亚当beta_1 = 0.9，beta_2 = 0.999，epsilon = 1e-8和batch_size = 32。 i）与SGD ii）与Adam

16 neural-networks  deep-learning  adam 

我正在研究使用递归神经网络（RNN）的LSTM（长期短期记忆）版本对时间序列数据进行建模。随着数据序列长度的增加，网络的复杂性也随之增加。因此，我很好奇准确建模的序列长度是多少？ 我想使用相对简单的LSTM版本，而又不难实施最新技术。我的时间序列中的每个观测值可能都有4个数字变量，观测值的数量在100.000到1.000.000之间。

15 neural-networks  deep-learning  lstm 

深入研究神经网络文献时，我们发现了具有神经形态拓扑结构的其他方法（“神经网络”架构）。而且我并不是在说通用逼近定理。示例如下。 然后，让我感到奇怪的是：人工神经网络的定义是什么？它的拓扑似乎涵盖了所有内容。 例子： 我们做出的第一个标识是在PCA和线性自动编码器之间，编码器和解码器具有约束权重，而瓶颈层则具有阈值激活。 此外，在线性模型（特殊情况下为逻辑回归）和没有隐藏层且只有一个输出层的神经网络之间进行了通用标识。此标识打开了几扇门。 傅里叶和泰勒级数？人工神经网络。SVM？人工神经网络。高斯过程？ANN（具有无限隐藏单元的单个隐藏层）。 因此，同样容易地，我们可以将具有这些算法的专门损失函数的任意正则化版本合并到神经网络框架中。 但是，我们挖掘的越多，相似之处就越多。我只是偶然发现了深度神经决策树，该树通过决策树来识别特定的ANN架构，并允许通过ANN方法（例如Gradient Descent反向传播）来学习这些决策树。由此，我们可以仅从神经网络拓扑结构构建随机森林和梯度增强决策树。 如果一切都可以表示为人工神经网络，那么什么定义了人工神经网络呢？

15 machine-learning  neural-networks  deep-learning  unsupervised-learning  supervised-learning 

我没有从google找到满意的答案。 当然，如果我拥有的数据量达到数百万，那么深度学习就是一种方法。 我已经读到，当我没有大数据时，也许最好在机器学习中使用其他方法。给出的原因是过度拟合。机器学习：即查看数据，特征提取，从收集的内容中构建新特征等。例如删除高度相关的变量等。整个机器学习9码。 我一直想知道：为什么具有一层隐藏层的神经网络不是解决机器学习问题的灵丹妙药？它们是通用估计器，可以通过辍学，l2正则化，l1正则化，批归一化来管理过度拟合。如果我们只有50,000个培训示例，那么培训速度通常不会成为问题。在测试时，它们比随机森林要好。 那么为什么不呢？-像通常那样清理数据，估算缺失值，将数据居中，标准化数据，将其扔到具有一个隐藏层的神经网络集合中并应用正则化，直到看不到过度拟合为止，然后进行训练他们到最后。梯度爆炸或梯度消失是没有问题的，因为它只是2层网络。如果需要较深的层，则意味着要学习分层功能，然后其他机器学习算法也不好。例如，SVM是仅具有铰链损耗的神经网络。 一个示例，其中其他一些机器学习算法的性能将超过经过精心调整的2层（也许是3？）神经网络。您可以给我链接到问题，然后我将训练最好的神经网络，我们可以看到2层或3层神经网络是否低于其他任何基准机器学习算法。

15 regression  machine-learning  classification  neural-networks  deep-learning 

我正在尝试学习如何使用神经网络。我正在阅读本教程。 使用时间的值拟合神经网络以预测时间的值后，作者获得以下曲线图，其中蓝线是时间序列，绿色是对火车数据的预测，红色是对测试数据进行预测（他使用了测试序列拆分）ŤŤtt + 1Ť+1个t+1 并将其称为“我们可以看到该模型在拟合训练数据和测试数据集方面做得很差。它基本上预测出与输出相同的输入值。” 然后，作者决定使用，和来预测处的值。这样做获得ŤŤtt − 1Ť-1个t-1t − 2Ť-2t-2t + 1Ť+1个t+1 并说：“看图表，我们可以在预测中看到更多的结构。” 我的问题 为什么第一个“可怜”？在我看来，它几乎是完美的，它可以完美地预测每个变化！ 同样，为什么第二个更好？“结构”在哪里？在我看来，这比第一个要差得多。 通常，对时间序列的预测什么时候好，什么时候不好？

15 time-series  neural-networks  predictive-models  deep-learning  prediction 

从什么时候开始将多层神经网络分类为深层神经网络，或者换句话说：“深层神经网络的最小层数是多少？”

15 machine-learning  neural-networks  deep-learning  terminology 

我已经阅读了很多有关卷积神经网络的文章，并且想知道它们如何避免消失的梯度问题。我知道深度信任网络会堆叠单级自动编码器或其他经过预先训练的浅层网络，因此可以避免此问题，但是我不知道如何在CNN中避免这种情况。 根据维基百科： “尽管存在上述“消失的梯度问题”，但GPU的优越处理能力使普通的反向传播对于多层多层前馈神经网络来说是可行的。” 我不明白为什么GPU处理会消除此问题？

15 machine-learning  optimization  deep-learning  gradient-descent 

如果我有一个卷积神经网络（CNN），它具有大约1000000个参数，则需要多少训练数据（假设我正在进行随机梯度下降）？有什么经验法则吗？ 附加说明：当我执行随机梯度下降（例如，1次迭代使用64个色块）时，在〜10000次迭代之后，分类器的精度可以达到大致的稳定值）。这是否意味着不需要太多数据？就像100k-1000k的数据一样。

15 machine-learning  neural-networks  deep-learning  conv-neural-network 

http://www.deeplearningbook.org/contents/ml.html第116页说明了贝叶斯错误，如下所示 理想的模型是一个预言家，它仅知道生成数据的真实概率分布。即使这样的模型在许多问题上仍然会产生一些错误，因为分布中可能仍然存在一些噪音。在监督学习的情况下，从x到y的映射可能是内在随机的，或者y可能是确定性函数，除了x中包括的变量之外，还涉及其他变量。预言家根据真实分布p（x，y）进行预测而引起的错误称为贝叶斯错误。 问题 请直观地解释贝叶斯错误？ 它与不可减少的误差有何不同？ 我可以说总误差=偏差+方差+贝叶斯误差吗？ “ y可能固有地是随机的”是什么意思？

15 machine-learning  deep-learning  terminology