Questions tagged «neural-networks»

稀疏编码被定义为学习一组超完备的基础向量来表示输入向量（<-为什么要这样做）。稀疏编码和自动编码器有什么区别？什么时候使用稀疏编码和自动编码器？

35 machine-learning  neural-networks  unsupervised-learning  deep-learning  autoencoders 

我已经阅读了几篇论文，讨论了每种方法的优缺点，有些人认为GA在寻找最佳解决方案方面没有任何改进，而另一些则表明它更有效。似乎在文献中一般首选GA（尽管大多数人以某种方式对其进行了修改以实现所需的结果），那么为什么大多数软件解决方案似乎仅使用反向传播？ 使用一种或另一种时是否有一些一般的经验法则？也许这取决于NN的类型，或者存在一些通常优于其他解决方案的最新解决方案？ 如果可能的话，我正在寻找一般的答案：即，“如果NN很大，则GA会更好”，或者“ GA总是会更好，但存在计算性能问题”等。

34 neural-networks  genetic-algorithms  backpropagation 

它们似乎都由节点表示随机变量，并通过（可能是定向的）边缘表示（独立）依赖。我尤其对贝叶斯的观点感兴趣。

34 causality  neural-networks  multilevel-analysis  graphical-model 

有没有人看过关于深度卷积神经网络中的预训练的文献？我只在自动编码器或受限的Botzman机器上看到过无监督的预训练。

33 machine-learning  neural-networks  deep-learning  conv-neural-network  autoencoders 

我有一个流数据集，示例一次可用。我需要对它们进行多类分类。一旦将培训示例提供给学习过程，我就必须放弃该示例。同时，我还使用最新模型对未标记的数据进行预测。 据我所知，神经网络能够通过一次提供一个示例并对该示例执行正向传播和反向传播来进行流学习。 SVM可以一次执行流学习一个示例并立即丢弃该示例吗？

33 machine-learning  svm  neural-networks 

我是神经网络建模的新手，但是我设法建立了一个神经网络，其中的所有可用数据点都非常适合观察到的数据。神经网络是在R中使用nnet软件包完成的： require(nnet) ##33.8 is the highest value mynnet.fit <- nnet(DOC/33.80 ~ ., data = MyData, size = 6, decay = 0.1, maxit = 1000) mynnet.predict <- predict(mynnet.fit)*33.80 mean((mynnet.predict - MyData$DOC)^2) ## mean squared error was 16.5 我正在分析的数据如下所示，其中DOC是必须建模的变量（大约有17,000个观测值）： Q GW_level Temp t_sum DOC 1 0.045 0.070 12.50 0.2 11.17 2 0.046 …

33 r  neural-networks 

在安德鲁·Ng的神经网络和深度学习课程Coursera他说，使用Ť 一个Ñ ħŤ一种ñHtanh几乎总是最好使用。š 我克米ø 我ds一世G米Ø一世dsigmoid 他给出的原因是，使用的输出以0为中心，而不是的为0.5，这“使下一层的学习变得容易一些”。Ť 一个Ñ ħŤ一种ñHtanhš 我克米ø 我ds一世G米Ø一世dsigmoid 为什么居中激活的输出速度学习？我假设他是在反向传播期间学习时发生的，是指上一层？ 还有其他使更可取的功能吗？陡峭的坡度会延迟消失的坡度吗？tanhŤ一种ñHtanh 在任何情况下，会更可取？sigmoids一世G米Ø一世dsigmoid 首选数学轻巧，直观的答案。

33 machine-learning  neural-networks  backpropagation  sigmoid-curve 

我在https://en.wikipedia.org/wiki/Generative_adversarial_networks上阅读： [生成对抗网络]由Ian Goodfellow等人于2014年引入。 但Jurgen Schmidhuber声称曾在该方向上进行过类似的工作（例如，在生成对抗网络教程期间，NIPS 2016上进行了一些辩论：https：//channel9.msdn.com/Events/Neural-Information-Processing-Systems-会议/神经信息处理系统会议-NIPS-2016 / Generative-Adversarial-Networks，请参阅1h03min）。 生成对抗网络背后的想法是由JürgenSchmidhuber首次公开提出的吗？如果没有，尤尔根·施密德胡伯（JürgenSchmidhuber）的想法有多相似？

32 neural-networks  history  gan 

我是神经网络的新手，但是对理解它们非常感兴趣。但是，开始并不容易。 谁能推荐一本好书或其他任何资源？有必读吗？ 我很感谢任何小费。

32 machine-learning  neural-networks  references 

我们如何向没有统计学背景的受众解释逻辑回归和神经网络之间的区别？

32 logistic  neural-networks 

长期以来，计算机一直能够使用“强力”技术下棋，搜索到一定深度然后评估位置。但是，AlphaGo计算机仅使用ANN评估位置（据我所知，它不进行任何深度搜索）。是否可以创建与AlphaGo玩Go相同的方式下棋的国际象棋引擎？为什么没有人这样做？该程序的性能是否会比今天的顶级国际象棋引擎（和国际象棋玩家）更好？

32 neural-networks  deep-learning  reinforcement-learning  games 

介绍背景 在卷积神经网络内，我们通常具有如下所示的一般结构/流程： 输入图像（即2D矢量x） （第一个卷积层（Conv1）从这里开始...） w1沿2D图像对一组滤镜（）进行卷积（即进行z1 = w1*x + b1点积乘法），其中z13D b1为偏差。 应用激活函数（例如ReLu）使z1非线性（例如a1 = ReLu(z1)）a1为3D。 （第二个卷积层（Conv2）从这里开始...） 沿新计算的激活量（即，进行z2 = w2*a1 + b2点积乘法）对一组滤波器进行卷积，其中z23D为，且b2为偏差。 应用激活函数（例如ReLu）使z2非线性（例如a2 = ReLu(z2)）a2为3D。 问题 术语“功能图”的定义似乎因文学而异。具体来说： 对于第一个卷积层，“特征图”是否对应于输入矢量x，输出点积z1，输出激活a1或转换x为的“过程” a1或其他内容？ 类似地，对于第二卷积层，“特征图”是否对应于输入激活a1，输出点积z2，输出激活a2，或转换a1为的“过程” a2或其他？ 另外，术语“功能图” 与“激活图” 是否完全相同？（或者它们实际上是指两个不同的东西吗？） 其他参考： 神经网络和深度学习的片段-第6章： *这里使用的术语是宽松的。特别是，我使用“功能图”来表示不是由卷积层计算的功能，而是表示从该层输出的隐藏神经元的激活。这种轻微的术语滥用在研究文献中非常普遍。 Matt Zeiler的可视化和理解卷积网络的片段： 在本文中，我们介绍了一种可视化技术，该技术揭示了在模型的任何层上激发单个特征图的输入刺激。相比之下，我们的方法提供了不变性的非参数视图，显示了训练集中的哪些模式激活了特征图。局部对比操作，可标准化整个特征图的响应。[...]要检查给定的convnet激活，我们将该层中的所有其他激活设置为零，并将要素映射作为输入传递到附加的deconvnet层。convnet使用relu非线性来校正特征图，从而确保特征图始终为正。[...] convnet使用学习的过滤器对来自上一层的特征图进行卷积。[...]图6 这些可视化是输入模式的准确表示，当原始输入图像中与模式相对应的部分被遮挡时，可以刺激模型中给定的特征图，我们可以看到特征图中活动的明显下降。[...] 备注：在图1中还引入了术语“特征图”和“校正后的特征图”。 从片段斯坦福CS231n章在CNN： [...]通过这种可视化可以轻松注意到的一个危险陷阱是，对于许多不同的输入，某些激活图可能全为零，这可能表明过滤器失效，并且可能是高学习率的征兆[...]训练有素的AlexNet的第一张CONV层（左）和第五张CONV层（右）上看似典型的激活物，它们看着猫的照片。每个框都显示对应于某个过滤器的激活图。请注意，激活是稀疏的（大多数值是零，在此可视化中以黑色显示）并且大多数是局部的。 从片段A-Beginner's-引导到理解，卷积神经网络 [...]输入卷上的每个唯一位置都会产生一个数字。在所有位置上滑动过滤器后，您会发现剩下的是28 x 28 x 1的数字数组，我们称之为激活图或功能图。

32 neural-networks  deep-learning  conv-neural-network 

我一直在研究回归问题，其中输入是图像，标签是80到350之间的连续值。图像是发生反应后的某些化学物质。原来的颜色表示剩余的另一种化学品的浓度，这就是模型要输出的-该化学品的浓度。图像可以旋转，翻转，镜像，并且预期的输出应该仍然相同。这种分析是在真实的实验室中完成的（非常专业的机器使用颜色分析来输出化学药品的浓度，就像我正在训练该模型一样）。 到目前为止，我仅试验了大致基于VGG（conv-conv-conv-pool块的多个序列）的模型。在尝试使用较新的体系结构（Inception，ResNets等）之前，我想研究一下是否存在其他更常用的图像回归体系结构。 数据集如下所示： 该数据集包含约5,000个250x250样本，我将其大小调整为64x64，因此训练更加容易。一旦找到有前途的体系结构，我将尝试更大分辨率的图像。 到目前为止，我的最佳模型在训练集和验证集上的均方误差约为0.3，这在我的用例中还远远不能接受。 到目前为止，我最好的模型如下所示： // pseudo code x = conv2d(x, filters=32, kernel=[3,3])->batch_norm()->relu() x = conv2d(x, filters=32, kernel=[3,3])->batch_norm()->relu() x = conv2d(x, filters=32, kernel=[3,3])->batch_norm()->relu() x = maxpool(x, size=[2,2], stride=[2,2]) x = conv2d(x, filters=64, kernel=[3,3])->batch_norm()->relu() x = conv2d(x, filters=64, kernel=[3,3])->batch_norm()->relu() x = conv2d(x, filters=64, kernel=[3,3])->batch_norm()->relu() x = maxpool(x, size=[2,2], stride=[2,2]) x …

32 regression  machine-learning  neural-networks  conv-neural-network  tensorflow 

我学习LSTM已有一段时间了。我从较高的角度了解一切。但是，要使用Tensorflow实施它们，我注意到BasicLSTMCell需要许多单位（即num_units）参数。 从这个 LSTMs的非常详尽的解释，我已经收集单个LSTM单元是以下情况之一 实际上是GRU单位 我假设参数num_units的BasicLSTMCell指的是我们要多少，这些在层挂钩到对方。 这就提出了问题-在这种情况下什么是“单元”？“单元”是否等效于普通前馈神经网络中的一层？

32 neural-networks  terminology  lstm  rnn  tensorflow 

为什么我们在神经网络中使用整流线性单位（ReLU）？如何改善神经网络？ 为什么我们说ReLU是激活功能？softmax激活功能不是用于神经网络吗？我猜我们像这样使用ReLU和softmax： 具有softmax输出的神经元1 ---->神经元1输出的ReLU，它是 神经元2的输入--->具有softmax输出的神经元2-> ... 因此神经元2的输入基本上是ReLU（softmax（x1））。它是否正确？

31 neural-networks