Questions tagged «neural-networks»

假设我想训练一个深度神经网络来执行分类或回归，但是我想知道预测的信心。我怎样才能做到这一点？ 我的想法是根据每个训练数据在上述神经仪中的预测性能来计算交叉熵。然后，我将训练第二​​个神经网络进行回归，该神经网络将每个数据作为输入，并将交叉熵作为输出（一个输出节点）。然后，您将在实践中使用这两个网络-一个用于预测标签/值，另一个用于预测第一个网络的置信度。（...但是我是否需要第三个网络来预测第二个网络的置信度，依此类推...？！） 这是一个有效的主意吗？此外，这是常用的标准观念吗？如果没有，您会提出什么建议？

9 machine-learning  neural-networks 

根据LeCun等（1998）的“ Efficient Backprop”，优良作法是对所有输入进行归一化，使它们以0为中心并在最大二阶导数范围内。因此，例如，对于“ Tanh”功能，我们将使用[-0.5,0.5]。随着黑森州变得更稳定，这将有助于反向传播进程。 但是，我不确定如何处理max（0，x）的整流神经元。（从那时起，还使用逻辑函数，我们想要类似[0.1,0.9]的东西，但是它并不以0为中心）

9 machine-learning  neural-networks  normalization  deep-learning  multidimensional-scaling 

问题是： 对于使用Sigmoid作为输入->隐藏，softmax用于隐藏->输出的单个隐藏层神经网络，得出具有相对熵损失的输入层的梯度。 我可以使用链式规则来完成大部分推导，但是我不确定如何将它们实际“链式”在一起。 定义一些符号 r=xW1+b1r=xW1+b1 r = xW_1+b_1 h=σ(r)h=σ(r) h = \sigma\left( r \right) ，是S型函数σσ\sigma θ=hW2+b2θ=hW2+b2 \theta = hW_2+b_2 ， y^=S(θ)y^=S(θ) \hat{y} = S \left( \theta \right) ，是softmax函数SSS J(y^）=∑iy日志y^一世J(y^）=∑一世ÿ日志⁡ÿ^一世 J\left(\hat{y}\right) = \sum_i y \log\hat{y}_i ，是实标号单热向量ÿÿy 然后根据链式规则 ∂Ĵ∂X= ∂Ĵ∂θ＆CenterDot;＆＆PartialD;＆θ∂H＆CenterDot;＆＆PartialD;＆H∂[R＆CenterDot;＆＆PartialD;＆[R∂X∂Ĵ∂X=∂Ĵ∂θ⋅∂θ∂H⋅∂H∂[R⋅∂[R∂X \frac{\partial J}{\partial \boldsymbol{x}} = \frac{\partial J}{\partial \boldsymbol{\theta}} \cdot \frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} \cdot …

9 neural-networks  gradient 

自动编码器网络似乎比普通分类器MLP网络更复杂。在使用Lasagne进行了几次尝试之后，我在重构输出中得到的所有内容在最好的情况下类似于MNIST数据库的所有图像的模糊平均，而没有区分输入位数是多少。 我选择的网络结构为以下层叠层： 输入层（28x28） 2D卷积层，滤镜尺寸7x7 最大汇聚层，大小3x3，步幅2x2 密集（完全连接）的展平层，10个单位（这是瓶颈） 密集（完全连接）层，共121个单元 将图层重塑为11x11 2D卷积层，滤镜大小3x3 2D放大层系数2 2D卷积层，滤镜大小3x3 2D放大层系数2 2D卷积层，滤镜尺寸5x5 功能最大池化（从31x28x28到28x28） 所有的2D卷积层都具有无偏差的偏置，S型激活和31个滤波器。 所有完全连接的层均具有S型激活。 使用的损失函数为平方误差，更新函数为adagrad。用于学习的块的长度是100个样本，乘以1000个纪元。 下面是该问题的说明：上面的行是设置为网络输入的一些样本，下面的行是重构： 为了完整起见，以下是我使用的代码： import theano.tensor as T import theano import sys sys.path.insert(0,'./Lasagne') # local checkout of Lasagne import lasagne from theano import pp from theano import function import gzip import numpy as np from …

9 machine-learning  neural-networks  dimensionality-reduction  unsupervised-learning  autoencoders 

在CNN中，我们将学习过滤器以在卷积层中生成特征图。 在自动编码器中，每一层的单个隐藏单元都可以视为过滤器。 在这两个网络中学习的过滤器之间有什么区别？

9 machine-learning  neural-networks  conv-neural-network  autoencoders 

我的输入极为稀疏，例如输入图像中某些特征的位置。此外，每个功能都可以进行多次检测（不确定是否会影响系统的设计）。我将其表示为k通道“二进制图像”，其中ON像素表示该特征的存在，反之亦然。我们可以看到这样的输入注定是非常稀疏的。 因此，在将稀疏数据与神经网络一起使用时，是否有任何建议，特别是代表检测/位置的数据？

9 neural-networks  deep-learning  sparse 

我开始了我的博士之旅，而我自己设定的最终目标是开发ANN，以监控他们工作的环境并动态调整体系结构以解决当前的问题。明显的含义是数据的暂时性：如果数据集不是连续的并且不会随时间变化，那么为什么要进行调整呢？ 最大的问题是：随着深度学习的兴起，它仍然是一个相关的话题吗？FFNN是否有机会在概念漂移问题中找到自己的位置？ 我担心会给线程带来过多的问题，但这并不是完全不合时宜的事情：我知道RNN，但是我对它们的经验有限（可以，没有，或者纯粹是理论上的）；我相信在RNN的背景下，动态架构适应必须是一个相关主题。问题是，它是否已经得到回答，我会重新发明轮子吗？ PS交叉发布以进行MetaOptimize

9 machine-learning  neural-networks 

我正在使用非正态分布数据训练人工神经网络（反向传播，前馈）。除了均方根误差外，文献还经常提出用于评估训练网络质量的皮尔逊相关系数。但是，如果训练数据不是正态分布的，Pearson相关系数是否合理？使用基于等级的相关度量（例如Spearman rho）是否更合理？

9 correlation  neural-networks  spearman-rho 

我想对文本进行情感分析，浏览了几篇文章，其中一些正在使用“朴素贝叶斯”，另一些是“递归神经网络（LSTM）”，另一方面，我看到了用于情感分析的python库，是nltk。它使用“朴素贝叶斯”（Naive Bayes）谁能解释使用两者的区别？ 我也阅读了这篇文章，但对两者都不清楚。 贝叶斯网络，神经网络，决策树和Petri网之间的差异

8 machine-learning  neural-networks  python  natural-language