Questions tagged «neural-networks»

我在理解这句话时遇到了麻烦： 首先提出的体系结构类似于前馈NNLM，其中去除了非线性隐藏层，并为所有单词共享了投影层（而不仅仅是投影矩阵）。因此，所有单词都投影到同一位置（对它们的向量进行平均）。 什么是投影层与投影矩阵？说所有单词都投射到相同位置意味着什么？为什么这意味着它们的向量是平均的？ 该句子是向量空间中单词表示的有效估计的第3.1节的第一部分（Mikolov等，2013）。

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models 

我目前正在开发使用卷积神经网络识别面部的面部识别软件。根据我的阅读，我收集到卷积神经网络具有权重，以节省训练时间。但是，如何适应反向传播，以便可以在卷积神经网络中使用。在反向传播中，人们使用与此类似的公式来训练权重。 New Weight = Old Weight + LEARNING_RATE * 1 * Output Of InputNeuron * Delta 但是，由于在卷积神经网络中权重是共享的，因此每个权重都与多个神经元一起使用，那么如何确定使用哪个权重Output of InputNeuron？ 换句话说，由于权重是共享的，我该如何决定将权重改变多少？

11 machine-learning  neural-networks  computer-vision  backpropagation  conv-neural-network 

我试图绘制感知器算法的决策边界，我对一些事情感到非常困惑。我的输入实例的格式为，基本上是2D输入实例（x 1和x 2）和二进制类目标值（y）[1或0]。[ （x1个，X2），ÿ][(x1,x2),y][(x_{1},x_{2}), y]X1个x1x_{1}X2x2x_{2}ÿyy 因此，我的权重向量的形式为：。[w1,w2][w1,w2][w_{1}, w_{2}] 现在我必须合并一个额外的偏置参数，因此我的权重向量变成3 × 1向量？是1 × 3向量吗？我认为应该是1 × 3，因为向量只有1行n列。w0w0w_{0}3×13×13 \times 11×31×31 \times 31×31×31 \times 3 现在假设我将实例化为随机值，该如何绘制决策边界？含义w 0在这里表示什么？是瓦特0 / Ñ ø ř 米（瓦特）的判定区域的离原点的距离是多少？如果是这样，我如何捕获它并使用matplotlib.pyplot或其等效的Matlab在Python中绘制它？[w0,w1,w2][w0,w1,w2][w_{0}, w_{1}, w_{2}]w0w0w_{0}w0/norm(w)w0/norm(w)w_{0}/norm(w) 对于这个问题，我什至会提供一点帮助。

11 machine-learning  neural-networks  python  decision-theory  perceptron 

如果我有输入神经元的乙状神经元的固定非递归（DAG）拓扑（固定的节点和边集，但是学习算法可以改变边的权重），它们只能采用作为输入并导致一个输出（输出的实数值，如果它是固定的阈值（远离0），则我们向上舍入为1或向下舍入为-1）。是否有任何快速方法可以计算（或近似）该网络的VC尺寸？nnn{−1,1}n{−1,1}n\{-1,1\}^n 笔记 我在CS.SE上提出了一种更为精确的算法重新制定： 有效地计算或近似神经网络的VC维

11 machine-learning  neural-networks  algorithms  vc-dimension 

我在R中使用神经网络来构建具有14个输入和一个输出的NN。我使用相同的输入训练数据和相同的网络体系结构/设置几次构建/训练网络。 生成每个网络之后，我将其用于独立的一组测试数据上以计算一些预测值。我发现，尽管每次构建网络时所有输入（训练数据和测试数据）都保持不变，但预测数据的每次迭代都存在较大差异。 我知道每次在NN中产生的权重都会有所不同，并且没有两个神经网络会是相同的，但是在给定相同数据的情况下，我该如何尝试在每个列车上产生更一致的网络？

11 r  machine-learning  neural-networks 

我正在实施一篇颇受欢迎的论文“ 解释和利用对抗性示例 ”，在该论文中，它训练了对抗性目标函数 J''（θ）=αJ（θ）+（1 −α）J'（θ）。 它将α视为超参数。α可以是0.1、0.2、0.3等。 不管这份具体论文如何，我都想知道，为什么我们不只是将α纳入参数并学习最佳的α？ 这样做的缺点是什么？是因为过度拟合吗？如果是这样，为什么只学习1个参数会导致过拟合呢？

11 machine-learning  neural-networks  deep-learning  hyperparameter 

根据我的了解，我们在CNN的转换层中使用多个过滤器来学习不同的特征检测器。但是，由于这些过滤器的应用方式相似（即，将其滑动并与输入区域相乘），难道它们不是在训练过程中学习相同的参数吗？因此，使用多个过滤器将是多余的吗？

11 neural-networks  conv-neural-network  convolution  filter 

关闭。这个问题是题外话。它当前不接受答案。 想改善这个问题吗？ 更新问题，使它成为交叉验证的主题。 去年关闭。 在CIFAR-10数据集上经过15个纪元后的训练似乎使验证损失不再减少，大约为1.4（验证准确度为60％）。我重新整理了训练集，将其除以255，然后导入为float32。我已经尝试了许多体系结构，在Conv2D层中有或没有辍学，似乎没有任何效果。相同的体系结构在MNIST的测试集上实现了99.7％的准确性。请查看以下架构： （注意：我曾尝试增加Adam优化器的辍学率和提高/降低学习率，以防止过度拟合，所有这些操作都是为了防止过度拟合，但是现在训练和测试集的准确性都低至60％左右）。 with tf.device('/gpu:0'): tf.placeholder(tf.float32, shape=(None, 20, 64)) #placeholder initialized (pick /cpu:0 or /gpu:0) seed = 6 np.random.seed(seed) modelnn = Sequential() neurons = x_train_reduced.shape[1:] modelnn.add(Convolution2D(32, 3, 3, input_shape=neurons, activation='relu', border_mode='same')) modelnn.add(Convolution2D(32, 3, 3, activation='relu', border_mode='same')) modelnn.add(MaxPooling2D(pool_size=(2, 2))) modelnn.add(Dropout(0.2)) modelnn.add(Convolution2D(64, 3, 3, activation='relu', border_mode='same')) modelnn.add(Convolution2D(64, 3, 3, …

11 neural-networks  conv-neural-network  keras 

我正在开发用于图像识别的卷积网络，我想知道是否可以输入不同大小的图像（尽管差别不大）。 关于此项目：https : //github.com/harvardnlp/im2markup 他们说： and group images of similar sizes to facilitate batching 因此，即使经过预处理，图像仍然具有不同的大小，这是有道理的，因为它们不会切掉公式的某些部分。 使用不同尺寸会有任何问题吗？如果有，我应该如何解决此问题（因为公式无法完全适合相同的图像大小）？ 任何输入将不胜感激

10 neural-networks  conv-neural-network  computer-vision 

就神经网络和深度学习之间的区别而言，我们可以列出几个项目，例如包括更多的层，海量数据集，强大的计算机硬件，以使训练复杂的模型成为可能。 除了这些，还有关于NN和DL之间差异的更详细的解释吗？

10 machine-learning  neural-networks  deep-learning  conv-neural-network  deep-belief-networks 

在神经网络的深度和学习率之间有经验法则吗？我注意到网络越深，学习率就必须越低。 如果正确，那为什么呢？

10 neural-networks  deep-learning  hyperparameter  rule-of-thumb 

虽然我实际上是在物理课上用玻尔兹曼机进行编程的，但我对它们的理论特性并不熟悉。相反，我对图形模型的理论了解很少（关于Lauritzen的《图形模型》的前几章）。 问题：图形模型和玻尔兹曼机器之间是否存在有意义的关系？玻尔兹曼机是图形模型的一种吗？ 显然，玻尔兹曼机是一种神经网络。我听说有些神经网络在数学上与图形模型有关，而有些则没有。 CrossValidated上的相关问题没有回答我的问题： 这类似于之前已经问过的先前问题：层次模型，神经网络，图形模型，贝叶斯网络之间的关系是什么？但更具体。 此外，对该问题的公认答案并不能澄清我的困惑-即使神经网络的标准图形表示中的节点不表示随机变量，也不一定意味着不存在这种表示形式。具体来说，我正在考虑马尔可夫链的典型图形表示中的节点如何表示可能状态的集合，而不是随机变量，但是也可以创建一个图形，显示之间的条件依赖关系XiXiX_iXiXiX_i，这表明每个马尔可夫链实际上都是一个马尔可夫随机场。答案还说，神经网络（可能包括Boltzmann机器）是“判别性的”，但没有更详细地解释该主张的含义，也没有明显的后续问题“图形模型不是可判别的吗？” 已解决。同样，可接受的答案链接到凯文·墨菲（Kevin Murphy）的网站（当我学习贝叶斯网络时，我实际上阅读了他的博士学位论文），但是该网站仅讨论贝叶斯网络，而根本没有提及神经网络，因此无法阐明它们的方式。是不同的。 这另一个问题可能与我的最相似：将神经网络数学建模为图形模型但是，没有一个答案被接受，同样也仅提供参考，但不解释参考（例如，此答案）。希望有一天我能够理解这些参考资料，但现在我已经具备基本的知识水平，并且最希望得到一个尽可能简化的答案。此外，链接到顶部答案（http://www.cs.toronto.edu/~tijmen/csc321/lecture_notes.shtml）的多伦多课程解决了此问题，但没有非常详细。此外，可能无法回答我的问题的一次讲座的笔记也没有公开。 3月25日，讲座13b：信仰网7:43。对于此幻灯片，请记住Boltzmann Machines。那里也有隐藏的单位和可见的单位，而且都是概率性的。BM和SBN的共同点是多于区别。9:16 如今，“图形模型”有时被视为神经网络的特殊类别，但在此处描述的历史中，它们被认为是非常不同的系统类型。

10 machine-learning  neural-networks  mathematical-statistics  graphical-model  rbm 

可以训练神经网络以某种样式绘制图片吗？（因此，它会拍摄图像并以训练有素的样式重绘。） 是否有经过批准的技术可用于此类事情？我知道DeepArt算法。可以用特定的图案（例如，vangoghify图像）填充主图像，这很好，但是我正在寻找不同的东西，例如，从输入的肖像中以某种样式制作卡通。

10 machine-learning  neural-networks  deep-learning 

我正在尝试使用反向传播训练深度神经网络进行分类。具体来说，我使用Tensor Flow库将卷积神经网络用于图像分类。在训练过程中，我遇到一些奇怪的行为，我只是想知道这是否很典型，或者我做错了什么。 因此，我的卷积神经网络有8层（5层卷积，3层完全连接）。所有权重和偏差均以较小的随机数初始化。然后，我设置步长，并使用Tensor Flow的Adam Optimizer进行小批量训练。 我正在谈论的奇怪行为是，对于我的训练数据中的前10个循环，训练损失通常不会减少。权重正在更新，但训练损失大致保持在大约相同的值，有时在小批之间增加或减少。它会保持这种状态一段时间，并且我总是给人以损失永远不会减少的印象。 然后，突然之间，训练损失急剧减少。例如，在训练数据的大约10个循环内，训练精度从大约20％变为大约80％。从那时起，一切最终都很好地融合在一起。每当我从头开始运行训练管道时，都会发生相同的事情，下面的图表说明了一个示例运行。 因此，我想知道的是，这是通过训练深度神经网络进行的正常行为，从而需要一段时间才能“踢进”。还是我做错了某件事导致了此延迟？ 非常感谢！

10 machine-learning  classification  neural-networks  conv-neural-network  tensorflow 

假设我有一个简单的单层神经网络，具有n个输入和一个输出（二进制分类任务）。如果我将输出节点中的激活函数设置为S型函数，则结果将是Logistic回归分类器。 在相同的情况下，如果将输出激活更改为ReLU（整流线性单位），那么结果结构是否与SVM相同或相似？ 如果不是，为什么？

10 neural-networks  svm