Questions tagged «neural-networks»

我正在写一个简单的玩具游戏，目的是在其上训练深层神经网络。游戏规则大致如下： 游戏的棋盘由六边形单元组成。 两位玩家都拥有相同的棋子集合，他们可以选择自由放置在棋盘上。 根据彼此的位置和配置放置不同类型的棋子奖励积分（或减少对手的积分）。 得分更高的人获胜。 还有其他规则（关于转弯，件数和类型等），但是在此问题中它们并不重要。我想设计一个深度神经网络，该网络可以通过与自身竞争来反复学习。我的问题是关于输入和输出的表示。尤其是： 由于碎片的模式很重要，所以我一直认为至少要有一些卷积层。电路板可以有各种尺寸，但原则上非常小（在我的测试中为6x10，可以通过几个单元进行扩展）。是否有意义？我可以使用哪种池？ 如何代表双方？在这篇关于go的论文中，作者使用了两种输入矩阵，一种用于白宝石，另一种用于黑宝石。在这种情况下也可以工作吗？但是请记住，我有不同类型的片段，例如A，B，C和D。我应该使用2x4输入矩阵吗？对我来说，它似乎很稀疏，效率很低。我担心卷积层将无法正常工作。 我认为输出结果可能是代表董事会位置的矩阵上的概率分布，以及指示要播放的部分的概率单独数组。不过，我也需要代表的能力通过交替之际，这是非常重要的。如何在不降低其在其他概率中的重要性的情况下做到这一点？ 而且最重要的是，我是否只强制执行获胜举动还是执行失举？实施获胜的举动很容易，因为我只是将所需的概率设置为1。但是当失败时，我该怎么办？将该移动概率设置为0，将所有其他概率设置为相同值？另外，即使最终得分差异与输出的含义相违背，通过最终得分差异实施移动是否有意义？ 另外，我在node.js中开发了游戏引擎，并考虑将Synaptic用作框架，但是我不确定它是否可以与卷积网络一起工作（我怀疑是否有办法固定与本地感知领域相关的权重）。关于与节点兼容的其他库的任何建议？

13 neural-networks  deep-learning  game-ai 

在实施神经网络（前馈，反向传播或RNN）时，如何确定要创建的最佳层数？

13 neural-networks  hidden-layers 

这些类型的问题可能取决于问题，但是我试图找到研究来解决这个问题，即隐藏层的数量及其大小（每层中神经元的数量）是否真的很重要。 所以我的问题是，例如，是否有1个包含1000个神经元的大隐藏层与10个包含100个神经元的隐藏层真的重要吗？

13 neural-networks 

我根据需要的输出和已知的激活函数的属性为输出层选择激活函数。例如，当我处理概率时，我选择了S型函数；当我处理正值时，我选择了一个ReLU；当我处理一般值时，我选择了一个线性函数。 在隐藏层中，我使用泄漏的ReLU来避免死亡的神经元，而不是ReLU和tanh而不是乙状结肠。当然，我不会在隐藏单位中使用线性函数。 但是，在隐藏层中对它们的选择主要是由于反复试验。 在某些情况下，哪种激活功能可能会起作用，是否有任何经验法则？尽可能将情况称为“ 情境”：它可能是指该层的深度，NN的深度，该层的神经元数量，我们选择的优化程序，其输入特征的数量。到该NN的应用等 在他/她的答案中，cantordust指的是我未提及的其他激活功能，例如ELU和SELU。此信息非常受欢迎。但是，我发现激活功能越多，对于在隐藏层中使用的功能的选择我就越感到困惑。而且我不认为掷硬币是选择激活功能的好方法。

13 neural-networks  machine-learning  math  activation-function 

我正在阅读有关生成对抗网络（GAN）的信息，对此我有些怀疑。到目前为止，我了解到，在GAN中，有两种不同类型的神经网络：一种是生成型（GGG），另一种是判别型（DDD）。生成神经网络生成一些数据，这些数据由判别神经网络判断正确性。GAN通过将损失函数传递给两个网络来学习。 区分性（DDD）神经网络最初如何知道GGG生成的数据是否正确？我们是否必须先训练DDD然后将其与GGG一起添加到GAN中？ 让我们考虑我训练有素的DDD网，它可以将图片分类的准确率达到90％。如果我们将此DDD网添加到GAN，则有10％的概率会将图像分类为错误。如果我们用这个DDD网络训练GAN，那么在分类图像时，它也会有同样的10％错误吗？如果是，那么GAN为何显示出令人满意的结果？

12 neural-networks  machine-learning  deep-learning  generative-adversarial-networks 

我是神经网络的新手，我试图从数学上理解是什么使神经网络非常擅长分类问题。 以一个小型神经网络为例（例如，一个具有2个输入，2个隐藏层节点和2个输出节点）的神经网络，您所拥有的只是一个复杂的函数，在线性组合上大部分为S形乙状结肠。 那么，这如何使他们擅长预测？最终函数会导致某种曲线拟合吗？

12 neural-networks 

我知道，当前的一种流行方式是训练神经网络来生成诸如《朋友》或《辛普森一家》等剧本和新剧集，这很好：这很有趣，并且可能是制作可以实际生成的程序的必要的第一步。明智/可理解的故事。 在这种情况下，是否可以对神经网络进行专门的培训，以研究故事或电影剧本的结构，并可能生成情节点或《英雄之旅》中的步骤等，从而有效地编写故事大纲？ 对我来说，这与许多在线上的无数绘图点生成器不同，尽管我必须承认它们的相似性。我只是想知道技术或实施是否还存在，如果存在的话，我会怎么做。

12 neural-networks  deep-learning  applications 

问题是关于深度残留网络（ResNets）的体系结构。该模型在所有五个主要方面均赢得了“ 2015年大规模视觉识别挑战赛”（ILSVRC2015）的第一名： ImageNet分类：“超深”（Yann引用）152层网 ImageNet检测：比第二个好16％ ImageNet本地化：比第二名好27％ COCO检测：比第二名好11％ COCO细分：比第二名好12％ 资料来源： MSRA @ ILSVRC和COCO 2015竞赛（演示，第二张幻灯片） 下一篇文章中描述了这项工作： 用于图像识别的深度残差学习（2015，PDF） Microsoft研究团队（ResNets的开发人员：何凯明，张向宇，任少清，孙健）在其文章中： “ 深度残留网络中的身份映射（2016年） ” 指出深度起着关键作用： “ 我们通过一个简单但必不可少的概念获得这些结果-更深入。这些结果证明了突破深度极限的潜力。 ” 他们的演讲中也强调了这一点（更深-更好）： -“更深层次的模型不应具有更高的训练误差。” -“更深的ResNet具有较低的训练误差，也具有较低的测试误差。” -“更深的ResNet具有更低的错误。” -“所有人都将从更深的功能中受益–累积收益！” -“更深的更好。” 这是34层残差的结构（供参考）： 但是最近，我发现了一种理论，该理论引入了对残差网络的新颖解释，从而表明它们是指数集合。 残留网络是相对浅网络的指数集合（2016） Deep Resnet被描述为许多浅层网络，其输出集中在不同的深度。文章中有一张图片。我附上解释： 残留网络通常显示为（a），它是等式（1）的自然表示。当我们将此公式扩展为方程式（6）时，我们获得了3块残差网络（b）的分解图。从这个角度来看，很明显，残余网络具有连接输入和输出的O（2 ^ n）个隐式路径，添加一个块会使路径数量加倍。 在文章的结尾指出： 不是深度，而是使残留网络强大的整体。残留网络推动了网络多样性的极限，而不是网络深度的极限。我们提出的未分解视图和病灶研究表明，残差网络是指数级许多网络的隐含集合。如果大多数造成梯度的路径与网络的整体深度相比都非常短，那么深度增加 本身并不是残余网络的关键特征。我们现在认为，多重性（即网络在路径数方面的可表达性）起着关键作用。 但是，只有最近的理论可以得到证实或反驳。有时会发生一些理论被驳回而文章被撤回的情况。 我们到底应该把ResNets视为一个整体吗？集合还是深度使残差网络如此强大？甚至开发人员自己也可能不太了解自己的模型代表什么以及模型中的关键概念是什么？

12 neural-networks  machine-learning  deep-network  deep-learning  pattern-recognition 

我找到了以下神经网络备忘单（用于AI，神经网络，机器学习，深度学习和大数据的备忘单）。 这些不同种类的神经网络有什么用？例如，哪些神经网络可用于回归或分类，哪些可用于序列生成等？我只需要对其应用程序进行简要概述（1-2行）。

11 neural-networks  machine-learning  deep-learning  applications 

我正在研究细胞神经网络，并且已经阅读了Chua的两篇文章（1988年）。在细胞神经网络中，细胞仅与其邻居有关。因此，它很容易用于实时图像处理。仅用19个数字（两个分别称为A和B的3x3矩阵和一个偏置值）执行图像处理。 我想知道是否可以将细胞神经网络称为神经网络，因为没有学习算法。他们既不受监督也不受监督。

11 neural-networks  terminology  theory 

在研究过程中，我偶然发现了“复杂值神经网络”，它们是可以处理复杂值输入（可能也是权重）的神经网络。与实值神经网络相比，这种神经网络有哪些优势（或仅仅是应用）？

11 neural-networks 

我很想知道是否存在任何神经网络，可以解决（使用精度≥80％）任何非平凡问题，该问题使用的节点很少（其中20个节点不是硬限制）。我想对神经网络的大小发展一种直觉。

11 neural-networks 

在卷积神经网络中，哪一层会消耗最大的训练时间？卷积层还是全连接层？我们可以采用AlexNet架构来理解这一点。我想看看培训过程的时间分解。我想进行相对时间比较，以便我们可以采用任何不变的GPU配置。

11 neural-networks  deep-learning  convolutional-neural-networks 

最近，我正在研究一个问题，以便对某些特定资源的支出进行成本分析。我通常会根据分析做出一些手动决策，并据此计划。 我有一个Excel格式的大数据集，有数百列，定义了各种时间范围和类型（其他各种详细使用情况）中资源的使用情况。我还可以获得有关我之前4年的数据以及实际资源使用情况和相应产生的成本的信息。 我希望训练一个神经网络来事先预测我的成本并计划，甚至在我可以手动进行成本分析之前。 但是我面临的最大问题是需要确定此类分析的功能。我希望有某种方法可以从数据集中识别功能。 PS-我对PCA和其他一些功能集简化技术有所了解，我正在寻找的是首先识别它们的方法。

11 neural-networks  machine-learning  datasets  feature-selection 

我正在研究情感计算。特别是，我正在研究情感识别的部分，即识别用户/对象所感受到的情感的任务。例如，情感为此可以使用。我担心的不是这些模型的有效性，而是我们将如何处理它们。 应对情绪呢？计算机将能够真正理解用户的情绪吗？

11 neural-networks  research  learning-algorithms