6 神经网络中激活函数的目的是什么？ 据说神经网络中的激活函数有助于引入非线性。 这是什么意思？ 在这种情况下，非线性是什么意思？ 引入这种非线性有何帮助？ 激活功能还有其他用途吗？ 18 neural-networks deep-learning
3 是否有镜像神经元的计算模型？ 从维基百科： 镜像神经元是一种在动物行动时以及动物观察到另一人执行的相同动作时均会激发的神经元。 镜像神经元与模仿学习有关，模仿学习是当前现实世界中AI实现中缺少的非常有用的功能。代替从输入输出示例（监督学习）或从奖励（强化学习）中学习，具有镜像神经元的智能体将能够通过简单地观察其他智能体，将其运动转换为自己的坐标系来学习。关于计算模型，我们对此有什么看法？ 17 neural-networks models
3 了解GAN损失函数 我正在努力理解GAN损失功能，这在理解生成对抗网络（由Daniel Seita撰写的博客文章）中提供。 在标准的交叉熵损失中，我们有一个通过S型函数进行的输出以及所得的二进制分类。 西埃塔州 因此，对于[每个]数据点x1x1个x_1及其标签，我们得到以下损失函数... H((x1,y1),D)=−y1logD(x1)−(1−y1)log(1−D(x1))H((x1,y1),D)=−y1logD(x1)−(1−y1)log(1−D(x1)） H((x_1, y_1), D) = -y_1 \log D(x_1) - (1 - y_1) \log (1 - D(x_1)) 这只是期望的对数，这是有道理的，但是在GAN损失函数中，我们如何在同一迭代中处理来自真实分布的数据和来自生成模型的数据呢？ 17 neural-networks machine-learning deep-learning loss-functions generative-adversarial-networks
1 玻尔兹曼机器可以存储比Hopfield网络更多的模式吗？ 这是来自AI的封闭测试版，该问题由47号用户发布。所有信息都归功于他们。 根据维基百科， Boltzmann机器可以视为Hopfield网络的随机，生成对应物。 两者都是循环神经网络，可以训练它们学习位模式。然后，当呈现部分模式时，网络将检索完整的完整模式。 Hopfield网络已被证明具有0.138的容量（例如，每1000个节点可以从存储中调用大约138位向量，Hertz 1991）。 由于玻尔兹曼机是随机的，我的理解是，当一个存储的模式与另一个存储的模式之间的能量差相似时，它不一定总是显示相同的模式。但是由于这种随机性，也许它可以存储更密集的模式，但不能保证您始终会获得能量差最接近的模式。这是真的吗？还是Hopfield网络能够存储更多模式？ 17 neural-networks comparison recurrent-neural-networks
1 反向传播技术之间的差异 只是为了好玩，我正在尝试开发一个神经网络。 现在，对于反向传播，我看到了两种技术。 第一个是用在这里和其他许多地方。 它的作用是： 它计算每个输出神经元的误差。 它将其反向传播到网络中（计算每个内部神经元的错误）。 它使用以下公式更新权重：（其中权重的变化，学习速度，神经元从突触接收输入并作为在突触上发送的输出的错误）。 对于数据集的每个条目，它会重复多次。 但是，本教程中提出的神经网络（也可以在GitHub上获得）使用另一种技术： 它使用错误函数（另一种方法确实具有错误函数，但未将其用于训练）。 它具有另一个功能，可以从权重开始计算最终误差。 它将功能最小化（通过梯度下降）。 现在，应该使用哪种方法？ 我认为第一个是最常用的（因为我看到了使用它的不同示例），但是它也能正常工作吗？ 特别是，我不知道： 它不是更受局部最小值约束（因为它不使用二次函数）吗？ 由于每个权重的变化都受其输出神经元的输出值的影响，因此恰好在神经元中产生较高值的数据集的条目（不仅仅是输出的）不比其他条目对权重的影响更大吗？ 现在，我确实更喜欢第一种技术，因为我发现它更易于实现且更易于考虑。 但是，如果确实存在我提到的问题（我希望没有），那么是否有实际理由在第二种方法上使用它？ 17 neural-networks machine-learning backpropagation
3 使用反向传播训练神经网络的时间复杂度是多少？ 假设一个NN包含nnn隐藏层，mmm训练实例中，xxx的功能，和ninin_i在每个层中的节点。使用反向传播训练该NN的时间复杂度是多少？ 我对它们如何找到算法的时间复杂度有一个基本的想法，但是这里有4个不同的因素需要考虑，即迭代，层，每层中的节点，训练示例，也许还有更多因素。我在这里找到了答案，但还不够清楚。 除了上文所述，还有其他因素会影响NN训练算法的时间复杂度吗？ 17 neural-networks machine-learning backpropagation time-complexity
2 在任何任务上，模块化神经网络是否都比大型整体网络更有效？ 模块化/多个神经网络（MNN）围绕训练较小的独立网络而形成，它们可以相互馈入或与另一个较高的网络交流。 原则上，分层组织可以使我们理解更复杂的问题空间并获得更高的功能，但是似乎很难找到过去就此进行的具体研究的示例。我找到了一些资料： https://zh.wikipedia.org/wiki/Modular_neural_network https://www.teco.edu/~albrecht/neuro/html/node32.html https://vtechworks.lib.vt.edu/bitstream/handle/10919/27998/etd.pdf?sequence=1&isAllowed=y 我有几个具体问题： 最近有没有关于使用MNN的研究？ MNN表现出比大型单个网络更好的性能吗？ MNN是否可以用于多模式分类，即在根本不同的数据类型（文本还是图像）上训练每个网络，并转发到对所有输出进行操作的高级中介？ 从软件工程的角度来看，这些不是在分布式系统上更具容错性且易于隔离吗？ 是否使用神经结构搜索之类的方法来动态调整子网的拓扑结构？ 通常，MNN是否以任何方式实用？ 道歉，如果这些问题看起来很幼稚，我只是从生物学/神经科学背景进入ML，甚至更广泛地进入CS，并被潜在的相互作用所吸引。 非常感谢您抽出宝贵的时间为您提供见解！ 16 neural-networks topology architecture neurons biology
3 人工神经网络和生物神经网络有何异同？ 我已经多次听到“神经网络是我们必须为人类大脑建模的最佳近似值”，并且我认为众所周知，神经网络是模仿我们的大脑建模的。 我强烈怀疑此模型已简化，但是要多少钱呢？ 例如，香草神经网络与我们对人脑的了解有多少不同？我们甚至知道吗？ 16 neural-networks brain topology
3 如何在CNN中处理大尺寸图像？ 假设在CNN中需要使用10K大小为2400 x 2400的图像，我认为人们会使用的常规计算机是Acc。现在的问题是如何在没有下采样特权的情况下处理如此大的图像大小。 这是系统要求： Ubuntu 16.04 64位RAM 16 GB GPU 8 GB硬盘500 GB 1）是否有任何技术可以处理要训练的大图像？ 2）合理使用多少批量？ 3）是否可以采取任何预防措施或可以增加或减少硬件资源？ 15 neural-networks deep-learning image-recognition convolutional-neural-networks
5 为什么C ++在AI中似乎没有得到广泛使用？ 我只想知道为什么机器学习工程师和AI程序员使用python之类的语言来执行AI任务，而不使用C ++，尽管从技术上讲C ++是比python更强大的语言。 15 neural-networks machine-learning python data-science c++
3 置换不变神经网络 给定一个将n个数据点作为输入的神经网络FFf：x 1，… ，x n。我们说˚F就是排列不变，如果ññnX1个，… ，xñX1个，…，Xñx_1, \dots, x_nFFf F（x1个。。。Xñ）= f（p 我（X1个。。。Xñ））F（X1个。。。Xñ）=F（p一世（X1个。。。Xñ））f(x_1 ... x_n) = f(pi(x_1 ... x_n)) p 我p一世pi 有人可以为置换不变神经网络推荐一个起点（文章，示例或其他论文）吗？ 14 neural-networks machine-learning reference-request
3 有没有人考虑过让神经网络提出问题，而不仅仅是回答问题？ 大多数人都试图用神经网络回答问题。但是，有没有人想到过如何使神经网络提出问题而不是回答问题的想法？例如，如果CNN可以确定对象属于哪个类别，那么它可以问一些问题来帮助分类吗？ 14 neural-networks deep-learning
2 我应该如何将神经网络的结构编码为基因组？ 对于确定性的问题空间，我需要找到具有最佳节点和链接结构的神经网络。我想使用一种遗传算法来模拟许多神经网络，以找到问题域的最佳网络结构。 我以前从未将遗传算法用于此类任务。有哪些实际考虑因素？具体来说，我应该如何将神经网络的结构编码为基因组？ 14 neural-networks ai-design genetic-algorithms evolutionary-algorithms neuroevolution
2 如何针对任意问题自动选择神经网络的拓扑？ 假设我想用神经网络解决一个我无法适应现有拓扑（感知器，Konohen等）的问题，或者我根本不知道这些拓扑的存在，或者我无法理解它们的存在机械师，我依靠自己。 对于一个任意问题，我该如何自动选择神经网络的拓扑（即层数，激活类型，连接类型和方向等）？ 我是一个初学者，但是我意识到，在某些拓扑结构中（或者至少在感知器中），很难甚至不可能理解内部机制，因为隐藏层的神经元不表达任何数学上有意义的上下文。 14 neural-networks topology neuroevolution
4 人脑使用什么激活功能？ 人脑是否使用特定的激活功能？我已经尝试做一些研究，因为这是信号是否通过神经元发送的门槛，所以听起来很像ReLU。但是，我找不到一篇证实这一点的文章。或者它更像是步进函数（如果高于阈值，则发送1而不是输入值）。 13 neural-networks machine-learning brain