Questions tagged «neural-network»

我目前正在对重建这一结果纸。在本文中，他们描述了一种使用CNN进行特征提取的方法，并具有Dnn-hmm的声学模型，并使用RBM进行了预训练。 第三节A小节陈述了可以表示输入数据的不同方式。我决定垂直堆叠静态，增量和增量增量的频谱图。 因此： 然后，本文描述了网络的运行方式。他们声明他们使用了卷积网络，但是关于网络的结构却一无所知。此外，网络是否始终被称为卷积层？我敢肯定，与普通的网络卷积神经网络（cnn）相比，我看不出任何区别。 该文件就差异指出了这一点： （摘自第三节B小节） 但是，卷积层在两个重要方面与标准的完全连接的隐藏层不同。首先，每个卷积单元仅从输入的局部区域接收输入。这意味着每个单元代表输入局部区域的某些特征。其次，卷积层的单元本身可以组织为多个特征图，其中同一特征图中的所有单元共享相同的权重，但从较低层的不同位置接收输入 我想知道的另一件事是，该论文是否实际陈述了馈送dnn-hmm声学模型所需的输出参数。我似乎无法解码过滤器的数量，过滤器的大小..网络的一般细节？

9 neural-network  convnet  feature-extraction  audio-recognition 

训练神经网络时，至少有四种方法可以使网络规范化： L1正则化 L2正则化 退出 批量归一化 当然还有权重共享和减少连接数之类的其他事情，从严格意义上讲，这可能不是正则化。 但是，如何选择使用哪些正则化方法呢？是否有比“仅尝试一切，看看有什么用”的更原则的方法？

9 neural-network  regularization 

是否有发表的论文显示出神经网络正则化方法的差异，最好在不同的域（或至少在不同的数据集）上？ 我之所以问是因为我目前的感觉是，大多数人似乎只使用辍学来实现计算机视觉的正则化。我想检查是否有理由（不）使用不同的正则化方式。

9 neural-network  computer-vision  convnet  regularization  dropout 

我刚刚了解了将正则化作为控制过度拟合的一种方法，并且我想将其结合到我放在一起的反向传播和多层感知器（MLP）的简单实现中。 目前，为了避免过度拟合，我对验证集进行交叉验证，并保持到目前为止得分最高的网络。这可以正常工作，但是添加正则化将使我受益，因为正确选择正则化算法和参数将使我的网络更系统地收敛于非过拟合模型。 对于更新项（来自Coursera ML课程），我具有的公式表示为批量更新，例如，对于每个权重，在从误差传播中总结了整个训练集的所有适用增量之后lambda * current_weight，还要添加的调整项批处理结束时减去delta，其中lambda是正则化参数。 我的反向传播实施使用每个项目的权重更新。我担心我不能仅仅复制批处理方法，尽管从直觉上看它看起来不错。每个项目的较小正则项是否也有效？ 例如lambda * current_weight / N，其中N是训练集的大小-乍一看，这看起来很合理。我在这个问题上找不到任何东西，我想知道那是因为正则化不能对每个项目进行更新，甚至不能使用其他名称或更改的公式。

9 neural-network 

我刚刚开始学习用于从CS231进行深度学习的神经网络。我正在尝试在Python中实现神经网络。我正在使用Tensorflow或scikit-learn。这些库对于此应用程序有哪些优缺点？

7 neural-network  deep-learning  tensorflow