Questions tagged «dropout»

我在玩卷积网络。具体来说，我使用的是kaggle cats-vs-dogs数据集，该数据集包含25000张标记为猫或狗的图像（每张图像12500张）。 我设法在测试集上实现了约85％的分类精度，但是我设定了达到90％的精度的目标。 我的主要问题是过度拟合。它总是以某种方式最终发生（通常在第8-10阶段之后）。我的网络体系结构受到VGG-16的大致启发，更具体地说，我的图像被调整为128x128x3128x128x3128x128x3，然后运行： Convolution 1 128x128x32 (kernel size is 3, strides is 1) Convolution 2 128x128x32 (kernel size is 3, strides is 1) Max pool 1 64x64x32 (kernel size is 2, strides is 2) Convolution 3 64x64x64 (kernel size is 3, strides is 1) Convolution 4 64x64x64 (kernel size …

16 neural-network  deep-learning  convnet  image-recognition  dropout 

如果删除一些神经元会产生更好的性能模型，为什么不首先使用层数更少，神经元更少的简单神经网络呢？为什么要在开始时建立一个更大，更复杂的模型，而在以后取消它的一部分呢？

13 machine-learning  deep-learning  keras  regularization  dropout 

我正在为一个应用程序制作原型，我需要一个语言模型来计算一些生成的句子的困惑度。 我可以随时使用经过训练的python语言模型吗？简单的东西 model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert junior pancake') assert p1 < p2 我看过一些框架，但找不到我想要的。我知道我可以使用类似： from nltk.model.ngram import NgramModel lm = NgramModel(3, brown.words(categories='news')) 这在Brown Corpus上使用了很好的图林概率分布，但是我正在一些大型数据集（例如1b单词数据集）上寻找精心设计的模型。我可以真正相信一般领域的结果（不仅是新闻）

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 

使用LSTM带缺失的多层，是否建议在所有隐藏层以及输出密集层上放置缺失？在欣顿的论文（提出了Dropout）中，他只将Dropout放在了Dense层上，但这是因为隐藏的内部层是卷积的。 显然，我可以测试我的特定模型，但是我想知道是否对此达成共识？

11 neural-network  lstm  rnn  dropout  stacked-lstm 

Dropout（论文，解释）将某些神经元的输出设置为零。因此对于MLP，您可以为鸢尾花数据集采用以下架构： 4 : 50 (tanh) : dropout (0.5) : 20 (tanh) : 3 (softmax) 它将像这样工作： softmax(W3⋅tanh(W2⋅mask(D,tanh(W1⋅input_vector)))softmax(W3⋅tanh⁡(W2⋅mask(D,tanh⁡(W1⋅input_vector)))softmax(W_3 \cdot \tanh(W_2 \cdot \text{mask}(D, \tanh(W_1 \cdot input\_vector))) 与，，，，（为简单起见，忽略了偏见​​）。input_vector∈R4×1input_vector∈R4×1input\_vector \in \mathbb{R}^{4 \times 1}W1∈R50×4W1∈R50×4W_1 \in \mathbb{R}^{50 \times 4}D∈{0,1}50×1D∈{0,1}50×1D \in \{0, 1\}^{50 \times 1}W2∈R20×50W2∈R20×50W_2 \in \mathbb{R}^{20 \times 50}W3∈R20×3W3∈R20×3W_3 \in \mathbb{R}^{20 \times 3} 与和D=(d)ijD=(d)ijD = (d)_{ij} dij∼B(1,p=0.5)dij∼B(1,p=0.5)d_{ij} \sim …

10 dropout 

是否有发表的论文显示出神经网络正则化方法的差异，最好在不同的域（或至少在不同的数据集）上？ 我之所以问是因为我目前的感觉是，大多数人似乎只使用辍学来实现计算机视觉的正则化。我想检查是否有理由（不）使用不同的正则化方式。

9 neural-network  computer-vision  convnet  regularization  dropout