Questions tagged «neural-network»

我正在为一个应用程序制作原型，我需要一个语言模型来计算一些生成的句子的困惑度。 我可以随时使用经过训练的python语言模型吗？简单的东西 model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert junior pancake') assert p1 < p2 我看过一些框架，但找不到我想要的。我知道我可以使用类似： from nltk.model.ngram import NgramModel lm = NgramModel(3, brown.words(categories='news')) 这在Brown Corpus上使用了很好的图林概率分布，但是我正在一些大型数据集（例如1b单词数据集）上寻找精心设计的模型。我可以真正相信一般领域的结果（不仅是新闻）

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 

你会如何优化一个预先训练 neural network将它应用到一个单独的问题？您是否将更多层添加到预训练模型中并在数据集上进行测试？ 例如，如果任务是使用CNN对墙纸组进行分类，那么我敢肯定，即使是猫和狗的图像分类器，也无法直接对经过图像猫和狗训练的预训练网络进行分类。

11 neural-network  deep-learning  classification  convnet 

我正在使用Python，scikit-learn和keras。我有3000万个正面手表图像，如下所示： Watch_1，Watch_2，Watch_3。 我想编写一个程序，以接收实际手表的照片作为输入，该照片可能比上面的照片（背景色不同，光线更暗等）在不太理想的条件下拍摄，并且在3000种手表中找到最相似的手表。类似地，我的意思是，如果我输入一张带有薄花边的棕色圆形手表的照片作为输入，那么我期望将其制成为圆形，深色和薄花边的棕色手表的输出。 什么是最有效的机器学习算法？ 例如，通过点击此链接，我想到了两种不同的解决方案： 1）使用CNN作为特征提取器，并参考输入图像比较每对图像的这些特征之间的距离。 2）在暹罗神经网络中使用两个CNN来比较图像。 这两个选项是此任务的最佳选择，还是您会提出其他建议？ 您是否知道用于此任务的任何预训练神经网络（具有预定的超参数）？ 我在StackOverflow上找到了一些有趣的帖子，但是它们已经很老了：Post_1，Post_2，Post_3。

11 python  neural-network  keras 

我正在使用tensorflow创建一个简单的神经网络，并收集了我自己的数据，但是，它不配合使用：PI遇到了一个错误，我无法解决或无法找到解决方法，我希望您能提供帮助。 错误消息： TypeError：2861.6152的获取参数2861.6152的类型无效，必须为字符串或Tensor。（无法将float32转换为张量或操作。） 错误是指我的代码中的以下行： _, cost = tf_session.run([optimizer, cost], feed_dict = {champion_data: batch_input, item_data: batch_output}) 我已经弄清楚，当我在代码中注释掉以下行时，不会发生该错误： prediction = neural_network_model(champion_data) cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(prediction, item_data)) optimizer = tf.train.AdamOptimizer().minimize(cost) _, cost = tf_session.run([optimizer, cost], feed_dict = {champion_data: batch_input, item_data: batch_output}) 因此，这些行之一在某处获得的外观与预期的外观并不完全相同。我已经尝试了显而易见的方法（将np.array（）从batch_input和batch_output中删除，或将其替换为list（）），但这并不能解决问题。我目前的假设是Neuro_network_model（champion_data）的输出某种程度上具有错误的形状或类型，但是我不确定如何进行测试或解决（如果确实如此）。 完整的代码可以在这里找到：https : //gist.github.com/HasseIona/4bcaf9f95ae828e056d5210a2ea07f88 编辑：我已经验证了输入到neuro_network_model的冠军数据，预测和成本都是张量。我一直在尝试使用以下假设解决问题：该问题某种程度上在于代码的feed_dict = {}部分，但到目前为止还没有到位

11 machine-learning  python  neural-network  tensorflow 

我从“学习具有深度排名的细粒度图像相似性”一文中获得了网络体系结构，但是我无法弄清楚如何使用线性嵌入层合并三个并行网络的输出。本文中有关此层的唯一信息是 最后，我们将三个部分的嵌入标准化，然后将它们与线性嵌入层组合。嵌入的尺寸为4096。 谁能帮助我弄清楚作者在谈论这一层时的确切含义？

11 neural-network  deep-network 

我正在尝试使用CNN（卷积神经网络）对文档进行分类。短文本/句子的CNN已在许多论文中进行了研究。但是，似乎没有论文将CNN用于长文本或文档。 我的问题是文档中的功能太多。在我的数据集中，每个文档都有1000多个标记/单词。为了将每个示例提供给CNN，我使用word2vec或手套将每个文档转换成矩阵，从而得到一个大矩阵。对于每个矩阵，高度是文档的长度，宽度是单词嵌入矢量的大小。我的数据集有9000多个示例，并且训练网络需要花费大量时间（整整一周），这使得难以微调参数。 另一种特征提取方法是对每个单词使用一个热向量，但这会创建非常稀疏的矩阵。当然，这种方法比以前的方法花费更多的时间进行训练。 那么，有没有一种在不创建大型输入矩阵的情况下提取特征的更好方法？ 以及如何处理可变长度的文件？当前，我添加了特殊字符串以使文档具有相同的长度，但是我认为这不是一个很好的解决方案。

11 classification  neural-network  text-mining  convnet  word2vec 

我正在寻找pybrain来接收服务器监视器警报并确定问题的根本原因。我很高兴使用监督学习对其进行培训并整理培训数据集。数据的结构如下： 服务器类型A＃1 警报类型1 警报类型2 服务器类型A＃2 警报类型1 警报类型2 服务器类型B＃1 警报类型99 警报类型2 因此，有n台服务器，其中x个警报可以是UP或DOWN。这两个n和x是可变的。 如果服务器A1的警报1和2为DOWN，则可以说该服务器上的服务a已关闭，并且是问题的原因。 如果所有服务器上的警报1都关闭，则可以说服务a是原因。 原因可能有多种选择，因此直接分类似乎不合适。 我还想将以后的数据源绑定到网络上。例如只是ping某些外部服务的脚本。 由于进行了串行服务检查，因此可能不会立即触发所有适当的警报，因此可以在一分钟内关闭一台服务器，然后在五分钟后关闭另一台服务器，从而启动警报。 首先，我正在尝试做一些基本的事情： from pybrain.tools.shortcuts import buildNetwork from pybrain.datasets import SupervisedDataSet from pybrain.supervised.trainers import BackpropTrainer INPUTS = 2 OUTPUTS = 1 # Build network # 2 inputs, 3 hidden, 1 output neurons net = buildNetwork(INPUTS, 3, …

11 machine-learning  neural-network 

使用LSTM带缺失的多层，是否建议在所有隐藏层以及输出密集层上放置缺失？在欣顿的论文（提出了Dropout）中，他只将Dropout放在了Dense层上，但这是因为隐藏的内部层是卷积的。 显然，我可以测试我的特定模型，但是我想知道是否对此达成共识？

11 neural-network  lstm  rnn  dropout  stacked-lstm 

我对神经网络中的“损失”和“准确性”指标并存感到困惑。双方都应该呈现的比较“精确” ÿyy和Ÿ，不是吗？那么这两个冗余在训练时期中的应用不是吗？而且，为什么它们不相关？ÿ^y^\hat{y}

11 neural-network  evaluation 

已关闭。这个问题需要更加集中。它当前不接受答案。 想改善这个问题吗？更新问题，使其仅通过编辑此帖子来关注一个问题。 5年前关闭。 似乎大多数语言都具有一定数量的科学计算库。 Python有 Scipy Rust 有 SciRust C++有几个包括ViennaCL和Armadillo Java具有Java Numerics和Colt其他几个 且不说像语言R和Julia明确的科学计算而设计。 有这么多种选择，您如何选择适合任务的最佳语言？另外，哪种语言的性能最高？Python并且R似乎在该领域具有最大的吸引力，但从逻辑上讲，编译语言似乎是一个更好的选择。会有什么表现胜过Fortran？此外编译语言往往有GPU加速，而解释性语言如R并Python没有。选择一种语言时应该考虑什么？哪些语言可以在效用和性能之间取得最佳平衡？还有我错过的具有重要科学计算资源的语言吗？

10 efficiency  statistics  tools  knowledge-base  machine-learning  neural-network  deep-learning  optimization  hyperparameter  machine-learning  time-series  categorical-data  logistic-regression  python  visualization  bigdata  efficiency  classification  binary  svm  random-forest  logistic-regression  data-mining  sql  experiments  bigdata  efficiency  performance  scalability  distributed  bigdata  nlp  statistics  education  knowledge-base  definitions  machine-learning  recommender-system  evaluation  efficiency  algorithms  parameter  efficiency  scalability  sql  statistics  visualization  knowledge-base  education  machine-learning  r  python  r  text-mining  sentiment-analysis  machine-learning  machine-learning  python  neural-network  statistics  reference-request  machine-learning  data-mining  python  classification  data-mining  bigdata  usecase  apache-hadoop  map-reduce  aws  education  feature-selection  machine-learning  machine-learning  sports  data-formats  hierarchical-data-format  bigdata  apache-hadoop  bigdata  apache-hadoop  python  visualization  knowledge-base  classification  confusion-matrix  accuracy  bigdata  apache-hadoop  bigdata  efficiency  apache-hadoop  distributed  machine-translation  nlp  metadata  data-cleaning  text-mining  python  pandas  machine-learning  python  pandas  scikit-learn  bigdata  machine-learning  databases  clustering  data-mining  recommender-system 

我目前正在训练神经网络，我无法决定使用哪种方法来实现我的“早期停止”标准：验证损失或在验证集上计算出的诸如准确性/ f1score / auc /之类的指标。 在我的研究中，我发现捍卫这两种观点的文章。Keras似乎默认不接受验证损失，但是对于相反的方法，我也遇到了令人信服的答案（例如here）。 是否有人指示何时最好使用验证损失以及何时使用特定指标？

10 machine-learning  neural-network  deep-learning  classification 

我正在尝试构建用于对ASL（美国手语）手势进行分类的手势识别系统，因此我的输入应该是来自摄像机或视频文件的帧序列，然后它检测到该序列并将其映射到对应的帧课堂（睡眠，帮助，饮食，跑步等） 事情是我已经建立了一个类似的系统，但是对于静态图像（不包括运动），它仅在构建CNN是直截了当的任务时才用于翻译字母，这是有用的，因为手不会动太多，并且数据集结构也很容易管理，因为我正在使用keras，也许仍然打算这样做（每个文件夹都包含一组用于特定符号的图像，并且文件夹的名称是该符号的类名，例如：A，B，C ，..） 我的问题是，如何组织我的数据集以便能够将其输入到keras中的RNN中，以及应使用哪些特定函数有效地训练我的模型和任何必要的参数，有些人建议使用TimeDistributed类，但我不这样做对如何使用它有利于我有一个清晰的想法，并考虑到网络中每一层的输入形状。 同样考虑到我的数据集将由图像组成，我可能需要一个卷积层，将conv层组合到LSTM层中是怎么可行的（我的意思是代码）。 例如，我想象我的数据集是这样的 名为“运行”的文件夹包含3个文件夹1、2和3，每个文件夹对应于其序列中的框架 所以RUN_1将包含一些图像集的第一帧，RUN_2第二帧和Run_3第三，我的模型的目标是这个顺序输出字的培训运行。

10 neural-network  deep-learning  keras  rnn  lstm 

背景：在使神经网络适应relu激活的同时，我发现有时预测变得接近恒定。我相信这是由于如本文所述在训练过程中神经元神经元死亡。（神经网络中的“垂死的ReLU”问题是什么？） 问题：我希望做的是在代码本身中实现检查，以检查神经元是否死亡。之后，如果需要，代码可以重新调整网络。 因此，检查死亡神经元的最佳条件是什么？目前，我正在考虑将预测中的低方差作为一个标准进行检查。 如果有帮助，即时通讯使用keras。

10 machine-learning  neural-network  keras 

我想使用ANN解决我的问题，但是问题是我的输入和输出节点号不固定。 我问了我的问题之前做了一些谷歌搜索，发现RNN可以帮助我解决我的问题。但是，我发现的所有示例都以某种方式定义了输入和输出节点的数量。 因此，我正在寻找一种策略，如何使其成为现实，或者至少是一些示例，在Keras或PyTorch中更可取。 有关我的问题的更多详细信息： 我有两个输入列表，其中第一个的长度是固定的，等于2，fe： in_1 = [2,2] 但是第二个列表的长度是灵活的，长度可以从3到inf，fe： in_2 = [1,1,2,2] 要么 in_2 = [1,1,1,2,2,2,3,3,3] 同样，输入列表彼此依赖。第一个列表显示输出列表的维度。因此，如果in_1 = [2,2]，则意味着输出必须具有重塑为[2,2]形式的可能性。 目前，我正在考虑将两个输入列表合并为一个： in = in_1 + in_2 = [2, 2, 1, 1, 2, 2] 此外，输出与in_2列表fi的长度相同： 如果输入列表是： in_1 = [2, 2] in_2 = [1, 1, 2, 2] 输出应为： out = [1, 2, 1, …

10 python  neural-network  keras  rnn  pytorch 

我想知道如何在EEG环境中解释循环架构。具体来说，我将其视为循环CNN（与LSTM等架构相反），但也许它也适用于其他类型的循环网络 当我读到R-CNN时，通常会在图像分类上下文中对它们进行解释。通常将它们描述为“随着时间的推移学习”或“包括time-1对当前输入的影响” 当使用EEG数据时，这种解释/解释会变得非常混乱。在此处可以找到在 EEG数据上使用R-CNN的示例 想象一下，我有一些训练示例，每个示例都包含一个1x512数组。该阵列在512个连续的时间点捕获1个电极的电压读数。如果将其用作循环CNN的输入（使用1D卷积），则模型的循环部分实际上并没有捕获“时间”，对吗？（如先前讨论的说明/解释所暗示），因为在这种情况下，时间已经被数组的第二维捕获了 因此，通过这样的设置，网络的循环部分实际上允许我们对常规CNN无法（如果不是时间）进行建模吗？ 在我看来，循环仅意味着进行卷积，将结果添加到原始输入中，然后再次进行卷积。重复执行x个重复步骤。这个过程实际上有什么好处？

10 machine-learning  neural-network  convnet  rnn