Questions tagged «machine-learning»

是否有一种方法可以根据LSTM（或其他递归）神经网络在时间序列预测周围计算预测间隔（概率分布）？ 假设举例来说，根据最近观察到的10个样本（t-9至t），我预测了10个样本（t + 1至t + 10），我希望在t + 1的预测会更多比t + 10时的预测准确。通常，可能会在预测周围绘制误差线以显示间隔。使用ARIMA模型（在正态分布误差的假设下），我可以围绕每个预测值计算预测间隔（例如95％）。我可以从LSTM模型中计算出相同的值（或与预测间隔有关的值）吗？ 我一直在Keras / Python的LSTMs，下面很多来自例子machinelearningmastery.com，从我的示例代码（见下文）的基础上的。我正在考虑将问题重新分类为离散的分类，因为这会使每个类产生置信度，但这似乎是一个糟糕的解决方案。 有几个类似的主题（例如以下主题），但是似乎没有什么可以直接解决LSTM（或其他）神经网络的预测间隔问题： /stats/25055/how-to-calculate-the-confidence-interval-for-time-series-prediction 使用ARIMA和LSTM进行时间序列预测 from keras.models import Sequential from keras.layers import Dense from keras.layers import LSTM from math import sin from matplotlib import pyplot import numpy as np # Build an LSTM network and train def fit_lstm(X, y, …

14 machine-learning  deep-learning  time-series  prediction  lstm 

我正在使用Brain在包含正值和负值的功能集上训练神经网络。但是Brain需要0到1之间的输入值。什么是标准化我的数据的最佳方法？

14 machine-learning  neural-network  feature-scaling  normalization  javascript 

我建立了一个LSTM模型来预测Quora官方数据集上的重复问题。测试标签为0或1。1表示问题对重复。使用建立模型后model.fit，我将model.predict在测试数据上使用模型进行测试。输出是一个值数组，如下所示： [ 0.00514298] [ 0.15161049] [ 0.27588326] [ 0.00236167] [ 1.80067325] [ 0.01048524] [ 1.43425131] [ 1.99202418] [ 0.54853892] [ 0.02514757] 我只显示数组中的前10个值。我不明白这些值是什么意思，每个问题对的预计标签是什么？

14 machine-learning  python  neural-network  keras  lstm 

我想知道梯度下降是否是Adam，Adagrad，RMSProp等优化器中使用的主要算法。

13 machine-learning  neural-network  deep-learning  optimization  gradient-descent 

如果我使用以下代码训练模型： import xgboost as xg params = {'max_depth':3, 'min_child_weight':10, 'learning_rate':0.3, 'subsample':0.5, 'colsample_bytree':0.6, 'obj':'reg:linear', 'n_estimators':1000, 'eta':0.3} features = df[feature_columns] target = df[target_columns] dmatrix = xg.DMatrix(features.values, target.values, feature_names=features.columns.values) clf = xg.train(params, dmatrix) 它会在大约1分钟内完成。 如果我使用Sci-Kit学习方法训练模型： import xgboost as xg max_depth = 3 min_child_weight = 10 subsample = 0.5 colsample_bytree = 0.6 objective = …

13 machine-learning  python  decision-trees  xgboost  efficiency 

Y(x)Y(x)Y(x)Y^(x)Y^(x)\hat Y(x)Y(x)Y(x)Y(x)cost{Y(x)≳Y^(x)}>>cost{Y^(x)≳Y(x)}cost{Y(x)≳Y^(x)}>>cost{Y^(x)≳Y(x)}\text{cost}\left\{ Y(x) \gtrsim \hat Y(x) \right\} >> \text{cost}\left\{ \hat Y(x) \gtrsim Y(x) \right\} 我认为简单的线性回归应该可以。因此，我有点知道如何手动执行此操作，但是我想我不是第一个遇到这种问题的人。是否有任何软件包/库（最好是python）在做我想做的事情？我需要寻找什么关键字？ 如果我知道函数，其中？实施这些限制的最佳方法是什么？Y0(x)>0Y0(x)>0Y_0(x) > 0Y(x)>Y0(x)Y(x)>Y0(x)Y(x) > Y_0(x)

13 machine-learning  logistic-regression 

我是机器学习的初学者，正面临一种情况。我正在处理IPinYou数据集的实时出价问题，并且正在尝试进行点击预测。 事实是，您可能知道，数据集非常不平衡：大约1300个否定示例（非点击）中有1个肯定示例（点击）。 这是我的工作： 加载数据 将数据集分为3个数据集：A =训练（60％）B =验证（20％）C =测试（20％） 对于每个数据集（A，B，C），对每个负分类进行欠采样，以使比率为5（1个正样本的5个负样本）。这给了我3个更加平衡的新数据集：A'B'C' 然后，我用数据集A'和逻辑回归训练模型。 我的问题是： 我必须使用哪个数据集进行验证？B还是B'？ 我必须使用哪个数据集进行测试？C或C' 哪些指标与评估我的模型最相关？F1Score似乎是一个很好使用的指标。但是这里由于类的不平衡（如果我使用数据集B和C），精度较低（低于0.20），F1Score受较低的召回率/精度的影响很大。使用aucPR或aucROC会更准确吗？ 如果要绘制学习曲线，应该使用哪些指标？（知道如果我使用B'数据集进行验证，则％error与错误无关） 在此先感谢您的时间 ！ 问候。

13 machine-learning  dataset  sampling 

谁能告诉我特征生成的目的是什么？为什么在对图像进行分类之前需要进行特征空间丰富化？这是必要步骤吗？ 有什么方法可以丰富要素空间？

13 machine-learning  classification 

我正在尝试为多层网络找到等效的欣顿图，以在训练过程中绘制权重。 训练后的网络在某种程度上类似于Deep SRN，即它具有大量的多个权重矩阵，这会使多个Hinton图的同时绘制在视觉上造成混淆。 有人知道可视化多层多层递归网络权重更新过程的好方法吗？ 我没有找到太多关于该主题的论文。我当时想在每层权重上显示与时间相关的信息，如果我无法解决问题。例如，随着时间的推移，每一层的权重增量（省略每个连接的使用）。PCA是另一种可能性，尽管我不想产生太多额外的计算，因为可视化是在培训期间在线完成的。

13 machine-learning  neural-network  visualization  deep-learning 

我正在探索不同类型的解析树结构。两种广为人知的解析树结构是：a）基于选区的解析树和b）基于依赖关系的解析树结构。 我可以使用Stanford NLP包生成两种类型的解析树结构。但是，我不确定如何将这些树结构用于分类任务。 例如，如果我想进行情感分析并将文本分类为肯定和否定类别，那么对于我的分类任务，我可以从解析树结构中得出哪些特征？

13 machine-learning  nlp  feature-selection  feature-extraction 

最近，我被介绍给了数据科学领域（大约6个月），二开始了Andrew Ng的机器学习课程之旅，并开始了JHU的数据科学专业研究。 在实际应用程序方面，我一直在构建可预测损耗的预测模型。到目前为止，我已经尝试使用glm，bayesglm，rf来学习和应用这些方法，但是在我对这些算法的理解上发现了很多空白。 我的基本难题是： 我是否应该更专注于学习一些算法的复杂性，还是应该使用根据需要，何时何地了解很多算法的方法？ 请通过建议书籍或文章或您认为有帮助的任何方法来指导我正确的方向。 如果您能提出一个指导意见，请他指导刚刚在数据科学领域开始其职业生涯并希望成为解决业务领域实际问题的人，我将不胜感激。 我会（尽可能多地）阅读这篇文章中建议的资源（书籍，文章），并就该文章的优缺点提供个人反馈，以使这篇文章对遇到类似问题的人有所帮助将来，我认为如果人们建议这些书能做到同样的话，那将是很好的。

13 machine-learning 

如果删除一些神经元会产生更好的性能模型，为什么不首先使用层数更少，神经元更少的简单神经网络呢？为什么要在开始时建立一个更大，更复杂的模型，而在以后取消它的一部分呢？

13 machine-learning  deep-learning  keras  regularization  dropout 

当我们进行k倍交叉验证时，是否应该仅使用测试准确性最高的分类器？通常，从交叉验证中获得分类器的最佳方法是什么？

13 machine-learning  cross-validation 

我正在阅读演示文稿，建议您不要使用遗漏编码，但是使用一种热门编码是可以的。我以为他们都是一样的。谁能描述他们之间的区别？

13 machine-learning  data-mining  feature-selection  feature-extraction  feature-engineering 

我正在寻找已经训练有素的模型（如Google新闻数据等）的预训练权重。我发现很难为自己训练出具有足够数量（10 GB等）数据的新模型。因此，我想从转移学习中受益，在转移学习中，我将能够获得预训练的层权重并在我的领域特定单词上对那些权重进行重新训练。因此，肯定会减少培训时间。任何帮助将不胜感激。提前致谢 ：）

13 machine-learning  bigdata  word2vec