Questions tagged «deep-learning»

这里的答案指的是sigmoid像激活函数一样已经消失的梯度和爆炸的梯度，但是我猜Relu它有一个缺点，那就是它的期望值。对的输出没有限制Relu，因此其期望值不为零。我记得之前的时间普及Relu这tanh是最流行之间机器学习专家，而不是sigmoid。原因是的期望值tanh等于零，并且有助于更深层次的学习，从而在神经网络中更快地学习。Relu没有这个特性，但是如果我们不考虑它的派生优势，为什么它会如此出色。而且，我猜导数也可能会受到影响。因为激活（输出Relu）用于计算更新规则。

17 machine-learning  neural-network  deep-learning  gradient-descent  activation-function 

套袋是多个预测变量的生成，可以像单个预测变量一样进行混淆。辍学是一种教导神经网络求平均所有可能子网的技术。在最重要的Kaggle比赛中，这两种技术经常一起使用。除了实际的实现，我看不到任何理论上的差异。谁能解释我为什么在任何实际应用程序中都应同时使用它们？以及为什么同时使用它们时性能会提高？

17 machine-learning  neural-network  deep-learning 

我正在尝试根据Andrej Karphaty的以下注释计算GPU训练模型所需的内存量：http ://cs231n.github.io/convolutional-networks/#computational-considerations 我的网络有532,752个激活和19,072,984个参数（权重和偏差）。这些都是32位浮点值，因此每个值占用4个字节的内存。 我的输入图像是180x50x1（宽度x高度x深度）= 9,000个 float 32值。我不使用图像增强，因此我认为杂项内存仅与最小批处理大小有关。我使用的是128张图像的小批量。 根据Andrej的建议，我得到以下内存大小： 激活： 532,752 * 4 /（1024 ^ 2）= 2.03 MB 参数： 19,072,984 * 4 /（1024 ^ 2）* 3 = 218.27 MB 杂项： 128 * 9,000 * 4 /（1024 ^ 2）= 4.39 MB 因此，训练该网络的总内存为224,69 MB。 我正在使用TensorFlow，但我想缺少一些东西。我还没有参加培训，但是我很确定（根据过去的经验）正在使用的内存将比我计算的要高得多。 如果对于小批量中的每个图像，TensorFlow保持其梯度，以便稍后可以对它们进行归一化以进行单个权重/偏差更新步骤，那么我认为内存应考虑另一个532,752 * 128值（每个图像中的梯度）小批量）。如果真是这样，那么我需要更多260.13 MB来训练具有128张图像/微型批处理的模型。 您可以帮助我理解训练深度学习模型的内存注意事项吗？以上考虑对吗？

17 deep-learning  tensorflow 

我corr()用原始df 创建了df。该corr()DF出来70×70，这是不可能的可视化热图... sns.heatmap(df)。如果我尝试显示corr = df.corr()，则表格不适合屏幕，并且我可以看到所有相关性。它是打印整个df大小而不管其大小还是控制热图大小的方法吗？

17 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

我正在做一个关于作者识别问题的项目。我已经将tf-idf规范化用于训练数据，然后在该数据上训练了一个svm。 现在，当使用分类器时，我也应该标准化测试数据。我认为规范化的基本目的是使学习算法在学习时更加重视更重要的功能。因此，一旦经过培训，它就已经知道哪些功能很重要，哪些功能不重要。那么，是否还需要将规范化应用于测试数据？ 我是这个领域的新手。因此，请忽略该问题是否显得愚蠢？

17 machine-learning  neural-network  deep-learning 

我在玩卷积网络。具体来说，我使用的是kaggle cats-vs-dogs数据集，该数据集包含25000张标记为猫或狗的图像（每张图像12500张）。 我设法在测试集上实现了约85％的分类精度，但是我设定了达到90％的精度的目标。 我的主要问题是过度拟合。它总是以某种方式最终发生（通常在第8-10阶段之后）。我的网络体系结构受到VGG-16的大致启发，更具体地说，我的图像被调整为128x128x3128x128x3128x128x3，然后运行： Convolution 1 128x128x32 (kernel size is 3, strides is 1) Convolution 2 128x128x32 (kernel size is 3, strides is 1) Max pool 1 64x64x32 (kernel size is 2, strides is 2) Convolution 3 64x64x64 (kernel size is 3, strides is 1) Convolution 4 64x64x64 (kernel size …

16 neural-network  deep-learning  convnet  image-recognition  dropout 

我开始从Tensorflow网站学习机器学习。对于深度学习程序遵循的流程，我已经有了非常基本的了解（这种方法使我可以快速学习，而不必阅读书籍和大型文章）。 我遇到了一些令人困惑的事情，其中​​两个是： 偏压 重量 在tensorflow网站上的MNIST教程中，他们提到我们需要偏见和权重才能找到图像中存在特定图案的证据。我不明白的是，在何处以及如何确定“偏差”和“权重”的值？ 我们是否必须提供这些值，或者TensorFlow库是否基于训练数据集自动计算这些值？ 另外，如果您可以提供一些有关如何加快我的深度学习速度的建议，那就太好了！ Tensorflow初学者教程

16 machine-learning  deep-learning  tensorflow 

在Keras从头开始培训卷积网络的博客中，代码仅显示了运行在培训和验证数据上的网络。那测试数据呢？验证数据是否与测试数据相同（我认为不是）。如果在与train和validation文件夹相似的行上有一个单独的测试文件夹，我们如何获得测试数据的混淆矩阵。我知道我们必须使用scikit Learn或其他软件包来执行此操作，但是如何从类明智的测试数据概率中获取一些信息呢？我希望将其用于混淆矩阵。

16 machine-learning  python  deep-learning  keras  confusion-matrix 

fit()和fit_generator()Keras 和有什么不一样？ 什么时候应该使用fit()vs fit_generator()？

16 deep-learning  keras 

假设我有一个自上而下的箭头图片，并且我想预测该箭头所成的角度。这将在到度之间，或者在到。问题在于该目标是圆形的，度和度是完全相同的，这是我希望在目标中纳入的不变性，这将有助于显着地推广（这是我的假设）。问题是我没有找到解决这个问题的干净方法，是否有任何论文试图解决这个问题（或类似的问题）？对于它们的潜在缺点，我确实有一些想法：0003603603600002π2π2\pi000360360360 使用S形或tanh激活，将其缩放到（范围，并将圆形属性合并到损失函数中。我认为这将相当困难，因为如果它在边界上（最差的预测），则只有很小的噪音会推动砝码向另一方向移动。而且，更接近于和边界的值将更难达到，因为绝对预激活值将需要接近无穷大。0,2π)0,2π)0, 2\pi)0002π2π2\pi 回归到和这两个值，并根据这两个值所成的角度计算损耗。我认为这有更大的潜力，但此向量的范数不受限制，这可能会导致数值不稳定，并可能导致训练过程中爆炸或趋于零。可以通过使用一些怪异的正则化函数来防止此规范离1太远，从而解决此问题。xxxyyy 其他选项可能会对正弦和余弦函数有所帮助，但我感觉到这样的事实，即多个预激活映射到相同的输出也会使优化和泛化变得非常困难。

15 neural-network  deep-learning  loss-function  parameter-estimation 

假设我已经在经过预先训练的网络上进行了转移学习，可以识别10个对象。如何添加网络可以分类的第11个项目，而又不丢失我已经训练的所有10个类别或原始预训练模型的信息？一位朋友告诉我，该领域正在积极研究中，但是我找不到任何相关论文或名称来搜索？ 谢谢。

15 neural-network  deep-learning 

谷歌最近在tensorflow的每晚构建中加入了其Eager模式，这是访问tensorflow计算功能的必要API。 张量流渴望与PyTorch相比如何？ 可能影响比较的一些方面可能是： 渴望的优缺点来自其静态图的遗留（例如，节点中的名称）。 它们中任何一个都没有的内在限制。 其中之一需要改进的领域（例如，功能完整性，计算优化）。 生态系统差异（例如张量板？）。 注意1：Yaroslav Bulatov撰写了有关eager不错功能的评论。 注意2：在上一个问题中，我要求比较PyTorch和Tensorflow Fold。当时，在我看来Fold可以面对PyTorch，这要归功于Google的支持。我非常错：最终，Google本身放弃了Fold而转而使用Eager。我知道这是由于普通tensorflow API的固有限制导致Fold不太友好，从而限制了它的采用。

14 deep-learning  tensorflow  pytorch 

我正在处理一个找不到足够的数据集（图像）以馈入我的深度神经网络进行训练的问题。 斯科特·里德（Scott Reed）等人发表的论文《将对抗性文本转化为图像合成》使我深受启发。在生成对抗网络上。 我很好奇，我是否可以将可用的小型数据集用作GAN模型的输入，并生成更大的数据集来处理更深的网络模型？ 足够好吗？

14 deep-learning  gan 

我正在训练一个卷积神经网络以对雾条件下的图像进行分类（3类）。但是，对于约150.000张图像中的每张图像，我还具有四个可用的气象变量，这些变量可能有助于预测图像的类别。我想知道如何将气象变量（例如温度，风速）添加到现有的CNN结构中，从而有助于分类。 我已经想到的一种方法是在CNN旁边创建另一个（小型）前馈神经网络，然后在密集层将CNN层的输出和非图像神经网络的隐藏层彼此连接。 我能想到的第二种方法就是将这些要素与致密层接触。但是，在这种情况下，非图像变量（我认为）只能进行线性预测。 还有其他（更好）的方法可以将非图像特征包括在模型中吗？考虑到我拥有的数据量，什么是明智的选择呢？ 我还有一个问题是，在使用这些非图像特征进行训练时，是否应该解冻卷积层？Resnet-18的这些层（在ImageNet上初始化为预先训练的）已经使用图像进行了微调。我的猜测是，我应该使它们保持冻结状态，并且仅解冻稠密层，因为只有在这种情况下，非图像特征才与图像特征“接触”（在CNN的较早版本中才出现）。如果我错了，请这样说！

14 machine-learning  neural-network  deep-learning  tensorflow  cnn 

如果我查看Internet上Imagenet类的众多资源之一，就找不到一个与人类有关的类（不，收割者不是一个收割者，但这就是我所知的爸爸长腿，一种蜘蛛:-)。那怎么可能？我想至少有预期person类，甚至更具体的东西，例如man，woman，toddler等之类的没有。为什么？难道飞翡丽和她的团队有意识地选择不具有人的图像数据库？我看错文件了吗？为了解决这个问题，我们可以考虑ImageNet2014年以后的版本。

14 machine-learning  deep-learning  dataset  convnet  image-classification