Questions tagged «conv-neural-network»

我正在阅读批处理规范化论文 [1]，其中有一个小节通过一个示例，试图说明为什么必须仔细进行规范化。老实说，我无法理解该示例的工作原理，并且我真的很好奇能够尽可能多地了解它们。首先让我在这里引用一下： 例如，考虑一个带有输入u的层，该层添加了学习的偏差b，并通过减去对训练数据计算的激活平均值来对结果进行归一化：其中 是训练集上的值的集合，。如果梯度下降步骤忽略了对的依赖性，则它将更新，其中。然后，。因此，更新到的组合X=Ü+b，X={X1。。。Ñ}Xë[X]=Σ Ñ 我= 1 X我ë[X]bb←b+Δ>bΔbα-∂升X^= x − E[ x ]x^=x−E[x]\hat{x} = x − E[x]x = u + b ，X= { x1个。。。ñ}x=u+b,X={x1...N}x=u+b, X =\{x_1...N \}XxxË[ x ] = ∑ñ我= 1X一世E[x]=∑i=1NxiE[x] = \sum^N_{i=1} x_iË[ x ]E[x] E[x] bbbb ← b + Δ > bb←b+Δ>bb ← b + \Delta > …

11 machine-learning  neural-networks  conv-neural-network 

我从深度学习开始，我有一个问题，我找不到答案，也许我没有正确搜索。我已经看到了这个答案，但仍不清楚什么是重量衰减损失以及它与损失函数之间的关系。

11 neural-networks  conv-neural-network 

给定层的激活图如何连接到该层的过滤器？我不是在问如何在过滤器和激活图之间进行卷积运算，我是在问这两个具有的连接类型。 例如，假设您要进行完全连接。在给定的层中，您有f个过滤器和n个激活图。您将在下一层获得f * n个激活图，激活图的数量将随每个新层的增加而增加。这是我认为完成的方式。 或者您可以说每个过滤器仅连接到一个激活图。在这种情况下，过滤器的数量将等于激活图的数量，并且每个层将具有相同数量的过滤器和激活图。这是我的网络的当前体系结构，似乎学习得很好。 我感到困惑的主要原因是看网上看到的卷积图。其中一些在过滤器和激活图之间具有“完全连接”，例如- 在第一层中，您有4个激活图，大概有2个过滤器。每个图都与每个过滤器卷积，从而在下一层生成8个图。看起来很棒。 但是，这里的架构对我来说没有意义- 您如何从第一层的6张地图转到第二层的16张地图？我可以想到从6张地图中获取16张地图的方法，但这样做毫无意义。

11 machine-learning  deep-learning  conv-neural-network 

我目前正在开发使用卷积神经网络识别面部的面部识别软件。根据我的阅读，我收集到卷积神经网络具有权重，以节省训练时间。但是，如何适应反向传播，以便可以在卷积神经网络中使用。在反向传播中，人们使用与此类似的公式来训练权重。 New Weight = Old Weight + LEARNING_RATE * 1 * Output Of InputNeuron * Delta 但是，由于在卷积神经网络中权重是共享的，因此每个权重都与多个神经元一起使用，那么如何确定使用哪个权重Output of InputNeuron？ 换句话说，由于权重是共享的，我该如何决定将权重改变多少？

11 machine-learning  neural-networks  computer-vision  backpropagation  conv-neural-network 

根据我的了解，我们在CNN的转换层中使用多个过滤器来学习不同的特征检测器。但是，由于这些过滤器的应用方式相似（即，将其滑动并与输入区域相乘），难道它们不是在训练过程中学习相同的参数吗？因此，使用多个过滤器将是多余的吗？

11 neural-networks  conv-neural-network  convolution  filter 

关闭。这个问题是题外话。它当前不接受答案。 想改善这个问题吗？ 更新问题，使它成为交叉验证的主题。 去年关闭。 在CIFAR-10数据集上经过15个纪元后的训练似乎使验证损失不再减少，大约为1.4（验证准确度为60％）。我重新整理了训练集，将其除以255，然后导入为float32。我已经尝试了许多体系结构，在Conv2D层中有或没有辍学，似乎没有任何效果。相同的体系结构在MNIST的测试集上实现了99.7％的准确性。请查看以下架构： （注意：我曾尝试增加Adam优化器的辍学率和提高/降低学习率，以防止过度拟合，所有这些操作都是为了防止过度拟合，但是现在训练和测试集的准确性都低至60％左右）。 with tf.device('/gpu:0'): tf.placeholder(tf.float32, shape=(None, 20, 64)) #placeholder initialized (pick /cpu:0 or /gpu:0) seed = 6 np.random.seed(seed) modelnn = Sequential() neurons = x_train_reduced.shape[1:] modelnn.add(Convolution2D(32, 3, 3, input_shape=neurons, activation='relu', border_mode='same')) modelnn.add(Convolution2D(32, 3, 3, activation='relu', border_mode='same')) modelnn.add(MaxPooling2D(pool_size=(2, 2))) modelnn.add(Dropout(0.2)) modelnn.add(Convolution2D(64, 3, 3, activation='relu', border_mode='same')) modelnn.add(Convolution2D(64, 3, 3, …

11 neural-networks  conv-neural-network  keras 

我正在开发用于图像识别的卷积网络，我想知道是否可以输入不同大小的图像（尽管差别不大）。 关于此项目：https : //github.com/harvardnlp/im2markup 他们说： and group images of similar sizes to facilitate batching 因此，即使经过预处理，图像仍然具有不同的大小，这是有道理的，因为它们不会切掉公式的某些部分。 使用不同尺寸会有任何问题吗？如果有，我应该如何解决此问题（因为公式无法完全适合相同的图像大小）？ 任何输入将不胜感激

10 neural-networks  conv-neural-network  computer-vision 

就神经网络和深度学习之间的区别而言，我们可以列出几个项目，例如包括更多的层，海量数据集，强大的计算机硬件，以使训练复杂的模型成为可能。 除了这些，还有关于NN和DL之间差异的更详细的解释吗？

10 machine-learning  neural-networks  deep-learning  conv-neural-network  deep-belief-networks 

我正在尝试使用反向传播训练深度神经网络进行分类。具体来说，我使用Tensor Flow库将卷积神经网络用于图像分类。在训练过程中，我遇到一些奇怪的行为，我只是想知道这是否很典型，或者我做错了什么。 因此，我的卷积神经网络有8层（5层卷积，3层完全连接）。所有权重和偏差均以较小的随机数初始化。然后，我设置步长，并使用Tensor Flow的Adam Optimizer进行小批量训练。 我正在谈论的奇怪行为是，对于我的训练数据中的前10个循环，训练损失通常不会减少。权重正在更新，但训练损失大致保持在大约相同的值，有时在小批之间增加或减少。它会保持这种状态一段时间，并且我总是给人以损失永远不会减少的印象。 然后，突然之间，训练损失急剧减少。例如，在训练数据的大约10个循环内，训练精度从大约20％变为大约80％。从那时起，一切最终都很好地融合在一起。每当我从头开始运行训练管道时，都会发生相同的事情，下面的图表说明了一个示例运行。 因此，我想知道的是，这是通过训练深度神经网络进行的正常行为，从而需要一段时间才能“踢进”。还是我做错了某件事导致了此延迟？ 非常感谢！

10 machine-learning  classification  neural-networks  conv-neural-network  tensorflow 

在使用卷积神经网络（CNN）进行计算机视觉任务（例如对象分类）时，该网络具有出色的性能。但是我不确定如何在卷积层中设置参数。例如，在灰度图像（480x480）中，第一卷积层可以使用像的卷积算子11x11x10，其中数字10表示卷积算子的数量。 问题是如何确定CNN中卷积运算符的数量？

10 neural-networks  deep-learning  conv-neural-network  computer-vision 

在最近的WaveNet论文中，作者将他们的模型称为具有膨胀卷积的堆叠层。他们还产生以下图表，解释“常规”卷积和膨胀卷积之间的区别。 常规卷积看起来像是 一个卷积为2且步幅为1的卷积，重复4层。 然后，他们展示了其模型所使用的体系结构，它们称为膨胀卷积。看起来像这样。 他们说每一层的膨胀都增加了（1、2、4、8）。但是对我来说，这看起来像是常规卷积，滤镜大小为2，步幅为2，重复了4层。 据我了解，一个过滤器大小为2，步幅为1，膨胀为（1、2、4、8、8）的膨胀卷积看起来像这样。 在WaveNet图表中，没有一个过滤器会跳过可用的输入。没有孔。在我的图中，每个过滤器跳过（d-1）个可用输入。这是扩张应该不会起作用的方式吗？ 所以我的问题是，以下哪个命题是正确的？ 我不了解膨胀和/或规则卷积。 Deepmind实际上并没有实现膨胀卷积，而是跨步卷积，但是滥用了膨胀一词。 Deepmind确实实现了膨胀卷积，但没有正确实现图表。 我对TensorFlow代码的理解不够流利，无法理解他们的代码到底在做什么，但是我确实在Stack Exchange上发布了一个相关的问题，其中包含一些可以回答这个问题的代码。

10 neural-networks  deep-learning  conv-neural-network  tensorflow 

对于滥用技术术语表示赞赏。我正在通过卷积神经网络（CNN）进行语义分割的项目；试图实现Encoder-Decoder类型的体系结构，因此输出的大小与输入的大小相同。 您如何设计标签？一个应该应用什么损失函数？尤其是在严重的类别不平衡的情况下（但是类别之间的比率在图像之间是可变的）。 该问题涉及两个类别（感兴趣的对象和背景）。我正在将Keras与tensorflow后端一起使用。 到目前为止，我将应用按像素标注将预期输出设计为与输入图像相同的尺寸。模型的最后一层具有softmax激活（针对2个类）或S型激活（表示像素属于对象类的概率）。我在为此类任务设计合适的目标函数时遇到麻烦： function(y_pred,y_true)， 同意Keras的观点。 请尝试具体说明所涉及的张量的大小（模型的输入/输出）。任何想法和建议都非常感谢。谢谢 ！

10 conv-neural-network  image-processing  segmentation 

示例：我的职位描述中有一句话：“英国Java高级工程师”。 我想使用深度学习模型将其预测为2类：English 和IT jobs。如果我使用传统的分类模型，则只能预测softmax最后一层具有功能的标签。因此，我可以使用2个模型神经网络来预测两个类别的“是” /“否”，但是如果我们有更多类别，那就太贵了。那么，我们是否有任何深度学习或机器学习模型可以同时预测2个或更多类别？ “编辑”：使用传统方法使用3个标签，它将由[1,0,0]编码，但在我的情况下，它将由[1,1,0]或[1,1,1]编码 示例：如果我们有3个标签，并且所有这些标签都适合一个句子。因此，如果softmax函数的输出为[0.45，0.35，0.2]，我们应该将其分类为3个标签或2个标签，或者可以是一个？我们这样做的主要问题是：分类为1个，2个或3个标签的最佳阈值是多少？

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

我有一个宽图像的数据集：1760x128。我已经阅读了教程和书籍，其中大多数都指出输入图像应为正方形，如果不是，则将它们转换为正方形以便在已经训练过的（在正方形图像上）cnns中进行训练。有没有一种方法可以为非正方形图像训练cnn，还是应该寻找其他选项作为填充？

9 conv-neural-network 

我正在学习深度学习（特别是CNN），以及它通常如何需要大量数据来防止过拟合。但是，我还被告知，模型具有更高的容量/更多的参数，需要更多的数据来防止过拟合。因此，我的问题是：为什么您不能只减少深度神经网络中每层的层数/节点数，而使其仅处理少量数据呢？在“插入”之前，神经网络是否需要基本的“最小参数数量”？在一定数量的层以下，神经网络的性能似乎不如手工编码的功能好。

9 machine-learning  neural-networks  deep-learning  conv-neural-network