Questions tagged «autoencoder»

无论如何我都不是自动编码器或神经网络的专家，所以如果这是一个愚蠢的问题，请原谅我。 为了降维或可视化高维数据中的群集，我们可以使用自动编码器通过检查具有2个节点的网络层的输出来创建（有损）2维表示。例如，使用以下架构，我们将检查第三层的输出 [ X] → N1个= 100 → N2= 25 → （N3= 2 ）→ N4= 25 → N5= 100 → [ X][X]→N1=100→N2=25→(N3=2)→N4=25→N5=100→[X][X] \rightarrow N_1=100 \rightarrow N_2=25 \rightarrow (N_3=2) \rightarrow N_4=25 \rightarrow N_5=100 \rightarrow [X] 其中是输入数据，N l是第l层中的节点数。XXXñ升NlN_l升ll 现在，我的问题是，为什么我们要一个对称的架构？难道不是深层“压缩”阶段的镜像，这意味着我们可能会有类似复杂的“解压缩”阶段，导致2节点输出不是很直观吗？换句话说，难道没有更简单的解码阶段会导致具有2个节点的层的输出也必然变得更简单吗？ 我的想法是，减压阶段越简单，二维表示就必须越简单（越线性？）。更复杂的减压阶段将允许更复杂的2D表示。

13 neural-network  dimensionality-reduction  autoencoder 

我正在为一个应用程序制作原型，我需要一个语言模型来计算一些生成的句子的困惑度。 我可以随时使用经过训练的python语言模型吗？简单的东西 model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert junior pancake') assert p1 < p2 我看过一些框架，但找不到我想要的。我知道我可以使用类似： from nltk.model.ngram import NgramModel lm = NgramModel(3, brown.words(categories='news')) 这在Brown Corpus上使用了很好的图林概率分布，但是我正在一些大型数据集（例如1b单词数据集）上寻找精心设计的模型。我可以真正相信一般领域的结果（不仅是新闻）

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 

我刚刚阅读了Geoff Hinton关于转换自动编码器的论文 Hinton，Krizhevsky和Wang：转换自动编码器。在人工神经网络和机器学习中，2011年。 并且很想玩这样的游戏。但是，看完它后，我无法从论文中获得足够的细节来说明如何实际实现它。 有谁知道输入像素到胶囊之间的映射应该如何工作？ 识别单元中到底应该发生什么？ 应该如何训练？仅仅是每个连接之间的标准后置支撑件吗？ 更好的方法是为此或类似内容链接到一些源代码。

10 neural-network  deep-learning  autoencoder 

我正在分析脑电数据，最终将需要对其进行分类。但是，获取唱片的标签有些昂贵，这使我考虑采用无监督方法，以更好地利用我们大量的无标签数据。 这自然会导致考虑堆叠自动编码器，这可能是一个好主意。但是，使用卷积神经网络也是有意义的，因为某种形式的过滤通常是对EEG的非常有用的方法，并且所考虑的时期可能应该在本地而非整体上进行分析。 是否有结合两种方法的好方法？似乎当人们使用CNN时，他们通常会使用监督培训，或者什么？探索神经网络来解决我的问题的两个主要好处似乎是无人监管，以及微调（例如，在人口数据上创建一个网络，然后针对个人进行微调很有趣）。 那么，有谁知道我是否可以像训练“残破的”自动编码器那样预训练CNN，还是毫无意义？ 我是否应该考虑其他某种架构，例如深度信任网络？

9 deep-learning  convnet  unsupervised-learning  autoencoder