Questions tagged «natural-language»

有递归神经网络和递归神经网络。两者通常用相同的缩写词表示：RNN。根据Wikipedia的说法，递归NN实际上是递归NN，但我并不真正理解这种解释。 而且，我似乎没有发现哪个（对于示例而言）对自然语言处理更好。事实是，尽管Socher在其教程中将递归NN用于NLP ，但我找不到递归神经网络的良好实现，并且当我在Google中进行搜索时，大多数答案都与递归NN有关。 除此之外，还有其他DNN更适合NLP还是取决于NLP任务？信仰网还是堆叠式自动编码器？（我似乎没有在NLP中为ConvNets找到任何特定的util，并且大多数实现都考虑到了机器视觉）。 最后，我真的更喜欢C ++（如果支持GPU，则更好）或Scala（如果支持Spark，则更好）的DNN实现，而不是Python或Matlab / Octave。 我已经尝试过Deeplearning4j，但是它正在不断开发中，文档有些过时了，我似乎无法使其正常工作。太糟糕了，因为它具有类似于“黑匣子”的处理方式，非常类似于scikit-learn或Weka，这正是我真正想要的。

48 machine-learning  neural-networks  deep-learning  natural-language 

我想学习神经网络。我是计算语言学家。我知道统计机器学习方法，并且可以使用Python进行编码。 我希望从其概念入手，并从计算语言学的角度了解一种或两种可能有用的流行模型。 我浏览了网络以供参考，并找到了一些书籍和材料。 Ripley，Brian D.（1996）模式识别与神经网络，剑桥 Bishop，CM（1995年），《神经网络用于模式识别》，牛津：牛津大学出版社。 一些链接，例如本文，这些课程笔记（多伦多大学心理学系），这些课程笔记（威斯康星大学计算机科学大学）和此幻灯片（Facebook研究）。 如果有人知道课程，Coursera课程通常很好。我更喜欢具有清晰语言和大量示例的材料。

43 neural-networks  deep-learning  references  natural-language  computer-vision 

我试图了解潜在Dirichlet分配和word2vec之间的相似度，用于计算单词相似度。 据我了解，LDA将单词映射到潜在主题的概率向量，而word2vec 将单词映射到实数的向量（与逐点互信息的奇异值分解有关，请参阅O. Levy，Y。Goldberg，“神经词嵌入作为隐式矩阵分解”；另请参见word2vec如何工作？）。 我对理论关系（可以被认为是一种概括或另一种变化）和实践（当使用一种而不是另一种）都感兴趣。 有关： 计算文档之间距离的一些标准方法是什么？-DataScience.SE

39 machine-learning  self-study  natural-language  latent-variable  word2vec 

如何使用词嵌入将文档映射到适合于监督学习的特征向量？ 甲字嵌入每个单词映射到一个向量，其中是一些不太大数目（例如，500）。流行的词嵌入包括word2vec和Glove。v ∈ [R d dwwwv∈Rdv∈Rdv \in \mathbb{R}^dddd 我想应用监督学习对文档进行分类。我目前正在使用单词袋表示法将每个文档映射到特征向量，然后应用现成的分类器。我想用一个基于现有的预训练词嵌入的词替换词袋特征向量，以利用词嵌入中包含的语义知识。有标准的方法吗？ 我可以想象出一些可能性，但是我不知道是否有最有意义的东西。我考虑过的候选方法： 我可以计算文档中每个单词的向量，然后将它们平均。但是，这似乎可能会丢失很多信息。例如，使用词袋表示法，如果有几个词与分类任务高度相关，而大多数词都不相关，则分类器可以轻松地学习到；如果我将文档中所有单词的向量平均，分类器就没有机会了。 将所有单词的向量连接起来是行不通的，因为这不会导致固定大小的特征向量。同样，这似乎是一个坏主意，因为它将对单词的特定位置过于敏感。 我可以使用单词嵌入将所有单词的词汇聚类为一组固定的聚类，例如1000个聚类，其中我在向量上使用余弦相似度作为单词相似度的度量。然后，我可以有一个词包，而不是词包：我提供给分类器的特征向量可以是1000个向量，其中第个分量计算文档中的词数是集群一部分。我iiiiii 给定单词，这些单词嵌入使我能够计算出前20个最相似的单词及其相似度得分的集合。我可以使用它来适应类似词袋的特征向量。当我看到这个词，除了增加相应字元素由，我还可以增加对应的字元素通过，增加对应的字元素通过，等等。w 1，… ，w 20 s 1，… ，s 20 w w w 1 w 1 s 1 w 2 s 2wwww1,…,w20w1,…,w20w_1,\dots,w_{20}s1,…,s20s1,…,s20s_1,\dots,s_{20}wwwwww111w1w1w_1s1s1s_1w2w2w_2s2s2s_2 是否有任何特定的方法可能对文档分类有效？ 我不是在寻找para2vec或doc2vec；这些需要在大型数据语料库上进行培训，而我没有大型数据语料库。相反，我想使用现有的单词嵌入。

38 classification  natural-language  supervised-learning  word2vec  word-embeddings 

用word2vec训练单词向量后，在将它们用于某些下游应用程序之前，将它们标准化会更好吗？即规范化它们的利弊是什么？

36 natural-language  word2vec  word-embeddings 

我知道HMM（隐马尔可夫模型）是生成模型，而CRF是判别模型。我也了解如何设计和使用CRF（条件随机场）。我不明白的是它们与HMM有何不同？我读到在HMM的情况下，我们只能在前一个节点，当前节点和转移概率上对下一个状态建模，但是在CRF的情况下，我们可以这样做，并且可以将任意数量的节点连接在一起以形成依赖关系或上下文？我在这里正确吗？

33 machine-learning  hidden-markov-model  natural-language  conditional-random-field 

我正在使用插入符号在数据集上运行交叉验证的随机森林。Y变量是一个因素。我的数据集中没有NaN，Inf或NA。但是，当运行随机森林时，我得到 Error in randomForest.default(m, y, ...) : NA/NaN/Inf in foreign function call (arg 1) In addition: There were 28 warnings (use warnings() to see them) Warning messages: 1: In data.matrix(x) : NAs introduced by coercion 2: In data.matrix(x) : NAs introduced by coercion 3: In data.matrix(x) : NAs introduced by …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

相同的含义是，对于向量u和向量V的集合之间的相似性排名，它将产生相同的结果。 我有一个向量空间模型，该模型具有距离度量（欧式距离，余弦相似度）和归一化技术（none，l1，l2）作为参数。根据我的理解，设置[余弦，无]的结果应该与[euclidean，l2]相同或至少真的非常相似，但事实并非如此。 实际上，系统仍然有可能出现故障，或者向量是否存在严重错误？ 编辑：我忘了提到向量是基于语料库文档中的单词计数。给定一个查询文档（我也将其转换为单词计数向量），我想从我的语料库中找到与其最相似的文档。 仅计算它们的欧几里得距离是一个简单的方法，但是在我从事的任务中，余弦相似度通常被用作相似度指示符，因为仅长度不同的向量仍被视为相等。距离/余弦相似度最小的文档被认为是最相似的。

27 normalization  natural-language  euclidean  cosine-distance  cosine-similarity 

流行的主题模型（如LDA）通常将倾向于共同出现在同一主题（集群）中的单词聚类。 这种主题模型与其他基于共现的简单聚类方法（例如PMI）之间的主要区别是什么？（PMI代表逐点相互信息，用于识别与给定单词共存的单词。）

26 machine-learning  text-mining  natural-language  topic-models 

Le和Mikolov 在ICML 2014论文“ 句子和文档的分布式表示 ”中给我留下了深刻的印象。他们描述的技术称为“段落向量”，它基于word2vec模型的扩展来学习任意长的段落/文档的无监督表示。该论文报告了使用这种技术进行情感分析的最新性能。 我希望在其他文本分类问题上评估此技术，以替代传统的词袋表示法。但是，我在word2vec Google小组的一个线程中遇到了第二个作者的帖子，这让我停顿了一下： 在夏季，我尝试重现Quoc的结果。我可以使IMDB数据集的错误率达到9.4％-10％左右（取决于文本规范化的程度）。但是，我无法达到Quoc报告的结果（错误7.4％，那是一个很大的差异）。当然，我们还向Quoc询问了代码；他答应出版，但到目前为止没有任何反应。...我开始认为Quoc的结果实际上是不可复制的。 有人成功复制了这些结果吗？

20 text-mining  natural-language  word-embeddings  sentiment-analysis  reproducible-research 

我想知道为什么不常见单词的skip-gram比word2vec中的CBOW更好。我已阅读https://code.google.com/p/word2vec/上的声明。

19 natural-language  word2vec  word-embeddings 

按照目前的情况，这个问题不适合我们的问答形式。我们希望答案得到事实，参考或专业知识的支持，但是这个问题可能会引起辩论，争论，民意调查或扩展讨论。如果您认为此问题可以解决并且可以重新提出，请访问帮助中心以获取指导。 7年前关闭。 我在许多书籍和网络中都遇到了它。据说自然语言处理和机器学习是人工智能的不同子集。为什么？通过将声音模式输入到机器学习算法中，我们可以获得自然语言处理的结果。那有什么区别

18 machine-learning  text-mining  natural-language 

从我所看到的，（二阶）Kneser-Ney平滑公式在某种程度上给定为 P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align} 归一化因子为λ(wn−1)λ(wn−1)\lambda(w_{n-1}) λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙)λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙) \begin{align} \lambda(w_{n-1}) &= \frac{D}{\sum_{w'} C\left(w_{n-1}, w'\right)} \times N_{1+}\left(w_{n-1}\bullet\right) \end{align} 和单词w_n的延续概率Pcont(wn)Pcont(wn)P_{cont}(w_n)wnwnw_n Pcont(wn)=N1+(∙wn)∑w′N1+(∙w′)Pcont(wn)=N1+(∙wn)∑w′N1+(∙w′) \begin{align} P_{cont}(w_n) &= \frac{N_{1+}\left(\bullet w_{n}\right)}{\sum_{w'} N_{1+}\left(\bullet w'\right)} \end{align} 其中N1+(∙w)N1+(∙w)N_{1+}\left(\bullet w\right)是在以下单词中看到的上下文数www，或更简单地，是在给定单词w之前的不同单词\ bullet的数量。据我了解，该公式可以递归应用。∙∙\bulletwww 现在，对于不同的n-gram长度，此方法可以很好地处理未知上下文中的已知单词，但是无法解释的是当词典单词超出单词时该怎么办。我尝试按照此示例进行说明，该示例指出在unigram的递归步骤中，Pcont(/)=P0KN(/)=1VPcont(/)=PKN0(/)=1VP_{cont}(/) = P^0_{KN}(/) = \frac{1}{V}。然后，文档使用这两个引号Chen和Goodman来证明上述公式为P1KN(w)=Pcont(w)PKN1(w)=Pcont(w)P^1_{KN}(w) = P_{cont}(w)。 …

15 machine-learning  natural-language  naive-bayes  smoothing  language-models 

受这个问题的启发，我想知道是否针对大量极短文本的主题模型进行了任何工作。我的直觉是，Twitter应该是此类模型的自然灵感。但是，通过一些有限的实验，看起来标准主题模型（LDA等）在此类数据上的表现非常差。 有没有人知道在这方面所做的任何工作？本文讨论了将LDA应用于Twitter，但是我真的很感兴趣是否还有其他算法在短文档环境中表现更好。

14 references  text-mining  topic-models  natural-language 

在进行自然语言处理时，可以采用语料库并评估下一个单词按n序列出现的概率。n通常选择为2或3（二元组和三元组）。 给定对特定语料库进行一次分类所花费的时间，是否存在已知的第n条链数据追踪适得其反的地方？还是给定从（数据结构）字典中查找概率所需的时间？

13 text-mining  natural-language