对Word2Vec更好的输入是什么？

这更像是一般的NLP问题。训练单词嵌入即Word2Vec的适当输入是什么？属于文章的所有句子是否应该是语料库中的单独文档？还是每个文章都应该是所述语料库中的文档？这只是使用python和gensim的示例。

语料库按句子拆分：

SentenceCorpus = [["first", "sentence", "of", "the", "first", "article."],
                  ["second", "sentence", "of", "the", "first", "article."],
                  ["first", "sentence", "of", "the", "second", "article."],
                  ["second", "sentence", "of", "the", "second", "article."]]

语料库按文章划分：

ArticleCorpus = [["first", "sentence", "of", "the", "first", "article.",
                  "second", "sentence", "of", "the", "first", "article."],
                 ["first", "sentence", "of", "the", "second", "article.",
                  "second", "sentence", "of", "the", "second", "article."]]

用Python训练Word2Vec：

from gensim.models import Word2Vec

wikiWord2Vec = Word2Vec(ArticleCorpus)

这个问题的答案取决于它。主要方法是传递标记化的句子（因此SentenceCorpus在您的示例中），但是根据您的目标是什么，以及您正在查看的语料库，您可能想要使用整篇文章来学习嵌入内容。这可能是您提前可能不知道的-因此您必须考虑如何评估嵌入的质量，并做一些实验以查看哪种“种类”的嵌入对您的任务更有用（ s）。

作为@NBartley答案的补充。对于任何人都遇到这个问题。我尝试使用文章/句子作为Spark2.2上word2vec的输入，结果如下。

使用句子作为输入：

使用文章作为输入：

对于前者，gensim具有Word2Vec类。对于后者，Doc2Vec。

http://rare-technologies.com/doc2vec-tutorial/