Questions tagged «stemming»

我已经尝试过PorterStemmer和Snowball，但都无法在所有单词上使用，缺少一些非常常见的单词。 我的测试词是：“ 猫跑了仙人掌仙人掌社区仙人掌 ”，并且两人都获得了不到一半的权利。 也可以看看： 产生实词的词干算法 提取-代码示例还是开源项目？

111 nlp  stemming  lemmatization 

自然语言处理（NLP）（尤其是英语）已经发展到一个阶段，如果存在“完美”的词义修饰符，词干将成为古老的技术。这是因为词干将词/令牌的表面形式更改为一些毫无意义的词干。 然后，由于完全不同的NLP任务将需要不同程度的词法化，因此“完美”词法化器的定义还是有问题的。例如，在动词/名词/形容词形式之间转换单词。 词干 [in]: having [out]: hav 脱胶机 [in]: having [out]: have 所以问题是，英语词干今天是否有用？由于我们有大量的英语非母语化工具 如果不是，那么我们应该如何着手构建强大的lemmatizers可以取nounify，verbify，adjectify和adverbify 预处理？ 词形化任务如何轻松地扩展到具有与英语相似的词法结构的其他语言？

75 nlp  wordnet  stemming  text-analysis  lemmatization