3
Keras Tokenizer方法到底能做什么?
有时,我们需要执行以下操作: from keras.preprocessing.text import Tokenizer tokenizer = Tokenizer(num_words=my_max) 然后,我们总是吟诵此咒语: tokenizer.fit_on_texts(text) sequences = tokenizer.texts_to_sequences(text) 尽管我(或多或少)了解了总的效果,但是无论我做了多少研究(显然包括文档),我都无法弄清楚每个人分别做什么。我想我从来没有见过一个没有另一个。 那么,每个做什么?在任何情况下,您会使用其中一个而不使用另一个吗?如果不是,为什么不将它们简单地组合成如下形式: sequences = tokenizer.fit_on_texts_to_sequences(text) 很抱歉,如果我缺少明显的内容,但是我对此很陌生。