如何对24,000个类别的类别进行编码？

我目前正在研究基因组学的逻辑回归模型。我想作为协变量包括的输入字段之一是genes。大约有24,000个已知基因。在计算生物学中，这种程度的可变性具有许多功能，因此需要成千上万个样本。

• 如果我LabelEncoder()那些24K基因
• 然后OneHotEncoder()他们...

24,000列是否会使我的keras培训时间对于2.2 GHz四核i7 CPU不合理？

如果是这样，我可以采用其他方法进行编码吗？

我应该以某种方式尝试将模型的一部分专用于此功能吗？

这是否意味着我需要24K输入节点？

是的，对24k要素使用一键编码需要24k输入节点。但是，对于Keras（或任何其他深度学习库）来说，这应该不是问题。自然语言处理通常对同一词汇库中具有词汇量的单词使用一键编码。

如果使用“深度”模型，则隐藏层之一应注意减小数据的维数。通常不需要单独的预处理步骤。

培训时间不应过分合理。

分类变量的实体嵌入（原始寻呼机）在这里是一种非常合适的方法。在这里或这里阅读。我实际上已经从零开始放置了一些代码，并完成了完整的运行实现，请参阅此git repo。使用神经网络可以轻松地处理非常高的基本分类变量。我不会列出OHE的利弊，只是Google而是它的主要缺点之一。当具有非常高的基本分类变量时，它会不必要地急剧增加您的特征空间，我认为这并不理想。更重要的是，据我所知，如果存在这样的关系，OHE不会解释类别之间的语义关系！但是，实体嵌入是NLP中单词嵌入的一个概念，正在学习的用于对类别进行编码的权重可能会捕获类别内的关系。

通常，应将基因数量减少到更小的有意义的特征集。然后，可以在模型中使用简化的功能集。例如，主成分分析（PCA）是最常见的还原技术之一，已用于基因表达数据。

“ 学习机集成在生物学和医学数据：原则，实践和机会”通过Zitnika等。涵盖了基因的多种特征工程技术。