预先聚类有助于建立更好的预测模型吗？

对于流失建模的任务，我正在考虑：

1. 计算数据的k个聚类
2. 分别为每个集群构建k个模型。

这样做的理由是，没有证据可以证明子代客群体是同质的，因此有理由假设数据生成过程可能因不同的“组”而异。

我的问题是，这是否合适？它违反任何东西，还是出于某种原因被认为是不好的？如果是这样，为什么？

如果不是，您是否会分享有关该问题的一些最佳实践？第二件事-做预聚类通常比模型树好还是坏（如Witten，Frank中定义的那样，分类/回归树在叶子上有模型。直觉上看来，决策树阶段只是聚类的另一种形式，但是如果它比“常规”群集有任何优势，请访问idk。）。

有一种称为聚类回归的方法可以解决类似的问题（首先聚类数据，然后构建预测模型）。例如参见此。

两点太长了，无法发表评论：

• 纯聚类（即仅包含一个类的情况）本身没有问题：所谓的一类分类器对每个类进行建模，使其独立于所有其他类。他们可以完美地解决这个问题。

• 但是，如果数据聚类以类完全分离的方式（即聚类相当纯净）表示存在很强的结构，则聚类分析无需类标签的指导即可找到该结构。这意味着某些类型的分类器（例如基于聚类分析所使用的相同距离度量的最近邻方法）适用于数据。

• 另一种可能性是，聚类不是纯净的，但是聚类和分类方法的组合可以很好地适用于树木。树将完成集群的一部分（并且纯节点不被视为问题。）这是一个人工示例，它是XOR问题的2个集群版本：
  

• 在不冒纯簇风险的情况下包含簇信息的另一种方法是将聚类用作特征生成步骤：将聚类分析的结果作为新变量添加到数据矩阵中。

• 您问它是否由于某种原因而不好：一个陷阱是，这种方法导致模型具有许多自由度。您必须特别小心，不要过大。

• 看看基于模型的树，例如mbq在这里的答案，我认为它们实现的概念非常接近您想要的模型。它们也可以实现为森林：例如R包mobForest。

这些天我正在处理类似的问题。我有数百个功能可以构建分类器。在尝试了不同的模型（例如：随机森林，梯度提升等）之后，我的精度/召回率仍然很低。因此，我尝试进行一些聚类，然后在不同的组中构建分类器。就像Anony-Mousse所说的那样，我担心的是，如果我在聚类中使用所有信息，如何从分类器中获取更多信息？所以这是我下一步要做的：

1. 使用某些功能（根据先验知识，较少）进行聚类。
2. 使用其他功能（更多）来训练分类器。

我认为这也可能有助于降低复杂性，希望有帮助。

建造 $k$ 集群然后 $k$相应的模型是绝对可行的。评论中指出的病理案例，其中聚类将结果变量完全分开将给分类器带来困难，这是一个理论问题，但我认为这不太可能（尤其是在高维案例中）。此外，如果您可以构建此类集群，则可以仅使用这些集群进行预测！

此外，如果流程开始于 $N$ 样本，分类器只能使用 $N/k$样品。因此，一种更强大的方法是使用聚类来构建单个分类器，该分类器使用回归混合将聚类的异质性纳入其中。在基于模型的聚类中，假设数据是从混合物分布中生成的$Y_i \sim N(\mu_i, \sigma_i^2)$ 哪里 $i=1$ 很有可能 $\pi$ 和 $i=2$ 很有可能 $1-\pi$ 和 $\mu_1 \neq \ \mu_2$ 和 $\sigma_1^2 \neq \sigma_2^2$。混合回归是一种扩展，它使人们可以将数据建模为依赖于协变量。$\mu_i$ 被替换为 $\beta_i X_i$，其中 $\beta_i$必须估计。尽管此示例适用于单变量高斯情况，但该框架可以容纳许多数据（多项式对数适用于分类变量）。用于R 的flexmix软件包提供了更详细的描述，当然还提供了一种相对容易和可扩展的方式来实现此方法。

或者，在区分性设置中，可以尝试将群集分配（硬或软）作为一种功能来训练选择的分类算法（例如NB，ANN，SVM，RF等）。

好吧，如果您的集群真的很好，那么您的分类器将很糟糕。因为他们的训练数据没有足够的转移。

说您的集群是完美的，即纯净的。您甚至无法再在那里正确地训练分类器。分类器需要正面和负面的例子！

随机森林在做完全相反的事情上非常成功。他们随机抽取数据样本，在其上训练分类器，然后使用所有训练有素的分类器。

可能的工作是使用集群，然后在每对集群上训练分类器，至少在它们之间的分歧很大时（如果将一个类分为两个集群，您仍然不能在那里训练分类器！）