使用离散变量和连续变量对数据集进行聚类

我有一个数据集X，它有10个维度，其中4个是离散值。实际上，这四个离散变量是有序的，即较高的值表示较高/更好的语义。

这些离散变量中的2个是分类的，对于每个这些变量，例如11到12的距离与5到6的距离是不相同的。虽然较高的变量值实际上意味着较高，但比例尺是不一定是线性的（实际上，它并没有真正定义）。

我的问题是：

• 将通用的聚类算法（例如K-Means然后是高斯混合（GMM））应用于包含离散变量和连续变量的数据集，这是一个好主意吗？

如果不：

• 我应该删除离散变量并只关注连续变量吗？
• 我是否应该更好地离散化连续数据并为离散数据使用聚类算法？

因此，您被告知需要适当的距离测量。以下是一些线索：

• 聚类混合数据
• 混合数据的广义马氏距离
• 从混合的连续数据和离散数据估计马氏距离
• 混合情况下马氏距离的推广
• 分类变量和混合变量的距离函数
• 连续和分类混合变量中的信息距离和相关统计信息

当然还有：马氏距离。

过去，我不得不处理这种问题，我认为可能有两种有趣的方法：

• 连续化：使用整数序列转换符号属性。有几种方法可以完成此操作，本文将介绍所有方法。您可以尝试NBF，VDM和MDV算法。

• 离散化：将连续属性转换为符号值。同样，许多算法，并在此良好的演讲将是这篇文章。我相信最常用的方法是Holte的1R，但最好的确定方法是对照EWD，EFD，ID，LD或NDD等算法查看ROC曲线。

一旦将所有要素都放在同一空间中，它将成为常见的群集问题。

在连续化还是离散化之间进行选择取决于您的数据集和功能的外观，因此很难说，但我建议您阅读我提供给您的关于该主题的文章。

K-means显然没有任何意义，因为它计算均值（无意义）。GMM也是如此。

您可能要尝试使用具有适当距离函数的基于距离的聚类算法，例如DBSCAN。

主要的挑战是找到距离函数！

尽管您可以将不同的距离函数放入k均值，但它仍将计算平均值，这可能没有多大意义（并且可能会使离散值的距离函数陷入混乱）。

无论如何，首先要专注于定义什么是“相似”。然后用这个定义类似集群！

如果您num_of_samples x num_of_samples愿意使用size的距离矩阵，也可以使用random forests。

单击此处以标题为的参考文件Unsupervised learning with random forest predictors。

这个想法是通过shuffling原始数据集中的值创建一个综合数据集，并训练一个分类器来将两者分开。在分类期间，您会得到一个inter-sample distance matrix，可以在上面测试您喜欢的聚类算法。

将采用的混合方法：1）使用分类技术（C4.5决策树）将数据集分为2类。2）完成后，保留分类变量并继续使用连续变量进行聚类。