支持向量机和超平面的直觉

在我的项目中，我想创建一个逻辑回归模型来预测二进制分类（1或0）。

我有15个变量，其中2个是分类变量，其余的则是连续变量和离散变量的混合。

为了适应逻辑回归模型，建议我使用SVM，感知器或线性编程检查线性可分离性。这与此处提出的有关线性可分离性测试的建议有关。

作为机器学习的新手，我了解上述算法的基本概念，但从概念上讲，我很难想象如何分离具有多个维度（例如15个）的数据。

在线资料中的所有示例通常都显示两个数值变量（高度，重量）的二维图，这些二维变量在类别之间显示出明显的差距，并且易于理解，但在现实世界中，数据通常具有更高的维度。我一直被虹膜数据集吸引，试图通过这三个物种拟合一个超平面，以及如何在两个物种之间做到这一点特别困难，即使不是不可能，这两个类现在也让我无法幸免。

当我们具有更高的维数时，如何假设当我们超过一定数量的特征时，我们使用内核映射到更高的维空间以实现这种可分离性，这是怎么实现的？

同样为了测试线性可分离性，使用的度量标准是什么？是SVM模型的准确性，即基于混淆矩阵的准确性吗？

任何有助于更好地理解该主题的帮助将不胜感激。下面也是我的数据集中两个变量的图的样本，它显示了这两个变量的重叠程度。

我将尝试帮助您了解为什么添加维数有助于线性分类器更好地分离两个类。

$X_1$$X_2$$n=3$

现在，假设将一些点分配给类1，将一些点分配给类2。请注意，无论我们如何将类分配给点，我们始终可以画出一条线来完美地将两个类分开。

但是，现在让我们添加一个新点：

现在，将这些点分配给两个类，使得一条线无法完美地将它们分开。这样的分配由图中的颜色给出（这是XOR模式的示例，这是评估分类器时要记住的一个非常有用的模式）。因此，这向我们展示了如何使用变量如何使用线性分类器对任意三个（非共线）点进行完美分类，但通常无法对4个非共线点进行完美分类。$p=2$

$X_3$

$p=3$$n=4$

$p$$p+1$

$n$$p$

$\mathscr F$$n$$\mathscr F$$n$$\mathscr F$$\mathscr F$$p$$\mathscr F$$n=p+1$$\mathscr F$$p$变量，那么它可以击碎任意数量的点。粉碎的概念告诉我们一组可能的分类器的复杂性，它来自统计学习理论，可用于陈述一组分类器可以完成的过度拟合量。如果您对此感兴趣，我强烈推荐Luxburg和Schölkopf “统计学习理论：模型，概念和结果”（2008年）。

当您对低维空间有直觉并将其应用于高维空间时，很容易出错。在这种情况下，您的直觉恰恰是倒退的。事实证明，在较高维度的空间中找到分离的超平面比在较低空间中找到分离的超平面要容易得多。

即使在查看任意两对变量时，红色和蓝色分布是重叠的，但是当一次查看所有15个变量时，它们很可能根本不重叠。

您有15个变量，但并非所有变量对区分因变量都具有同等重要的意义（其中有些甚至几乎不相关）。

主成分分析（PCA）重新计算这15个变量的线性基础，并对它们进行排序，以使前几个成分通常可以解释大部分差异。因此，这使您可以将15维问题简化为（例如）2、3、4或5维问题。因此，它使绘图更加直观；通常，您可以将两个或三个轴用于数字（或高基数序数）变量，然后将标记的颜色，形状和大小用于三个额外的维（如果可以组合低基数序数，则可以更多）。因此，使用6台最重要的PC进行绘图可以使您对决策面更加清晰可见。