为什么最小二乘解在这种情况下会产生较差的结果？

21

Bishop在“模式识别和机器学习”的第4页第204页上有一张图片，在这里我不明白为什么最小二乘解在这里会产生较差的结果：

在此处输入图片说明

上一段是关于以下事实的，即最小二乘解在下图中缺乏对异常值的鲁棒性，但是我不明白另一幅图中发生的事情，以及为什么LS在那也给出较差的结果。

在此处输入图片说明

classification least-squares

— 吉吉利
source

看来这是有关集之间区别的一章的一部分。在您的第一对图形中，左侧的图形显然不能很好地区分三组点。这是否回答你的问题？如果没有，您能否澄清？

— 彼得·弗洛姆

@PeterFlom：LS解决方案的第一个结果很差，我想知道原因。是的，这是关于LS分类的部分的最后一段，整章都是关于线性判别函数的。

— Gigili 2012年

6

您在Bishops图4.5中用最小二乘解看到的特定现象是仅在类数为时才会发生。 $\geq 3$

在ESL（第105页的图4.2）中，该现象称为“ 遮罩”。另请参阅ESL图4.3。最小二乘解产生的Middel类的预测变量主要由其他两个类别的预测变量主导。LDA或逻辑回归不遭受此问题的困扰。可以说，造成这种掩盖的是类概率线性模型的严格结构（本质上，这是从最小二乘拟合中得到的结果）。

对于只有两个类别的情况，不会发生这种现象有关两个类别情况下LDA解和最小二乘解之间关系的详细信息，另请参见ESL中的练习4.2。 $-$

编辑：对于二维问题，遮罩也许最容易可视化，但是在一维情况下也是一个问题，因此这里的数学特别容易理解。假设一维输入变量的排序为

X_{1个} < \dots < X_{ķ} < ÿ_{1个} < \dots ÿ_{米} < ž_{1个} < \dots < ž_{ñ}

$x_1 < \ldots < x_k < y_1 < \ldots y_m < z_1 < \ldots < z_n$

与的从1类时， '从两个类S和 “从3类与用于类作为三维二元载体的编码方案š我们共同的数据结构如下 $x$ $y$ $z$

\begin{array}{ccccccccc} 1个 & \dots & 1个 & 0 & \dots & 0 & 0 & \dots & 0 \\ Ť^{Ť} & 0 & \dots & 0 & 1个 & \dots & 1个 & 0 & \dots & 0 \\ 0 & \dots & 0 & 0 & \dots & 0 & 1个 & \dots & 1个 \\ X^{Ť} & X_{1个} & \dots & X_{ķ} & ÿ_{1个} & \dots & ÿ_{米} & ž_{1个} & \dots & ž_{ñ} \end{array}

$\begin{array}{c|cccccccc} & 1 & \ldots & 1 & 0 & \ldots & 0 & 0 & \ldots & 0 \\ \mathbf{T}^T & 0 & \ldots & 0 & 1 & \ldots & 1 & 0 & \ldots & 0 \\ & 0 & \ldots & 0 & 0 & \ldots & 0 & 1 & \ldots & 1 \\ \hline \mathbf{x}^T & x_1 & \ldots & x_k & y_1 & \ldots & y_m & z_1 & \ldots & z_n \\ \end{array}$

最小二乘解作为上中每一列的三个回归给出。对于第一列，类的斜率将为负（所有斜率都在上方左侧），对于最后一列，类的斜率将为正。对于中间列， $\mathbf{T}$ $\mathbf{x}$ $x$ $z$ $y$ 对于线性分类，线性回归将必须在两个外部分类的零和中分类中的零之间进行平衡，从而导致回归线相当平坦，并且该分类的条件分类概率的拟合度特别差。事实证明，对于大多数输入变量值，两个外部类的回归线的最大值支配着中产阶级的回归线，并且中层被外部类遮盖了。

在此处输入图片说明

实际上，如果则一类将始终被完全屏蔽，无论输入变量是否按上述顺序排序。如果班级大小均相等，则三条回归线都穿过点，其中因此，三条线都在同一点相交，并且其中两条的最大值主导了第三条。 $k = m = n{}$ $(\bar{x}, 1/3)$

\bar{X} = \frac{1个}{3 ķ} （ X_{1个} + \dots + X_{ķ} + ÿ_{1个} + \dots + ÿ_{米} + ž_{1个} + \dots + ž_{ñ} ） 。

$\bar{x} = \frac{1}{3k}\left(x_1 + \ldots + x_k + y_1 + \ldots + y_m + z_1 + \ldots + z_n\right).$

— NRH
source

2

根据下面提供的链接，左
上图中LS判别式表现不佳的原因如下：-异常值缺乏鲁棒性。
-某些数据集不适用于最小二乘分类。
-决策边界对应于高斯条件分布下的ML解。但是二进制目标值的分布远非高斯分布。

请参阅最小二乘法的缺点中的第13页。

— 统计
source

1

我相信第一张图中的问题称为“掩盖”，并且在“统计学习的要素：数据挖掘，推理和预测”（Hastie，Tibshirani，Friedman.Springer 2001），第83-84页中提到。

凭直觉（这是我能做的最好的事情），我相信这是因为OLS回归的预测不限于[0,1]，因此当您确实希望更像0时，可以得出-0.33的预测。 1，可以在两个类的情况下进行优化，但是您拥有的类越多，这种不匹配导致问题的可能性就越大。我认为。

— 韦恩
source

1

最小二乘法对比例敏感（因为新数据的比例不同，它会歪曲决策边界），通常需要应用权重（将数据输入优化算法的数据是相同比例的）或执行适当的转换（平均中心，log（1 + data）...等）在这种情况下的数据。如果您要求Least Square进行3分类操作，并最终合并两个输出类，则Least Square似乎是完美的选择。

— dfhgfh
source