有影响的残差与异常值

首先，我应该声明已经在该站点上搜索了答案。我或者没有找到可以回答我问题的问题，或者我的知识水平太低，以至于我没有意识到自己已经阅读了答案。

我正在为AP统计考试学习。我必须学习线性回归，主题之一是残差。它有一份第253页的统计和数据分析简介副本。

双变量数据集中的异常点是那些在方向或方向上与散点图中的大多数其他点都偏离的点$x$$y$

如果观察值的值与其余数据（在方向上与其余数据分开）相距甚远，则可能是有影响的观察。为了确定该观察结果是否确实具有影响力，我们评估该观察结果的去除是否对最小二乘法斜率或截距的值有很大影响。$x$$x$

如果观察值具有较大的残差，则为异常值。离群值观察值在方向上远离最小二乘法线。$y$

Stattreck.com列出了四种根据残差确定异常值的方法：

与整体模式差异很大的数据点称为离群值。有四种方法可以将数据点视为异常值。

1. 与其他数据点相比，它可能具有极限X值。
2. 与其他数据点相比，它可能具有极高的Y值。
3. 它可能具有极高的X和Y值。
4. 即使没有极高的X或Y值，也可能与其余数据相距甚远。

这两个来源似乎相互冲突。谁能帮我消除困惑。另外，如何定义极端。如果数据点位于（Q1-1.5IQR，Q3 + 1.5IQR）之外，则AP Statistics使用该规则，这是一个异常值。我不知道如何仅通过残差图来应用它。

与您的教科书相比，stattrek网站似乎对离群值和有影响力的点的描述要好得多，但是您只引用了一段短文，可能会引起误解。我没有那本特别的书，所以我无法在上下文中对其进行检查。但是请记住，您引用的教科书段落是“可能”。这也不是唯一的。请记住这些观点，stattrek和您的书不一定会不同意。但是，您的书确实在某种程度上具有误导性，因为它暗示（从这段简短的文章中）离群点和影响点之间的唯一区别是它们在x轴还是y轴上的偏离。那是不对的。

离群值的“规则”因上下文而异。您引用的规则只是经验法则，是的，并不是真正为回归而设计的。有几种使用它的方法。如果您想象每个x处有多个y值并检查残差，则可能更容易可视化。典型的教科书回归示例太简单了，以至于看不到该异常规则如何起作用，并且在大多数实际情况下，它是完全没有用的。希望在现实生活中，您可以收集更多的数据。如果有必要将离群值的分位数规则应用于回归问题，则他们应提供适当的数据。

我同意约翰的观点。这里还有几点。有影响的观察是（严格地）影响参数估计的观察。Y值的小偏差会使估算的beta参数有很大的变化。在简单地将1个变量与另一个变量进行回归时，有影响力的变量恰好是X值与X均值相距较远的变量。在多元回归（几个自变量）中，情况更加复杂。您必须查看所谓的帽子矩阵的对角线，然后回归软件会为您提供。Google的“杠杆”。$X(X'X)^{-1}X'$

如教科书所述，影响力是设计点（X值）的函数。

注意，影响就是力量。在设计的实验中，假设您可以准确地测量相应的Y值，则需要有影响力的X值。这样，您将获得更多收益。

对我而言，离群值基本上是一个错误-也就是说，观察结果与其他数据没有遵循相同的模型。这可能是由于数据收集错误，或因为该特定主题在某种程度上是异常的。

由于某些原因，我不太喜欢stattrek对异常值的定义。Y和X中的回归不对称。将Y建模为随机变量，并假设X是固定的且已知。Y的怪异与X的怪异。影响力和局外人意味着不同的事物。通过查看残差图，无法检测到多元回归中的影响。对单个变量案例的异常值和影响的良好描述也应该使您也了解多个案例。

由于约翰的原因，我更加不喜欢您的教科书。

底线是有影响力的异常值是危险的。需要对其进行仔细检查和处理。