从底部到顶部解释马氏距离？

我正在研究模式识别和统计，几乎每本书我都涉及马哈拉诺比斯距离的概念。这些书给出了一些直观的解释，但仍然不足以让我真正真正了解正在发生的事情。如果有人问我“马氏距离是多少？” 我只能回答：“这是一件好事，它可以测量某种距离” ：）

这些定义通常还包含特征向量和特征值，与马氏距离之间的连接有点麻烦。我了解特征向量和特征值的定义，但是它们与马氏距离有何关系？它与更改线性代数等的基数有关吗？

我还阅读了有关该主题的以下先前问题：

• 什么是马氏距离，如何将其用于模式识别？

• 高斯分布函数和马哈拉诺比斯距离（Math.SE）的直观解释

我也读过这个解释。

答案是好的，画面不错，但我仍然没有真正得到它。我有一个想法，但它仍然在黑暗中。有人可以给出“您将如何向您的祖母解释”的解释，以便我最终将其总结起来，而再也不会怀疑马哈拉诺比斯距离是多少？:)它来自哪里，为什么？

更新：

以下是有助于理解Mahalanobis公式的内容：

https://math.stackexchange.com/questions/428064/distance-of-a-test-point-from-the-center-of-an-椭球

这是一些多元数据的散点图（二维）：

如果不使用轴，我们能做什么呢？

介绍数据本身建议的坐标。

的起源将是在点的质心（其平均的点）。第一个坐标轴（下图中的蓝色）将沿着点的“脊线”延伸，（按定义）该点是方差最大的任何方向。的第二坐标轴（红色在图中）将垂直地延伸的第一个。（在两个以上的维度中，将在方差尽可能大的垂直方向上进行选择，依此类推。）

我们需要一个规模。沿每个轴的标准偏差将很好地建立沿轴的单位。请记住68-95-99.7的规则：大约三分之二（68％）的点应在原点的一个单位内（沿轴）；大约95％应该在两个单位内。这样可以很容易地对正确的单位进行观察。作为参考，该图包括以下单位的单位圆：

那看起来真的不像圆圈吗？这是因为该图片失真了（两个轴上数字之间的间距证明了这一点）。让我们以正确的方向（从左到右，从下到上）的轴并使用单位长宽比重绘它，以便水平的一个单位实际上等于垂直的一个单位：

您在此图片而非原始图片中测量了马氏距离。

这里发生了什么？ 我们让数据告诉我们如何构建用于在散点图中进行测量的坐标系。 仅此而已。尽管沿途有几个选择（我们总是可以使一个或两个轴都反转；在极少数情况下，沿着“脊柱”的方向（主要方向）并不是唯一的），但它们并不会改变距离在最后的情节中。

---

技术评论

（不是奶奶，奶奶可能在数字再次出现时就开始失去兴趣，而是要解决剩下的问题。）

• 沿着新轴的单位向量是特征向量（协方差矩阵或其逆矩阵）。

• 我们注意到，使椭圆不发生扭曲以形成一个圆，会将沿每个特征向量的距离除以标准偏差：协方差的平方根。令代表协方差函数，两点和之间的新（马哈拉诺比斯）距离是到的距离除以平方根。现在将相应的代数运算写为，以为矩阵表示形式，和为矢量表示形式。这有效X ÿ X ý Ç （X - Ý ，X - ÿ ）ç X ÿ $C$$x$$y$$x$$y$$C(x-y, x-y)$$C$$x$$y$$\sqrt{(x-y)'C^{-1}(x-y)}$无论使用什么基础表示向量和矩阵。 特别是，这是原始坐标中马氏距离的正确公式。

• 在最后一步中轴扩展的量是逆协方差矩阵的特征值（的平方根）。等效地，轴被协方差矩阵的特征值（的根）收缩。因此，散射越多，将椭圆转换成圆形所需的收缩就越大。

• 尽管此过程始终适用于任何数据集，但对于近似多元法线的数据而言，它看起来很不错（经典的橄榄球状云）。在其他情况下，平均点可能无法很好地表示数据中心，否则将无法使用方差作为散布程度来准确识别“脊柱”（数据的总体趋势）。

• 坐标原点的移动，轴的旋转和扩展共同形成仿射变换。 除了最初的偏移之外，这是从原始偏移（使用指向正坐标方向的单位向量）到新偏移（使用单位特征向量的选择）的基础变化。

• 与主成分分析（PCA）紧密相关。仅此一点就可以解释“问题从何而来”和“为什么”的问题-如果您还不相信让数据确定用于描述和测量其坐标的坐标的优美性和实用性，您将大为受益差异。

• 对于多变量正态分布（其中我们可以进行用概率密度，而不是点云的类似属性的属性相同的结构），马氏距离（到新的原点）出现代替“的 ”中的表达表示标准正态分布的概率密度。因此，在新坐标中，多元正态分布看起来像标准正态exp （− $x$$\exp(-\frac{1}{2} x^2)$当投影到原点的任何线上时。特别是，在每个新坐标中它都是标准法线。从这个角度来看，多元正态分布彼此之间唯一的实质意义在于它们使用的维数。（请注意，此尺寸数量可能会且有时小于标称尺寸。）

我奶奶做饭 你的也可能。烹饪是教授统计学的一种好方法。

南瓜哈瓦那人饼干很棒！想一想圣诞点心中肉桂和姜的味道如何，然后意识到它们本身有多热。

成分是：

• 哈瓦那辣椒（10，去籽切碎）
• 糖（1.5杯）
• 黄油（1杯）
• 香草精（1茶匙）
• 鸡蛋（2个中等）
• 面粉（2.75杯）
• 小苏打（1茶匙）
• 盐（1茶匙）

想象一下您的域的坐标轴是成分量。糖。面粉。盐。小苏打。在其他所有条件相同的情况下，沿着这些方向的变化几乎不会对风味品质产生任何影响，因为哈瓦那辣椒的数量会发生变化。面粉或黄油的含量变化10％会使面粉或黄油的含量降低，但不是杀手。仅添加少量的哈瓦那人，就会使您大吃一惊，从上瘾的甜点到基于睾丸激素的疼痛竞赛。

马哈拉诺比斯在“成分量”上的距离远不及与“最佳口味”的距离。对变化非常敏感的真正“有效”成分是您必须最谨慎地控制的那些。

如果您考虑任何高斯分布与标准正态分布，有什么区别？基于中心趋势（平均值）和变化趋势（标准偏差）的中心和比例。一种是另一种的坐标变换。Mahalanobis就是这种转变。它显示了如果将您的兴趣分布重新设定为标准正态而非高斯分布，世界将会是什么样。

为起点，便见马哈拉诺比斯距离作为通常的欧几里德距离的一个合适的变形向量之间和在。这里额外的信息是和实际上是随机向量，即随机变量向量的2种不同实现，这是我们讨论的背景。Mahalanobis试图解决的问题如下： Xý ř Ñ Xÿ$d(x,y)=\sqrt{\langle x,y \rangle}$$x$$y$$\mathbb R^{n}$$x$$y$$X$

“ 知道它们是相同的多元随机变量的实现，如何测量和之间的“差异” ？” $x$$y$

显然，任何实现与自身的相异度应等于0；此外，相异性应该是实现的对称函数，并且应该反映出背景中随机过程的存在。通过引入多元随机变量的协方差矩阵来考虑最后一个方面。$x$$C$

收集以上想法，我们很自然地得出

$$D(x,y)=\sqrt{(x-y)\,C^{-1}(x-y)}$$

如果多元随机变量的分量不相关，例如与 （我们将 “归一化” 以获得），则马氏距离是与之间的欧几里得距离。在存在非平凡的相关性的情况下，（估计的）相关性矩阵使“欧几里得距离”变形。$X_i$$X=(X_1,\dots,X_n)$$C_{ij}=\delta_{ij}$$X_i$$Var(X_i)=1$$D(x,y)$ $x$$y$$C(x,y)$

让我们考虑两个变量的情况。看到这张二元正态图（感谢@whuber），您不能简单地说AB大于AC。存在正协方差；这两个变量彼此相关。

仅当变量为

1. 独立
2. 方差等于1。

本质上，马氏距离测量执行以下操作：将变量转换为方差等于1的不相关变量，然后计算简单的欧几里得距离。

我将尽力向您解释：

马氏距离测量点x与数据分布之间的距离。数据分布以均值和协方差矩阵为特征，因此被假设为多元高斯模型。

它在模式识别中用作模式（课程的训练示例的数据分布）和测试示例之间的相似性度量。协方差矩阵给出了数据如何在特征空间中分布的形状。

该图表示三个不同的类别，红线表示每个类别的相同马氏距离。位于红线上的所有点到类均值的距离都相同，因为使用了协方差矩阵。

关键特征是使用协方差作为归一化因子。

我想在Whuber的出色答案中添加一些技术信息。这些信息可能不会让奶奶感兴趣，但是也许她的孙子会觉得有用。以下是相关线性代数的自下而上的说明。

马氏距离定义为，其中是一些数据的协方差矩阵的估计值；这意味着它是对称的。如果用于估计的列不是线性相关的，则为正定。对称矩阵是对角线化的，它们的特征值和特征向量是实数。PD矩阵的特征值均为正。特征向量可以选择为具有单位长度，并且是正交的（即正交），因此我们可以写和。将其插入距离定义中，$d(x,y)=\sqrt{(x-y)^T\Sigma^{-1}(x-y)}$$\Sigma$$\Sigma$$\Sigma$$\Sigma=Q^TDQ$$\Sigma^{-1}=QD^{-\frac{1}{2}}D^{-\frac{1}{2}}Q^T$$d(x,y)=\sqrt{\left[(x-y)^TQ\right]D^{-\frac{1}{2}}D^{-\frac{1}{2}}\left[Q^T(x-y)\right]}=\sqrt{z^Tz}$。显然，方括号中的乘积是转置的，乘以的效果是将向量旋转为正交基。最后，对角线是对角线，它是通过将对角线上的每个元素取反然后取平方根而形成的，从而重新缩放每个矢量的每个元素。实际上，恰好是正交空间中每个特征的反标准偏差（即$Q$$(x-y)$$D^{-\frac{1}{2}}$$D^{-\frac{1}{2}}$$D^{-1}$精度矩阵，并且由于数据是基于正交的，因此矩阵是对角线的）。效果是通过“展平”其轴将Whuber称为旋转椭圆的形状转换为一个圆。显然，以平方单位测量，因此取平方根可将距离返回原始单位。$z^Tz$

我可能回答这个问题有点晚了。本文在这里是一个良好的开端认识马氏距离。他们提供了带有数值的完整示例。我喜欢它的是问题的几何表示形式。

只是为了补充上面的出色解释，马哈拉诺比斯距离自然是在（多元）线性回归中产生的。这是在其他答案中讨论的马氏距离与高斯分布之间的某些联系的简单结果，但无论如何我认为还是值得阐明的。

假设我们有一些数据，其中和。假设存在一个参数向量和一个参数矩阵这样，其中是iid维高斯随机矢量，均值和协方差（且它们独立于）。则给定是具有均值的高斯$(x_1, y_1), \ldots, (x_N, y_N)$$x_i \in \mathbb{R}^n$$y_i \in \mathbb{R}^m$$\beta_0 \in \mathbb{R}^m$$\beta_1 \in \mathbb{R}^{m \times n}$$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$\epsilon_1, \ldots, \epsilon_N$$m$$0$X 我ÿ 我X 我β 0 + β 1 X 我$C$$x_i$$y_i$$x_i$$\beta_0 + \beta_1 x_i$和协方差。$C$

因此，给定（作为的函数）的的负对数似然由 我们将协方差设为常数，因此 其中 是之间的马氏距离$y_i$$x_i$$\beta = (\beta_0, \beta_1)$

$$\begin{equation} -\log p(y_i \mid x_i; \beta) = \frac{m}{2} \log (2\pi\det C) + \frac{1}{2} (y_i - (\beta_0 + \beta_1 x_i))^\top C^{-1} (y_i - (\beta_0 + \beta x_i)). \end{equation}$$ $C$ $$\begin{equation} \operatorname{argmin}_\beta [-\log p(y_i \mid x_i; \beta)] = \operatorname{argmin}_\beta D_C(\beta_0 + \beta_1 x_i, y_i), \end{equation}$$ $$\begin{equation} D_C(\hat y, y) = \sqrt{(y - \hat y)^\top C^{-1} (y - \hat y)} \end{equation}$$ $\hat y, y \in \mathbb{R}^m$。

由独立，对数似然的给定的由总和 因此， 其中因子不影响精氨酸。$\log p({\bf y} \mid {\bf x}; \beta)$${\bf y} = (y_1, \ldots, y_N)$${\bf x} = (x_1, \ldots, x_N)$

$$\begin{equation} \log p({\bf y} \mid {\bf x}; \beta) = \sum_{i=1}^N \log p(y_i \mid x_i; \beta) \end{equation}$$ $$\begin{equation} \operatorname{argmin}_\beta [-\log p({\bf y} \mid {\bf x}; \beta)] = \operatorname{argmin}_\beta \frac{1}{N} \sum_{i=1}^N D_C(\beta_0 + \beta_1 x_i, y_i), \end{equation}$$ $1/N$

总之，使观测数据的负对数似然性最小化（即，使似然性最大化）的系数也使具有马哈拉诺比斯距离给出的损失函数的数据的经验风险最小化。$\beta_0, \beta_1$

马氏距离是考虑数据协方差的欧氏距离（自然距离）。它给噪声分量更大的权重，因此对于检查两个数据集之间的相似性非常有用。

正如您在此处的示例中所见，当变量相关时，分布转移到一个方向。您可能要删除此效果。如果您在距离上考虑到相关性，则可以消除偏移效果。