机器学习中的维度跳跃

机器学习中的维数跳变问题是什么（在卷积神经网络和图像识别中发生）？我已经在谷歌上搜索了，但是我所得到的只是关于材料形状变形物理的信息。如果有人通过与机器学习有关的示例对它进行解释，这对我会更有帮助。任何人都可以帮我解决这个问题或向我指出可以使用的资源吗？

欢迎来到DataScience.SE！我从来没有听说过这个问题，所以我查了一下。杰夫·欣顿（Geoff Hinton）在本演示文稿的第三张幻灯片中对此进行了解释：

更多难以识别物体的事物

•视点变化会导致标准学习方法无法应对的图像变化。

– 输入尺寸（即像素）之间的信息跳

•想象一下一个医疗数据库，其中患者的年龄有时会跳到通常为体重编码的输入尺寸！

–要应用机器学习，我们首先要消除这种尺寸跳跃。

换句话说，它是关于概念性特征从一个输入特征维迁移或跳跃到另一个输入特征维，同时仍表示相同的事物。人们希望能够捕获或提取特征的本质，而不必对其编码在哪个输入维度上保持不变。

据我了解，问题如下：在图像识别中，您网络的输入可能是像素（灰度或黑白的仅1和0）。如果您想识别手写数字，则很难仅使用这样的值，因为您永远不知道数字的确切位置（即黑色值）。

像素140是黑色还是142是黑色？在两种情况下都可能是三个。在年龄/体重示例中，这些输入定义明确。特征2是重量。功能3是年龄。这些“尺寸”不应该在数据集中“跳跃”。

因此：在进行图片训练时，必须识别“三次”或“汽车”或“房屋”，而与它们在图片中的位置无关，即像素值，即特征/输入向量，即与清晰定义相对的尺寸输入，例如患者数据。

您如何解决图像识别问题？您使用其他技巧，例如卷积。

我阅读了先前的答案，尼尔·斯莱特（Neil Slater）对埃姆雷（Emre）的帖子的评论（以下再次复制）触动了指甲。“维度跳跃”是由机器学习先锋的Hinton博士根据观点创建的一个术语。引用Hinton博士的话：“因此，通常设想输入尺寸与像素相对应，如果一个物体在世界上移动并且您不动眼睛跟随它，则有关该物体的信息将出现在不同的像素上。” 年龄和体重是不容易混淆的输入尺寸。Hinton博士使用这种显然不太可能的患者年龄和体重维度跳跃情况来表示，我们当然能够发现并纠正这些类型的数据之间的任何错误（很难注意到大多数成年人的年龄都在100岁以下超过100磅）。Hinton博士正在解决的尺寸跳变的可能问题是，由于我们的视点不同（例如，对象可能已经移动或我们从不同的角度观看），像素可能会移位。线性神经网络将无法检测到这一点，而卷积神经网络可以通过设计来检测。

“年龄示例应该突出显示没有维度跳变的数据集。年龄和权重不会在示例之间随机“跳变”或交换值-它们是不可互换的，并且示例显示了这种情况会有多奇怪（以及如何–问题的本质使图像中的像素值（以及许多信号处理任务中的相似数据）确实可以互换或轻易移动– Neil Slater，2016年5月29日，18：01 ”

直接从欣顿的机器学习神经网络课程中进行解释....

“维度跳变发生在人们可以获取某些输入的维度中包含的信息，并在不改变目标的情况下在维度之间移动。典型的例子是手写数字的图像并在图像中进行翻译现在，包含“墨水”的尺寸有所不同（它们已移至其他尺寸），但是我们分配给数字的标签没有改变。这种情况在整个数据集上是一致的，也就是说，我们可能有一个包含两个手写数字的数据集，其中一个是另一个的翻译版本，但是这仍然不会更改数字的相应标签。”

跳变仅与图像或像素的一部分（大部分）在尺寸范围内移动并有时进入其他昏暗（不同的接收场）有关，但输出保持不变。

这个问题是由不变性或等方性处理的，看起来体重和年龄的例子很容易说明。假设如果我们知道这种体重和年龄跳跃，我们将很容易对算法进行更改并获得正确的结果。但是，就像数据/信息跳跃一样，如果我们考虑将“ 4”和“ 4”向左移动几个像素作为具有不同目标的不同类别，也会发生图像跳跃。

使用平移不变性或更佳的等方差滤镜，此运动或跳跃问题不大，尽管它增加了复杂性并以丢弃诸如位置之类的信息为代价。

请让我知道是否需要进一步说明。