半监督学习中的多重假设是什么？
Answers:
想象一下，您有一束种子固定在玻璃板上，该玻璃板水平放置在桌子上。由于我们通常考虑空间的方式，可以肯定地说这些种子或多或少地生活在二维空间中，因为每个种子都可以由两个数字标识，这两个数字在种子表面给出了坐标。玻璃。
现在，假设您拿起盘子并将其倾斜向上倾斜，以使玻璃表面不再相对于地面水平。现在，如果您要查找其中一个种子，则有两种选择。如果您决定忽略玻璃，那么每个种子似乎都漂浮在桌子上方的三维空间中，因此您需要使用三个数字来描述每个种子的位置，每个数字用于每个空间方向。但是，仅通过倾斜玻璃杯，您并没有改变种子仍然生活在二维表面上的事实。因此，您可以描述玻璃表面如何位于三维空间中，然后可以使用原始的二维描述玻璃上种子的位置。
在这个有思想的实验中，玻璃表面类似于存在于高维空间中的低维流形：无论如何在三个维度上旋转平板，种子仍沿二维平面存在。
例子
更一般而言，嵌入到高维空间中的低维流形只是一组点，无论出于何种原因，这些点都被视为是连接的或属于同一集合的一部分。值得注意的是，歧管可能会在较高维度的空间中发生某种扭曲（例如，玻璃表面可能弯曲为碗状而不是板状），但歧管仍基本上是低维的。特别是在高维空间中，此流形可以采用许多不同的形式和形状，但是由于我们生活在三维世界中，因此很难想象具有三个以上维度的示例。不过，作为一个示例，请考虑以下示例：
- 物理空间（三维）中的一块玻璃（平面，二维）
- 一块织物（二维）中的单线（一维）
- 在洗衣机中弄皱的一块织物（二维）（三维）
机器学习中歧管的常见示例（或至少假设被假设为沿低维歧管存在的集合）包括：
- 自然场景的图像（例如，通常看不到白噪声的图像，这意味着“自然”图像不会占据可能的像素配置的整个空间）
- 自然的声音（类似的论点）
- 人体运动（人体具有数百个自由度，但是运动似乎生活在可以使用约10个维度有效表示的空间中）
学习流形
机器学习中的多种假设是，与其假设世界上的数据可能来自可能空间的每个部分（例如，所有可能的1兆像素图像的空间，包括白噪声），不如假设训练数据来自相对低维的流形（例如带有种子的玻璃板）。然后，学习歧管的结构就成为一项重要的任务。另外，无需使用标记的训练数据，该学习任务似乎是可能的。
学习低维流形结构的方法有很多很多。PCA是最广泛使用的方法之一，它假定歧管由单个椭圆形“斑点”（例如煎饼或雪茄形状）组成，并嵌入到更高维度的空间中。诸如isomap，ICA或稀疏编码之类的更复杂的技术以各种方式放松了其中的一些假设。
半监督学习
流形假设在半监督学习中很重要的原因有两个。对于许多现实任务（例如，确定图像中的像素显示4还是5），世界上没有标签（例如，其中可能有数字的图像）的可用数据要比带有标签（例如，明确标记为“ 4”或“ 5”的图片）。另外，与具有标签的图像的标签相比，在图像的像素中可用的信息多很多数量级。但是，就像我上面所描述的，自然图像实际上不是从像素配置的均匀分布中采样的，因此似乎有一些流形可以捕获自然图像的结构。流形，而包含5s的图像同样位于不同但附近的流形上，那么我们可以尝试仅使用像素数据为这些流形中的每一个开发表示形式，希望使用数据的不同学习特征来表示不同的流形。然后，稍后，当我们有少量标签数据可用时，我们可以使用这些位将标签简单地应用于已标识的流形。
这种解释大部分来自于深度学习和特色学习文献。Yoshua Bengio和Yann LeCun- 参见《基于能量的学习教程》在该领域有特别容易理解的论点。
首先，请确保您了解什么是嵌入。它是从数学中借来的。粗略地说，它是将数据映射到另一个空间（通常称为嵌入空间或特征空间），从而保留了数据的某些结构或属性。请注意，其尺寸可以大于或小于输入空间。实际上，映射是复杂的且高度非线性的。一些例子：
- 表示单词的实值“单词向量”，例如word2vec
- 卷积网络层的激活，例如FC7层AlexNet（FC7是第7个完全连接的层）
为了说明这一点，我将以Josh Tenenbaum 的这篇论文为例：
图1以视觉感知为例说明了特征发现问题。从所有可能的角度来看，一张脸的视图集是一个非常高维的数据集，用计算机或视网膜上的图像阵列表示时；例如，可以将32 x 32像素的灰度图像视为1,024维观察空间[输入空间]中的点。这些图像[特征空间]的在感知上有意义的结构的维数要低得多。图1中的所有图像都位于通过视角参数化的二维流形上
然后，乔什·特南鲍姆（Josh Tenenbaum）讨论了学习这种从输入到特征空间的映射的困难。但是，让我们回到问题：我们对输入空间和要素空间之间的关系感兴趣。
- 的
32*32 array of grey pixel values是将输入空间 - 该
[x1=elevation, x2=azimuth]空间是要素空间（尽管简单，但可以将其视为有效的嵌入空间）。
重新陈述流形假设（引自这篇伟大的文章）：
流形假设是自然数据在其嵌入空间中形成低维流形
在此示例中，很明显，嵌入空间的维数远小于输入空间：2与1024。（即使选择更高维，更简单的嵌入空间，这种区别也将成立。）
为了使自己确信嵌入物是多种多样的，我邀请您阅读Tenenbaum纸的其余部分或Colah的文章。
注意：这仅是流形假设含义的说明，而不是其发生原因的论点。