几何与AI
矩阵，多维数据集，层，堆栈和层次结构就是我们可以准确地称为拓扑的东西。在这种情况下，将拓扑视为学习系统的更高级别的几何设计。
随着复杂性的提高，将这些拓扑表示为有向图结构通常很有用。状态图和马尔可夫在博弈论上的工作是经常使用有向图的两个地方。有向图具有顶点（通常显示为封闭形状），并且边缘通常显示为连接形状的箭头。
我们还可以将GAN表示为有向图，其中每个网络的输出以对抗的方式驱动另一个网络的训练。GAN的拓扑结构类似于莫比乌斯带。
我们不能发现新的设计和体系结构，不仅要了解收敛于最佳解决方案或跟踪一个最优解决方案的数学原理，还要了解可以支持这种收敛的网络连接拓扑。这就像先开发处理器，然后在编写操作系统之前先想象一下操作系统需要什么。
为了瞥见我们尚未考虑的拓扑，让我们首先看一下那些拓扑。
第一步-二维拉伸
在1980年代，通过扩展原始感知器设计获得了成功。研究人员增加了第二个维度来创建多层神经网络。通过误差函数梯度的反向传播，通过激活率梯度的反向传播，实现了合理的收敛，该激活函数的梯度因学习率而衰减，并受其他元参数抑制。
第二步-向离散输入信号添加尺寸
我们看到了基于现有手动调整图像卷积技术的卷积网络的出现，这些技术为网络输入引入了尺寸：垂直位置，颜色分量和框架。最后一个维度对于当代电影制作中的CGI，面部替换以及其他形态技术至关重要。没有它，我们将无法生成图像，进行分类和去除噪声。
第三步-网络堆栈
我们看到在1990年代后期出现了许多神经网络，其中一个网络的训练由另一个网络监督。这是概念层的引入，无论是神经元的连续层还是图像中的颜色层。这种类型的分层也不是递归的。它更像自然世界，其中一个结构是另一种完全不同的结构中的器官。
第四步-网络层次结构
我们看到，在2000年代和2010年代初（拉普拉斯等人）进行的研究中，神经网络的层次结构频繁出现，这继续了神经网络之间的相互作用并继续了哺乳动物的大脑类比。现在，我们看到元结构，其中整个网络在表示拓扑的有向图中成为顶点。
第五步％mdash; 从笛卡尔方向出发
非笛卡尔系统重复排列的细胞及其之间的联系已开始出现在文献中。例如，量规等规卷积网络和二十面体CNN（Taco S.Cohen，Maurice Weiler，Berkay Kicanaoglu，Max Welling，2019）研究了基于凸正二十面体的布置。
总结
对于顶点和衰减矩阵，层具有通常价值的激活函数，这些函数映射到相邻层之间的详尽的定向边缘集[1]。图像卷积层通常为二维顶点排列，其衰减立方体映射到相邻层之间的一组定向边的缩减集合[2]。堆栈具有完整的分层网络，作为元有向图中的顶点，这些元顶点按顺序连接，每个边都是训练元参数，增强（实时反馈）信号或某些其他学习控制。网络的层次结构反映了可以聚合多个控件并指导较低级别的学习的概念，或者反映了可以由一个较高级别的主管网络控制多个学习元素的情况。
学习拓扑趋势分析
我们可以分析机器学习架构的趋势。我们有三种拓扑趋势。
因果维度的深度-信号处理的层，其中一层激活的输出通过衰减参数（权重）矩阵馈送到下一层的输入。随着建立更多的控制，仅从反向传播中的基本梯度下降开始，就可以实现更大的深度。
输入信号的维数-从标量输入到超立方体（视频具有水平，垂直，包括透明度和帧的色深-请注意，这与感知器意义上的输入数量不同。
拓扑发展-以上两个本质上都是笛卡尔。尺寸与现有尺寸成直角添加。由于网络以层次结构连接（如拉普拉斯层次结构），莫比乌斯带像圆圈一样（如GAN），因此趋势是地形性的，最好用有向图表示，其中顶点不是神经元，而是较小的网络。
缺少哪些拓扑？
本节扩展标题问题的含义。
- 有什么理由可以安排多个每个代表神经网络的元顶点，以便多个主管元顶点可以联合起来监督多个员工元顶点？
- 为什么误差信号的反向传播是负反馈的唯一非线性等效形式？
- 在代表控件的两个倒数边缘的情况下，不能使用元顶点之间的协作而不是监督？
- 由于神经网络主要用于学习非线性现象，因此为什么在网络的设计或互连中禁止其他类型的闭合路径？
- 有什么理由不能将声音添加到图片中以便可以自动对视频片段进行分类？如果是这样，电影剧本是否可以提取电影的特征，并且可以使用对抗性体系结构生成电影剧本并制作电影而无需电影制片厂系统？作为有向图，该拓扑将是什么样？
- 尽管正交排列的像元可以模拟非正交顶点和边缘的任意规则堆积排列，但是在计算机视觉中，照相机的倾斜度通常为正负90度以外，这样做是否有效？
- 在以自然语言理解和组装或人工认知为目标的学习系统中，将单个细胞垂直排列在AI系统中的网络中还是将其垂直排列在AI系统中是有效的吗？
笔记
MLP中的人造细胞使用浮点或定点算术传递函数，而不是基于基于幅度和接近度的阈值的电化学脉冲传输。它们不是对神经元的真实模拟，因此将顶点神经元称为这种分析的误称。
图像特征的相关性和紧邻像素之间的相对变化远高于远处像素。