神经网络的标志性（玩具）模型

我的研究生物理学教授以及诺贝尔奖获得者费曼（Feynman）总是会提出他们所谓的玩具模型，以说明物理学的基本概念和方法，例如谐波振荡器，摆锤，陀螺和黑匣子。

什么样的玩具模型用来说明神经网络应用的基本概念和方法？（请参考。）

所谓玩具模型，是指一种特别简单，尺寸最小的网络，该网络适用于高度受限的问题，通过该网络可以介绍基本方法，并可以通过实际实现来测试和理解自己的理解，即构造基本代码，并且最好在一定程度上执行/手动检查基本数学或在符号数学应用程序的辅助下进行检查。

最经典的作品之一是二维的Perceptron，其历史可以追溯到1950年代。这是一个很好的例子，因为它是更多现代技术的起点：

1）并非所有的东西都是线性可分离的（因此需要非线性激活或核方法，多层等）。

2）如果数据不是线性可分离的，则Perceptron不会收敛（连续的分离度量，例如softmax，学习率衰减等）。

3）尽管有无数种拆分数据的解决方案，但很明显，有些解决方案比其他解决方案更需要（最大边界分隔，SVM等）。

对于多层神经网络，您可能会喜欢此可视化附带的玩具分类示例。

对于卷积神经网络，MNIST是经典的黄金标准，在此处和此处都有可爱的可视化效果。

对于RNN，他们可以解决的一个非常简单的问题是二进制加法，它需要记住4种模式。

1. XOR问题可能是规范的ANN玩具问题。

   理查德·布兰德（Richard Bland）1998年6月，斯特林大学计算科学与数学系计算机科学技术报告“ 学习异或：探索经典问题的空间 ”

2. 该TensorFlow游乐场是一个人机交互界面，几个玩具神经网络，包括XOR和果冻卷。

3. 我在课堂演示中使用了一个计算固定大小（2x2或3x3）对称矩阵的最大特征值的方法。

   A. Cichocki和R. Unbehauen。“ 用于计算特征值和特征向量的神经网络 ” 生物控制论， 1992年12月，第68卷，第2期，第155-164页

诸如MNIST之类的问题无疑是可以解决的，但是很难手动进行验证-除非您碰巧拥有大量空闲时间。代码也不是特别基础。

对于NLP任务，Penn Tree Bank是一个非常标准的基准数据集，例如，用于Wojciech Zaremba，Ilya Sutskever，Oriol Vinyals的“ 递归神经网络正则化 ”，以及其他数百篇论文中。

我不知道物理玩具，但是我知道的最好的例子是通过遗传算法生成的多层AI来玩超级马里奥兄弟。源代码在视频说明中。

MarI / O-视频游戏的机器学习：https：//www.youtube.com/watch？v = qv6UVOQ0F44