卷积网络的通用逼近定理

通用逼近定理对于神经网络是一个非常著名的结果，基本上表明在某些假设下，函数可以由具有任何精度的神经网络统一逼近。

是否有适用于卷积神经网络的类似结果？

这是一个有趣的问题，但是，它确实缺乏适当的说明，即所谓的卷积神经网络。

是网络必须包含卷积运算的唯一要求吗？是否只需要包含卷积运算？是否允许合并操作？在实践中使用的卷积网络使用多种操作组合，通常包括完全连接的层（一旦您具有完全连接的层，便具有理论上的通用逼近能力）。

为你提供一些答案，可以考虑下面的情况：具有完全连接的层的输入和ķ使用权重矩阵被实现输出W¯¯ ∈ [R ķ × d。您可以使用2个卷积层来模拟此操作：$D$$K$$W \in \mathbb R ^{K\times D}$

1. 第一个具有形状为D的滤波器。滤波器k ，d的元素d等于W k ，d，其余为零。该层将输入转换为K D维中间空间，其中每个维代表权重及其对应输入的乘积。$K\times D$$D$$d$$k,d$$W_{k,d}$$KD$

2. 第二层包含个形状为K D的滤镜。过滤器k的元素k D … （k + 1 ）D为1，其余为零。该层执行前一层乘积的求和。$K$$KD$$kD\ldots(k+1)D$$k$

这种卷积网络模拟完全连接的网络，因此具有相同的通用逼近能力。您可以考虑在实践中使用此示例有多有用，但我希望它能回答您的问题。

Dmitry Yarotsky在最近的这篇文章中肯定地回答了这个问题：神经网络对不变映射的通用逼近。

该文章表明，只要平移神经网络足够宽，就可以通过卷积神经网络很好地近似任意平移等变函数，这直接类似于经典的通用逼近定理。

请参阅周鼎轩的《深度卷积神经网络的通用性》一书，他证明了卷积神经网络是通用的，也就是说，当神经网络的深度足够大时，它们可以将任意连续函数近似为任意精度。