通用函数逼近

通过通用逼近定理可以知道，即使具有单个隐藏层和任意激活函数的神经网络也可以近似任何连续函数。

还有哪些其他模型也是通用函数逼近器

统计资料中以回归为主题对此进行了广泛处理。Wasserman的书“所有非参数统计”和Tsybakov的“非参数估计简介”这两个标准参考文献。我将简短地讨论一些标准的东西，并尝试在统计之外提供一些指导（这是一个常见的话题，不同的领域具有不同的文化：证明不同种类的定理，做出不同的假设）。

1. （内核回归器，有时也称为Nadaraya-Watson估计器。）在这里，您可以在任意点将函数编写为附近值的加权组合。更具体地讲，由于这在统计资料中，您通常假设您有一些示例从某个分布中得出，并确定了一些内核K（可以认为是高斯，但零均值是最重要的事情），并写 ˚F（X ）：= Σ我 ˚F （X $((x_i,f(x_i)))_{i=1}^n$$K$ 其中cn→∞（随着n的增加，您对小距离更敏感）。保证是，当n→∞时，失真的概率标准（期望范数，高概率，无论如何）都为零。（K看起来几乎没有关系---选择cn的关系更大。）

   $$\hat f(x) := \sum_i f(x_i) \left(\frac{ K(c_n(x-x_i)) }{ \sum_j K(c_n(x-x_j))}\right),$$ $c_n\to\infty$$n$$n\to\infty$$K$$c_n$

2. $L^2$$\hat f$$f$。为了了解此处方法的多样性，Rahimi＆Recht的论文“随机基数的函数的统一近似”是一本整洁的论文。也许我应该说，所有这些的祖父都是傅立叶展开式。Mallat关于Wavelets的书中有很多很好的材料。

3. （树方法。）另一种方法是将函数看作树。在每个级别上，您都在使用域的某些分区，并返回例如平均点。（对树的每次修剪都会提供一个分区。）在限制范围内，该分区的精细度将不再离散化该函数，而您已经对其进行了精确的重构。如何最好地选择该分区是一个难题。（您可以在“回归树”下对此进行搜索。）

4. （多项式方法；另请参见样条曲线和其他插值技术。）通过泰勒定理，您知道可以任意接近行为良好的函数。这似乎是一种非常基本的方法（即，仅使用Lagrange插值多项式），但是要使事情变得有趣的地方在于确定哪种方法点进行插值。在数值积分的背景下对此进行了广泛的研究。您可以在“克伦肖-柯蒂斯正交”和“高斯正交”主题下找到一些惊人的数学。我将其放在这里的原因是，这里的假设和保证的类型与上面显示的完全不同。我喜欢这个领域，但是这些方法在维数的诅咒中确实遭受了严重的折磨，至少我认为这就是为什么它们的讨论量比以前少的原因（如果您使用mathematica进行数值积分，那么我认为它对单变量域是正交的，但采用多元域的抽样技术）。

考虑到对函数类的各种限制，您可以实例化以上内容以获得各种其他广泛使用的方案。例如，对于布尔值函数，阈值（1.）看起来很像最近邻估计器，或者是带有某些局部内核（高斯）的SVM。上述许多东西都遭受了尺寸的诅咒（界限对尺寸表现出指数依赖性）。在机器学习中，您可以通过将类明确地限制为某个族（即“参数方法”）或通过隐式约束（通常是将近似值的质量与目标函数的复杂性相关联的某种东西）（例如，模拟函数的相似性）来解决此问题。促进学习的能力较弱）。

$f:\mathbb{R}^d \to \mathbb{R}$

$$f(x) = \sum_{j=0}^{2d}h_j\left(\sum_{i=1}^d g_{j,i}(x_i)\right),$$ $g_{j,i} : \mathbb{R}\to\mathbb{R}$$h_j:\mathbb{R}\to\mathbb{R}$$g$$h$$\Theta(d^2)$

（您只问过函数类，但我想您也会对方法感兴趣。