神经网络可以学习功能及其功能派生吗？

我了解到，在某些假设下（在网络和要近似的函数上），神经网络（NN）可以视为函数及其派生类的通用逼近器。实际上，我已经对简单但非平凡的函数（例如多项式）进行了许多测试，似乎我确实可以很好地近似它们和它们的一阶导数（下面显示一个示例）。

然而，我不清楚的是，导致上述结论的定理是否扩展到（或可能扩展到）泛函及其函数导数。例如，考虑以下函数： ，其中函数导数： 其中，完全而不是完全取决于。NN可以学习上面的映射及其功能派生吗？更具体地说，如果一个离散化的域比和提供（在离散点）作为输入和

$$\begin{equation} F[f(x)] = \int_a^b dx ~ f(x) g(x) \end{equation}$$ $$\begin{equation} \frac{\delta F[f(x)]}{\delta f(x)} = g(x) \end{equation}$$ $f(x)$$g(x)$$x$$[a,b]$$f(x)$$F[f(x)]$作为输出，NN能否正确（至少在理论上）正确学习此映射？如果是这样，它还能学习映射的功能导数吗？

我已经做过许多测试，似乎NN确实可以在某种程度上学习映射。但是，虽然此映射的准确性尚可，但并不理想。麻烦的是计算出的函数导数是完全垃圾（尽管这两个都可能与训练等有关）。一个例子如下所示。$F[f(x)]$

如果NN不适合学习某个函数及其函数导数，那么还有另一种机器学习方法吗？

例子：

（1）以下是近似函数及其衍生物的一个例子：一个NN被训练学习函数在范围[-3,2]： 从该合理得到与近似值： 请注意，正如预期的那样，对的NN近似值及其一阶导数随训练点数，NN体系结构的改善而提高，因为在训练过程中发现了更好的最小值等。$f(x) = x^3 + x + 0.5$d f （x ）/ d x f （x ）$df(x)/dx$$f(x)$

（2）以下是近似的函数及其函数导数的示例：训练了NN以学习函数。使用形式为函数获得训练数据，其中和是随机生成的。下图说明了NN确实能够很好 地近似 。下面显示了一个示例（针对特定的）： 作为一个有趣的注释，的NN近似$F[f(x)] = \int_1^2 dx ~ f(x)^2$$f(x) = a x^b$$a$$b$$F[f(x)]$˚F （X ）˚F [ ˚F （X ）]$f(x)$$F[f(x)]$ 似乎随着训练点数等的增加而提高（如示例（1）所示），而功能导数则没有。

这是一个很好的问题。我认为它涉及理论上的数学证明。我从事深度学习（基本上是神经网络）已有一段时间了（大约一年），根据我从阅读的所有论文中获得的知识，我还没有看到关于这一点的证据。但是，就实验证明而言，我认为我可以提供反馈。

让我们考虑下面的示例：

在这个例子中，我相信通过多层神经网络，它应该能够通过反向传播学习f（x）和F [f（x）]。但是，无论是将其应用于更复杂的函数，还是应用于宇宙中的所有函数，都需要更多的证明。但是，当我们以Imagenet竞争为例-要对1000个对象进行分类时，通常会使用非常深的神经网络。最好的模型可以实现令人难以置信的错误率，约为5％。这种深层NN包含10个以上的非线性层，这是一个实验证明，可以通过深层网络表示复杂的关系[基于我们知道具有1个隐藏层的NN可以非线性分离数据的事实]。

但是，是否可以学习所有派生还需要更多的研究。

我不确定是否有任何机器学习方法可以完全学习该功能及其派生类。对于那个很抱歉。

$f : \mathbb{R}^M \to \mathbb{R}^N$$\mathbb{R}$$N=1$

$$F[f(x)]=\int\limits_a^bf(x)g(x)dx$$ $g(x)$$f_i(x), ~i=0,\dots,M$$F[f_i(x)]$ $$F[f(x)]= \Delta x\left[\frac{f_0g_0}{2}+f_1g_1+...+f_{N-1}g_{N-1}+\frac{f_Ng_N}{2}\right]$$ $$\frac{F[f(x)]}{\Delta x}=y= \frac{f_0g_0}{2}+f_1g_1+...+f_{N-1}g_{N-1}+\frac{f_Ng_N}{2}$$ $$f_0=a,~f_1=f(x_1),~...,~f_{N-1}=f(x_{N-1}),~f_N=b,$$ $$a<x_1<...<x_{N-1}<b,~~\Delta x=x_{j+1}-x_j$$

$M$$f_i(x),~i=1,\dots,M$$i$

$$\frac{F[f_i(x)]}{\Delta x}=y_i= \frac{f_{i0}g_0}{2}+f_{i1}g_1+...+f_{i,N-1}g_{N-1}+\frac{f_{iN}g_N}{2}$$

$g_0,\dots, g_N$

$$X=\begin{bmatrix} f_{00}/2 & f_{01} & \dots & f_{0,N-1} & f_{0N}/2 \\ f_{10}/2 & f_{11} & \dots & f_{1,N-1} & f_{1N}/2 \\ \dots & \dots & \dots & \dots & \dots\\ f_{M0}/2 & f_{M1} & \dots & f_{M,N-1} & f_{MN}/2 \end{bmatrix}$$ $y=[y_0,\dots,y_M]$

$g(x)$

import numpy as np 

def Gaussian(x, mu, sigma):
    return np.exp(-0.5*((x - mu)/sigma)**2)

$x \in [a,b]$

x = np.arange(-1.0, 1.01, 0.01)
dx = x[1] - x[0]
g = Gaussian(x, 0.25, 0.25)

让我们以不同频率的正弦和余弦作为我们的训练功能。计算目标向量：

from math import cos, sin, exp
from scipy.integrate import quad

freq = np.arange(0.25, 15.25, 0.25)

y = []
for k in freq:
    y.append(quad(lambda x: cos(k*x)*exp(-0.5*((x-0.25)/0.25)**2), -1, 1)[0])
    y.append(quad(lambda x: sin(k*x)*exp(-0.5*((x-0.25)/0.25)**2), -1, 1)[0])
y = np.array(y)/dx

现在，回归矩阵：

X = np.zeros((y.shape[0], x.shape[0]), dtype=float)
print('X',X.shape)
for i in range(len(freq)):
    X[2*i,:] = np.cos(freq[i]*x)
    X[2*i+1,:] = np.sin(freq[i]*x)

X[:,0] = X[:,0]/2
X[:,-1] = X[:,-1]/2

线性回归：

from sklearn.linear_model import LinearRegression
reg = LinearRegression().fit(X, y)
ghat = reg.coef_

import matplotlib.pyplot as plt 

plt.scatter(x, g, s=1, marker="s", label='original g(x)')
plt.scatter(x, ghat, s=1, marker="s", label='learned $\hat{g}$(x)')
plt.legend()
plt.grid()
plt.show()

$g(x)$

from scipy.signal import savgol_filter
ghat_sg = savgol_filter(ghat, 31, 3) # window size, polynomial order

plt.scatter(x, g, s=1, marker="s", label='original g(x)')
plt.scatter(x, ghat, s=1, marker="s", label='learned $\hat{g}$(x)')
plt.plot(x, ghat_sg, color="red", label='Savitzky-Golay $\hat{g}$(x)')
plt.legend()
plt.grid()
plt.show()

$F[f(x)]$$f(x)$

$$F[f(x)]=\int\limits_a^b\mathcal{L}\left(f(x)\right)dx$$ $f_0, f_1\dots,f_N$$x$ $$F[f(x)]=\int\limits_a^b\mathcal{L}\left(f(x),f'(x)\right)dx$$ $f'$$f_0, f_1\dots,f_N$$\mathcal{L}$$f_0, f_1\dots,f_N$，尽管它可能不像在线性情况下那样容易，但是可以尝试使用非线性方法（例如神经网络或SVM）来学习它。