神经网络可以计算


12

出于著名的Tensorflow Fizz Buzz笑话和XOr问题的精神,我开始思考,是否有可能设计实现y=x2函数的神经网络?

给定一个数字的某种表示形式(例如,作为二进制形式的向量,因此该数字5表示为[1,0,1,0,0,0,0,...]),在这种情况下,神经网络应学会返回其平方-25。

如果我可以实现y=x2,那么我可能可以实现y=x3并且通常可以实现x的任意多项式,然后使用泰勒级数,我可以近似y=sin(x),这将解决Fizz Buzz问题-神经网络可以找到该部门的其余部分。

显然,仅NN的线性部分将无法执行此任务,因此,如果我们能够进行乘法运算,则由于激活函数而将发生这种情况。

您可以提出任何建议或阅读相关主题吗?

Answers:


10

神经网络也被称为基于泛函近似定理泛函近似。它指出:

在人工神经网络的数学理论中,通用逼近定理指出,在激活函数的温和假设下,具有包含有限数量神经元的单个隐藏层的前馈网络可以近似逼近Rn的紧集子集上的连续函数。

y=x2

您可以在此处通过笔记本示例找到一个很好的课程。

同样,由于这种能力,ANN可以映射复杂的关系,例如在图像及其标签之间。


2
非常感谢,这正是我要的!
鲍里斯·伯科夫

4
虽然是正确的,但要学习它是一个非常糟糕的主意。我看不出任何泛化能力将从何而来。当需要概括时,NN会发光。就像CNN可以捕捉模式的视觉效果,还是RNN可以捕捉趋势的视觉效果。
Jeffrey

14

f(x)=x2Rn

RnRnxf(x)=x2Rf(x)=x2xR

sin(x)x=0x10000


3
好赶上!“紧凑套装”。
Esmailian

2
非常感谢,队友!大开眼界!
鲍里斯·伯科夫
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.