用神经网络找到多项式的最大根
挑战 找到最小的前馈神经网络，以便在给定具有整数项的任何3维输入向量，网络输出最大前馈神经网络（即，“最正”）的根多项式，其误差严格小于。(a,b,c)(a,b,c)(a,b,c)[−10,10][−10,10][-10,10]x3+ax2+bx+cx3+ax2+bx+cx^3+ax^2+bx+c0.10.10.1 可接纳性 在我之前的神经网络高尔夫挑战赛中，可接纳性的概念似乎有些局限，因此对于这一挑战，我们使用了更为宽松的前馈神经网络定义： 甲神经元是一个函数，其由向量所指定的权重，一个偏压和激活函数的方式如下：ν:Rn→Rν:Rn→R\nu\colon\mathbf{R}^n\to\mathbf{R}w∈Rnw∈Rnw\in\mathbf{R}^{n} b∈Rb∈Rb\in\mathbf{R} f:R→Rf:R→Rf\colon\mathbf{R}\to\mathbf{R} ν(x):=f(w⊤x+b),x∈Rn.ν(x):=f(w⊤x+b),x∈Rn. \nu(x) := f(w^\top x+b), \qquad x\in\mathbf{R}^n. 具有输入节点 的前馈神经网络是，可以根据序列个神经元，其中每个从并输出标量。鉴于一些指定的一组的输出节点，则所述神经网络的输出是向量。{1,…,n}{1,…,n}\{1,\ldots,n\}(x1,…,xn)∈Rn(x1,…,xn)∈Rn(x_1,\ldots,x_n)\in\mathbf{R}^n(νk)Nk=n+1(νk)k=n+1N(\nu_k)_{k=n+1}^Nνk:Rk−1→Rνk:Rk−1→R\nu_k\colon\mathbf{R}^{k-1}\to\mathbf{R}(x1,…,xk−1)(x1,…,xk−1)(x_1,\ldots,x_{k-1})xkxkx_kS⊆{1,…,N}S⊆{1,…,N}S\subseteq\{1,\ldots,N\}(xk)k∈S(xk)k∈S(x_k)_{k\in S} 由于可以针对任何给定任务调整激活功能，因此我们需要限制激活功能的类别，以使这一挑战变得有趣。允许以下激活功能： 身份。 f(t)=tf(t)=tf(t)=t ReLU。 f(t)=max(t,0)f(t)=max(t,0)f(t)=\operatorname{max}(t,0) SoftPlus。 f(t)=ln(et+1)f(t)=ln(et+1)f(t)=\ln(e^t+1) 乙状结肠。 f(t)=etet+1f(t)=etet+1f(t)=\frac{e^t}{e^t+1} 正弦曲线。 f(t)=sintf(t)=sintf(t)=\sin t 总体而言，可允许的神经网络由输入节点，神经元序列和输出节点指定，而每个神经元由权重，偏差和激活函数（由上表列出）指定。例如，以下神经网络是可以接受的，尽管它不能满足此挑战的性能目标： 输入节点： {1,2}{1,2}\{1,2\} 神经元： forνk(x1,…,xk−1):=xk−2+xk−1νk(x1,…,xk−1):=xk−2+xk−1\nu_k(x_1,\ldots,x_{k-1}):=x_{k-2}+x_{k-1}k∈{3,…,10}k∈{3,…,10}k\in\{3,\ldots,10\} 输出节点： {5,9,10}{5,9,10}\{5,9,10\} 该网络由8个神经元组成，每个神经元具有零偏倚和身份激活。换句话说，该网络计算由和生成的广义斐波纳契数列，然后以该顺序输出该数列的第5，第9和第10个数。x1x1x_1x2x2x_2 计分 给定的实数与十进制扩展，让是最小的非负整数为其中，并且让是最小的非负整数为其中是整数。然后我们说是精密的。xxxp(x)p(x)p(x)ppp10−p⋅|x|<110−p⋅|x|<110^{-p}\cdot |x|<1q(x)q(x)q(x)qqq10q⋅x10q⋅x10^q \cdot xp(x)+q(x)p(x)+q(x)p(x)+q(x)xxx 例如，的精度为，而的精度为。x=1.001x=1.001x=1.001444x=0x=0x=0000 您的分数是神经网络中权重和偏差的精度之和。 （例如，上面的示例得分为16。） 验证 虽然可以用三次公式来表示根，但是最大的根也许最容易通过数值手段获得。继@ XNOR的建议下，我计算出的最大根整数的每一次选择，并且结果可以在这里找到。此文本文件的每一行都是形式。例如，第一行报告的最大根大约为。a,b,c∈[−10,10]a,b,c∈[−10,10]a,b,c\in[-10,10]a,b,c,rootx3−10x2−10x−10x3−10x2−10x−10x^3-10x^2-10x-1010.9924714044544910.9924714044544910.99247140445449 编辑：如果多项式具有多个根，我发布的原始文件将出错。当前版本应该没有此类错误。