无法有效计算但可学习的功能

我们知道（例如，参见[1]的定理1和定理3），粗略地说，在适当的条件下，可以由多项式神经网络表示可以由图灵机在多项式时间内有效计算的函数（“有效可计算”）。具有合理的大小，因此可以在任何输入分布下以多项式样本复杂度（“可学习的”）来学习。

此处的“可学习的”仅涉及样本复杂度，而与计算复杂度无关。

我想知道一个非常相关的问题：是否存在一个图灵机无法在多项式时间内有效计算的函数（“无法有效计算”），但同时可以通过多项式样本复杂度来学习（“可学习”）在任何输入分布下？

• [1] Roi Livni，Shai Shalev-Shwartz，Ohad Shamir，“ 关于训练神经网络的计算效率 ”，2014年

我将形式化此问题的一个变体，用“可计算性”代替“效率”。

让$C_n$是概念类的所有语言的$L\subseteq\Sigma^*$ 识别由图灵机上$n$状态或更少。一般地，对于$x\in\Sigma^*$和$f\in C_n$，评估的问题 $f(x)$是不可判定。

但是，假设我们有机会获得一个（适当的，可实现的）PAC-学习oracle的$A$ 对$C_n$。也就是说，对于任何$\epsilon,\delta>0$，oracle都请求一个标记的大小为 $m_0(n,\epsilon,\delta)$ 的样本，使得假设从未知分布$D$抽取了该样本，oracle $A$输出了一个假设˚F ∈ ç ñ ，其与概率至少1 - δ，具有d$\hat f\in C_n$$1-\delta$$D$-generalization误差不超过$\epsilon$。我们将证明该预言不是图灵可计算的。

事实上，我们将证明一个简单的问题是不可判定：一个确定的，给予标记的样品$S$，是否存在一个$f\in C_n$符合$S$。假设（矛盾）$K$是决定一致性问题的图灵机。

我们制定以下符号约定。识别$\Sigma^*$与$\mathbb{N}=\{0,1,2,\ldots\}$经由通常的词典式排序。对于$x\in\{0,1\}^*$，我们说一个TM $M$ “S-打印” $x$它是否接受所有在串的$\Sigma^*$ 对应于索引$i$ ST $x_i=1$ ，并且不通过不接受（可能停止）与索引x对应的任何字符串$x_i=0$。由于（通过假设）$K$是可判定的，接下去的功能$\tilde K:x\mapsto k$，定义为最小的$k$使得在一些TM$C_k$ S-打印$x$，是图灵不可计算的。它进一步如下所述功能 $g:k\mapsto x$，其中映射$k\in\mathbb{N}$ 到至少（按字典顺序）串$x\in\{0,1\}^*$ 使得$\tilde K(x)>k$也是可计算的。

现在定义TM $M$如下：$M$ S-打印$g(|\langle M\rangle|)$，其中 $\langle M\rangle$是的编码$M$， $|x|$表示字符串长度，并调用递归定理以断言此类$M$的存在。然后$M$具有一定的编码长度，$\ell=|\langle M\rangle|$，它为S打印一些串，$x_M\in\{0,1\}^*$。通过构造，$\tilde K(x_M)>\ell$，所以$x_M$不能由与描述长度任何TM S-印刷$\ell$或更短。但是，它被定义为描述长度为$\ell$ ---的TM的S打印输出。