非自由午餐定理和K-NN一致性

在计算学习中，NFL定理指出没有通用学习器。对于每种学习算法，都有一个分布使学习者输出具有大误差的假设，而且概率很高（尽管误差假设很低）。结论是，为了学习，必须限制假设的类别或分布。Devroye等人在他们的《模式识别的概率论》一书中证明了K近邻学习者的以下定理： 其中

$$\text{Assume } \mu \text{ has a density. if } k\to \infty \text{ and } k/n\to0 \\ \text{ then for every } \epsilon>0, \text{ there's } N, \text{ s.t.} \text{ for all } n>N : \\ P(R_n - R^* > \epsilon)< 2exp(-C_dn \epsilon ^{2})$$ $R^*$是贝叶斯最佳规则的误差， 是K-NN输出的真实误差（概率超过大小为的训练集），是实例空间的概率测度和是一些常数，仅取决于欧式尺寸。因此，我们可以尽可能地接近最佳假设（而不是某些受限类中的最佳假设），而无需对分配进行任何假设。因此，我试图了解该结果如何与NFL定理不矛盾？谢谢！$R_n$$n$$\mu$$\mathbb{R}^d$$C_d$

我了解NFL定理的方式是，在每个任务中没有一种学习算法比其他算法更好。但是，从清晰的数学意义上来说，这不是一个定理，它有一个证明，而是一个经验观察。

类似于您对kNN所说的，还有神经网络的通用逼近定理，该定理指出在给定2层神经网络的情况下，我们可以任意误差地逼近任何函数。

现在，这怎么不会破坏NFL？它基本上指出，您可以使用简单的2层NN 解决任何可能的问题。原因是，虽然理论上神经网络可以近似任何东西，但实际上很难教他们近似任何东西。这就是为什么对于某些任务，最好使用其他算法。

解释NFL的一种更实用的方法如下：

无法确定先验方法，哪种算法最适合给定任务。