在神经网络进行图像识别的情况下，“置换不变”是什么意思？

我已经看到了MNIST数字识别任务的术语“置换不变”版本。这是什么意思？

machine-learning neural-networks terminology conv-neural-network definition

— 摇滚之星
source

Answers:

在这种情况下，这是指模型不假定要素之间的任何空间关系这一事实。例如，对于多层感知器，您可以置换像素，并且性能相同。对于采用邻域关系的卷积网络，情况并非如此。

— 拜耳
source

是的，那是令人困惑的部分。在数字分类中不应该存在空间关系吗？

— RockTheStar

MNIST被广泛用作神经网络的基准（或健全性检查）。如果您的模型在置换不变MNIST上的误差小于1％，那么您就可以解决问题。

— 2014年

是的，我是说数字也没有空间关系吗？如果置换数字像素，它将改变像素顺序，从本质上影响性能！

— RockTheStar

仅在模型假设如此的情况下。mlps不会，convnets会。这就是为什么将卷积网络与mnist上的mlp进行比较有点不公平。

— bayerj 2014年

我知道了！那么，在mnist数据集上，mlps表现还是更好还是convnet？

— RockTheStar 2014年

$f$ $x=(x_1, \dots,x_n)$ $f$ $x$ $n=3$

f ((x_{1}, x_{2}, x_{3})) = f ((x_{2}, x_{1}, x_{3})) = f ((x_{3}, x_{1}, x_{2}))

$f((x_1, x_2, x_3))=f((x_2, x_1,x_3))=f((x_3,x_1,x_2))$

— 凯捷蒂尔·哈沃森
source

这个答案有点误导，因为在机器学习中，学习算法通常是置换不变的，而返回的函数却不是。

— bayerj

@bayerj：这是一条有趣的信息，但是我看不到它使我给出的定义具有误导性，这是正确的定义，但在这种情况下可能不是完整的答案。

— kjetil b halvorsen

是的，定义是正确的。但这不适用于您写下来的方式。在OP询问的置换不变MNIST的情况下，您写下的表格的功能不会发生。

— bayerj