神经网络-查找最相似的图像

我正在使用Python，scikit-learn和keras。我有3000万个正面手表图像，如下所示： Watch_1，Watch_2，Watch_3。

我想编写一个程序，以接收实际手表的照片作为输入，该照片可能比上面的照片（背景色不同，光线更暗等）在不太理想的条件下拍摄，并且在3000种手表中找到最相似的手表。类似地，我的意思是，如果我输入一张带有薄花边的棕色圆形手表的照片作为输入，那么我期望将其制成为圆形，深色和薄花边的棕色手表的输出。

什么是最有效的机器学习算法？

例如，通过点击此链接，我想到了两种不同的解决方案：

1）使用CNN作为特征提取器，并参考输入图像比较每对图像的这些特征之间的距离。

2）在暹罗神经网络中使用两个CNN来比较图像。

这两个选项是此任务的最佳选择，还是您会提出其他建议？

您是否知道用于此任务的任何预训练神经网络（具有预定的超参数）？

我在StackOverflow上找到了一些有趣的帖子，但是它们已经很老了：Post_1，Post_2，Post_3。

我认为这样的高层体系结构不是最合适的，而是取决于许多因素和细节。据我所知，第一种方法很有希望，尤其是在扩展了TiefVision中的其他步骤的情况下：

1. 额外的边界框网络用于将图像的相关部分与其余部分区分开
2. 不直接简单地比较特征向量，而是使用三元组来训练比较网络（基于特征向量和更多或更少相似实例的示例来学习相似性）。

这项工作比您发布的内容要新得多（2016/17年），并带有一个不错的工具集和更详细的论文。

为什么使用三胞胎又名深度排名？

如评论中所述：为什么人们应该使用三胞胎来实现图像相似性，而不是学习特征向量并计算其距离？三元组是将相似性问题公式化为学习问题的一种方式，而不是学习基本上不关心相似性的特征向量。在人类感知的相似性很重要（可能与机器感知不同）的情况下，这种方法特别有意义。

三元组的工作方式如下：您提供3张图片。一个要比较的图像，一个相似（接近）的图像和一个不太相似（遥远）的图像。这是您的训练/测试/验证数据。在这些样本上训练网络并预测正确的顺序（从非相似图像分类相似图像），使网络可以学习如何基于相似度对图像进行排序。

总而言之，这种方法比较复杂。它可能经过了过度设计，但是您还要求执行此操作的最佳方法，因此Deep Rank实现了非常高的精度值。

我会选择一个分类器，例如VGG-16，它在imagenet类上效果很好。然后，通过它运行手表图像。可以肯定的是，您可以期望输出大部分是“监视”，而且可能性很高。

但是，您将获得其他功能：所有其他类别的激活级别。这为您提供了0到1之间的一千个值的向量。

您也可以在网络的各个位置提取激活。然后，只有在图像相似的情况下，两种情况下那些激活和输出的相似性才应该相似。

我将首先关注数据增强。由于您的图像具有白色背景，因此您会更轻松一些。将白色背景变成透明背景，按比例缩小图像，旋转它，然后将其放在类似于目标数据的背景中。

使用不同的组合多次进行此操作，并为每只手表贴上标签。然后，我建议您使用常规的卷积神经网络进行分类。每个标签都会有一个得分，请选择得分最高的得分，并且应该最相似。

例如，假设您使用图像运行分类器并获得以下结果：

Watch1: 0.51

Watch2: 0.30

Watch3: 0.25

CNN表示，它有51％的信心表示Watch1是输入图像中的手表。但也确实是，它认为它看起来更相似，而Watch2将是下一个更相似，依此类推。

如果效果不佳，请照常进行。试验参数和/或添加更多层。尝试找出失败的地方。了解了这些知识之后，您可以使用它来为您的特定问题选择一种更特殊的卷积网络类型。在没有先验知识的情况下寻找它是不正确的方法。我建议您从基本的卷积模型开始，然后从那里开始工作。