如何在Mathematica中找到Waldo？

这个周末困扰着我：解决那些“沃尔多在哪里”的好方法是什么？ [ 北美以外的'Wally' ]使用Mathematica（图像处理和其他功能）感到困惑吗？

到目前为止，这是我所拥有的功能，该功能通过使某些非红色变暗来稍微降低视觉复杂性：

whereIsWaldo[url_] := Module[{waldo, waldo2, waldoMask},
    waldo = Import[url];
    waldo2 = Image[ImageData[
        waldo] /. {{r_, g_, b_} /;
          Not[r > .7 && g < .3 && b < .3] :> {0, 0,
          0}, {r_, g_, b_} /; (r > .7 && g < .3 && b < .3) :> {1, 1,
          1}}];
    waldoMask = Closing[waldo2, 4];
    ImageCompose[waldo, {waldoMask, .5}]
]

还有一个“可行”的URL示例：

whereIsWaldo["http://www.findwaldo.com/fankit/graphics/IntlManOfLiterature/Scenes/DepartmentStore.jpg"]

（沃尔多在收银机旁）：

我找到沃尔多了！

我是如何做到的

首先，我要过滤掉所有不是红色的颜色

waldo = Import["http://www.findwaldo.com/fankit/graphics/IntlManOfLiterature/Scenes/DepartmentStore.jpg"];
red = Fold[ImageSubtract, #[[1]], Rest[#]] &@ColorSeparate[waldo];

接下来，我正在使用简单的黑白图案计算此图像的相关性，以找到衬衫中的红色和白色过渡。

corr = ImageCorrelate[red, 
   Image@Join[ConstantArray[1, {2, 4}], ConstantArray[0, {2, 4}]], 
   NormalizedSquaredEuclideanDistance];

我通常Binarize会选择图像中具有足够高相关性的像素，并在它们周围画一个白色圆圈以强调它们的使用Dilation

pos = Dilation[ColorNegate[Binarize[corr, .12]], DiskMatrix[30]];

我必须和水平玩一些。如果水平太高，则会挑出太多的误报。

最后，我将此结果与原始图像结合起来得到上面的结果

found = ImageMultiply[waldo, ImageAdd[ColorConvert[pos, "GrayLevel"], .5]]

我的猜测是“做到这一点的防弹方式”（想想CIA随时都能在任何卫星图像中找到Waldo，而不仅仅是没有竞争元素的单个图像，例如条纹衬衫）...我会在许多Waldo图像上训练Boltzmann机器 -他的坐姿，站立姿势，被遮挡姿势等的所有变化；衬衫，帽子，相机和所有作品。您不需要庞大的Waldos语料库（也许3-5个就足够了），但越多越好。

这会将概率云分配给以任何正确排列出现的各种元素，然后（通过分段）确定平均物体大小是什么，将源图像分解为最类似于单个人的物体单元（考虑可能的遮挡和姿势变化） ），但由于Waldo图片通常包含许多大约相同比例的人物，因此这应该是一件非常容易的事情，然后将这些经过训练的Boltzmann机器的片段送入。它会给您每个人都是Waldo的可能性。以最高的概率。

今天，这就是OCR，邮政编码读取器和无笔迹手写识别的工作方式。基本上，您知道答案在那里，您或多或少知道它的外观，并且其他所有内容可能都有共同的元素，但绝对是“ not it”，因此您不必理会“ not it”，您只需看一下您之前见过的所有可能的“ it”中的“ it”的可能性即可（例如，在邮政编码中，您训练BM的时间仅为1s，2s，3s等），然后分别喂入数字到每台机器，然后选择一个最有信心的机器。这比所有数字的单个神经网络学习功能要好得多。

我同意@GregoryKlopper的观点，解决在任意图像中找到Waldo（或任何感兴趣的对象）的一般问题的正确方法是训练有监督的机器学习分类器。使用许多带有正面和负面标记的示例，可能会训练诸如支持向量机，Boosted Decision Stump或Boltzmann机之类的算法来实现此问题的高精度。Mathematica甚至将这些算法包括在其机器学习框架中。

训练Waldo分类器的两个挑战是：

1. 确定正确的图像特征变换。这就是@Heike的答案有用的地方：红色滤镜和剥离的图案检测器（例如，小波或DCT分解）将是将原始像素转换成分类算法可以学习的格式的好方法。还需要对图像的所有子部分进行评估的基于块的分解……但是，由于Waldo a）总是大致相同的大小，b）始终在每个图像中仅出现一次，这一点变得更加容易。
2. 获得足够的培训示例。支持SVM的效果最好，每个类至少有100个示例。数以百万计的正面和负面例子训练了增强的商业应用（例如，数码相机中的面部对焦）。

快速的Google图片搜索会发现一些好的数据-我将立即收集一些培训示例并立即进行编码！

但是，即使是机器学习方法（或@iND建议的基于规则的方法）也将难以获得Waldos之类的形象！

我不认识Mathematica。。。太糟糕了。但在大多数情况下，我喜欢上述答案。

仅依靠条纹收集答案仍然存在一个重大缺陷（我个人没有一个手动调整的问题）。有一个示例（由Brett Champion列出，在此处）显示该示例有时会破坏衬衫样式。因此，它变成了一个更复杂的模式。

我会尝试使用形状ID和颜色以及空间关系的方法。就像人脸识别一样，您可以按一定比例查找几何图案。需要注意的是，通常会阻塞这些形状中的一个或多个形状。

在图像上获得白平衡，并从图像中获得红色平衡。我相信Waldo始终是相同的值/色相，但是图像可能来自扫描或不良副本。然后，始终引用Waldo实际使用的颜色数组：红色，白色，深棕色，蓝色，桃红色，{鞋子颜色}。

有衬衫的图案，还有定义Waldo的裤子，眼镜，头发，脸，鞋子和帽子。此外，相对于图像中的其他人，Waldo处于瘦弱的一面。

因此，在这张照片中，找到随机的人以获得人的高度。在图像的随机点测量一堆东西的平均高度（简单的轮廓会产生很多个人）。如果每个事物彼此之间的标准偏差都不在一定范围内，则暂时将其忽略。比较平均高度与图像高度。如果比率太大（例如1：2、1：4或类似的比率），请重试。运行10次（？），以确保所有样本都非常接近，不包括任何超出标准偏差的平均值。在Mathematica中可能吗？

这是您的Waldo尺寸。Walso很瘦，所以您正在寻找5：1或6：1（或其他）ht：wd的东西。但是，这还不够。如果Waldo被部分隐藏，则高度可能会改变。因此，您正在寻找约2：1的红白色块。但是必须有更多指标。

1. 沃尔多有眼镜。在红白色上方搜索0.5：1的两个圆圈。
2. 蓝色的裤子。在红白底端与脚之间的任何距离内，相同宽度的任何数量的蓝色。请注意，他的衬衫穿得短，所以脚不要太紧。
3. 帽子。红白色，距离不超过他头顶的两倍。请注意，它下面必须有一头黑发，可能还有眼镜。
4. 长袖。红白色与主红白色成一定角度。
5. 黑头发。
6. 鞋的颜色。我不知道颜色。

这些都可以适用。这些也是对图片中相似人物的否定检查-例如，＃2否定穿着红白色围裙（太靠近鞋子），＃5否定浅色头发。同样，形状只是这些测试中每一项的指标。。。在指定距离内单独使用颜色可以提供良好的效果。

这将缩小要处理的区域。

存储这些结果将产生一组应该包含Waldo 的区域。排除所有其他区域（例如，对于每个区域，选择一个比普通人大两倍的圆圈），然后运行@Heike布置的过程，除去所有红色，以此类推。

关于如何编写代码有什么想法？

编辑：

关于如何编写此代码的思考。。。排除沃尔多（Waldo）红色以外的所有区域，对红色区域进行骨架化，然后将它们修剪到一个点。对于Waldo头发棕色，Waldo裤子蓝色，Waldo鞋子颜色也是如此。对于Waldo肤色，排除后找到轮廓。

接下来，排除非红色区域，扩大（大量）所有红色区域，然后进行骨架化和修剪。这部分将给出可能的Waldo中心点的列表。这将是比较所有其他Waldo颜色部分的标记。

从这里开始，使用带骨架的红色区域（而不是膨胀的红色区域），计算每个区域中的线。如果有正确的数字（四个，对吗？），则肯定是可能的区域。如果不是的话，我想就把它排除在外了（作为沃尔多中心……那可能仍然是他的帽子）。

然后检查上方是否有面部形状，上方是否有头发点，下方是否有裤子点，下方是否有鞋子点等等。

尚无代码-仍在阅读文档。

我有一个使用OpenCV查找Waldo的快速解决方案。

我使用OpenCV中可用的模板匹配功能来查找Waldo。

为此，需要一个模板。因此，我从原始图像中裁剪了Waldo并将其用作模板。

接下来，我将cv2.matchTemplate()函数以及归一化相关系数作为所使用的方法进行调用。如下面的白色所示（在左上角的某处），它在单个区域返回的概率很高：

使用cv2.minMaxLoc()函数找到了最高可能区域的位置，然后我用它来绘制矩形以突出显示Waldo：