24
图像处理：“可口可乐”识别的算法改进
我过去几年中最有趣的项目之一是关于图像处理的项目。目的是开发一个能够识别可口可乐“罐头”的系统（请注意，我强调的是“罐头”一词，稍后您会看到原因）。您可以在下面看到一个示例，该示例在带有刻度和旋转的绿色矩形中可以识别。 对项目的一些限制： 背景可能非常嘈杂。 该罐可以具有任何规模或旋转，甚至方向（在合理的限度内）。 图像可能有一定程度的模糊性（轮廓可能不完全笔直）。 图像中可能有可口可乐瓶，该算法只能检测到罐头！ 图像的亮度可能相差很大（因此您不能“过多”依赖颜色检测）。 该罐可以部分地隐藏在两侧或中间，可能部分地隐藏了一瓶后面。 有可能是没有能在所有的图像中，在这种情况下，你必须找到什么，写一条消息这样说。 因此，您可能会遇到如下棘手的事情（在这种情况下，我的算法完全失败了）： 我前一段时间做了这个项目，并且做起来很有趣，并且实现得很好。以下是有关我的实现的一些详细信息： 语言：使用OpenCV库在C ++中完成。 预处理：对于图像预处理，即将图像转换为更原始的形式以提供给算法，我使用了两种方法： 将颜色域从RGB更改为HSV，并基于“红色”色调进行过滤，饱和度高于特定阈值以避免产生类似橙色的颜色，而对低值进行过滤以避免产生深色。最终结果是一个二进制的黑白图像，其中所有白色像素将代表与该阈值匹配的像素。显然，图像中仍然有很多废话，但这减少了必须处理的尺寸数。 使用中值滤波进行噪声滤波（获取所有邻居的中值像素值，然后用该值替换像素）以减少噪声。 经过2个先验步骤后，使用Canny Edge Detection滤镜获取所有项目的轮廓。 算法：我为此任务选择的算法本身取材于这本很棒的书中有关特征提取的书，并称为通用霍夫变换（与常规霍夫变换完全不同）。它基本上说了几件事： 您可以在不知道其解析方程的情况下描述空间物体（此处就是这种情况）。 它可以抵抗缩放和旋转等图像变形，因为它将基本上测试图像的缩放因子和旋转因子的每种组合。 它使用算法将“学习”的基本模型（模板）。 轮廓图像中剩余的每个像素将投票给另一个像素，根据它从模型中学到的信息，该像素应该是对象的中心（就重力而言）。 最后，您将获得投票的热图，例如，此处罐头轮廓的所有像素都将为其重力中心投票，因此在与像素相对应的同一像素中将有很多投票居中，将会在热图中看到一个峰值，如下所示： 有了这些功能后，您就可以使用简单的基于阈值的启发式方法来确定中心像素的位置，从中可以得出比例尺和旋转角度，然后在其周围绘制一个小矩形（最终比例尺和旋转系数显然相对于您的原始模板）。理论上至少... 结果：现在，尽管此方法在基本情况下可行，但在某些领域却严重缺乏： 这是非常慢！我的压力还不够。处理30张测试图像几乎需要整整一天的时间，这显然是因为我对旋转和平移具有非常高的缩放系数，因为某些罐非常小。 当瓶子出现在图像中时，它完全丢失了，并且出于某种原因几乎总是找到瓶子而不是罐子（也许是因为瓶子更大，因此像素更多，投票更多） 模糊图像也不是很好，因为投票最终以像素为中心围绕中心的随机位置，从而以非常嘈杂的热图结束。 实现了平移和旋转的不变性，但没有实现定向，这意味着未识别未直接面对相机物镜的罐子。 您是否可以使用专有的OpenCV功能帮助我改善特定算法，以解决上述四个特定问题？ 我希望有些人也能从中学到一些东西，毕竟我认为不仅提出问题的人也应该学习。:)