定性比较图像补丁的良好指标


11

我正在尝试“匹配”图像中的小方块。乍看之下,简单地对这两个数组进行欧几里德距离样式比较以获得“相似性”度量似乎是合理的。这在许多情况下都可以正常工作(根据该指标的“最佳”补丁(最低值)与查询补丁非常相似)。但是,在许多情况下,这会产生非常差的匹配。例如,采用以下两个补丁对:

一堵砖墙的两个补丁,得分为134(这是平均绝对像素差的组成部分之和):

来源补丁 目标补丁

一块砖墙,一块草,得分123!

https://i.stack.imgur.com/d7lBZ.png https://i.stack.imgur.com/d2TBE.png

对于人类来说,“显然”草与砖块不匹配,但是该度量标准却相反。问题仅在于局部统计差异。

如果我使用直方图比较之类的方法,我将完全失去所有空间信息-例如,如果一块补丁在顶部是草,而底部是砖,那么它会与底部在草地,顶部是砖的补丁完全匹配(再次,另一个“明显错误”的匹配)。

是否存在一种度量标准,可以将上述两种思想组合成一个合理的值,对于上述对1而言,该值将被评估为“相似”,但对于我的补丁及其垂直镜面示例,该度量值却不相似?

任何建议表示赞赏!


1
取分量的总和时,您会松散色彩空间中的所有“空间”信息。单独评估分量,例如,计算两个向量上的欧几里得距离?
盖尔滕

Answers:


2

基本思想是:颜色信息没有错-仅仅是不够的。因此,最好的办法是组合多个功能集。

您可以尝试多种功能来解决这种歧义。就功能集而言,您可以使用以下功能:

  1. 颜色(类似于MPEG7的主要颜色)或Color Historgram
  2. 纹理(以过滤器库响应的形式)或
  3. 边缘直方图

作为主要比较,我首先要区分纯砖补丁与纯草补丁。为此,颜色绝对是最有潜力的元素。

组合功能以进行更可靠的分类

我将使用一种主导色(使用但不使用唯一一种)或关键色来形成群集。看看簇头在哪里;

如果簇头都在预期区域内,则该类别通常很容易检测,如果它们落入灰色区域,则该类别属于该类别。如果它落在灰色区域,则需要另一个功能。

同样,您可以使用纹理矩阵独立进行分类,然后将两个分数合并以确保结果有意义。

处理空间问题

特别是当您意识到补丁可以包含一半的砖块和一半的草的一部分时。我认为您不需要任何其他功能或不同的矩阵。这可以通过两种方式处理。

1.将多个成员身份修补程序保留为不同的类。 例如,除了birck-only阶级和grass-only阶层,你也可以拥有half-brick-half-grass-verticalhalf-brick-half-grass-horizontal为总四类。使用我们前面讨论的聚类方法可以很容易地对它进行分类。

2.添加多尺度分类 例如,如果补丁位于灰色区域,则可以将补丁分为两个部分,即左与右。同样,您也可以划分顶部和底部。现在,您可以对此“半部分”应用相同的分类。理想情况下,上面列出的功能应允许您使其具有可伸缩性,以比较整个零件之间的功能相似性(例如,主色可以相同,而与大小无关),或者可能需要调整其大小。

增加更多的类(如第1部分中)或更多的级别(如第2部分中)将是直接的;上限由两个因素决定-任何额外的除法将不再为分类增加任何值,或者过多的噪声将有效地在分类中引入歧义。这是您停止的地方。


2

首先,2张图像和3个测量值不足以确定任何可以用来定义最佳比较指标的统计模型。

我认为您可以开始查看纹理识别文件的方法和线索。这是一个活跃的领域。

对于它的价值,我运行了几个感知哈希函数(基于DCT和随机投影)测试,并使用所谓的SIFT描述符进行了一些试验。这些功能可以区分类内和类内距离,尽管无法从3张图像得出任何结论。

github上的代码。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.