特征检测之前的图像处理


9

我已经实现了基于Harris角的特征检测器。在大多数情况下,它都能正常工作,但是在某些情况下,它的性能会很差。我需要使其在许多不同的图像上工作而不需要单独配置它。

问题出在检测器阈值上。如果设置得太低,检测器会发射太多次,从而导致大量功能。如果设置得太高,则功能太少。

我已经通过ANMS(自适应非最大抑制)解决了部分问题,以减少特征数量,然后再为它们分配描述符向量。

但是,像这样的图像是一个问题:

在此处输入图片说明

它们的对比度低,我不能“负担”所有图像的阈值。这将使检测器在这些图像上起作用,但是其他图像将包含成千上万的特征,而使用ANMS进行过滤将很慢,并且会损害整体性能。

我当时正在考虑在特征检测之前调整图像。直方图均衡也许可以胜任。这可能是有效的操作,因为全局对比度的改变对特征描述符没有影响(它们不变地改变亮度和对比度)。

也许使用自适应阈值或一些启发式方法会更好。

还有其他建议吗?


@SeyhmusGüngören:哦。自从找到令人满意的解决方案以来,我已经接受了到目前为止所获得的答案,但仍在等待更好或更详细的答案。
Libor 2012年

@Libor对您的新问题很有用,因为在当前情况下解决您的问题可能会更具吸引力。
SeyhmusGüngören2012年

@Libor您是否考虑过选择高斯之类的直方图来匹配直方图,其均值约为128?
SeyhmusGüngören2012年

@SeyhmusGüngören是的,我在想这个。我可能会尝试其他一些想法。
Libor

@Libro能否请您说出您打算如何使用检测到的功能?我唯一的想法是基于内容的图像检索匹配(例如,用于单应性估计),但是由于这是我做过的唯一事情,所以我可能是错的:)另一方面,如果这是您计划使用的内容对于他们,我也许可以做出贡献。
penelope 2012年

Answers:


1

一种可能是进行简单的边缘检测(例如Laplace),并使用结果的平均强度作为哈里斯拐角阈值的基础。对比度低时,边缘较少,强度较低,对比度高时,边缘较多,强度较高。

您不是唯一在这个问题上苦苦挣扎的人。如果您可以访问书面数据库,这可能会很有趣:

可能需要更多地搜索(自动)自适应哈里斯角检测。


那不是矛盾。检测器有两个阶段:1)检测特征,2)描述特征。直方图均衡化应该对阶段1(检测到更多的特征)有效,而不对阶段2起作用。我需要检测适量的特征,因此无需过多过滤。
Libor 2012年

好的,我想到了这一点,但是您的问题并不清楚。我并不是要使用边缘图像作为特征检测器的输入,而是将其作为阈值应该是什么的自己的量度。
盖尔滕

谢谢,这是一个有趣的想法。哈里斯拐角检测器使用导数图像(dx,dy,dxy)来构造每个点的拐角度量。由于这已经基于边缘度量,因此我现在正在考虑获取拐角响应函数的直方图并计算该直方图的阈值。您启发了我,谢谢:)
Libor

很高兴能激发您的灵感;)添加了一篇可能会有所帮助的论文。
盖尔滕

2

您是否真的必须使用Harris角?哈里斯弯道后开发出许多具有更好性能的功能。可以在本文中找到一个很好的概述:

根据该文章以及我的个人经验,我建议切换到MSER(最大稳定的外部区域),或者甚至将它们与DoG(高斯差分)结合起来-这些功能最初是作为SIFT管道的一部分提出的。

如果问题确实是对比度低,那么MSER功能应该真的会让您感到高兴:(相当)它们不会改变照明。简而言之,它们是通过一系列不同的阈值二值化而稳定的图像连接区域。

特征提取过程与计算描述符无关,因此将新的特征提取方法集成到过程中应该不难。

另外,我听说过(但从未实际使用过)多尺度Harris角作为Harris角的扩展。我对它们了解不多,因此我个人不推荐有关该主题的任何阅读材料,因此,我将搜索文章并挑选最有趣的材料交给您。


此外,我是否建议您发布的图像可能会出现其他问题,而不是低对比度。以我个人的经验,像灌木丛这样的植被,或者可能是您拥有的田野,以及可爱的气泡云往往会产生“一般特征”,这些特征往往具有与许多其他特征相同(或不同)的描述词。

实际上,这意味着当从不同的角度对两个图像进行特征匹配时,从这类表面提取的特征往往会被错误地匹配。我完成了一篇硕士论文,主要涉及特征提取,以用于特征匹配,当我遇到此问题时,该特征匹配进一步用于计算两个图像之间的单应性变换。当时我没有发现任何其他文章描述此问题,但是我的论文可能会对您的整体方法有所帮助。

最后,正如您所设定的那样,由于大多数区域都是均匀的,因此在大多数图像上都可以正常工作的阈值和技术只能提取出此类图像中的微小特征。这种图像在特征匹配(可以扩展到图像拼接),基于内容的图像检索方面存在问题,我将假定跟踪以及类似的应用程序。目前尚无任何方法可以很好地解决这些问题。

目前正在研究和研究在此类图像以及典型情况下都适用的方法,例如我在此答案中简要描述的开始使用的方法。


感谢您提供详细的答案,我将在有空余时间阅读所有论文。我正在实现一个功能检测器,它面临两个问题:实现的复杂性和专利问题。我的应用程序是商业图像对齐和拼接库,因此我的资源和实施时间有限,无法负担SIFT或SURF的费用。我可能会切换到MSER或其他高级检测器/描述符,但是到目前为止,Harris角落可以很好地工作,除了光线较暗的图像。
Libor 2012年

@Libor这就是它的美丽:您不必切换。您可以新功能添加到现有的检测->描述管道中。无论如何提取特征,您始终可以使用相同的策略来计算它们的描述符。在我写的所有文章中,也许第一篇提到比较检测/描述的各种选项的文章可能被证明是最有用的。
penelope 2012年

我使用了聚集大型描述符,然后使用PCA来提高描述符的速度和判别能力。但是,对于大型数据集,PCA的成本很高。由于描述符的通用增强,这项工作吸引了我。到目前为止,我只使用“特征空间离群值拒绝”,它只是基于基于1-nn / 2-nn距离的特征匹配进行阈值处理。D. Lowe在他的论文中对此进行了描述,并具有很好的判别力,因为它利用了高暗空间中距离的壳特性。
Libor 2012年

对于检测器而言,视点变化较大且比例不变是没有问题的,因为对于图像拼接(全景图,显微镜),缩放通常保持不变,并且在匹配图像之间仿射或投影变形很小。主要问题实际上是检测到的特征太少或太多,描述符也很差。
Libor 2012年

我个人对描述符的选择了解不多,我仅与SIFT合作。但是您提供的链接提到它们类似于DAISY描述符,我也记得被评估为非常好。希望将更多的特征提取器组合在一起,应该可以为您提供更多的功能,并且比例不变性只是一个加号,即使您不需要它。我读过一些作品,提到与多个特征提取器一起使用会增加判别能力(如果需要,我可以查找链接)。
penelope 2012年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.