基于像素的分类与基于对象的分类之间的区别?


14

我正在努力清楚地了解遥感领域中基于像素的分类与基于对象的分类之间的区别,并希望该社区中的某人能够提供见识。

根据到目前为止的信息,我目前的理解是:

基于像素的分类: 仅使用可用于单个像素的光谱信息在每个像素级别进行分类(即忽略局部区域内的像素值)。在这种意义上,每个像素将代表一个分类算法的训练示例,并且该训练示例将采用n维矢量的形式,其中n是图像数据中光谱带的数量。因此,训练后的分类算法将输出图像中每个像素的分类预测。

基于对象的分类: 分类是在局部像素组上进行的,同时考虑到每个像素彼此相关的空间特性。在这种意义上,用于分类算法的训练示例将由一组像素组成,并且经过训练的分类算法将相应地基于组输出针对像素的类别预测。举一个粗略的例子,一个图像可能被划分为n个大小相等的片段,然后每个片段都被赋予一个类(即包含对象/不包含对象)。

对于这些术语的含义,这种想法是否正确?还是我错过了某些事情?

Answers:


9

您的理解通常是正确的,但是,在基于对象的分类的描述中存在危险-术语“对象”是指像素组,而不是指像素是否包含给定的对象。
此外,基于对象的分类的主要目标不是具有相等大小的片段,而是将图像“切碎” /分割成大小可变的内部同质块。最后,基于对象的分类的训练示例通常是在图像分割中创建的一个或多个块。

总而言之,上述内容只是您的描述中的微小变化。

现在到中心部分-何时应用每种方法,以及如何潜在地结合其优势。


谢谢,这确实有助于澄清。我怀疑我不太了解基于对象的分类的精妙之处!有趣的是,您提到了混合方法的可能性,但我还没有想到。我是否可以问一下,如果我要采用滑动窗口方法来检测和分类物体,在遥感领域是否有专门针对这种方法的技术术语?
RDG

1
是的,这被称为卷积。看我的答案。
约翰·鲍威尔,

我认为基于像素的分类强度为零。有一些有趣的工作流程,涉及卷积和回归来预测边界框和位置,但是基于像素的分类本身没有价值,恕我直言。
约翰·鲍威尔,

1
@JohnPowellakaBarça-考虑多时间应用时,基于像素的方法有一些价值,该方法的分类更多地关注变化的区域,而不是传统的单一时间步长。
Mikkel Lydholm Rasmussen

1
当然可以,很公平。尽管可以说,将基于区域的方法矢量化,然后进行时间比较可能会产生更大的见解,但是您的观点是正确的。
约翰·鲍威尔

12

就基于像素的分类而言,您很满意。每个像素都是一个n维向量,并且将根据某种度量将其分配给某个类别,无论使用支持向量机,MLE,某种knn分类器等。

但是,就基于区域的分类器而言,近几年有了巨大的发展,这归功于GPU,大量数据,云和算法的广泛应用(由于开放源代码的增长)的组合(促进由github)。卷积神经网络(CNN)是计算机视觉/分类领域的最大发展之一。与传统的基于像素的分类器一样,卷积层“学习”可能基于颜色的特征,但还会创建边缘检测器和可能存在于像素区域中的所有其他特征提取器(因此卷积部分)永远无法从基于像素的分类中提取。这意味着他们不太可能在其他类型的像素区域的中间对像素进行错误分类-如果您曾经进行过分类并且在亚马逊区域的中间结冰,您将理解此问题。

然后,您将完全连接的神经网络应用于通过卷积学习的“特征”,从而进行实际分类。CNN的另一个重大优点之一是它们的缩放比例和旋转不变性,因为通常在卷积层和分类层之间存在中间层,这些中间层使用池化和漏失来概括特征,以避免过度拟合并解决周围的问题规模和方向。

卷积神经网络上有很多资源,尽管最好的是来自该领域的先驱之一的Andrei Karpathy的Standord类,并且整个演讲系列都可以在youtube上获得

当然,还有其他方法可以处理基于像素与区域的分类,但这是目前的最新方法,除遥感分类之外,还有许多应用,例如机器翻译和自动驾驶汽车。

这是基于区域的分类的另一个示例,该示例使用Open Street Map获取标记的训练数据,包括有关设置TensorFlow并在AWS上运行的说明。

这是一个使用Google Earth Engine基于边缘检测的分类器的示例,在本例中为枢轴灌溉-仅使用了高斯核和卷积,但是再次显示了基于区域/边缘的方法的强大功能。

在此处输入图片说明

尽管对象相对于基于像素的分类的优越性已被广泛接受,但《遥感快报》上的一篇有趣的文章评估了基于对象的分类的性能。

最后,一个有趣的例子,只是表明即使使用基于区域/卷积的分类器,计算机视觉仍然非常困难-幸运的是,Google,Facebook等最聪明的人正在研究能够确定两者之间差异的算法。狗,猫和不同品种的狗和猫。因此,对遥感感兴趣的使用者可以在晚上轻松入睡:D

在此处输入图片说明


0

一个非常简单的答案如下:

如果仅使用光谱信息(像素强度)作为训练集,则可以进行像素基础分类。

如果您同时使用空间(邻域像素)和光谱信息作为训练集,则可以进行基于对象的分类(使用基于分段的算法,例如DBScan)。在计算机视觉中,此DBScan用于超像素提取。

注意:您可以在任何意义上(大小,形状,上下文/纹理)使用光谱信息进行特征提取。

您可以使用其他方法来使用光谱信息进行特征提取。

主要问题是如何找到最合适的特征提取方法,并针对提出的问题应用有效的算法(边缘检测,基于光谱的分割,聚类)将信息从光谱信息中剔除。

可能会想到卷积矩阵可以在频谱和空间信息方面进行出色的分析,从而创建训练集。

参考:我在遥感和GIS领域拥有3年以上的经验,并且对此有所了解。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.