图像处理：什么是遮挡？

我正在开发图像处理项目，并且在许多科学论文中都遇到了遮挡这个词，遮挡在图像处理的背景下意味着什么？该词典仅给出一般定义。谁能用图像作为上下文来描述它们？

遮挡意味着您想看到一些东西，但是由于传感器设置的某些属性或某些事件而无法看到。由于眼前的问题，它的确切表现形式或如何处理问题会有所不同。

一些例子：

如果您正在开发一个跟踪对象（人，汽车，...）的系统，则当您跟踪的对象被另一个对象隐藏（遮挡）时，就会发生遮挡。就像两个人互相走过，或是汽车在桥下行驶。在这种情况下，问题是当对象消失并再次出现时该怎么做。

如果您使用的是远程摄像机，则遮挡是您没有任何信息的区域。一些激光测距相机的工作原理是将激光束传输到您要检查的表面上，然后进行摄像头设置，以识别该激光在最终图像中的撞击点。这给出了该点的3D坐标。但是，由于照相机和激光器不一定对齐，因此在检查的表面上可能会出现照相机可以看见但激光无法击中（遮挡）的点。这里的问题更多是传感器设置问题。

如果场景的某些部分仅由两个摄像机之一看到，则在立体成像中可能会发生同样的情况。从这些点显然无法收集范围数据。

可能还有更多示例。

如果您指定问题，那么也许我们可以定义这种情况下的遮挡以及它带来的问题

遮挡问题是计算机视觉普遍较难的主要原因之一。具体而言，这在“对象跟踪”中存在更多问题。请参见下图：

请注意，这位女士的脸怎么不完全可见的框架0519和0835相对于面部的框架0005。

这是另一张照片，在所有三个帧中男人的脸都被部分隐藏了。

请注意下图中，由于遮挡（即部分人被他们前面的人部分隐藏）而在中间框中丢失了在红色和绿色边框中对夫妇的跟踪，但是当他们变成（几乎）完全可见。

图片提供：南加州大学斯坦福分校

遮挡是阻碍我们视野的一种。在此处显示的图像中，我们可以轻松看到第一行中的人。但是第二行部分可见，第三行不那么可见。在这里，我们说第二行被第一行部分遮挡，第三行被第一和第二行遮挡。当有很多物体时，我们可以在教室（成排的学生），交通路口（等待信号的车辆），森林（树木和植物）等中看到这种遮挡。

正如其他答案很好地解释了遮挡一样，我只会补充一点。基本上，我们与计算机之间存在语义鸿沟。

对于RGB图像中的每种颜色，计算机实际上将每个图像视为值的序列，通常在0-255范围内。对于图像中的每个点，这些值都以（row，col）的形式索引。因此，如果对象在相机隐藏对象某些方面的位置改变了位置（未显示人的手），计算机将看到不同的数字（或边缘或任何其他特征），因此计算机算法将更改为检测，识别或跟踪对象。

除了已经说过的内容，我还想添加以下内容：

• 对于对象跟踪，处理遮挡的重要部分是编写有效的成本函数，该函数将能够区分遮挡的对象和遮挡的对象。如果cost函数不能正常运行，则对象实例（id）可能会交换并且将错误地跟踪对象。可以使用多种方法编写成本函数，某些方法使用CNN [1]，而另一些方法则希望具有更多控制权和聚合特征[2]。CNN模型的缺点是，如果您在训练集中没有对象的情况下跟踪训练集中的对象，并且第一个对象被遮挡，则跟踪器会锁定到错误的对象上并且可能或可能永远无法恢复。这是一个视频显示这个。集合特征的缺点是您必须手动设计成本函数，这可能需要时间，有时还需要高级数学知识。

• 在密集立体视觉重建的情况下，当左摄像机看到一个区域而右摄像机看不到一个区域时，就会发生遮挡（反之亦然）。在视差图中，此遮挡区域显示为黑色（因为该区域中的相应像素在其他图像中没有等效像素）。一些技术使用所谓的背景填充算法，该算法用来自背景的像素填充被遮挡的黑色区域。其他重建方法只是让那些像素在视差图中没有值，因为来自背景填充方法的像素在那些区域可能不正确。在下面，您可以使用密集立体方法获得3D投影点。将点向右旋转一点（在3D空间中）。