超分辨率如何工作?


10

从这个问题中挑选出来,我读了维基百科的文章,但我不明白为什么将相同图像的副本彼此堆叠可以提高图像分辨率?

Answers:


13

这个过程很复杂,但是这应该让您对正在发生的事情有一个直觉。想象一下,您有一台普通的摄像头,但是有电动机将传感器沿任何方向移动半个像素。

该相机无需拍摄一张图像,而是拍摄四张:一台居中,一台向右移动半个像素,一台向右移动半个像素,一台向右移动半个像素和下半个像素。

然后,我们可以获取居中的图像,使其尺寸加倍,将像素间隔开,如下所示:

xxxx               x x x x 
xxxx      ____\    
xxxx          /    x x x x 
xxxx               
                   x x x x

                   x x x x

然后,我们可以使用其他偏移的图像1、2和3来填补空白。

x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323

给我们留下两倍分辨率的图像。有趣的是,有些相机采用了这种技术,例如哈苏H4D-200MS(对不起,如果您不得不问您买不起多少相机)。

使用标准相机的超分辨率要复杂得多,因为当您无法控制相机或拍摄对象运动时,您不会得到精确的半像素偏移,但是除非您非常不幸,否则偏移的图像将与原始图像有些偏移。通过组合足够的图像,您将获得非常不规则采样的图像(像素样本不会掉落到网格上),但是可以将其插值(通过在样本之间跟踪线以猜测确实落在精确的网格线上的结果)常规图像。


1
重要的是要记住,移动不必发生在相机内部,可以通过移动相机本身来完成。这就是为什么超分辨率与视频效果很好的原因,因为相机几乎总是在帧之间有微小的移动。
哈康K. Olafsen

这种毛毛雨或抖动在数字天文摄影中被广泛使用。堆叠许多单独的图像以帮助减少图像固有的噪点,同时有机会恢复重要的细节和分辨率。
smigol

以及如何堆叠同一张照片的多个副本可以实现这一点?我很困惑,因为堆叠你必须对齐,这将抵消像素之间,它看起来像背后的超分辨率的核心思想后移
K“”

1
@AkramMellice-堆叠相同不会这样做。可以使用该软件根据图像中的其他信息检查并潜在地“填充”该信息,但这并不完美……无论如何,如果Pentax添加了此功能,那就太了不起了,这完全有可能鉴于他们的防抖功能在传感器上,这是他们使用GPS装置进行星迹跟踪的一种方式。
John Cavan 2012年

3

考虑到传感器不是完美的捕获设备。每个像素都会记录一些误差。例如,如果像素的最准确值是N,则传感器将记录在N-E to N+E给定范围内的值E。对于一个好的传感器E来说很小,而一个坏的传感器则更大E

还要注意,每次曝光时,给定的像素将具有不同的误差,传感器中的单元没有内存,因此,一次变低的像素可能在下一次变高。

当您对同一主题进行几次曝光并将它们平均在一起时,您实际上在减少曝光E。对于上面的示例像素,您将对周围未知的一堆不同值N取平均值,因此平均值可以使您更接近理想值N


3
这不仅是减少错误-实际上在这种情况下不是主要减少错误-它通过重复捕获名义上相同的数据并寻找分辨率高于传感器间距的额外信息来获取更多信息。在两次射击之间向传感器添加一些机械抖动,然后重新实现它们将对此有所帮助。// A77 Sony DSLR和其他Sony Sony SONY具有多镜头低噪声聚合模式,而不仅仅是平均程序。您可以移动相机,因为它需要6帧,并且仍然可以得到更好的图像。
拉塞尔·麦克马洪

1
这解释了如何进行图像叠加以降低噪音。尽管过多的噪点会阻止您解析细节,但超分辨率却有所不同,因为它至少需要移动一些照相机才能提高分辨率。
Matt Grum 2012年

正如已经指出的那样,您所描述的不是超分辨率,而是图像堆叠。这不会增加分辨率,但会降低噪音。
哈康K. Olafsen

问题的标题提到超分辨率,而体内的问题则询问“堆叠同一图像的副本”。实际上,我所解释的是提高图片分辨率的多种方法之一,并且可以使用任何相机来完成。
Miguel

1

以下是我所了解的东西。人们应该随意指出任何误解,以使我们所有人都受启发,但希望实际上会指出他们发现的任何东西,而不仅仅是在啤酒中喃喃自语。(或胡须或...)。

简单地说,不同的照片中的信息略有不同,并且使用各种方法来检测和提取这些额外的信息,并以一致的累加方式将其组合。

值得注意的是,不能保证该系统在所有情况下都能正常工作。
[Wikipedia超级分辨率页面]指出:

  • 在最常见的SR算法中,在SR图像中获得的信息以混叠的形式嵌入到LR图像中。

    这要求系统中的捕获传感器足够弱,以至于实际发生混叠。衍射极限系统不包含混叠,总系统调制传递函数正在滤除高频成分的系统也不包含混叠。

混叠是系统正确显示有关频率数据的能力。参见“说明”。

如果我正确理解了它们(并且我可能会也可能不会),则它们的短语“足够弱”意味着它们是传感器无法自行解决的额外信息,通常被认为是不好的,因此通常在可能的情况下将VBUT压制为“混淆” SR系统需要其他信息。尼康D800r的传感器上没有抗锯齿的光学滤镜,而标准D800和几乎所有其他数码单反相机都具有这种滤镜。

MTF实际上是镜头产生对比度或产生“锐度”的能力(两者紧密相关。MTF通常最好在镜头中央附近,并且具有矩形图像时会朝边缘掉落,通常在图像角处更是如此他们说系统产生超分辨率图像的能力取决于其渲染对比度和清晰度的能力,即其质量,即镜头至少需要与会产生超分辨率图像的镜头一样好。如果传感器和处理能力得到改善,则解决方案将直接投入使用。


当对信息流的采样速度如此之慢,以至于某些高频信息的变化比采样率更快并且“环绕”时,就会出现混叠现象,并且看起来好像它确实是低频分量。在一个限制系统中,采样率需要至少是当前最高信息率的两倍,但实际上其采样率要比此更高。

简单的例子:

  • 考虑序列0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 ...

    显然,有一个图案每12个单元重复一次。
    这是一个三角形的ave,它增加6个周期,然后再减少6个周期,然后重复,周期= 12个单位。

    现在仅每11次取样一次。我们得到
    0 1 2 3 4 5 6 5 4 3 2 1
    这是完全相同的模式,但变化慢11倍-周期为11 x 12 = 132个单位的三角波。

    每8次采样相同的序列,您将得到0 4 4 0 4 4 0 4 4,
    即看起来像1:2方波,周期= 24个单位。

    任何大于6个时间单位=半个周期的采样周期都会导致这种混叠误差。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.