为什么现代数码单反相机仍需要物理抗混叠滤波器?


13

我知道抗锯齿(AA)过滤器的目的是防止出现波纹。数码相机首次出现时,必须使用AA滤镜才能产生足够的模糊效果以防止出现波纹。当时,相机处理器的功能非常有限。但是,为什么仍然需要在现代DSLR相机的传感器上方放置一个AA滤镜? 在对传感器的输出进行去马赛克处理时,通过应用的算法难道无法轻松地做到这一点吗?似乎相机中当前可用的处理能力将使这种功能比几年前更加强大。佳能当前的Digic 5+处理器的处理能力是Digic III处理器的100倍以上,这使最早的数码相机的能力相形见war。尤其是在拍摄RAW文件时,是否不能在后期处理阶段对AA进行模糊处理?即使使用第二个滤镜抵消第一个滤镜,这也是尼康D800E的基本前提吗?


它不是。已经有不带抗锯齿滤镜的数码单反相机,包括宾得K-5 II,尼康D800E,以及无反光镜型号,例如奥林巴斯PEN E-PM2和所有的Fujis(X-E1,X-Pro1)。另外,他们甚至宣布了不带AA滤镜(X20和X100S)的固定镜头相机。
Itai

1
所有这些相机有时都会显示出波纹。
Kendall Helmstetter Gelner 2013年

3
的确如此,但其他相机也会如此。我怀疑避免混叠云纹的抗混叠滤波器会过强,因此制造商使用强度较小的AA滤波器。例如,在我的K-5 II和K-5 II的比较中,两台相机都出现波纹,而K-5 II则更多。
Itai

1
IIRC新的尼康D7100也没有。
詹姆斯·斯内尔

1
现在,宾得K-3没有过滤器,但具有一种在曝光过程中非常非常轻微地振动传感器的模式,以模拟一个。这个领域有很多有趣的创新。
请阅读我的个人资料

Answers:


12

混叠是重复以不希望的方式互相干扰的大致相同频率的模式的结果。在摄影的情况下,镜头投射到传感器上的图像的较高频率会产生像素网格的干涉图样(在这种情况下为莫尔条纹)。仅当那些频率大致相同或传感器的采样频率与图像的小波频率匹配时,才会发生这种干扰。那是奈奎斯特极限。请注意...这是一个模拟问题...出现波纹是由于在实际曝光图像之前在现实世界中实时发生的干扰。

图像曝光后,该干涉图样就会有效地“浸入”。您可以在某种程度上使用软件来清除后期的波纹图案,但与传感器前面的物理低通(AA)滤波器相比,其效果最低。由于莫尔条纹造成的细节损失也可能大于AA滤波器造成的细节损失,因为莫尔条纹实际上是无意义的数据,在这种情况下,细微模糊的细节仍然有用。

AA滤波器只是设计用来模糊奈奎斯特频率的那些频率,因此它们不会产生任何干扰模式。我们仍然需要AA滤波器的原因是因为图像传感器和镜头仍能够分辨到相同的频率。当传感器提高到传感器本身的采样频率始终高于最佳镜头的最佳光圈时,对AA滤镜的需求就会减少。镜头本身可以为我们有效地处理必要的模糊,并且干涉图样永远不会出现。


这是发布到photo.stackexchange.com/questions/10755/…的一部分评论。您仍然相信它是准确的吗?如果是这样,将如何烘焙图案直到RAW数据被去马赛克为止?“具有讽刺意味的是,至少对于RAW,理论上的奈奎斯特限制似乎并不总是一个硬性限制,这可能是由于红,绿,蓝光的波长不同以及传感器中RGB像素的分布。– jrista ♦2011年4月10日在18:50“
Michael C

1
我相信我在那儿一般是在谈论分辨率,而不是直接在记录的数字信号中混叠。由于RGRG和GBGB行的图形不均匀,所以要在拜耳传感器中确定奈奎斯特极限是一件困难的事情。绿色的空间分辨率高于红色或蓝色的空间分辨率,因此红色或蓝色光的奈奎斯特极限的频率低于绿色光的奈奎斯特极限。去马赛克图像中的nyquist极限很难精确地调用,因此它变得有点模糊,而不是具体的数学极限。
jrista

1
...该图案成为图像的一部分。即使您知道虚拟图像的确切小波特征并可能产生傅立叶级数,您也必须相对于传感器的虚拟概念更改图像的方向,才能“完美”地消除波纹。假设您知道原始虚拟图像信号的确切性质及其与传感器的关系,那么这是一项非常费力,高度数学的工作。一旦将别名烘焙到RAW中,就可以完成很多工作,在不软化细节的情况下,确实没有任何撤消它的操作。
jrista

1
我知道红色/蓝色和绿色之间的频率差异。至于目前所有的光学AA滤波器仅在nyquist处进行滤波,这实际上取决于相机。并非所有AA滤波器的设计都完全相同,即使对于同一品牌,不同型号和不同系列的AA滤波器通常也会表现不同。我知道从历史上看1D和5D线允许某些频率刚好高于奈奎斯特,但是我认为这与镜头分辨率保持平衡是很重要的。
jrista

1
在像素较小的传感器上,例如佳能18mp APS-C,D800,D3200,像素变得越来越小。如果真正的新镜头(例如佳能的Mark II L系列,然后只有最近三年内发布的镜头)在很小的范围之外,则可以分辨出足够的细节以显着分辨传感器,并在高于25°F的频率下造成混叠奈奎斯特。在奈奎斯特附近进行滤波,镜头本身将使细节模糊。我认为这是5D线具有过强的AA滤镜的部分原因...镜头更容易解决它。
jrista

11

物理原理根本就行不通。混叠不可逆地将超过Nyquist限制的频率转换为低于限制的频率,尽管这些“ 混叠”并没有真正存在。在一般情况下,处理混淆信号的数量无法恢复原始信号。除非您对采样理论和数字信号处理有所了解,否则花哨的数学解释相当长。如果有的话,您就不会问这个问题。不幸的是,那么最好的答案就是“那不是物理学的原理。对不起,但是您将不得不在这方面相信我。”

要尝试粗略地认为上述情况可能是正确的,请考虑使用砖墙的情况。如果没有AA滤镜,将会出现波纹图案(实际上是别名),使砖块线看起来很波浪。您从未见过真正的建筑物,仅看到带有波浪线的图片。

您怎么知道真正的砖块不是以波浪形放置的?您认为它们不是来自于您对砖块的一般了解以及人类看到砖墙的经验。但是,有人能故意说出砖墙的意思,使它在现实生活中(用您自己的眼睛观看时)看起来像图片吗?是的,他们可以。因此,是否可以在数学上区分普通砖墙的锯齿图像和故意波浪形砖墙的忠实图像?不它不是。实际上,您也无法真正分辨出区别,只是您对图片可能代表的直觉可能会给您留下印象。再次,严格来说,您无法分辨波纹是莫尔纹样物还是真实的。

软件无法神奇地消除波动,因为它不知道什么是真实的,什么不是真实的。从数学上可以证明它不知道,至少仅通过查看波浪图像即可。

砖墙可能是显而易见的情况,您可以知道锯齿的图片是错误的,但是还有许多细微的案例您真的不知道,甚至可能不知道锯齿正在发生。

添加以回应评论:

混叠音频信号和图像之间的区别仅在于前者是1D而后者是2D。实现效果的理论和任何数学方法都相同,只是在处理图像时将其应用于2D。如果样本位于规则的矩形网格上(例如数码相机中的样本),则会出现其他一些有趣的问题。例如,采样频率沿着与轴对齐方向相对的对角线方向低sqrt(2)(约低1.4倍)。但是,采样理论,奈奎斯特速率以及实际的别名在2D信号中与在1D信号中没有什么不同。主要的区别似乎是,对于那些不习惯在频率空间中思考的人来说,要想全神贯注并根据您在图片中看到的内容来投影出所有含义,可能会更加困难。

再说一次,不,你不能在事实发生之后“去马赛克”一个信号,至少在通常情况下,你不知道原始信号应该是什么。通过对连续图像进行采样而导致的莫尔条纹图案别名。相同的数学适用于它们,就像适用于混叠到音频流中并听起来像背景哨声的高频一样。这是相同的东西,用相同的理论来解释它,用相同的解决方案来处理它。

该解决方案是采样之前消除高于奈奎斯特极限的频率。在可以通过简单的低通滤波器完成的音频中,可以使用电阻器和电容器制成。在图像采样中,您仍然需要一个低通滤镜,在这种情况下,它会吸收仅会撞击单个像素的某些光并将其散布到相邻像素。在视觉上,这看起来像之前的图像略有模糊它被采样。高频内容看起来像图片中的精细细节或锐利边缘。相反,尖锐的边缘和精细的细节包含高频。正是这些高频在采样图像中转换为别名。当原始内容具有常规内容时,我们将某些别名称为波纹模式。一些别名使线条或边缘具有“阶梯”效果,尤其是当它们接近垂直或水平时。别名还会导致其他视觉效果。

仅仅因为音频信号中的独立轴是时间并且图像的独立轴(其中两个是2D信号)是距离就不会使数学无效或以某种方式使其在音频信号和图像之间有所不同。可能是因为混叠和抗混叠的理论和应用是在基于时间的电压的一维信号上开发的,因此术语“时域”与“频域”形成对比。在图像中,非频率空间表示从技术上讲是“距离域”,但是为了简化信号处理,它通常仍被称为“时域”。不要让那分散您的注意力是什么。不,根本没有证据表明该理论不适用于图像,只是由于历史原因,有时会使用误导性的词语来形容事物。实际上,将快捷方式“时域”应用于图像的非频域实际上是因为理论在图像和真实的基于时间的信号之间是相同的。别名是别名,与独立轴(或多个轴)碰巧无关。

除非您愿意在有关采样理论和信号处理的几门大学课程的层次上进行深入研究,否则最后您将不得不信任那些拥有这些知识的人。如果没有重要的理论背景,其中一些内容是不直观的。


我在采样和数字信号处理方面的所有背景都是关于数字音频的。我了解低通滤波器是如何通过进入AD转换来将声音限制在一定频率以上的。如果您以44,100hz采样,则应用一个滤波器,该滤波器在20Khz左右开始滚降,而22Khz的任何响应都几乎消失了。但是使用数字成像并不是那么简单,因为即使使用AA过滤器,也会出现一些混叠现象。我在其他地方读过,过滤器不会尝试阻塞奈奎斯特上方的所有物体,因为这会大大降低分辨率。
Michael C

1
我必须同意,相机中的低通滤波器处理的问题与音频处理中的低通滤波器处理的问题不同。我想最好的表达方式是,音频低通滤波器直接与电子信号一起工作,而光学低通滤波器对透镜产生的图像信号的空间频率起作用。您习惯使用的电子信号与图像信号的性质不同。
jrista

1
@迈克尔:除了我的答案。
Olin Lathrop

1
“由于对连续图像进行采样而导致的波纹图案是别名。” -奥林 我认为这就是关键所在!当您实际进行曝光时,您并不是在录制原始虚拟图像的纯正版本,而是在录制原始虚拟图像中的数据点别名。您计算机上的数据包含别名。很好,简洁明了的表达方式。:)
jrista

1
@Michael:您说过如何从原始传感器值中插值全彩色像素是正确的,但与别名讨论无关。最终,仍会在离散点对真实的连续图像进行采样,因此在采样之前需要使用抗混叠滤波器以避免混叠。至于您对代数的评论,这绝对没有道理。当然,代数适用于高阶多项式和2D方程,只是由于存在更多的自变量,它变得更加复杂。
Olin Lathrop

6

在软件中您无法获得相同的效果。给定某些假设,您可以到达附近的某个地方。但是,AA滤光片会散布光,使其照射到多个不同颜色的像素,从而为您提供no-AA滤光片传感器所缺少的信息。

尼康D800E根本不做任何尝试来复制AA滤镜。如果图像中有高频图案,则会出现波纹,这就是您的问题-您必须处理!

当图像中细节的频率非常接近采样频率时,混叠会变得更糟。对于具有低分辨率传感器的旧相机(并因此进行低频采样),波纹是许多图像细节类型的严重问题,因此,AA滤镜很坚固(与有限的处理能力无关)。现在我们有更高的采样频率,需要更多的频率图像细节才能显示出波纹。

最终,采样频率将非常高,必要的高频物体细节将不会使其超过透镜像差和衍射效应,从而使AA滤波器变得多余。部分原因是某些MF背板缺少AA滤镜,超高分辨率,以及喜欢用f / 32大型Profoto电源盒进行照明拍摄的时尚摄影师。


在我看来,去马赛克处理中完成的插值可以修改为完成完全相同的操作,因为对相邻像素进行平均是在这里完成的。尼康D800E与其他相机一样具有两个AA滤镜组件,但是第二个不是水平偏振光,另一个是垂直偏振光,第二个与第一个成180度,并吸收第一个的偏振光线,然后将它们组合成一个流。见photo.stackexchange.com/questions/22720/...
迈克尔·C ^

2
@MichaelClark不,您无法在去马赛克过程中获得相同的效果。单点光照射D800E传感器只会在一个光点上产生电荷。通过观察相邻的像素无法分辨出光是什么颜色,信息已经永远丢失了。到达D800传感器(带有AA滤镜)的同一点光将强烈照射一个像素,而周围的像素受到较小程度的照射。由于相邻像素通过查看它们的强度而具有不同的滤色器,因此去马赛克算法可以估计光的颜色。
马特·格鲁姆

1
@MichaelClark D800E这样做的唯一原因是简化了制造过程,在输入阶段更改一个滤镜的方向要比将两个滤镜换成透明玻璃元件要容易得多-最终是滤镜叠层必须具有与折射效果相同的高度,现代镜片设计已将这一点考虑在内。根本不将任何一个滤镜放在D800E上都会在图像中引入微妙的像差。
马特·格鲁姆

但是,与此同时,单点光射向一个传感器位置,相应的光点射向所有相邻的传感器位置,而AA滤光片则使它们全部相互散射。多数去马赛克算法不是使用插值法来比较具有相同颜色灵敏度的不仅相邻像素孔的亮度水平,而且还比较其他相邻像素孔的亮度水平吗?实际上,是不是在数学上使相邻像素彼此模糊?
Michael C

1
@MichaelClark的别名并不模糊。它影响彼此相距很远的像素。例如,您每隔50个像素就会有一个节拍,淡入/淡出超过10个。该条纹是真实的还是由小于像素的条纹引起的?你不知道
JDługosz

2

这些都是好的答案和好的信息。我有一个非常简化的解释。让我们从2D到1D(适用相同概念)。

当到达您的传感器的频率高于 “最大允许频率”时,它实际上会在下侧产生一个镜像频率。对图像进行采样后,您将看到较低的信号,但是相机或计算机不知道这是否是实际存在的较低信号,或者是否是由过高的信号创建的别名。此信息丢失。这就是“最大允许频率”或奈奎斯特频率的原因。它说这是可以采样的最高频率,超过此频率信息将丢失。

类似于音频:假设您在系统中设置了0hz至1000hz的频率范围。留一点额外的空间,您可以在3000hz采样,从而使您的niquist达到1500hz。这是aa过滤器进入的地方。您不希望输入1500hz以上的任何东西,实际上您的截止频率将在1000hz之后立即开始,但是您要确保到1500hz时什么都没有。

假设您忘记了aa滤波器,并允许2500 Hz的音调进入传感器。它将围绕采样率(3000hz)镜像,因此您的传感器将以500 hz(3000hz-2500hz)的速度拾取声音。现在,您的信号已被采样,您将不知道500hz是否确实存在,或者它是否是别名。

顺便说一句 镜像适用于所有频率,但只要您不在nyquist上方,就不会有问题,因为您以后可以轻松将其滤除。示例输入音为300 Hz。您的别名为(3000-300 = 2700hz [并且正确的还有3000 + 300 = 3300hz])。但是,由于您知道仅考虑高达1000 Hz的频率,因此可以轻松将其删除。因此,当镜像进入您真正想要的光谱时,问题再次出现,因为您将无法分辨出差异,这就是所谓的“烘焙”。

希望这可以帮助


1
除了在摄影环境中的“混叠”是“空间的”是基于投射到传感器上的图像中的重复图案,而不是基于特定频率的光照射到单个像素上。大多数相机传感器上的光学低通滤波器不会过滤超过奈奎斯特极限的“所有”频率,它们只会过滤奈奎斯特极限及其相关倍数的“最”重复的模式。
Michael C

感谢您的评论。我也不是指光的频率,而是指强度从一个像素到下一个像素的变化率。我忽略了颜色。我想我正在看它为3张单独的黑白图像。之后,每种颜色都获得一种颜色并叠加在一起,就构成了所有颜色。对于图像中的频率而言,我仍然很难绕开我的头。我猜想,由于快速变化,当黑色像素旁边有一个白色像素时,它代表高频,而深灰色像素旁边的浅灰色像素则代表较低的频率。
pgibbons 2013年

这并不是拜耳掩膜传感器去马赛克的工作方式,这也是我最初提出这个问题的原因之一。
Michael C

在这种情况下,较高的频率是重复模式,每次重复之间的传感器距离较小。较低的频率是重复模式,每个重复之间的距离更大。如果传感器的像素间距为6µm,则每3µm重复的图案将处于奈奎斯特频率。每4μm重复的图案将在NF之下,而每2μm重复的图案将在NF之下。
Michael C
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.