各种Bayer去马赛克算法的优缺点是什么？

拜耳传感器使用红色，绿色和蓝色像素的图案，并将它们合并为最终的彩色图像，每个单个彩色传感器一个像素。这可以通过“天真的”混合邻居传感器来完成，但是我听说过更复杂的方法，例如AHD，HPHD和AMaZE。

这些其他方法又有什么优点？它们是否具有计算复杂性之外的弱点？

我认为用于相机内JPEG的方法受到更严格的保护，但是显然很多研究和开发都在该领域进行。相机内可用的有限处理能力是否会在此方面造成任何妥协？

几个月前，我惊讶地发现我的机器视觉相机SDK在其内置的Bayer函数中使用了最近邻“插值”。这是最快但最差的类型，具有硬边，特别是当您开始在图像通道上进行数学运算以实现颜色恒定性或亮度不变性时。我发现此算法综述：

http://www.arl.army.mil/arlreports/2010/ARL-TR-5061.pdf

下一步是双线性插值和双三次插值，由于它们仅相当于卷积核，因此可以快速计算。这些在倾斜的边缘上提供了彩色的锯齿-双线性的比双三次的更线性。

可以在本文中看到，并具有基于5种不同算法的量化质量数据：

http://research.microsoft.com/en-us/um/people/lhe/papers/icassp04.demosaicing.pdf

这就是为什么他们进行基于边缘方向的插值的原因。但是，这些将绿色视为更“重要的通道”（因为它具有最佳的分辨率，并占了我们大部分的视觉灵敏度和眼睛的分辨率）。然后，它们以保持色调的方式根据绿色通道创建蓝色和红色。反过来，这会使绿色通道的高频内容更容易出错。复杂性更高，因为他们必须检测正在发生的事情并需要多次通过。云纹和玉米是这些插值类型中常见的伪影。

在这里，它们显示了带有和不带有色相保留和边缘保留插件的自适应同质去马赛克和双线性版本的示例：

http://math.auburn.edu/~kilgota/ahd_bayer.pdf

那篇论文偏爱AHD，但没有表现出负面影响。在此页面上，您可以从自适应同质去马赛克，图案化像素分组和可变渐变数（将鼠标悬停在名称上方）上看到不同的图案工件：

http://www.ruevski.com/rawhistogram/40D_Demosaicing/40D_DemosaicingArtifacts.html

总而言之，这些算法中使用了许多假设，当假设不成立时，就会出现伪像：

• 每通道平滑度。如果最近的邻居不同，则使过渡平滑。工件：锯/拉链，柔软度
• 定向边缘（双线性方向）的亮度恒定。伪像：高频纹理云纹，色边
• 色相恒定。如果在附近，色调是相同的，那么如果一个通道发生变化，则其他通道也必须遵循。工件：彩色边缘上的彩色拉链
• 可以从果岭预测稳定性。神器：迷宫

我开始玩这个游戏，发现天真的方法并不是那么糟糕。这就是简单地分别处理每种颜色并进行插值以获得像素之间的间隔。这样做的主要缺点是，如果您在高对比度的地方偷窥像素，则可能会看到一些色边。换句话说，如果您的浅灰色区域与黑色区域相邻，则边界处将看到一些彩色像素。幸运的是，这些元素通常会平均，但是如果边缘接近垂直或接近水平，则它们会在低频范围内平均。在接近垂直或水平的细亮线上，相同的效果甚至更加明显。

这是一个例子。这张照片是故意拍摄的：

注意镀铬装饰线的明显带状。为了正确理解，下面是完整的框架：

我已经考虑过一种替代方法，但是到目前为止，总是有其他事情要做。该方案将寻求首先仅找到亮度。如果图像是黑白的，这将是图像数据的单通道。每个感官对此有所贡献，尽管颜色的贡献不尽相同。确定强度后，您可以像在朴素的方法中那样对颜色进行插值，但是仅使用结果以保留强度的方式设置颜色。强度将具有比色相信息更高的带宽，或者在照相上更清晰。模拟电视使用此技巧来降低彩色图像的带宽要求。他们之所以放弃，是因为人类视觉系统对强度的重视程度高于颜色，尤其是红色。

无论如何，这些只是一些想法。就像我说的那样，我实际上还没有尝试过或没有弄清楚细节。有一天

据我了解，Lightroom中的不同Process版本（到目前为止，我们拥有2003、2010和2012）在其他方面对应于不同的去马赛克算法。另一个有趣的软件是 UFRaw，它提供以下内容（来自网页的引用）：

设置白平衡后，UFRaw会插值Bayer模式。

• AHD插值是自适应均质定向插值。这是默认的插值。
• VNG插值使用基于阈值的“渐变数可变”插值。这曾经是默认的插值，但仍然非常好。
• 如果在照片中出现拜耳图案伪像，则应使用VNG四色插值（有关更多详细信息，请参阅DCRaw的常见问题解答）。
• PPG插值代表图案化像素分组插值。它几乎与上述所有功能一样好，而且速度更快。
• 双线性插值是非常基本的插值，但速度更快。

这可以提供一些实验材料。顺便说一下，UFRaw似乎是开源的，它使您可以窥视算法本身。

在天文摄影中，对此主题进行了深入研究，因为使用单次色彩传感器时，由于去拜耳效应而导致很多分辨率损失。从好的方面来说，使用RAW文件仍然可以访问原始数据，并且可以在进行彩色应用之前对其进行处理。本主题与软件方面紧密相关。

简而言之，如果您可以访问具有相同主题数据的大量图像（这样做是为了减少传感器的噪点），则可以权衡使用AHD进行单帧转换以采取细雨方法，从而可以恢复丢失的分辨率。选择取决于可用的源数据类型。大多数摄影师只能使用一张图像。

我用于脱拜耳过程的一些软件包括：Deep Sky Stacker和Pix Insight。还有其他。许多基于DCRAW。

这是Deep Sky Stacker页面上文章的链接，他们在其中讨论一些选项：取消拜耳选择