CSI图像分辨率增强：真实程度如何？

因此，我观看了来自CSI纽约的接下来1分钟长的Youtube剪辑。在剪辑中，他们使用标准银行摄像机的录音，至少放大了100倍，并在女孩的眼睛反射中看到了罪魁祸首的图像。

现在，我认为这完全是荒谬的，以至于我认为它实际上真的很有趣。

但是，我的朋友认为，有很多很好的图像增强技巧，例如“超分辨率”程序，其中视频的多个帧可产生更高的单分辨率图像。他的确认为演出很真实，但是多少呢？

老实说，我实际上对这些事情一无所知，所以我的问题是：

现代图像分辨率增强效果如何？此外，CSI电视节目还有多远？

谢谢，

备注：这是在怀疑论者网站上交叉发布的。有人告诉我在这里可能会得到更好的答案。

简短的答案：您可以获得一些非常好的结果，但是仅在某些条件下，并且绝对不接近链接的视频剪辑中显示的结果。

我的公司Amped Software开发了用于法医和情报应用程序的图像和视频处理软件，因此从根本上说，我们是CSI软件的真实世界对口。

关于质量提升的一般问题，我可以告诉您，对于我们的市场来说，要实现电视连续剧和好莱坞电影所带来的期望是一个巨大的问题。您可以在示例页面上看到，有时我们能够获得的结果确实非常惊人，但重要的是要了解我们只能在某些条件下获得它们：如果存在被干扰所覆盖的信息，但确实存在，我们能够恢复它。如果没有信息，我们就不能，也不能重新创建它。在此特定应用程序中，必不可少的是，不仅要从视觉角度获得结果，而且要遵循必须为法院接受的科学工作流程。

去年，我进行了一项研究，描述了我所研究的近200个案例的问题和结果，最终结果如下：

• 在超过50％的情况下，无需执行任何操作（例如，使用世界上任何软件完全不可能恢复5x2像素的车牌）；
• 在大约30％的情况下，我们收效甚微（例如，恢复车牌的某些字母或改善人脸的整体外观）；
• 在10％的情况下，您会获得良好的效果（例如，您获得了大部分车牌）。

请注意，所有这些情况都存在严重的质量问题。如果它们的质量很好，就不会要求我们对其进行处理。

对于什么方面，特别是分辨率增强：

• 缩放图像时，您会插入缺少的像素：从单个图像中，您可以在视觉上改善图像的外观，但不会添加任何实际细节；
• 在某些情况下，超分辨率技术可能会产生良好的效果：您应该具有足够的帧，并以非整数数量的像素移动，并且最好没有压缩失真。在最佳情况下，您可以期望在2倍和3倍变焦范围内获得良好的效果。

仅当以几百万像素拍摄原始视频，视频剪辑中显示的内容才有可能，然后您将具有非常接近缩放的分辨率（或多或少像在Google Maps上一样）。当然，到那时，还存在其他问题，例如正确聚焦，弱光条件，眼睛的视角与视频中整个主题的视角不同的事实，仅举几例。

您不能一无所获，必须拥有（或猜测）一些信息才能以任何方式增强图像。例如，如果您知道模糊功能的属性（并且没有图像噪点），则实际上可以使照片模糊。但是，您几乎不知道模糊功能，并且总是存在噪点，因此严重限制了您可以恢复的内容（Adobe最近展示了一个模糊滤波器，但他们的演示带有合成模糊）。

简而言之，CSI几乎是纯小说，在现实生活中可能获得的收益是微不足道的，与电视上显示的分辨率提高5倍不同。

健全性检查：如果他们能做所有这些事情，那么人们就不会为购买40多个MP哈苏相机支付数万美元，只需复制该软件会更便宜！

编辑：我不知何故没有注意到视频中提到的超分辨率的原始问题。现实中可能会出现多个图像超分辨率，但只能达到传感器的限制。它通过使用一组具有子像素偏移的图像来工作。这样可以提供像素之间的值信息，从而使您可以构建更高分辨率的图像。视频的超分辨率之所以有效，是因为移动的主体会产生相同的移位，但是物体的外观在帧之间的变化不能太大。该技术充其量只能为您提供分辨率更高的传感器的结果，您无法克服镜头分辨力的限制，而对于CCTV规格镜头而言，这是相当有限的。

这是在良好条件下的超分辨率示例：

_{（来源：wikimedia.org）}

图片来自photoacute.com

是的，但分辨率仍然没有达到CSI级别的性能提升。

在上面引用我的评论，最新的哈苏相机实际上以“多次拍摄”的名义实现了传感器移位超分辨率，因此您仍然无法使用聪明的软件在自己的游戏中击败中型格式的制造商...

所以这就是我到目前为止：

他们看到篮球的眼睛面积约为1平方毫米。根据女孩的身高，我们可以放心地估计那应该最多是屏幕上像素总数的百万分之一。（图像的宽度和高度虽然不能很好地定义为照片，因为有些东西可能会更近一些，但看起来大约3 x 3米，这意味着1000万平方毫米。但是眼睛可能更接近实际的相机镜头，因此我粗略估算并除以10美元。）

如果录制的是高清画质，那仍然只有2百万像素，所以我们看到篮球的地方应该是单个像素的大小。

我认为推理无疑表明事实并非如此，但我仍然想知道，图像增强的上限是多少？

有一些带有Super Resolution的商业软件。我自己还没有尝试过这些方法，但是广告材料还不错。该软件主要用于监视，安全和武装部队，但我想某些法医部门可以使用该软件。

有两个示例：MotionDSP的Ikena和 2d3的TacitView

根本不可能将图像/视频增强到电视节目中建议的水平，并且实际上受到图像捕获设备的限制。那是首先需要发展的技术。

从10个像素的集合中获取可识别对象的信息是不可能的。在像素级别，这是图像中提供的最终信息量。在该有限缩放中，您只有100个颜色块。您可以通过插值将10x10像素的面积增加到100x100像素，但是10x10像素中的信息就已经足够了，并且插值依赖于软件基于10x 10像素进行的有根据的猜测。结果将是100 x 100像素的模糊。或者，拍摄2000x2000像素的图像，然后将其插值为4000x4000像素，并且纯粹通过pareidolia，在原始图像中不清晰的一些模糊可能看起来像在较大图像中的可能物体那样清晰-但这仍然是猜测或推测。插值后的图像会给出“错觉”的更多细节，

图像增强仅依赖于通过原始成像源捕获的最大信息量，并且可以放大到像素。某些相机可以拍摄非常高分辨率的图像，但是没有软件可以带出未记录在原始图像中的细节。

现在，回到CSI节目，他们中的大多数人都抓住了您的标准监控摄像头镜头，开始时在现实生活中分辨率并不是特别高，所以当我看到节目中的这种增强效果时，我只会大笑-即使使用最先进形式的图像编辑软件也无法实现（而且PhotoShop确实确实处于高级规模的高端）。图像增强和缩放100％依赖于成像设备捕获的信息-因此，一个能够捕获人脸在某人眼角膜一侧的反射的监视摄像机将需要超级强大，而且价格昂贵。素材需要每帧具有非常高的像素清晰度（例如，要存储1秒的素材，需要100兆像素或大约9.5 TB），这会使素材的文件大小变大，以至于每个监控摄像机都需要一个小型服务器场来保存价值24小时的素材。非常贵。最终的增强技术将依赖于能够首先执行此级别的详细视频和图像捕获，以方便的方式存储数据的图像捕获设备，并且这样做的成本很低，因此无法跨城市推广。视频片段中的文件大小将是如此之大（记住约为9.5 TB /秒），以至于能够做到这一点的软件将需要一台功能非常强大的超级计算机（按照当今的标准）才能运行。随着技术以如此快的速度增长，这可能会在将来的某个时候（可能是我们一生中）实现。只有那样他们才能做到，但图像无法得到增强，他们只会放大超级详细的图像。我从事数字影像工作一整天时就知道这一点。