相机为什么不记录整个快门的光线数据?


13

抱歉,问题标题令人困惑,我不知道最好的措词,因此,如果您能想到更好的方法,请随时进行更改。我了解到,电子快门可以一次捕获全部图像,而无需使用使用窗帘的机械快门。这给了我一个主意。假设给定的镜头可以在1 / 200s处正确曝光,但是图像的动态范围太宽,相机无法捕捉。

为什么带有电子快门的相机不能在快门的整个持续时间内连续捕获并记录图像中的光数据,而不是仅仅收集光数据并最终将其存储为一张照片?就像看到一个房间从黑暗开始,然后逐渐增加亮度一样。然后,摄像机将能够捕获图像的整个动态范围,并且只需一张照片即可将数据编译为具有整个动态范围的图像,而无需为HDR进行多次曝光。这也将允许在后期处理中进行曝光调整,而不会丢失任何信息,因为相机已存储了整个曝光范围的光数据。为什么现在不实施这个想法?


3
您能否更详细地说明在保存图片方面“连续捕获”与“收集光数据”有何不同?
Zenit

@ Alex.S相机现在的工作方式是,光线击中传感器并收集光数据,直到快门关闭,然后在快门关闭并将其变成图像后记录数据。我的建议是,为什么不在快门击中传感器时就连续记录光数据,因此与看到暗室逐渐被照亮相比。
Ryan

1
应该如何记录数据?在保存图片之前,它将存储在哪里?
Zenit

1
@ Alex.S的技术水平很高,如果我知道自己可能不会问这个问题,我会说我不太清楚。但这可能与在每个时间间隔(例如1/1000秒)后有多少光子撞击传感器上的每个像素一样具体。或每当光子碰到传感器上的像素时,都给它加一个时间戳。某种东西
Ryan

Answers:


19

这是用X光检查完成的。

所述TimePix是256x256的检测器。它具有三种操作模式

  • 通常的“自我们开始积分以来该像素的总能量”;
  • 阈值超时(TOT):在TOT模式下,检测到的脉冲高度记录在像素计数器中;和
  • 到达时间(TOA):TOA模式可测量触发到辐射到达每个像素之间的时间。

这项技术已经适应了光学成像。最好将TOT模式描述为像Wilkinson ADC一样工作-读数对应于累计电荷等于或高于阈值的总时间。从快门时间中减去此时间即可知道该像素饱和所需的时间。因此,对于每个像素,自快门打开以来,您可以随时间绘制从0到饱和的线。因此,您可以选择所需的任何虚拟快门时间(只要所有像素都饱和),然后使用每个像素的线来估计其在该虚拟快门时间之前的累积光。


一个更直接的实现你的想法已经在CMOS已经完成。每个像素记录并报告其达到阈值电荷的时间。(不是对未及时饱和的像素进行ADC扫描,而是对阈值进行扫频,因此每个像素最终都会超过一个足够低的阈值。)


我记得Pixim数字像素系统(示例)也使用每个像素的ADC进行了此操作,并无损地重复读取了累积的电荷(以获得累积斜率)。但我找不到最新的确凿证据。


您链接的“直接实施” 分辨率非常低,我认为这充分说明了实际问题。从本文的示例来看,实际上它甚至小于256×256。
请阅读我的个人资料

@mattdm:恩,是的... 13年前。我没有任何声称该技术已得到进一步发展。但是13年的时间足够长,如果继续发展的话,现在将存在更高级的东西。
艾瑞克塔楼

18

您缺少此想法的一些明显问题。

您想“连续”捕获灯光数据,但是已经完成了。

显然,您的意思是在曝光后可以使用一系列图像,每幅图像从开始到整个曝光都在推进。后面的图像在阴影区域中会有更多细节,但可能会剪切出明亮区域。然后,相机固件可以组合一个动态范围比单个图像更大的单个图像。

这两个明显的问题是:

  • 如何这么快地读出所有百万像素,以及
  • 结果放在哪里。

该技术今天无法实现。


3
记录一系列图像并不是真正必要的。对于每个像素,图像传感器报告一个值,该值表示该点处累积的总光量。OP的建议似乎是记录该值如何随时间变化。一种方法是通过定期采样(即记录许多图像),但是认为每个像素可以足够聪明地报告描述其响应的参数并非没有道理。例如,如果像素的响应是线性的(可能不是),那么您所需要做的就是直线的斜率。
卡雷布(Caleb)

3
“在不同时间采样”是否与包围曝光相同?自动曝光包围和处理正是HDR摄影的对吧?
Todd Wilcox

1
@Caleb,如果您的像素+斜率(大概也是相同的位深度)与2个带有线性交叉淡入淡出的图像完全相同。如果在函数拟合中添加N个多项式项,则这同样等效于N个图像的逐像素多项式拟合。尽管有其他采样方案,但我想您会发现(由于Shannon和nyquist),线性采样几乎是捕获频带有限响应所能做的最好的事情。
史蒂夫·考克斯

11

你认为“或者每一个光子撞击传感器上的像素时间给它一个时间戳” -这将是一个巨大的数据量。快速搜索表明,数码相机中的每个像素(或感官)在20,000至100,000个光子之间饱和。假设我们对12百万像素的摄像头感到满意,并且对此处较低的感光度也没问题。那仍然是25万亿个数据点。如果我们说的是一个具有很大动态范围的50万像素相机,也许是5万亿。即使我们将时间戳记分别设为两个字节(一个字节仅提供256个值,所以不足以使其全部值得使用),对于一个图像来说,这还是很多数据。我的意思是字面上的TB。

就采用当今技术的数据流水线而言,目前显然不可行,更不用说将其放在某个地方了


2
在消费类相机的水平上是可行的。这正是大型强子对撞机在更大,更复杂的规模上所做的事情。
PlasmaHH

1
@PlasmaHH同样,LHC在传感器尺寸,存储的物理尺寸和成本方面更大。很多。但是无论多少美元,他们也无法以如此紧凑的尺寸做到这一点。
Mołot

7

您要求的是连续光采样,理论上可能是可行的,但实际上太昂贵了。可能以非常高的采样率对其进行近似。这可以通过具有很高帧速率的高速(慢动作)摄像机来完成。然后可以对输出进行后处理以创建图像。

快速搜索显示像这样的 幻影

这些事情通过拥有快速的传感器并能够移动和存储大量数据而起作用。尝试连续采样,或者尝试以足够快的采样速率使其看起来连续,这会放大此问题并降低成本。


4

电子快门已经提高了。现在,我们可以同时拍摄所有像素,然后告诉它们停止收集(即,对每个像素进行采样),并依次测量每个像素的每种颜色的信息,以捕获有关同时拍摄的图像的数据。

过去并非如此。

不过,我们仍然需要针对HDR场景进行一些修改,但是,由于传感器技术的进步,它并不像以前那样糟糕。现在,我们具有更高的传感器灵敏度和动态范围,因此以前需要进行两次包围拍摄和后期处理的照片现在可以在相机中捕获,因为传感器可以同时测量某些图像的高低。实际上,传感器已经变得如此出色,以至于您很少遇到需要超过三个包围曝光才能获得整个动态范围的情况。较旧的传感器可能需要5次或更多次包围拍摄。

据我了解,您的想法需要在每个像素的基础上进行连续测量。

尽管这是一个好主意,但实现仍然是一个问题。摄像头旨在串行传输来自传感器的数据。到处理器的每个像素都没有一行,而是图像传感器具有允许处理器一次但不一次全部读取一个或多个像素的值的逻辑。它必须遍历所有像素,这需要时间。

我们无法克服这一点,因为我们将无法在传感器和处理器之间连接5千万条电线。我们可以将更多处理集成到传感器中,但是传感器专门做一件事,并且做得很好。即使使用3D IC,添加数字电路也会导致更多的噪声,并且可能会导致更小的像素。此外,用于创建良好的光敏硅的过程与用于创建良好的,低功耗,快速处理的数字硅的过程不同。

所有这些都是障碍,但是对于某些特殊的应用程序,它们已经被使用。通常在科学和工业领域。

但这并不意味着我们就被冷落了。随着传感器的改进,特别是在动态范围内,您会发现最终在没有支架的相机中会获得“ HDR”-传感器将足够灵敏以获取完整范围,并且镜头和相机机身会很好足以防止流血,反射和其他妨碍传感器发挥其全部功能的问题。

因此,尽管这个想法不错,但它复杂,昂贵,而且在其他无法改进的领域中我们仍有发展的空间,因此您的方法甚至可能不再必要。


2

真正的答案是价格。如果您愿意为相机多付10到100倍的费用,则可以购买一些非常精美的传感器。

您描述的理想结果是每个像素的动态范围更高。有几种方法可以做到这一点。显而易见的方法是获得更好的ADC和CMOS传感器,但是这要花钱,而且与您的想法不符。下一种方法将是在连续过程中以模拟方式吸收电荷。这将允许您获得描述有多少光子撞击像素的连续函数。但是,这种模拟硬件非常困难。在您的相机中,所有像素数据都通过相当数量的ADC进行斩波处理。我们的传感器的优点之一就是它们可以做到这一点,从而以数百倍的价格生产出更便宜的硬件。连续进行此操作将需要每个像素都具有大量的微调模拟硬件。

这使我们进入了数字采样方法。您提到了每1/1000秒捕获数据的想法,这向我表明,您实际上并不是在考虑连续过程,就像采样过程一样,在采样过程中,您会获得许多薄时间片的数据点并进行缝合一起。如其他答案中所述,某些手机上的HDR +可以做到这一点。快速连续拍摄多张照片,然后将它们融合以获得HDR效果。为此,它们显然具有比您单个图像所需的ADC带宽高得多的ADC带宽,但是它们不需要那么多的像素来连续处理每个像素。

从它的声音来看,您希望每个像素自行进行此时间采样。为此,我们首先需要涉足3D集成电路设计。您不希望每个像素上的任何硬件都占用传感器表面的空间,否则当像素太少或掉落在IC的非传感器部分时会丢失一束光,您将遇到麻烦。实现此目的的唯一方法是构建3d芯片。这些确实是未来的技术。我们开始探索如何做到这一点,但这并不容易。如果您有数十万美元可用于您的相机,我们可以使这种事情发生。

最后,听起来您希望每个像素的输出都是“浮点数”而不是“整数”。就是说,每个像素都有一个撞击多少光子的值,以及一个指数,该指数基本上表示将这个值乘以多少才能得到实际的光子数。当像素曝光时,它将以非常高的速率(可能为5000Hz)采样,并且如果光子数太大,它将选择更大的指数。

现在真正的问题是,您从中得到多少收益?请记住,HDR +方法是目前的技术,用于手机的价格为数百美元。您正在谈论使用超尖端技术,其公差要比市面上任何相机都要严格得多。那将是有代价的。它买了什么?那些单像素快门式设备实际上为您买了什么,而Google推销的廉价CMOS技术却没有呢?答案不多。可能会有一些微小的角落情况,这是首选方法,但是其价格远高于现有技术,这是商业化的入门级产品。


0

正在执行非常类似的操作。它仍然通过不同的帧运行,因为数字方法比模拟方法具有明显的优势。但是,存在以微微秒为单位的时间分辨率的方法。

https://www.ted.com/talks/ramesh_raskar_a_camera_that_takes_one_trillion_frames_per_second


1
虽然这当然是一个有趣的演示和概念,但它并没有真正映射到我们正在谈论的摄影中。在TED演讲中,如果您拍摄了一张短曝光的照片,您得到的光很少。但是我们要比最短曝光快十亿倍,所以您几乎看不到任何光线。因此,我们要做的是发送该包光子数百万次,并以非常巧妙的同步一次又一次地进行记录,然后从千兆字节的数据中,以计算方式编织在一起,以创建我向您展示的那些毫微微视频。
scottbb

1
因此,拉斯卡(Raskar)团队引入的技术更多地是在计算和统计摄影/录像学领域,并且肯定不会通过任何商业应用来完成。
scottbb

@scottbb考虑到OP要求一台摄像机,“ ...每当光子碰到传感器上的像素时,就给它加一个时间戳。” 我觉得Raskar的方法非常符合他的想法。
Taemyr

并不是的。拉斯卡尔的方法无法“捕捉片刻”。它多次重复捕获同一空间中的光子,以建立有关光子位置的统计知识。这种方法需要大量的时间,更重要的是,需要知道光子已经在某个地方的知识。它要求可重复性和可预测性。
scottbb

0

为什么带有电子快门的相机不能在快门的整个持续时间内连续捕获并记录图像中的光数据,而不仅仅是收集光数据并最终将其存储为一张图片?

我认为您在这里真正建议的是,不是用“整个曝光期间收集了多少光”来描述图像。而是“每个点的场景有多亮?” 这是一个很好的想法,我可以想到几种方法来实现,但是它们的共同点在于它们增加了传感器的复杂性。

相机制造商长期以来一直在努力提供更多的像素,我猜想保持每个像素简单的结构可以帮助实现这一目标。现在,单反相机通常具有20到5000万像素的传感器,也许我们会看到它们可以用于构建更好的像素。我们已经在某些方面看到了这一点-双像素自动对焦就是一个例子。当然,也有一些公司致力于构建提供更大动态范围,更少噪音等的传感器。

简而言之,我认为我们很有可能会按照您将来提出的建议去看一些东西,即使它不能以这种方式起作用,而我们之所以不存在,可能仅仅是因为在过去,像增加像素密度这样的其他目标是更高的优先事项。


0

可以以某种不同的方式来完成。拍摄一张不同曝光时间的帧而不是一张照片。然后,根据用于堆叠的算法,对图片进行堆叠以获得某种平均值。

例如,在最近的日全食中,肉眼可见的电晕量远大于相机任何一次曝光所显示的量。这是因为眼睛具有对数动态范围,而眼睛具有线性动态范围。因此,通过叠加各种曝光时间,您可以更好地逼近图片中观察者通过眼睛看到的内容。


0

Olympus Live Bulb和Live Time模式沿您描述的方向前进。

在此处输入图片说明

OM-D E-M5手册中

若要查看拍摄过程中的曝光进度,请为[实时灯泡](P. 89)或[实时时间](P. 89)选择显示间隔。

这是一个视频。请注意,即使您在此过程中看到多次曝光,最终也只会获得一次曝光。传感器像素只关心曝光期间接收到的光子总量,不知道这些光子何时或以什么顺序降落在传感器上。


-1

你有正确的主意。索尼在RX100M5和其他具有D-Range Optimizer功能的相机中基本上就是为此而做的事情-分析场景并调整和补偿故障区域。

D范围优化器功能可立即分析捕获的图像数据,并自动校正以获得最佳的曝光和色调再现。通常,在拍摄背光场景时,被摄对象的脸部或阴影中的其他区域在照片中显得比人眼看起来更暗。D范围优化器功能可区分拍摄场景的不同条件,从而自动校正伽玛曲线,曝光水平和其他参数,以去除比人眼看起来更暗的部分。

D范围优化器功能还包括“标准”模式和“高级”模式,“标准”模式可统一调整整个图像(有效校正诸如曝光等方面),而“高级”模式可自动校正构图中的区域。通过使用高级模式,即使两者的亮度差异很大,摄影师也可以拍摄出清晰的图像,在其中以适当的亮度拍摄被摄体和背景。

来源:https : //sony-paa-pa-en-web--paa.custhelp.com/app/answers/detail/a_id/26259/~/what-is-the-function-of-d-range-optimizer %3F


3
但这只是捕获的简单旧后处理,与描述的捕获方法完全无关。
junkyardsparkle

3
DRO是一种后处理方法。
Zenit
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.