图像感测器的作用是将光学图像转换为数字信号,该信号随后可由图像信号处理器处理。

广泛用于相机的两种图像感测器类型是科学级电荷耦合器件(CCD)和科学互补金属氧化物半导体(CMOS或sCMOS)。这两种技术之间存在许多相似之处,但一个主要区别是每个感测器读取在给定像素处累积的信号的方式。

图1. CCD和CMOS的基本结构

CMOS感测器有两种快门方式,卷帘快门(rolling shutter)和全局快门(global shutter)。卷帘快门通过对每列像素使用A/ D来提高读取速度,每列像素数量可达数千。任何一个转换器数字化的像素总数显著减少,从而缩短了读取时间,从而缩短了帧速率。虽然有许多并行A/ D共享工作负载,但整个感测器阵列仍必须转换为一个一次排。这导致每行读出之间的时间延迟很小。不是等待整个帧完成读出,以进一步最大化帧速率,每个单独的行通常能够在完成前一帧的读出后开始下一帧的曝光。快速时,每行读数之间的时间延迟转换为每行开始曝光之间的延迟,使它们不再同时发生。结果是帧中的每一行将暴露相同的时间量,但在不同的时间点开始曝光,允许两帧的重叠曝光。最终帧速率取决于滚动读出过程的完成速度。一个典型的读取过程如下所示:

和机械式焦平面快门一样,卷帘快门对高速运动的物体会产生明显的变形。而且因为其扫描速度比机械式焦平面快门慢,变形会更加明显。例如如果数据的读出速度是每秒20帧,那么图像顶部和底部的曝光先后差异将多达50毫秒。

CMOS图像阵列的图形描述如图2。每行中的QRS晶体管的栅极都将连接到像素阵列左侧的行选择电路,从而允许控制哪一行像素应连接到列放大器。在阵列的顶部,所有源极跟随器输出将通过行选择晶体管连接到列放大器。为了产生数字数字,来自列放大器的信号被提供给模数转换器,该模数转换器对于所有列放大器是通用的,或者为了提高转换速度,为每列复制

图2. 左:CMOS感测器示意图 右:卷帘快门「果冻」效应

现在通过激活要读取的行的行选择信号来执行CMOS图像感测器的读出过程,该行选择信号将该行的像素连接到列放大器。读出是两步过程,首先读出浮动扩散复位后的信号,并将其存储在列级的采样和保持电路中。在此之后,立即读出光信号并减去复位信号,然后由ADC将结果转换为数字编号并从感测器读出。

由于行是按顺序读出的,因此在阵列上累积的每一行的积分之间会有一段时间延迟。如图3左所示。该卷帘快门是CMOS图像感测器的特征,其在包含移动物体的图像中引入失真。失真量将取决于诸如帧速率(每秒捕获的帧数)以及移动物体的速度和方向等因素。当手机或物体移动时,手机拍摄的视频中出现的「果冻」印象是由于这种现象造成的。滚动快门效果的图像示例如图2右所示:

图3.卷帘快门曝光示意图

和卷帘快门相比,全局快门(global shutter)最主要的区别是在每个像素处增加了采样保持单元,在指定时间达到后对数据进行采样然后顺序读出,这样虽然后读出的像素仍然在进行曝光,但存储在采样保持单元中的数据却并未改变。这种结构的主要缺点在于增加了每个像素的元件数目,使得填充系数降低,所以高解析度的sensor设计难度和生产成本都很高,另外采样保持单元还引入了新的噪音源。

CCD相机通常在全局快门(global shutter)模式下使用行间传输CCD。 在全局快门模式下,每个像素在同一时刻同时曝光。 当图像逐帧变化时,这尤其有用。 然而,当涉及帧速率时,CCD具有固有的缺点。 曝光完成后,来自每个像素的信号被串列传输到单个模数转换器(A / D)。CCD的最终帧速率受到单个像素传输然后数字化的速率的限制。 感测器中传输的像素越多,相机的总帧速率就越慢。

CCD感测器具有「免费」全局快门的优点。对于行间CCD,所有像素都同时移入传输寄存器。帧传输CCD将类似地允许全局电子快门,因为电荷包可以如此快地向下移动到光屏蔽区域中,使得与第一行相比,最后行的累积额外电荷可以忽略不计。然而,当在图像的一部分中存在强光源时,在这种类型的感测器中可能发生称为拖尾的现象。当电荷包向下移动通过光源照射的区域时,它们可以累积足够的信号以产生通过光源的图像从顶部到底部垂直延伸的亮条纹。行间CCD也会受到拖尾的影响,但在这种情况下,原点是由于光子散射到垂直传输寄存器中。

除了消除滚动快门效果之外,全局快门的另一个重要应用是闪光摄影。在下面更详细描述的氙闪光灯的情况下,闪光脉冲太短以至于顶部和底部行很可能不会被闪光灯同时曝光,导致图像中的亮带和暗带。当曝光时间等于反帧速率时,发生所有行同时曝光的唯一情况。然后,如果最高帧速率是例如每秒30帧,则使用闪光灯时可达到的最短曝光时间是1/30秒。对于手机摄像头,f值大约在2.0-2.8之间无法更改,这意味著只有在场景太暗以至于没有被闪光灯照亮的背景时,才能使用闪光灯。不要被环境光过度曝光。为了扩展闪光灯的有用性,必须允许更短的曝光时间。因此,必须使用全球机械或电子快门。

与行间传输CCD一样,CMOS像素内的额外元件将限制填充因子。这可以通过在像素阵列顶部添加微透镜来解决。该技术用于CCD和CMOS感测器,并且随著像素尺寸不断缩小而变得越来越重要。

可以通过使用外部机械快门来获得用于CMOS感测器的全局快门。在这种情况下,采用全局重置。实际上,这意味著机械快门首先完全打开,所有光电二极体同时复位,然后开始集成如图4。

图4. 有全局重置和机械快门的卷帘快门CMOS曝光示意图

在积分期结束时,机械快门关闭。然后可以按顺序读出像素行,就像在卷帘式情况下一样。由于在读出期间没有光将到达像素,因此获得正确曝光的图像。该方案的一个缺点是如果像素的暗电流(见下文)足够大,则图像将包含在图像上改变的暗电平偏移。这也会导致图像上的暗杂讯发生变化。在今天的CMOS感测器中,暗电流通常很低,这很可能不是问题。


推荐阅读:
相关文章