作者：安森美
当涉及到技术创新时，图像传感器的选择是设计和开发各种设备过程中一个至关重要的环节，这些设备包括专业或家庭安防系统、机器人、条形码扫描仪、工厂自动化、设备检测、汽车等。选择最合适的图像传感器需要对众多标准进行复杂的评估，每个标准都会影响最终产品的性能和功能。从光学格式和、动态范围到色彩滤波阵列（CFA）、像素类型、功耗和特性集成，这些标准的考虑因素多种多样，错综复杂。
在各类半导体器件中，图像传感器可以说是最复杂的。这些传感器将光子转换为电信号，通过一系列微透镜、CFA、像素和模数转换器（ADC）产生数字输出。数字化后的信号将进行合并、缩放、裁剪、存储，并在传感器内部用于高动态范围（HDR）处理。
此外，这些传感器还嵌入了复杂的功能，如功能安全、网络安全、输出格式化和各种类型的基本图像处理。许多高分辨率和高帧率的需求促使输出信号以数千兆比特的速度通过各种类型的接口传输。此外，为了优化数字处理过程，大多数现代图像传感器都采用混合键合的堆叠晶片结构，顶层晶片包含像素和周边电路，而底层晶片则针对前面讨论的其他数字逻辑进行了优化。
图 1. 混合键合 CMOS 图像传感器的层和横截面图
这些图像传感器不仅本身非常复杂，而且在为众多设备和应用选择合适的传感器时也是如此。要成功设计和开发任何需要图像传感器的设备，了解选择标准的复杂性和细微差别至关重要。设计人员需要从众多参数中进行选择，例如分辨率、像素大小、像素类型、帧率、快门类型、光学格式、功能特性等等，这让许多人不禁要问：“我该从何入手呢？”
图 2. 设计人员必须做出的多种选择示例
安森美（onsemi）对图像传感器的选择标准进行了全面分析，并就如何驾驭各种特性和功能提供了深入见解。本文探讨影响图像传感器选择的各种因素，旨在帮助工程师和设计人员做出更明智的决策，从而优化性能、效率和整体设计。
我们将选择标准分为三大类：
图 3. 三类标准及其子类
本文将详细介绍成像性能。
选择图像传感器的首要考虑因素是成像性能。成像始于图像传感器可捕捉的实际光谱范围。如下图所示，图中的粉红色线条表示图像传感器的硅光电二极管对电磁光谱中人眼无法看到的其他波长的敏感性。这些波长包括波长较短的紫外线（UV）和波长较长的近红外线（NIR）。大多数互补金属氧化物半导体（CMOS）图像传感器的检测范围在350纳米到1000纳米之间。不过，某些技术也可以对短波红外（SWIR）成像，而有些技术则可以进一步延伸到紫外线范围。
图 4. 电磁频谱--人眼与硅传感器的对比
图像传感器所采用的技术在决定其成像性能方面也起着至关重要的作用。CMOS 图像传感器最初使用的是前照式（frontside illumination，FSI）技术，由于在光学堆叠层和像素之间存在金属层，该技术在优化捕捉光线方面存在挑战。然而，随着背照式（backside−illuminated，BSI）技术的引入，即把像素移到晶片底部，光线可以直接进入像素，没有任何中间层，从而进一步提高了性能。
图 5. CMOS 图像传感器技术发展趋势
在背照式技术趋势之后，又出现了背照式混合键合晶片堆叠技术（backside−illuminated hybrid bonded wafer−stacking technology），为数字逻辑提供了最优化的技术，同时缩小了传感器的整体尺寸。单片式图像传感器将光敏像素阵列和周围的数字逻辑集成在一个晶片上。
因此，这些器件的尺寸会随着数字功能的增加而增大，同时像素阵列和数字逻辑的工艺技术相同，导致效率低下。背照式晶片堆叠技术是将晶片层层堆叠并键合在一起，解决了这一问题。顶部晶片包含像素和周边电路。底部晶片包含电路和其他支持功能，从而实现了尺寸和技术的优化。
光学格式
光学格式（Optical Format）是选择图像传感器时必须考虑的因素，它指的是传感器的物理尺寸，是一个假设的测量值，比传感器的实际对角线尺寸大50%。最常见的光学格式包括1英寸、2/3英寸、1/2英寸、1/3英寸和1/4英寸。
图像传感器的光学格式决定了可以容纳的像素数量与大小，从而影响其成像性能、分辨率以及捕捉和准确再现细节的能力。传感器及其光学格式越大，能够捕捉的光线就越多，这进而引出了一个艰难的权衡：像素数量（分辨率）与像素大小（较大的像素可以捕捉更多的光线）。理想情况下，我们希望同时拥有更高的分辨率和更大的像素，但传感器越大，设备的成本和体积也就越大。
在光学格式、成本和期望的成像性能之间找到适当的平衡是一个难题。例如，在不同的光学格式下保持相同的分辨率会导致不同的像素大小。此外，在相同的光学格式下使用不同XXXZDFCBJ'像素大小会导致不同的分辨率。因此，选择正确的光学格式需要权衡利弊，并仔细考虑其他选择标准。
像素技术是图像传感器的核心，也是不断改进的关键。我们的目标是生产出更小但更高效的设备，使其具有与大型设备中的大型传感器相同的性能。在不断创新以提高像素性能的同时，这些权衡也始终存在。
弱光灵敏度
图像传感器的一个重要选择标准是弱光灵敏度。弱光灵敏度是指图像传感器即使在弱光或黑暗条件下也能拍摄清晰、高质量图像的能力。 虽然影响弱光灵敏度的因素很多，但它主要由像素大小决定。
图 6. 弱光重要性-1 Lux 图像示例
图 6 显示，与较大的像素（右图）相比，较小的像素（左图）捕捉光线的表面积较小。因此，大像素可以捕捉更多的光子，在弱光条件下生成更清晰的图像。不过，如前所述，较大的像素也会占用更多空间，而且生产成本较高。因此，如何在像素尺寸、弱光灵敏度、成本和其他选择标准之间找到平衡点是一项挑战。
动态范围
动态范围是选择图像传感器的另一个重要方面，指的是图像传感器在单张图像中准确有效地捕捉各种亮度水平的能力。这一标准对于拍摄高对比度场景（如天空明亮但背景阴暗的风景）非常重要。 当然，室内场景中也会有明亮光线和黑暗区域的情况，但室外条件通常更为苛刻。
图 7. 带 HDR 和不带 HDR 功能的传感器示例
具有高动态范围的图像传感器可以在黑暗或弱光区域以及明亮或强光区域捕捉到更多的细节，从而获得更好的整体图像质量。图 7 显示了线性（非 HDR）图像传感器（左图）与 HDR（高动态范围）图像传感器（右图）相比，前者生成的图像模糊、对比度低，而后者则更清晰。虽然 HDR 图像不适用于不需要它的应用场景，但在成像应用中，拥有 HDR 选项正变得越来越重要。
HDR 成像有三种基本解决方案：
1.空间域：使用 "大小像素 "式结构，即一个像素包含两个子像素，大像素捕捉暗部，小像素捕捉亮部。
2.时域：改变信号积分的时间，以不同的曝光周期捕捉多幅图像，通常称为 "多重曝光"。
3.增益/电容：增加光电二极管的电荷容量或使用多个信号积分周期
每种解决方案都各有利弊：
空间（大小像素）： 因为图像是同时拍摄的，从而减少了运动伪影，但其缺点包括降低了弱光下量子效率 (QE)、色彩伪影以及像素尺寸之间的固定比率。
时域（多重曝光）： 这种方法是使用单个光电二极管捕捉不同的曝光（弱光、中等亮度和强光），然后将它们组合以创建最终的HDR图像。但是，由于图像拍摄的时间点不同，可能会出现运动伪影和 LED（发光二极管）闪烁的问题。
增益/电容（超级曝光）： 这种方法通过在像素旁边添加电容来增加像素的线性满阱容量，从而存储更多电荷并扩展动态范围。这样可以延长像素的曝光时间，而不会出现过饱和现象，同时还能考虑到不同的 LED 占空比和频率。
目前 HDR 成像的趋势是使用超级曝光技术，但多重曝光方法仍然是最流行的技术。然而，每种技术都有其最适合的特定应用场景。
运动
运动是影响图像传感器性能和选择的另一个因素，指的是图像传感器拍摄运动物体时不产生运动模糊或失真的能力。较高的帧率（以每秒帧数或fps衡量）能更好地拍摄运动物体。此外，不同类型的传感器处理运动的方式也有所不同。
两种主要的图像传感器结构类型是：
1.卷帘快门（Rolling Shutter）：在这种类型中，像素逐行曝光并读取，这一过程会沿着像素阵列逐行进行。由于每一行的曝光时间不同，因此在拍摄快速移动的物体时可能会造成运动伪影或失真。
2.全局快门（Global Shutter）：这种类型可同时捕捉所有像素的曝光，消除了时间延迟，从而获得更准确且无失真的图像。不过，使用全局快门传感器时，灵敏度、QE 和 HDR 性能可能会成为潜在的权衡因素。
图 8. 拍摄快速移动物体时的卷帘快门与全局快门对比
快速运动是使用全局快门传感器的一种情况，但还有其他场景也适用。通常，最佳选择是配合“主动照明”技术；这基本上是指近红外发光二极管（NIR LED）或垂直腔面发射激光器（Vertical Cavity Service Emitting Lasers，VCSEL），它们的脉冲周期很短，可用于确定性地控制照明。这些技术可以在几乎没有环境光的情况下使用。人眼无法感知NIR LED的光，只能感知可见光范围LED的光。
尽管由于波长的原因，人眼无法感知NIR LED，但眼睛仍可能受到其伤害。因此，如果NIR光没有以适当的强度和周期发射，就有可能使毫无防备的人失明。此外，降低NIR LED的占空比还可以减少功耗。由于这些NIR LED的开启时间非常短（有时仅为微秒级别），因此必须在这段时间内捕捉整个传感器阵列的数据。
图 9. 提高全局快门效率（GSE）
全局快门的一个显著缺点是存储元件（ME）会吸收光线，这会导致杂光灵敏度（PLS）问题。存储元件吸收的杂光越多，PLS 就越高。全局快门效率（GSE）是一个指标，用于衡量存储元件中的信号电荷受到杂光影响的程度。图9显示，较差的GSE会导致PLS升高和运动问题，而良好的GSE则会带来更好的运动性能。
关于近红外（NIR）照明，并参考图4，CMOS图像传感器在这些波长下的量子效率 (QE)较低，也增加了主动照明应用的复杂性。要使全局快门具有更好的NIR响应，一种解决方案是在光电二极管下方加厚外延层 (EPI)。更厚的EPI可以捕获更长波长的光，并由光电二极管接收。然而，更厚的EPI可能会引入杂光进入相邻像素的风险，从而降低调制传递函数（MTF），即图像清晰度。
因此，为了达到最佳系统性能，必须在NIR响应和调制传递函数（MTF）之间找到适当的平衡。每个系统的需求不同，有些可能需要更强的信号（更高的NIR量子效率），而另一些可能需要更好的MTF（清晰度）。关键在于找到一种方法，使光线能够到达合适的光电二极管，同时提高NIR灵敏度而不降低MTF，如下图所示。这对于传感器厂商来说是一个复杂的选择，并且会因应用而异。
图 10. 改进工艺以提高NIR响应和保持 MTF
其他影响成像效果的技术趋势和考虑因素
除了已经讨论过的内容外，在确定传感器的成像性能时，还有其他技术趋势和考虑因素需要权衡。
成像深度
在机器视觉、AR/VR、驾驶员监控等各种应用中，深度变得越来越重要。实现深度的一种方法是通过间接飞行时间（iToF）传感器，这种传感器通过测量光的不同相位以及光从传感器传播到反射回来的时间来确定距离。另一种方法是通过安装立体摄像头，使用多个视差摄像头从略微不同的角度和更远的距离拍摄和比较图像，从而计算深度。
帧率
虽然帧率会根据应用的不同而有所波动，但在涉及快速移动物体的应用中，对更高帧率的需求日益增长。更高的帧率能够实现更好的运动捕捉效果，并减少运动模糊，这使得它在机器视觉、扫描以及其他专业成像应用中显得尤为重要。提高帧率还可以抵消运动带来的影响，并减少对全局快门的需求。
温度性能
图像传感器对温度极为敏感，因此必须考虑其在不同曝光和条件下的性能。温度过高或过低以及在较高占空比下长时间运行都会影响传感器的性能。因此，了解温度性能及其如何影响所需应用的成像能力至关重要。
色彩滤波阵列（Color Filter Array，CFA）
传感器的CFA是一种用于解析（或不解析）图像色彩的滤光片，在决定图像的色彩准确度和效果方面起着重要作用。CFA有多种类型，每种类型在色彩准确度、清晰度、光敏感度和图像质量方面都有其优缺点。标准的彩色传感器使用拜耳阵列CFA，它以红、绿、蓝、绿的阵列覆盖像素。这种模式由柯达前员工Bryce Bayer于1976年发明。柯达的成像部门后来被分拆成一家名为True sense的公司，而这家公司于2014年被安森美收购。另一个例子是单色传感器，它提供单一的黑白图像，但灵敏度更高（因为没有彩色 "滤光片"），尤其是在不需要或未提供色彩信息的情况下，例如上述的主动近红外（NIR）照明应用。
特殊类型的CFA，如RCCC（红、透明、透明、透明）、RYYCy（红、黄、黄、青）和RCCB（红、透明、透明、蓝），能够在收集部分色彩信息的同时让更多的光进入像素。这在汽车成像等应用中非常有用，例如可能需要红色来检测刹车灯或交通信号灯，但仍需要最大限度的光量。与此同时，RGB-IR CFA允许像素同时捕捉可见光和红外光，从而使系统能够同时处理和成像这两种类型的光线。
