一文看懂索尼CMOS传感器的多重曝光HDR技术

真义科技 2024-06-02 18:17:55
1,什么是 HDR

HDR 的英文全称为 High Dynamic Range,意思就是“高动态范围”。

其“高”之程度是相对于以前的 SDR(标准动态范围)而言,那么这个“动态范围”又是啥呢?

这个词所代表的,就是图像所能清晰呈现之明暗差别。

所以 HDR 的实际意义就是,图像能以更高质量同时显示画面的亮部和暗部。

如上图所示,在 HDR 技术的加持之下,本来寡淡且好像蒙了一层灰似的画面,瞬间就变成了鲜艳明丽的绝美风景!

这样,用户拍照的时候就能化身为“神笔马良”,借助手机相机镜头(画布),用所调配之丰富色彩的颜料(HDR传感器),“画”出最美最真实的图像。

当然,HDR 的实现也依赖于显示设备——毕竟能拍出来但看不出来也白搭,所以在 HDR 显示器越来越强的今天,HDR 传感器技术也变得越来越重要。

但是,由于智能手机的内部空间限制,手机CIS的 HDR 能力要明显弱于数码单反。

毕竟单反上传感器那动辄3微米或更高的像素尺寸,以及动辄14位或更高级的 ADC(模数转换器),在动态范围方面可以说是能将手机CIS吊起来打了。

那么,在满阱容量和电路规格两方面被单反CIS碾压的手机CIS,该怎么提高 HDR 能力呢?

2,如何提高动态范围

上图所示,即为动态范围的三个计算式。其中第一个代表的是,最大信号量和最小信号量的比值。

而第二个计算式,则为 FWC(满阱容量)和 TN(暂态噪声)的比值,这个可以解释第一个计算式所代表的意思。

这里面的满阱容量,代表单像素的最大电荷存储量;暂态噪声,代表光电转换过程中出现的数值波动。

如上图所示,绿色部分标注 noise 的就是噪声之源——在光子转换为电子以及电子传输到 ADC 这两个过程中都会产生噪声,而暂态噪声就是这些噪声之和。

实际上第三个计算式所代表的正是这个意思,其中分母项分别标注 Quant 和 Readout 的字母N,便分别是光量子转换为电子的噪声与信号读出的噪声之意。

通过这三个计算式可以看出,要提高动态范围,就得提高满阱容量,或者减少暂态噪声。要达到这些目的,就得改变像素结构,以及改进电路设计。

落到实处,该怎么实现呢?单反上那套平面堆料之做法肯定是行不通的,毕竟整部手机的内部空间才多大。所以一般都是通过技术的进步,来改造像素的结构并改进电路设计。

例如从前照式演进为背照式,再推进到堆栈式,直至索尼最新的双层晶体管技术。这些不断演进的CIS结构技术,不仅能够提高满阱容量,还能减少读出电路的噪声。

至于光电转换噪声方面的努力,最重要的就是 DTI(深槽隔离)技术,其能将每个像素隔离,以克服光串扰;同时还能促进像素纵深的扩展,从而提高满阱容量。

当然,在动态范围方面被单反CIS碾压的手机CIS,单靠以上这些努力是不够的——那些形形色色的 HDR 技术下面就该上场了。

3,早期 HDR 技术

基础技术方面的突破完成之后,最终就轮到 HDR 技术登场了。最早被普及的 HDR 技术,就是最简单的不同曝光时间图像之多帧合成——Multi-frame HDR(多帧异曝光HDR)。

首先引入这个 HDR 技术的,是2011年发布的苹果 iPhone4S 所搭载之IMX145,这就是 iPhone4S 的传奇之处——开创性地引入“手机计算摄影”概念!

不过由于当时使用的还是背照式技术,所以合成 HDR 图像的过程都是手机芯片代劳,另外曝光时间引起的“运动伪影”也是绕不过去之难题(例如下图的“八条马腿”)。

Multi-frame HDR(多帧异曝光HDR)

于是,索尼便推出了 BME-HDR 技术,并由2012年的公版旗舰IMX135首发。

这个技术的全称为 Binning Multiplexed Exposure(像素合并多重曝光),技术原理如下图所示。就是通过合并同时进行长、短曝光的两行,从而获得高动态范围之图像。

而之所以要每两行像素为一组,则是因为 Bayer 排列的RGGB滤镜需要占用两行。

此外,由于这次的IMX135首开堆栈式技术之先河,从而让CIS的电路层集成了图像处理器——这便是硬件级HDR的基础;这不仅能更快生成HDR图片,还能实现HDR录像。

索尼 BME-HDR 技术

但是,BME 的缺点也很明显,那就是最终图像的分辨率会直接减半。当时正是追求高像素的年代,这能忍?而且其图像也不够自然。

于是,后面大法又推出了 SME-HDR 技术,其全称为 Spatially Multiplexed Exposure(空间多重曝光),该技术由2014年发布的公版旗舰IMX214首发。

如下图所示,通过“Z字形”的曝光阵列,将长、短曝光之图像融合在两行范围之内,从而将分辨率损失压到了20%的可接受水平。

索尼 SME-HDR 技术

随着大法持续地在手机端“飚像素”,2018年 Quad Bayer 排列开始流行,至此因其而生的 QBC HDR 技术也迎来了普及时刻。

这个HDR技术由2017年发布的,索尼旗舰级安防传感器IMX294首发,其利用 Quad Bayer 排列中四个同色像素聚在一起的特性,直接实现了片上HDR!

如下图所示,通过每个对角线一组的曝光策略,每组同色四像素便能输出分别对应长、短曝光的两组图像,融合之后便能得到一张HDR图像。

4,在用 HDR 技术

QBC HDR 技术可以说是 SME-HDR 技术的完美迭代,其优点除了速度快之外,效果还很好,所以非常适合应用在视频拍摄中。

但是,随着 Quad Bayer 技术的不断发展,更复杂的 QBC 3-HDR 技术后面也被开发了出来。

如下图所示,通过在同色四像素内分别施以三重曝光,其中 S、M、L 分别代表短、中、长曝光,融合后便可获得动态范围更广的HDR图像。

虽然 QBC 3-HDR 技术确实牛,能够实现等同于肉眼所见的动态范围,但其与 SME-HDR 一样皆无法彻底解决“运动伪影”问题(多重曝光所致)。

于是,在 BME-HDR 技术的基础上,索尼又研究出了 DOL-HDR 技术。这个 DOL 技术不仅没有 BME 那损失分辨率和图像不自然的两大缺点,还解决了“运动伪影”问题!但由于技术难度比较大,这项源于2018年的技术,到了2020年才由IMX766首发。

DOL 是 Digital Overlap(数字重叠)的简称,具体工作原理如下图所示——能够利用滚动电子快门的特点,让曝光与读出交织进行从而实现“准同时”曝光。

具体展开来说的话,就是以往的多帧 HDR 在执行一次曝光之后,要先从上到下完整读取出整个画面的数据,才能开始下一次曝光。

而在 DOL-HDR 技术的加持下,每行像素完成读取后,可以立即开始下一次曝光,这样就可以省下等待其它像素完成读取的时间——“准同时”曝光之原理就是这么来的。

和 BME-HDR 技术那样只有长、短两种曝光的,被称作2exp-DOL。

但这样在动态范围效果上就不如 QBC 3-HDR 技术了,于是后面又出现了包含长、中、短三曝光的3exp-DOL(下图所示)。

总结:

动态范围——要提高这个 HDR 的核心指标,一是提高满阱容量,二为减小暂态噪声。这两方面的实现方式除了CIS结构技术的进步外,还有像素细分工艺的引进。

BME-HDR 技术——索尼史上首个硬件级 HDR 技术,通过单帧长、短曝光合成解决了“运动伪影”问题,但损失了一半的分辨率,可谓是“杀敌一千自损五百”。

SME-HDR 技术——依然是单帧 HDR 技术,但对“运动伪影”问题进行妥协,将长、短曝光通过“Z字形”排列融合于单帧的每行像素之中,从而将像素损失率降低至20%。

QBC-HDR 技术——引进 Quad Bayer 排列,在四个同色像素组中分别进行长、短曝光并分别合成(SME技术的改良),后面又出现效果更好的长、中、短三重曝光之3-HDR技术。

DOL-HDR 技术——引进全新的“多帧逐行”技术,能将长、短曝光或者长、中、短曝光的多帧图像“准同时”完成,既解决了“运动伪影”问题又获得了优秀的 HDR 效果。

假如单看这些多重曝光的 HDR 技术,那么 DOL 无疑是最优秀的。但随着技术的不断进步,单曝光 HDR 技术也被研发了出来,而这个正是下篇要讲的内容。

12 阅读:1113
评论列表
  • 2024-06-04 20:42

    这都是偷华为的技术

    漫威 回复:
    [笑着哭][笑着哭][笑着哭],要理性爱国
  • 2024-07-16 17:51

    中国的键盘侠会说在某个领域已经超越索尼了[得瑟]

真义科技

简介:关注我,带你探索各种有趣硬核的手机知识📲❤️