相机图像信号处理流程(ISP)

混说Linux 2023-12-08 19:00

点击左上方蓝色“混说Linux”,选择“设为星标

第一时间看干货文章



 1

本文是图像信号处理流程的一个总体的介绍,以便更好理解一张照片究竟是如何诞生的,实际的技术要复杂很多。

 

1. 传感器捕获光信号

现在的相机多使用CMOS作为传感器,不同的相机有不同的画幅,如常见的APS-C画幅、全画幅等。总的来说画幅越大,即传感器尺寸越大,最终的成像质量会越好,因为可以捕捉到更多的光信号。

常见的彩色图像格式是RGB三通道的,但是最开始的光信号采集却不是每个像素都会采集RGB三个像素的信息,这样做会有成本以及空间的问题,而是收集三种不同光的Sensor成拜尔阵列分布,后续再通过插值等手段去恢复。
CFA的作用是过滤其他光线,使得我们需要的红、绿、蓝三种波段的光才能进入传感器。

但是不同的CFA(color filter array)过滤后,最终相机对于不同波段的光的敏感度曲线也是有差别的。

Sensor最终的值是光强和曝光时间的线性函数,结合前面的人眼的敏感曲线,这个阶段其实是对真实世界的光辐射的一个捕捉,并没有结合人眼特性去处理。

这个时候的图像也不是电子设备可以显示的常见色彩空间,需要后续进行转换,直接显示RAW-RGB会非常奇怪。

 

2. ISO和RAW格式图像处理流程

ISO
玩摄影的知道ISO代表感光度,值越高相机对光线敏感度越高,暗光下需要调高ISO,但是随之而来的是噪点会变明显。

但是其实相机捕捉到的实际光信号是不会因ISO变化而改变的,受限于光圈大小和Sensor曝光时间(快门时间),调整ISO本质上是调整传感器对得到的光信号的放大倍数,而在放大这个信号的同时,噪声也被放大了,就出现了前面提到的现象。
像素强度(Pixel "intensity")是个绝对值,主要取决于:
  • 增益(ISO)
  • 曝光时间(Exposure)
  • 将信号数字化的硬件设计


暗电流矫正(Black Level Correction)与光学暗区(Optical black

即使没有光照,电路中也会存在噪声电流等。所以传感器会有一块光学暗区(OB)去捕捉没有光线时候采集到的信号,然后再用实际捕捉到的信号减去OB的信号,以减少噪声。

缺陷像素遮盖(Defective pixel mask)


传感器的可能存在一些有缺陷的相机,一般由相机厂商完成,通过插值等方法去处理。

平场矫正(Flat-field correction)

由于镜头、传感器位置等原因,会导致传感器最终捕捉到的不同区域的光强并不平均(有点类似一些镜头拍出来会有暗角),需要人为对对应的区域做补偿或者抑制。

 

3. 去马赛克

即前面提到的,由于CMOS的RGB采集像素是分布不均匀的,需要通过插值去进行补偿,使得最终得到的每个Pixel都有RGB三个通道的值。
文章里提到了两个插值方法,即简单的平均插值,或根据与周围像素的相似度去分配权限求加权平均去插值。但是发展到今天实际上的技术应该要复杂很多,就不赘述了。

  • 平均插值:

  • 按相似度加权:
另外现在的很多传感器其实也不再采用拜尔阵列,而是有其他不同的排布方式。

 

4. 降噪(Noise reduction)

接下来会根据噪点的大小去采取不同程度的降噪处理,噪声越大采取的算法越激进,但是这个过程中其实会丢失很多信息与细节(例如手机由于传感器比较小,往往需要更激进的降噪算法)。

噪声主要来源:
  • 由于光子自身量子性质产生的噪声,这部分是与成像系统无关的,服从泊松分布;
  • 传感器和电路系统自身的噪声,如暗电流等,服从正态分布;

而增益g又进一步放大了这个噪声(即IOS),所以一般ISO越高需要采取更加激进的降噪算法。
文中提到了一个简单的降噪算法,现在采用的技术会更复杂,但是思路值得借鉴。
  • IOS越高,通过滤波进行模糊。

  • 由于滤波也会丢失细节,用原图减去滤波后的图像,认为数值高的地方为原本的细节,再把这部分添加回来,可以找回一部分细节。

 

5. 白平衡(White-balance)和色彩空间变换(White-balance)

这个部分需要把raw—RGB转换到一个通用色彩空间,以供后续处理,文章以CIE XYZ为例,但是实际上常用ProPhoto RGB。

白平衡

  • 第一个阶段即需要通过白平衡去矫正原来的raw-RGB的值。
首先要得到Sensor对于光照环境的RGB值,然后用这个对角矩阵变换,就可以得到白平衡之后的颜色。
这里最关键的其实就是如何去得到这个白平衡设置值,这个值可以根据经验以及环境光照的色温去手动设置,也可以借助成像设备的自动白平衡算法去计算得到,但是这个就对白平衡算法的要求比较高,目前还有很多人在研究。

而白平衡中最关键的就是我们要知道哪里是图片中白色区域或者灰色区域,文章提到了两个简单的算法:

第一种就是“Gray world”算法,假设平均光谱的值是灰色,图像的平均应该具有相同的能量,即R=G=B,基于这个假设将图像的平均作为灰色。
第二种方法假设高光点是光源的一个镜面反射,那么就可以以R,G,B的最大值去估计光源的颜色。

同样实际上的白平衡算法会更加的复杂,这里只是个基础的传统处理方法。

色彩空间转换

  • 第二个阶段是将raw-RGB映射变换到CIE XYZ色彩空间。
相机厂商会先去标定两个极值下(CCT 2500K与CCT 6500K)的CST矩阵,后续的在这个范围内的色温就可以通过这两个标定好的极值去做插值得到,就像这里的4300K。所以这个阶段的变换矩阵也同样需要上阶段估算出环境色温。

 

6. 调色(Color manipulation)

基本工作完成后,在这个阶段对色彩进行调整或者风格化处理,使得最终的成像看起来更漂亮。不同相机厂商成像风格的差异应该也主要在这个阶段产生,不同厂商有不同厂商的色彩科学。
一般来说通过LUT(3D Look up table)和1D的曲线进行调整,摄影后期LR或者PS调色的色调曲线应该也是在进行这一步一样的工作。

再进一步的,也可以针对不同区域、和颜色进行单独的调整(Local tone mapping & Selective color manipulation),LR和PS等后期软件中也有类似的针对不同区域、颜色的单独调整功能。

  • 关于皮肤调色相关文章,有空研究研究

 

7. Re-scaling image

即根据取景器要求重新进行缩放,也可以叫做数码变焦或者超分辨率,传统的方法这里没有提,这方面AI的方法好像用的更多。

 

8. 色彩空间转换(sRGB conversion (or other color space))

最后转换到我们需要的色彩空间,并且使用Gamma编码,之前有提过即给人眼更敏感的暗部分配更多的编码空间

 

9. 图像压缩

即将图片进行压缩,涉及到图像压缩编码技术比较复杂,这里只了解流程。
最常见的就是jpeg压缩,但是文章中提到现在苹果已经在使用的HEIC正在慢慢替代他们。

 

10. 零延时拍照技术 (Zero Shutter Lag)

比较好理解,由于图像的处理经过前面各个流程是需要一定的时间的,所以如果按下快门才开始记录,实际得到的是有时延的。

所以实际上当取景器开始预览,相机便已经开始不断的去缓存快照,当按下快门后,根据按下时间去找对应的缓存帧就可以实现零延时。





往期推荐

从校招入职腾讯的四年工作总结

嵌入式软件中预编译指令常见用法

单片机裸机 vs RTOS多线程

玩嵌入式得弄明白DMA原理

混说Linux 百度研发工程师,分享Linux干货,和大家一起学习!
评论 (0)
  • 来源:虹科工业智能互联 虹科技术丨PTP时钟源设备全攻略:从普通时钟到透明时钟的进阶之路原文链接:https://mp.weixin.qq.com/s/ArBtuLpU6mXax4QWmZDKfQ欢迎关注虹科,为您提供最新资讯!#PTP #普通时钟 #透明时钟导读在现代通信技术中,精确时间同步对于保障网络性能至关重要。PTP(Precision Time Protocol)时钟源设备作为实现高精度时间同步的关键组件,其配置和选择对于网络架构师和工程师来说至关重要。本文将探讨普通时钟和透明时钟的特
    虹科电子科技 2024-02-22 16:15 82浏览
  • 非常荣欣参加了这次《物联网鸿蒙系统App开发》试读体验活动,同时非常感谢面包板论坛举办此活动。本书印刷还是非常新颖,具有精美漫画。下图为图书正面。作为新一代物联网操作系统,鸿蒙不仅可以应用在手机上,汽车、家电、手表、眼镜、AR/VR设备等都可以使用鸿蒙系统。物联网将以我们肉眼可见的速度发展,目前国内外掌握鸿蒙开发技术的人员相对较少,我们相信,你的加入会让这个行业生气勃勃,充满无限的想象力。新的物联时代正在到来,鸿蒙系统能催生出更多的应用场景,让我们一起见证鸿蒙的魅力吧。本书在编写过程中,尽可能做
    shenwen2007_656583087 2024-02-22 13:44 165浏览
  • 概述 AP8P059 是一款集成低压 LDO、光 控、充电控制、过充保护、欠压保护、PIR 感应、延时为一体的人体感应太阳能 LED 灯控制芯片,只需要很少的外接元件,适 用于锂电池供电的PIR人体感应LED灯具 的应用。 外置的一级带通增益放大 器便于客户调整感应灵敏度,可与多个品 牌 PIR 传感器匹配,进行信号预处理。 还内置了高精度高PSRR的 LDO,该 LDO 给 PIR 传感器供电,可有 效抑制电源和环境噪声,提高抗干扰能力。 采用了 SOP8 封装。 特点  工作待机电
    Auguss 2024-02-23 15:00 50浏览
  • 在科研的世界里,概率论就像一座坚实的桥梁,连接着理论与实践。说到概率论,不得不提门捷列夫纸牌和法拉第抛磁铁这两个有趣的故事。门捷列夫,这位化学界的巨匠,不仅在元素周期表上做出了卓越贡献,还以他的智慧和幽默为概率论教学带来了乐趣。据说,在一次概率论的课堂上,他拿出了一副特制的纸牌,牌面上印有各种化学元素和反应。学生们通过洗牌、抽牌等游戏形式,亲身感受到了概率的奥妙,这不仅使概率论变得生动有趣,还加深了对这一学科的理解。而法拉第,这位电磁学领域的先驱,也曾在科研中巧妙地运用了概率论。他著名的抛磁铁实
    丙丁先生 2024-02-23 05:32 69浏览
  • 在《WiMinet 评说 1.2:多跳无线网络的现状》一文中,我们提到:在室外长距离的无线自组织网络中,由于节点之间的链路损耗较大,其链路预算相对不足,其包误码率PER会相应升高,也就是丢包概率 p 会比较大;而在一个大规模网络中,某些分支节点的通讯链路又会比较深,也就是网络跳数 n 比较大,在这种情况下其通讯成功率Pn自然也就显著下降了,人们的切身感受就是这个链路不太稳定。 此时人们的第一反应自然是上 TCP 算法,在发送节点启用 TCP Client 算法,在接收点启用 TCP Se
    微网高通WiMinet 2024-02-23 15:24 46浏览
  • 固态光耦合器是一种光学器件,通常用于隔离和传递电信号或数据信号的装置。在不断发展的电子领域中,一个经常被忽视的关键组件是固态光耦合器。尽管它对于确保电子系统的顺利运行具有重要意义,但许多用户发现自己缺乏对其内部工作原理以及相对于传统同行的优势的详细了解。固态光耦合器基础知识:固态光耦合器,也称为光隔离器,是设计用于使用光波传输电信号的重要组件。与传统设备不同,这些设备利用半导体技术,结合发光二极管(LED)和光电探测器来实现信号隔离。内部组成及工作原理:让我们深入研究这些非凡组件的核心。典型的固
    腾恩科技-彭工 2024-02-23 16:18 52浏览
  • 在一个繁忙的化工厂里,三个控制方法——概率控制、PID控制与前馈控制,各自担当着重要的角色。一天,化工厂接到一个紧急任务,需要生产一种新型的高分子材料。这种材料的生产过程对温度、压力和流量的控制要求极高,稍有差池就会导致产品质量不达标。面对这一挑战,化工厂决定让三种控制方法联手,共同确保生产过程的稳定性和精确性。概率控制首先站了出来。它说:“我先来做个大概的预测,根据历史数据和经验,我们可以估算出生产过程中可能出现的各种情况及其概率。这样,我们就可以提前做好准备,应对可能出现的风险。”PID控制
    丙丁先生 2024-02-23 05:38 70浏览
  • 双方的合作可助力开发人员在两分钟内将新开发板配置入网 致力于以安全、智能无线连接技术,建立更互联世界的全球领导厂商Silicon Labs(亦称“芯科科技”,NASDAQ:SLAB)日前宣布,公司与开源硬件和软件领域的全球领导者Arduino建立了新的合作伙伴关系,将支持Arduino开发者社区的3,300万用户更好地实现Matter over Thread应用的无缝开发。Arduino的首个Matter软件库是与芯科科技合作开发的,目前可在芯科科技的xG24 Explorer套件和
    电子科技圈 2024-02-23 11:44 62浏览
  • 产品描述AP2915 是一款可以一路灯串切换两路灯串的降压恒流驱动器,高效率、外围简单、内置功率管,适用于5-80V 输入的高精度降压 LED 恒流驱动芯片。内置功率管输出最大功率可达 12W,最大电流 1.2A。AP2915 一路灯亮切换两路灯亮,其中一路灯亮可以全亮,可以半亮。AP2915 工作频率固定在 150KHZ左右,同时内置抖频电路,可以降低对其他设备的 EMI干扰。另外采用平均电流采样模式,可以提高宽输入电压情况下的电流精度。AP2915 带有输出短路保护功能,5V~80V 输入条
    Auguss 2024-02-23 14:14 56浏览
  • 在不断发展的技术领域,光耦合器在确保无缝通信和可靠信号传输方面的作用变得越来越关键。本文深入探讨了光耦合器的复杂性,阐明了其重要性,探索了进步,并解决了光耦合器技术人员面临的常见问题。光耦合器基础知识:光耦合器,也称为光隔离器,是电子电路中的重要组件,旨在使用光波传输电信号。核心原理涉及通过光束传输信号,确保输入和输出之间的电气隔离。智能光耦合器的演变:随着智能光耦合器的出现,光耦合器的传统用途得到了扩展。这标志着一个革命性的时代,光耦合器无缝集成到智能系统中,实现互联世界中各种设备之间的通信。
    腾恩科技-彭工 2024-02-23 16:16 42浏览
  •        电子工程是近年来兴起的新兴学科,它的发展对现代社会的科技进步有着重要的推动作用。在学习电子工程的过程中,我不仅获得了扎实的专业知识,还培养了实践能力和解决问题的能力。下面我将分享我在电子工程领域的心得体会。       学习电子工程的过程中,遇到了许多困难和挑战,但我从未放弃。我坚信,只有坚持不懈,才能克服困难并取得成功。通过自主学习和实践,我掌握了许多基础的电子知识和技能。随着时间的推移,我的自信心也
    1316492391 2024-02-22 09:41 103浏览
  •  配图来自Canva可画受宏观环境影响,降本增效成为多数企业发展的主旋律。企业大规模缩减开支成为了市场常态,这使得多数SaaS企业TO B端的生意受阻,一些关于SaaS寒冬的传言愈演愈烈,作为SaaS领域最重要的细分赛道之一,CRM SaaS也处于不温不火状态。头部CRM SaaS厂商的运营情况往往综合反映行业的景气程度,是整个行业的晴雨表。在海外,美国客户关系管理软件巨头Salesforce深陷裁员风波。知情人士称,美国客户关系管理软件巨头Salesforce将裁员近700人,约占该
    刘旷 2024-02-23 11:24 76浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦