综述:红外与可见光图像融合

MEMS 2024-02-22 00:01

图像融合旨在将来自不同源图像的互补信息融合在一起,生成一幅具有更高质量、更多信息量和更清晰的图像。红外与可见光图像融合(IVIF)是图像融合领域的研究热点。

据麦姆斯咨询报道,近期,江苏海洋大学电子工程学院的科研团队在《激光与光电子学进展》期刊上发表了以“红外与可见光图像融合:统计分析,深度学习方法和未来展望”为主题的文章。该文章第一作者为吴一非,通讯作者为杨瑞。

本文将依次回顾红外与可见光图像融合传统方法和基于深度学习的方法,并对前沿深度学习方法做重点论述。同时,对图像融合领域的性能评价方法进行系统分类和介绍;最后,对全文进行了总结以及对IVIF方法的展望。

图像融合方法

传统方法

IVIF传统方法的融合框架主要包括三个关键部分:图像配准与变换、特征提取与选择和融合规则设计。

基于多尺度变换的方法

IVIF传统方法中,基于多尺度变换是最受欢迎的方法之一。它的主要步骤包括三个阶段:第一阶段,将源图像分解成一系列的多尺度表示;第二阶段,根据手工设计的融合规则融合多尺度变换;最后,利用多尺度逆变换得到融合图像。经典的多尺度变换方法包括金字塔变换、小波变换、多尺度几何分析和边缘保持滤波器。

基于稀疏表示的方法

与带前缀基函数的多尺度变换IVIF方法不同,基于稀疏表示(SR)的方法通过学习过完备字典,能够有效地表示和提取图像信息。然而,配准误差或噪声可能会对融合后的多尺度表示系数造成偏差,造成视觉伪影。SR利用滑动窗口技术将图像分成多个重叠的块,将其矢量化以减少伪影并提高对配准不良的鲁棒性。

基于SR的IVIF方法有三个关键步骤:构建过完备字典、稀疏编码和融合策略。过完备字典的质量决定了稀疏编码的信号表示能力,可以将基于SR的方法按照构建过完备字典分为两类:固定基和基于学习的方法。用固定基构建过完备字典简单且计算效率高,而基于学习方法构建的过完备字典更灵活有效。

基于子空间的方法

基于子空间的方法,是传统方法中比较常用的一种方法。这种方法通过将高维输入图像投影到低维空间或子空间中,捕获源图像的内部结构。典型的基于子空间的方法包括主成分分析、独立成分分析和非负矩阵分解。

基于显著性的方法

基于显著性的IVIF方法可以保持显著目标区域的完整性,减少噪声、模糊和其他干扰,从而提高融合图像的视觉质量和清晰度。权重计算和提取显著对象是红外与可见光融合中两种常见的显著性方法。

基于深度学习的方法

基于自动编码器(AE)的方法

由于神经网络在数据驱动模式下具有较强的非线性拟合能力,为了进一步提高图像融合质量,研究者们提出了一系列基于AE的融合方法,融合框架如图1所示。该类方法一般由两个步骤组成:首先,使用大型数据集预训练自动编码器,其中编码器用于特征提取,解码器用于图像重建。然后,大多结合手工设计的融合策略将编码特征进行融合以实现最终的图像融合。

图1 基于AE的IVIF框架

基于AE的方法都采用了手动设计的融合策略,尽管取得了不错的融合效果,但融合结果可能并不理想。解决手工设计融合策略问题是改进基于AE方法的一个研究方向。

基于卷积神经网络(CNN)的方法

CNN是一种典型的神经网络模型,具有很强的特征提取能力。基于CNN的IVIF方法(如图2)通常依靠神经网络强大的拟合能力,在精心设计的损失函数或真值标签下实现有效信息的提取和重构。

图2 基于CNN的IVIF框架

基于生成对抗网络GAN)的方法

随着生成对抗网络(GAN)的出现,由于其能够生成信息丰富、视觉效果良好的图像,因此在图像IVIF领域得到了广泛应用。基于GAN的图像融合网络(如图3)主要由生成器和判别器组成,通过利用判别器对生成器生成的融合图像与判别依据进行判别,其中判别依据可以是源图像,也可以是其他方法生成的融合图像。如果判别为假,通过不断调整生成器的参数重新生成融合图像,直到判别器判别为真,通过上述对抗过程最终生成更高质量的融合图像。

图3 基于生成对抗网络GAN的IVIF框架

基于变换器(Transformer)的方法

现有的基于深度学习的方法通常采用卷积操作进行特征提取,捕获图像局部特征;但容易忽略图像中存在的远距离依赖关系,训练过程中会损失一定的全局信息。近年来,一些最新的图像融合研究工作发现,Transformer在处理序列数据和建模远距离依赖关系方面表现出色,研究人员提出了很多基于Transformer的IVIF方法,融合框架如图4所示。

图4 基于Transformer的IVIF框架

IVIF性能评价方法

IVIF技术已广泛应用于目标识别、视频监控和医疗卫生等领域。然而,不同融合方法得到的融合图像具有不同特点,而融合图像的质量很大程度上影响着实际应用中的性能。因此,研究人员提出了许多方法来评估融合图像的质量,这些方法可以分为主观评价方法和客观评价方法。

主观评价方法

主观评价方法是最直接的评价方法,可以反映人类对多种因素(如清晰度、对比度、颜色自然度等)的主观感知,从而更真实地评估图像融合结果对视觉的影响,更接近实际应用中人们的实际感受。然而,受主观性和主观偏见等因素的影响,为了更准确地评估图像融合算法,通常会将主观评价与客观评价方法相结合,以获得更全面、可靠的评价结果。

客观评价方法

客观评价方法旨在量化评估融合图像与源图像之间的差异,以判断融合算法的性能和效果。这些方法利用各种指标和技术来测量融合后图像的质量、信息保留程度、对比度、颜色平衡等方面的特征。

综上所述,红外与可见光图像融合的客观评价指标主要从融合图像的信息量、特征、结构、视觉效果和相关系数等方面进行评价。其中,信息论类指标主要关注图像信息的增益,特征类指标反映图像的亮度、对比度等特征,结构相似性类指标注重衡量图像结构的相似性,视觉感知类指标强调图像视觉信息的保留量,而相关性类指标主要考虑图像之间的相关性。因此,在实际应用中可以根据任务需求选择适当的指标类别,或者根据具体情况综合考虑不同类别的指标来评价融合结果的性能。

总结与展望

本文对三大工程类在线文献数据库近20年相关论文发表情况进行了分析,并单独对各类基于深度学习的IVIF算法文献发表数量统计分析,研究发展趋势,为IVIF的新技术研究提供参考。同时,在此基础上回顾了IVIF技术的研究现状,介绍了传统方法,并详细比较了基于深度学习的方法。此外,还对五大类IVIF图像融合性能评价方法进行了比较分析。

目前红外与可见光图像融合技术已经许多成果,但是仍有还存在许多问题亟待研究者们去解决。在未来一段时间内,改进红外与可见光图像融合方法将包括以下几个方面:

(1)图像配准方法的研究。现有融合算法大多都是基于已配准的源图像。然而,在实际应用中,不同类型传感器很难捕获空间严格对齐的图像,空间信息的不匹配将极大影响融合图像的质量。因此,精确的配准算法的研究就显得尤为重要。

(2)融合图像色彩保真度问题。现有IVIF方法大多只关注于融合可见光图像的梯度信息和红外图像的强度信息,很少注意到保留可见光图像中颜色信息的重要性。但是从Yue等人研究中可以清楚地发现具有高色彩保真度的图像更适合人类的视觉感知。因此,在保留强度信息和梯度信息的同时,保留可见光图像的色彩保真度是未来提升融合图像质量的一个重要研究方向。

(3)提升图像融合的效率。近年来研究者基于深度学习的方法,提出了更大更深的模型来提升图像融合的性能,但同时影响了图像的融合效率。未来IVIF方法的高效性也是研究者的重点关注方向之一。

(4)创新基于Transformer的方法。目前,已经涌现了很多基于Transformer的IVIF方法,但是,将Transformer应用到IVIF任务中还处于起步状态,未来将会浮现出更多基于Transformer的IVIF方法,Transformer解决全局依赖关系的能力会被更多、更好的挖掘。

(5)结合高级视觉任务。现有的大部分IVIF 方法都能够很好的加强红外与可见光融合的图像视觉质量,获得不错的定量指标。但是,目前方法中针对下游应用任务的要求考虑较少,不能很好的满足下游应用的具体需求。所以,在保持良好图像融合效果的情况下,又能符合具体视觉任务需求将是今后研究的一个重要课题之一。

(6)完善的性能评价方法。红外与可见光图像融合由于没有真值标签,如何准确评估融合算法的性能没有统一完善的标准。不同的研究需求和应用领域可能会选择不同的评价指标,这使得比较不同方法的结果变得有挑战性。所以,需要进一步建立一种更为通用、公平和能被广泛接受的图像融合评价标准。

论文链接:

DOI: 10.3788/LOP232360

延伸阅读:
《新兴图像传感器技术及市场-2024版》
《光谱成像市场和趋势-2022版》

MEMS 中国首家MEMS咨询服务平台——麦姆斯咨询(MEMS Consulting)
评论 (0)
  • 一、栅极驱动器介绍栅极驱动器介绍,为什么需要栅极驱动器,在数字信号和功率信号,数字信号是输出没有驱动能力,通常也只有1.2V ,2.5V, 3.3V,5V,不只是电压低,无法驱动12v的MOSFET,20V-30V的IGBT, SIC等,而且没有驱动电流能力,所以需要一个栅极驱动器起到桥梁的作用1.栅极驱动器的作用总结如下:1.1 将控制器的低压信号转化为更高电压的驱动信号,以实现功率器件稳定导通和关断。1.2 栅极驱动器能提供瞬态的拉和灌电流,提高功率器件的开关速度,降低开关损耗。1.3 驱动
    王萌 2024-04-18 15:39 271浏览
  • PAVELINK.SOA-Converter转换工具,用于衔接基于SOA的控制器设计、开发及测试过程中所常见的各类软件工具。PAVELINK.SOA-Converter能提供IDL及服务矩阵等文件的语法及规则检查,自动化完成多种不同格式IDL文件之间的转换,以及其它常用的各类型格式文件转换。PAVELINK.SOA-Converter支持多种行业主流研发工具所使用的IDL,如FIDL、OMG IDL、ROS2 Msg、Protobuf、vCDL等,并对AUTOSAR CP/AP平台模型文件、总线
    北汇信息 2024-04-19 09:44 83浏览
  •       伴随着汽车与外界的交互手段不断丰富,车联网相关设备、系统间的数据交互更加频繁,万物互联下的网络攻击也逐渐渗透延伸到车联网的领域。汽车行业面临着重大的信息安全挑战。此外,UNECE WP.29 R155和ISO/SAE 21434标准也对汽车的信息安全提出了规范化的要求,旨在产品全生命周期中,分阶段将信息安全威胁导致的风险降低到合理的范围,汽车信息安全不容忽视。      经纬恒润针对ISO/SAE 21434、WP.29 R
    经纬恒润 2024-04-19 11:57 96浏览
  • 一、实验目的学习G711音频的格式和G711A音频编码的原理,并实现将PCM格式编码为BIT格式。二、实验原理G711G711是国际电信联盟订定出来的一套语音压缩标准,主要用于电话。它主要用脉冲编码调制对音频采样,采样率为8k每秒。它利用一个 64Kbps 未压缩通道传输语音讯号。起压缩率为1:2,即把16位数据压缩成8位。G711是主流的波形声音编解码器。PCM是对模拟的连续信号进行抽样,G711则是对PCM数据进行再一次的抽样。G711主要是对16bit的PCM进行抽样,取到PCM的高位数据
    创龙教仪 2024-04-18 16:12 86浏览
  • 随着科技的不断进步,汽车行业也在经历着一场革命性的变革。智能汽车技术的发展,尤其是车联网技术的应用,正在改变我们对汽车的认知和使用方式。在这一背景下,比亚迪E3作为一款新能源汽车,其在驾校领域的CAN数据应用,不仅提升了教学效率,还为驾驶培训带来了前所未有的安全性和便捷性。 一、比亚迪CAN数据系统CAN(Controller Area Network)即控制器局域网络,是一种用于汽车内部通信的网络协议,它能够实现车辆各个电子控制单元之间的信息交换。比亚迪E3通过CAN数据系统,能够实
    lauguo2013 2024-04-19 10:11 90浏览
  • HDMI(High Definition Multimedia Interface)是一种高画质多媒体接口,它被广泛应用于各种电子设备,其中当然也包括了笔记本电脑。HDMI接口不仅可提供高质量的影音传输,更大幅简化了数字设备之间的连接。只要在笔记本电脑上使用HDMI即可轻松地将计算机连接至各种显示器。时至今日,HDMI已是当今笔记本电脑的主流影音接口之一,而HDMI 2.1则是目前最新标准,虽然HDMI 2.1提供了一系列令人振奋的功能和改进,但在市场上仍存在一些潜在的风险和挑战,其中又以兼容性
    百佳泰测试实验室 2024-04-18 16:20 113浏览
  • 来源:虹科汽车电子 虹科技术丨全新Linux环境PCAN驱动程序发布!CAN/CAN FD通信体验全面升级!原文链接:https://mp.weixin.qq.com/s/4RXqjUa_odEaxAhcfQOHaA欢迎关注虹科,为您提供最新资讯!#PCAN #Linux #CAN导读全新8.17.0版本的PCAN-Linux驱动程序正式发布,专为CAN和CAN FD接口量身打造。无论是CAN 2.0 a/b还是CAN FD的PCAN硬件产品,都能在我们的新驱动下“驰骋自如”。想要体验字符模式设
    虹科电子科技 2024-04-19 10:43 97浏览
  • 来源:虹科汽车电子 虹科干货丨轻松掌握PCAN-Explorer 6,dll调用一文打尽!原文链接:https://mp.weixin.qq.com/s/ShG8B7-iUJ9OokOHSNBX2Q欢迎关注虹科,为您提供最新资讯!#CAN #CAN FD #dll调用导读虹科PCAN-Explorer 6(下称“PE6”)作为一款专业的CAN/CAN FD网络处理软件,不仅提供了强大的报文监控和发送功能,还通过其创新的dll加载功能,为用户带来了更加灵活和高效的批量逻辑操作体验。本文将详细介绍如
    虹科电子科技 2024-04-19 10:39 78浏览
  • 电子产品上的连接器扮演着重要的角色,它们在整个装置中负责着连接电路并传输讯号的关键功能,可谓是装置内部结构不可或缺之一。这些连接器的性能和质量直接影响着整体系统的运作效能,因此在设计和制造过程中对于这些组件的选择相当重要。在众多连接器的组件中,接触件更是其中的核心零件,其作用类似于系统的桥梁,负责确保电流的顺畅传输和信号的稳定传递。这些接触件的设计和制造必须考虑到各种环境因素,例如:温度变化、湿度、振动等,以确保其在各种条件下都能够保持稳定的性能。潜在风险当电子产品受到振动时,接触件可能会面临以
    百佳泰测试实验室 2024-04-18 17:05 122浏览
  • 科技云报道原创。OpenAI“宫斗”大戏即将尘埃落定。自首席执行官Sam Altman突然被董事会宣布遭解雇、董事长兼总裁Greg Brockman辞职;紧接着OpenAI员工以辞职威胁董事会要求Altman回归;再到OpenAI董事会更换成员、Altman回归OpenAI。表面上看,这似乎是一场针对一家独领风骚的技术初创公司控制权的争夺战,但从种种迹象来看,此次“宫斗”的导火索,更多应源自对AI未来发展理念的分歧:一派扛着“加速主义”旗帜,希望AI在技术精英的带领下加速前进改造世界;另一边则是
    科技云报到 2024-04-19 11:21 141浏览
  • 各大Logo更新汇报 | NEW百佳泰为ISO/IEC17025实验室,亦获得国际协会授权,可提供超过30种标准认证测试,特为您整理2024年4月各大Logo的最新规格信息。Bluetooth▶蓝牙取证资格新流程■ https://www.bluetooth.com/download/qprd-document/▶In-Person UPF■ 美国Bellevue, 2024/9/9~2024/9/12▶IOP测试活动■ 德国慕尼黑, 2024/4/8~2024/4/12PCIe▶PCI-SIG
    百佳泰测试实验室 2024-04-18 16:40 102浏览
  • 用 Raspberry Pi 打造安全的能源服务物联网基础设施,创造更可持续的未来。EpiSensor 采用 Raspberry Pi Compute Module 4 为能源服务创建物联网基础设施层,帮助加快全球可持续能源转型。未来几年,数以百万计的能源消耗和生产设备将连接到互联网,以实现新能源经济并促进向可持续能源的快速过渡。传统的计量、控制和自动化系统从来都不是为了解决这个问题而设计的——它们需要高水平的技术专业知识才能部署,而且过于复杂和昂贵——拖慢了能源服务公司的发展速度。E
    树莓派开发者 2024-04-18 18:08 94浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦