基于FPGA视网膜机理的色调映射处理器

FPGA技术江湖 2024-05-24 07:57

大侠好,欢迎来到FPGA技术江湖,江湖偌大,相见即是缘分。大侠可以关注FPGA技术江湖,在“闯荡江湖”、"行侠仗义"栏里获取其他感兴趣的资源,或者一起煮酒言欢。



概述


图像作为当前人工智能技术发展当中的重要组成部分,已经得到越来越多学者的重视和研究。在人脸识别、图像分类、目标跟踪等神经网络的应用场合,图像中的信息提取是实现相关技术的基础。因此如何将弱光或者局部过暗的图像中的信息更好的提取出来,是当前众多学者的研究的一个方向。

在目前现有的文献研究中主要有色调映射及其改进的相关算法和直方图均衡算法。色调映射是在有限动态范围媒介上近似显示高动态范围图像的一项计算机图形学技术。目前国内外对于数学算法层面的色调映射技术进行了深入的研究,其中阿兰·霍尔等人提出了基于数学指数型运算的色调映射算法,该算法使用局部和全局图像信息来改善对比度并增加色调映射图像的亮度,根据原图像中的不同区域亮度信息不同的特点来均衡的改善图像的亮度,使得处理后的图像看起来更加自然.同时安巴拉桑迪等人使用FPGA在硬件上实现了该基于数学指数型运算的色调映射算法,在硬件上能够获得良好的视觉质量并具有良好亮度和对比度的图像.在处理 1024*768 的彩色图像时可以达到每秒 126 帧的实时速率,并且将其硬件处理后的图像有软件处理后的相比较,峰值信噪比PSNR)为 57.30、只略微超过了正常值,说明其硬件架构在处理数据精度上存在着一定的问题。

除此之外,还有众多色调映射相关的图像处理算法被相关学者提出来,如奥菲利等人在基于数学指数型运算的色调映射算法的基础上,添加了自动参数选择器,可以根据每个待处理的图像自动调节算法中的相关系数,以便达到更好的处理效果,该文献实现了实时处理的效果,但是容易产生光晕,影响视觉效果。此外拉克尔·乌雷尼亚等人还将人眼视网膜中的双极细胞的部分原理与传统的直方图均衡算法相结合起来,它以比传统方法更自然的方式改善图像细节。同时在GPU以及FPGA上实现该算法,达到了实时处理效果。 

目前来看,较多的色调映射以及直方图均衡算法的改进基础都是在传统的数学原理层面上的改进,缺少人眼视网膜处理图像的自然感觉.虽然采用了人眼视网膜的原理,但是也和传统的直方图均衡算法结合起来,没有全部运用人眼视网膜的原理。同时目前已有的色调映射处理器存在着以下问题。首先是处理速度,虽然部分文献中的处理速度可以实现实时的效果,但处理速度仍然有限,难以用于自动车辆和无人机监控等高清视频流的处理应用之中。其次在功耗优化方面也投入较少,使得已有的一些色调映射处理器难以应用到一些嵌入式设备之中。



主要创新点

 

1、视网膜算法的采用

针对当前已有的色调映射相关的图像增强处理器,本作品的处理器设计思路来源于人眼视网膜能够有效地处理HDR图像以及弱光条件下图像。因而将人眼视网膜中的水平细胞和细胞功能首先算法化,软件上实现功能,然后再实现到硬件上,从而可以真正实现实用的效果.据我们所知,这是第一款完全采用人眼视网膜机理的色调映射处理器。


2、高速低功耗

所设计的处理器在以XC7Z020芯片为基础的PYNQ-Z2的平台上处理256*180的高清图像,可以达到700帧的实时速率,并且能效比(每秒钟每毫瓦可处理的像素点数)为146452的性能,在以Virtex-7芯片为基础的VC707平台上处理1280*768的高清图像,可以达到189帧的实时速率,150 MHz的电路工作频率,功耗0.819W并且能效比为544453,在目前已有的色调映射处理器中,性能最佳。


3、多种硬件技术的设计

本篇所设计的处理器根据所应用的人眼视网膜算法的特性,创新性的设计了几种硬件技术,从而提升处理器整体的处理速度并降低功耗。以下简要介绍技术内容,后文将会详细介绍技术的细节内容。

1) 采用S形卷积核滑动的基于并行处理的数据分块技术。用于减少在进行卷积时从内存中提取图片数据的功耗,并提升提取图片数据的速度,从而提升整体速度和降低功耗。

2) 相邻帧特征共享技术。在处理器使用的人眼视网膜算法中,对于待处理的图像帧需要计算其均值和标准差,根据视频流相邻帧具有相似均值和特征值,从而设计相邻帧特征共享技术,从而降低功耗和提升速度。

3) 多层卷积流水技术。本文所设计的处理器中共有两层卷积,占据主要的处理时间和功耗,因而设计了多层卷积流水技术,进一步提升速度和降低整体功耗。

4) 卷积核滤波器压缩技术。处理器中的卷积部分的卷积核,其数据中含有大量的零元素以及其非零元素具有中心对称的特性,因而采用该技术,压缩卷积核数据,减少RAM存储空间以及降低从RAM中提取卷积核数据的功耗。



系统架构


1.整体设计方案

如图2-1所示,本系统主要是由硬件部分组成,核心部分是基于FPGA的处理器芯片。本系统的主要是由硬件组成外加两个显示和收集图像设备组成,硬件部分主要是采用Xilinx公司的FPGA芯片,本文的处理器目前是采用XC7Z020或Virtex-7芯片作为处理器核心。系统总共有脱机和非脱机两种工作方式,脱机方式是通过处理器外接高清摄像头获取当前所在环境的图像,并发送到核心处理器中进行处理。非脱机方式是采用处理器外接PC端,可以将互联网上的高清视频流发送到处理器进行处理。本系统的核心是硬件处理器模块,同时为了验证图片处理后对边缘检测和人脸识别效果等技术的改善,在PC端软件部分附加了人脸识别和边缘检测模块可以用来说明基于视网膜机理的色调映射处理器模块处理后图像的优越性。

图2-1系统整体结构图

2.基于视网膜机理的色调映射算法原理概述

这一部分,我们简单介绍下我们使用硬件实现的受视网膜启发而改进的色调映射算法。算法整体的基本原理框图2-2所示。

基本原理是三部分:

1)光感受器:首先是利用光感受器将视网膜感受到的光图像转化为电讯号,并传输到后面接下来的处理层。如图2-2中的“受体”层所示,网膜水平细胞的原理

2)水平细胞:然后是利用水平细胞的原理,对视网膜光感受器输出的信号进行亮度调节,实现视觉的亮度适应,并增强边缘对比度,突出景物轮廓。如图2-2中的“水平细胞”层所示。

3)双极细胞最后是利用双极细胞原理,整合水平细胞的输出信号,并传递至神经节细胞和无长突细胞,最后输出到中枢视觉处理区域。如图2-2中的“双极细胞”层所示。

2-2人眼视网膜算法整体原理框图

因此该算法作者将上述处理过程整合成如下的数学处理模型。

1)光感受器采集输入图像的均值和方差。

2)水平细胞的调整区域的计算公式:

 

其中n∈{1,2,3,4},代表rgb三通道,*是卷积操作(15*15卷积),𝐻𝐶𝑖𝑛𝑛(𝑥,𝑦)是对应输入图像(𝑥,𝑦)处的像素,𝑔(𝑥,𝑦;𝜎𝑛(𝑥,𝑦))是(𝑥,𝑦)处像素对应的卷积核.此处滤波器标准差𝜎𝑛(𝑥,𝑦)是一个动态值.根据当前像素点的取值区间来判断选择相应的标准差,从而不同的像素点可能会得到不同的卷积核.如表1所示,其中s,m分别为整个输入图像的标准差和均值。

3)双极细胞调整区域计算公式:


其中𝑓𝑛(𝑥,𝑦)为原始输入图像,n∈{R,G,B},𝐷𝑜𝑔(𝑥,𝑦)是双极细胞处理部分的卷积核(7*7卷积),是一个确定值.)BCou𝑡𝑛(𝑥,𝑦)即为图像处理算法的最终输出。


3.处理器硬件整体架构电路方案设计
本系统的整体硬件架构如下图2-3所示。处理器根据算法特性,并分析算法本身可以并行处理的点,在设计硬件架构时进行了深度的流水线和并行设计。利用FPGA的优势,尽可能的加速算法整体的运算,并尽可能的降低功耗,达到更高速、更低功耗的优秀处理器性能。

图2-3硬件总体架构图

整体硬件架构电路图主要分为五大部分:图像预处理部分、15*15的卷积部分、7*7卷积部分、原图边缘检测部分、图像增强后的边缘检测部分。

1)图像预处理部分:该部分功能主要是实现算法当中的光感受器部分的功能.该部分功能主要是用来预先计算出输入图像的均值和方差,并将结果输出到后面模块。

2)15*15卷积部分:该部分功能主要是实现算法当中的水平细胞处理部分的功能.内部采用了数据分块技术,从而提升速度并降低功耗。

3)7*7卷积部分:该部分主要是实现算法当中的双极细胞部分的功能.内部同样采用了和15*15卷积部分一样的分块功能,从而提升速度并降低功耗。

4)原图边缘检测和图像增强后的边缘检测部分:该部分主要是用来从硬件层面上检验处理器处理后图像的处理的效果.通过边缘检测来比较处理后的图像相较于原图未处理图像的优势。

 


设计演示


为了对比处理器硬件处理后的效果.我们用常用的PSNR(峰值信噪比)和ssim(结构相似性)来把硬件处理器处理后的图像和软件处理后的图像作为对比,从而测试硬件处理器处理后的效果是否相比较软件处理后的更有实际优势)。同时,在该部分中我们还采用了边缘检测效果作对比,以及人脸识别方法来对比增强后的图像对边缘检测的效果和人脸识别准确率提升的帮助。

1.psnr与ssim测试结果分析

峰值信噪比(峰值信噪比,一种全参考的图像质量评价指标,是最普遍和使用最为广泛的一种图像客观评价指标,用来评价图像数据处理后的质量)。结构相似(SIM)结构相似性,也是一种全参考的图像质量评价指标,它分别从亮度、对比度、结构三方面度量图像相似性。

如图3-8所示,图a、b、c分别是原图,软件处理后的图片以及硬件处理后的图片,从视觉效果上来看,软硬件处理后的图像相较于原图上来说,亮度以及对比度均有明显的改善。由于原本显示场景中图像的亮度范围较大,即hdr图像,会造成在一般显示设备中,出现局部过暗或过亮的情况,即如图3-8中的原图所示,因而在经过处理后,过亮或者过暗的地方均得到了改善,使得整幅图像看起来更加柔和。

图3-8三种亮度不足或者局部过暗图像的软硬件处理结果

除此之外,从视觉上来看,硬件处理后的图像和软件处理后的图像相比几乎没有任何区别。表4-1表示了三张图像硬件处理后的PSNR和ssim值。PSNR值一般正常值是在20~40 dB之间,而本处理器处理后的图像的之间,而本处理器处理后的图像的值达到了80 dB以上,说明了我们硬件处理器处理后的图像相比软件后处理后的图像相比,数据损失降到了极小,硬件电路设计的较为完善。其次,ssim值在0~1之间,1为最大值,1表示两幅图片一模一样,结构上相同,几近原图,在我们的比较中,ssim值均接近1,表示我们硬件处理器处理后的图像相比软件后处理后的图像相比,结构相似性几乎相同,硬件处理后的图像损失降到最小。


如图3-9所示,为夜间处理效果的对比图左原右器所示,为夜间处理效果的对比图左原右器处理。

图3-9夜间图像处理效果对比

2.边缘检测测试结果与分析

边缘检测部分的处理效果已经设计集成到了处理器上,可以在硬件上输出显示边缘检测后的效果,从而从侧面反映出,处理后的图像对边缘检测效果的提升。

图3-12第一组原图(左)及对原图进行边缘检测图(右)

图3-13第二组原图亮度增强后的图(左)及亮度增强后边缘检测图(右)

如图3-12和3-13所示,经过处理器处理后的图像,再进行边缘检测后的效果相比较于原图的边缘检测的效果有了比较大的提升,更多的细节被检测出来,侧面反映出本系统处理器的优越性。

3.视频流处理效果性能与技术优势

对于高清视频流的处理,本处理器在XC7Z020 FPGA资源的基础上,处理256*180的高清彩色图像,可以达到每秒700帧的实时速率(电路工作频率70 MHz),以及881 mW的较低功耗。在Virtex 7资源平台的基础上,处理1024*768的高清彩色图像,可以达到每秒189帧的实时速率,以及819毫瓦的低功耗。

该处理器的各项性能参数与现有的相关比较有优势的文献相比,本处理器均表现出优异的性能,如表4-2所示。

- THE END -

🍁


往期精选 

 
 

【免费】FPGA工程师人才招聘平台

FPGA人才招聘,企业HR,看过来!

系统设计精选 | 基于FPGA的实时图像边缘检测系统设计(附代码)

基于原语的千兆以太网RGMII接口设计

时序分析理论和timequest使用_中文电子版

求职面试 | FPGA或IC面试题最新汇总篇

资料汇总|FPGA软件安装包、书籍、源码、技术文档…(2024.01.06更新)

FPGA就业班,05.04开班,新增课程内容不加价,高薪就业,线上线下同步!

FPGA技术江湖广发江湖帖

无广告纯净模式,给技术交流一片净土,从初学小白到行业精英业界大佬等,从军工领域到民用企业等,从通信、图像处理到人工智能等各个方向应有尽有,QQ微信双选,FPGA技术江湖打造最纯净最专业的技术交流学习平台。


FPGA技术江湖微信交流群

加群主微信,备注姓名+学校/公司+专业/岗位进群


FPGA技术江湖QQ交流群

备注姓名+学校/公司+专业/岗位进群

FPGA技术江湖 任何技术的学习就好比一个江湖,对于每一位侠客都需要不断的历练,从初入江湖的小白到归隐山林的隐世高人,需要不断的自我感悟自己修炼,让我们一起仗剑闯FPGA乃至更大的江湖。
评论 (0)
  • 电脑显示器已逐渐成为现代人时常会接触到的3C产品,能带给消费者愉快的视听娱乐,不管是看电影、追剧、听音乐放松心情,或是玩一场紧张刺激的电竞游戏。忙碌之余,能够偶尔享受闲暇时光,也是一种释放。 您是否也曾遇过,在享受电影或游戏的过程当中,显示器带给我们的影像和声音突然出现不协调的情况呢?这就像是两者间没有互相搭配好,节奏步调变得不一样!这种情况我们称为「影音延迟」或「影音不同步」。 当这类问题持续发生时,无法好好享受电影或者追剧,会让人心情烦躁。对于电竞玩家来说更是硬伤,除了分心、受干扰外,更
    百佳泰测试实验室 2024-06-20 15:55 133浏览
  • 随着时代的飞速发展,新能源汽车以其绿色环保、能效高等特点在全球范围内迅速普及。然而,伴随着这一进程的不断推进,我们不得不面对一个前所未有的现实——新能源汽车的第一波动力系统已步入了报废的爆发期。积尽六年繁华,不过弹指刹那,2024,标志着新能源汽车生命周期管理的新阶段,对于整个行业乃至社会的影响深远且复杂。新能源汽车的推广始于对传统燃油车引起的环境问题的担忧和对可再生能源利用的追求。经过多年的发展,早期的电动车电池技术已经难以满足当前的需求,电池寿命终结成为用户面临的直接问题。随之而来的,是大量
    lauguo2013 2024-06-20 14:23 102浏览
  • GPIO的功率、电压和电流取决于具体的GPIO类型和配置。 GPIO(General Purpose Input/Output)通用型输入输出端口,是一种多功能的电子接口,广泛应用于微控制器、微处理器以及各种电子设备中,用于读取或输出信号。理解GPIO的功率、电压和电流的相关特性是进行电子电路设计和编程的基础。这些参数决定了GPIO端口能安全处理的电量,以及它与其他电子组件交互时的兼容性。 从电压角度来看,GPIO端口通常设计有一定的耐压限度,这意味着它们可以安全地在特定的电压范围内工作。例
    丙丁先生 2024-06-21 17:43 167浏览
  • 站上风口,交付量狂飙,装机量翻番……是什么让LiDAR再次“翻红”? 一波三折。如果要用一个词形容近两年的激光雷达市场,恐怕它最为合适。人类纪元,2022年。开启量产元年的车载激光雷达,一度风光无限。当时OEM厂商对激光雷达关键指标提升的需求仿佛“军备竞赛”。加速批量上车,进一步控制成本,将其控制在500美元左右……那一年,产业链上下游众志成城,万众一心。转眼到了2023年,车企在面向ADAS和自动驾驶的感知技术上逐渐分化成两派,纯视觉路线的落地以及价格战带来的降本压力,让很多车企出现
    艾迈斯欧司朗 2024-06-21 17:10 157浏览
  • 1. 版权保护芯片RJGT102介绍为了防止硬件电路与固件被抄袭,核心在于加密芯片和安全解决方案的设计,目前大多MPU并不具备安全防护功能,所以最好的办法是使用一颗专用的加密芯片,通过加密芯片对接MPU,进行认证,授权,保存关键数据等。RJGT102采用了SHA256对称加密算法,256位的大数加密, 加密算法强度高。每片RJGT102都有唯一的客户编码,非常适合做防抄板,防抄软件,管控工厂生产数量,防止方案外泄等。参与SHA256运算的数据为:8字节Key(可动态更换),8
    万象奥科 2024-06-20 17:37 138浏览
  • Matter是连接标准联盟(CSA)所推出的统一连接标准,旨在让不同品牌的智能装置可以互通互联。并且支持包含Wi-Fi、Ethernet、Thread和Bluetooth等多种连接协议。 随着Matter被广泛运用于智能家居生态圈,目前Apple Homekit、Amazon Alexa、Google Home和Samsung SmartThings等智能语音助理都已支持Matter。然而,要是网络服务供货商的网络突然断线了,家里的智能装置是否还能正常操作?还是必需连接到外部网络才能控制智能装
    百佳泰测试实验室 2024-06-20 15:40 134浏览
  • 随着科技的进步不断更迭,电子设备的传输速度越来越快,时至今日对于高速传输带宽的要求也愈来愈高。印刷电路板(PCB,以下简称PCB) 在高速传输接口中扮演不可或缺的角色,其高频特性直接影响了整体传输效能。高频特性是指PCB在高频率下的电气性能,包括阻抗、插入损耗、回波损耗、群延迟等。这些参数会影响信号的传输速度、完整性和可靠性。 PCB潜在风险 你知道吗?如果PCB的高频特性不佳时,可能会导致以下问题: 信号传输速度变慢信号衰减增加信号反射增加信号失真 这些问题都会影响电子设备的性能,甚至
    百佳泰测试实验室 2024-06-20 16:05 159浏览
  • ​Raspberry Pi 已在伦敦证券交易所上市,股票代码为 Raspberry Pi Holdings plc。这是 Raspberry Pi 的分水岭,也是发展新阶段的开始:进入公开市场将使树莓派能够更快地制造出更多我们喜爱的产品。Raspberry Pi 基金会在首次公开募股中筹得的资金将支持其在第二个十年中影响全球的雄心壮志;有关首次公开募股对基金会意味着什么的更多信息,请点击这里查看菲利普的博文。博文地址:https://www.raspberrypi.org/blog/what-w
    树莓派开发者 2024-06-20 15:15 129浏览
  • TT电机(直流电机)的功率、电压、电流、瞬间启动电压和电流是其运行的关键参数。这些参数决定了电机的性能和适用场景**。在探讨TT电机的这些特性时,需要综合考虑其电气特性以及启动和运行条件。以下将逐一解析这些关键参数: 1. 功率:    - TT电机的功率通常取决于其设计和应用场景。例如,普通TT电机的额定功率可以在几瓦到几十瓦不等[^4^]。    - 对于不同的TT电机型号,如370电机和310电机,它们的功率输出也会有所不同。例如,370电机通常适
    丙丁先生 2024-06-21 17:18 150浏览
  • ​在为期三天的上海国际嵌入式展会中,树莓派和上海晶珩一起展示了众多的基于树莓派和CODESYS的解决方案,没去过展会现场的小伙伴千万别错过这篇文章!视频地址:https://www.bilibili.com/video/BV1c1421k7ne/?vd_source=a637ced2b66f15709d16fcbaceeb47a9这个基于Raspberry Pi 5的嵌入式系统解决方案集成了16个EtherCAT总线控制的步进电机,旨在实现高性能的多轴运动控制。Raspberry Pi 5作为核
    树莓派开发者 2024-06-21 14:29 128浏览
  •  经过近几年的618大促之后,如今的618已经被默认的低价竞争给包围了。随着低价竞争的持续蔓延,曾经积极参与其中的一些品牌商,态度也从积极转为消极;各种被“忽悠”的消费者,也在想着法逃离电商平台设置的套路。与此同时,不甘心被大主播绑架的电商平台,与胃口不断加大的头部主播,开始展开极限拉扯。以往热闹的618,如今变成了各路参与者的围城,渴望进去的不停向里面张望,渴望出来的则变着法地希望,跳出618这个牢笼。虚假繁荣背后的暗流涌动在直播电商红利之下,抖音、淘宝、京东、唯品会等各路平台,在直
    刘旷 2024-06-21 09:58 159浏览
  • 在汽车的复杂电路网络中,仪表网关扮演着信息枢纽的角色。对于驾校使用大众朗逸车主而言,了解仪表网关的位置不仅有助于日常维护,更是故障诊断和车辆升级的关键所在。大众朗逸作为一款深受消费者喜爱的车型,凭借其稳定的性能和经济的油耗赢得了广泛的市场认可。然而,即便是这样一款优秀的车型,在驾校使用过程中也难免会遇到一些技术问题,这时候对仪表网关的了解就显得尤为重要。18年后的大众,网关都是标配,直接从OBD通过CAN监听是没有数据报文对外发出的,不是没有,而是避开诊断请求,这个后边说。朗逸CAN总线技术的引
    lauguo2013 2024-06-21 08:18 155浏览
  • 反激电源包含原边反激何副边反激,原边反馈动态响应比副边反馈慢,但是相对成本低,无论是原边反馈还是副边反馈由于反激电源电路简单,成本低广泛的用在在电动两轮车Escooter,电动工具,打印机,清洁电器等充电场景,也广泛的应用在电表,家电,新能源等场景作为辅助电源给芯片供电,下面就以无锡明芯微的MX1210E作为例子详细的介绍下一款24v2.5A的一个方案,从该方案来看输入口有NTC防止过流,采用10D561K 的压敏作输入过压保护,有个滤波的0.47uF的X电容并采用分压电阻做X电容放电,串联差模
    王萌 2024-06-21 09:27 304浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦