基于FPGA的阵列相机的实时监测和大容量存储

FPGA技术江湖 2024-05-11 07:10

大侠好,欢迎来到FPGA技术江湖,江湖偌大,相见即是缘分。大侠可以关注FPGA技术江湖,在“闯荡江湖”、"行侠仗义"栏里获取其他感兴趣的资源,或者一起煮酒言欢。“煮酒言欢”进入IC技术圈,这里有近100个IC技术公众号。



第一部分 设计概述 /Design Introduction

1.1 设计目的

随着人们对于图像质量、视场、视距的要求越来越高,单目相机往往不能满足人们的需求,因此我们设计了阵列相机组,以此来获得更大的视场,视距和多角度的即时显示,同时提供同步存储功能,以便后期的下载和为各类图像处理算法提供完整的数据流。


1.2 应用领域

阵列相机可用作户外大角度全景和超远景监控等系列安防专用相机,极大地扩展了安防监控范围并大幅提高现有的安防等级能力。阵列相机可用作大视场超高清摄像机,不仅可帮助用户获得前所未有的超高清图像数据,更能通过后期图像处理,为用户提供更多层次的全方位个性化 视觉体验,同时也可以为用户提供更加智能、可靠的安防布控。


1.3 适用范围

本项目适用于对于实时监控视场大、图像分辨率要求高,视距远的场合, 在此类场合中,作品可以完全发挥优势,帮助使用者迅速方便获得各个视角的即时图像和实时存储。同时,为进行后续的各类图像处理算法构建了一个完整的硬件平台。

 

第二部分 系统组成及功能说明 /System Construction & Function Description

2.1 系统介绍

本系统由我们自主设计PCB,布局布线,由第三方厂商制版焊接完成了最终的系统的搭建,具体分为 NVIDIA TX1 + A7 100t 交互处理模块,Sparton6 转接模块,226 探测器接收模块,A7 35t 相机数据处理模块,A7 35t 数据存储模块和上位机模块。我们自订了基于高速同步串口发送的指令集,完成从 PC 到 TX1 到 100T 到 Sparton6 到 35T 的阵列级联控制;TX1 与 100T 通过基于 XDMA 的 PCIE 协议完成指令和数据的交互;100T 到 Sparton6 到 35T 通过 高速同步串口完成指令的下行,基于高速串口串并转化 SERDES 原语完成数据 上行;通过 35T 以 SPI 协议配置 Sony IMX226 相机工作在 Slave 模式下,并 4000*3000@20 的工作模式,通过 ISERDES 解串相机数据在 35T 的 DDR3 中 进行降采样缓存和原图缓存,然后根据指令读出缓存数据进行通向 100T 方向的显示回传或者进行本地 TF 卡模块的存储以便后续的下载;最后完成了 10 个 相机的同步显示和其中任意 1 个相机 1080P 显示;并外接 SDI 输出同步 1080P 显示,在上位机上通过下发指令可以实时的调整曝光,一定范围的每个相机的视场等相机参数,同时完成了 TF 卡的实时存储,下载,查询,清空等功能。


2.2 各模块介绍

2.2.1 GPU + A7 100t 交互处理模块

本模块完成了整个 FPGA 系统的主控和与 GPU 之间的通信,首先 PC 通过 TCP 协议和 TX1 在操作系统层次完成了指令和相关数据交互的简单交互,TX1 和 100T 之间通过 PCIE 驱动和 XDMA IP 进行通信,在这一部分,其中 AXI4 通道完成数据的传输,AXI4-Lite 通道完成指令的下发和当前 FPGA 状态的轮 询;在本模块将 PC 的指令根据指令集通过高速同步串口发出,对于回传的数 据通过 ISERDES 解串并在 100T 的 DDR3 中缓存,最终搬运到 GPU,再到 PC,在这部分同时也完成 SDI 的外接同步输出。这部分还设计支持外挂在 TX1 上的 USB,HDMI 等接口便于调试。


2.2.2 Sparton6 转接模块

本模块在整个系统中有两个,每个模块共有 6 个 LVDS 接口,其中一个和 100T 部分连接剩下的 5 个接口分别连一个相机前端模块,共连接 10 个;这部分通过指令集中的参数来完成指令下行的转接和回传数据的转接,同时通过 Sparton6 中的原语 ISERDES 和 OSERDES 完成最开始的通道矫正。


2.2.3 IMX226 探测器接收模块

本模块完成 Sony IMX 226 相机的外围电路设计和 SPI 的配置接口,35T 通过连接件去以 SPI 协议配置相机工作在 4000*3000@20fps 的 Slave 模式 下,相机数据输出模式为 10 通道的串行 LDVS 相机数据输出。


2.2.4 A7 35t 相机数据处理模块

本模块完成对于相机数据的解串并将数据缓存在 35T 的 DDR3 中,对于 DDR3 中的缓存我们分为 3 部分区域:降采样区域,原图区域,其他信息区 域,降采样区域读出后返回给 Sparton6 来实时显示,原图区域读出后进行 TF 卡的写入;将数据通过 OSERDES 发送出去连接到 Sparton6 部分的一个端口上。同时在本模块完成了动态调整相机参数,基于 SD3.0 协议的 TF 卡写入, 数据流的降采样,仲裁和前端主控状态机的实现等多个功能。


2.2.5 A7 35t 数据存储模块

本模块将 DDR3 的原图数据读出写入 4 张 TF 卡中,4 张卡并行写入以提高 写入带,并在接收到下载指令后将数据读出并回传,对于这部分我们自己做了一个简易的文件系统便于 TF 的管理和控制;TF 卡工作在在 SD 模式下的 UHSI Operation Modes 下 SDR104 模式;


2.2.6 上位机模块

该模块在 QT 环境下,完成了基于 TCP 的 PC 和 TX1 之间的通信和用户界面搭建;

 

第三部分 完成情况及性能参数 /Final Design & Performance Parameters

3.1 完成情况:

目前预计的各个功能基本完成,由于硬件设计的一些问题和焊接物料的 质量和焊接工艺的一些问题,整个系统的不是特别的稳定,偶尔会出现一些问 题,大部分时间都是可以正常工作;主要完成 10 个相机实时显示和任意 1 个相机的 1080P 显示,外接 SDI 同步显示;实时调整曝光,视场范围,并进行 实时存储,下载,查询余量,清空等功能;


3.2 性能参数:


第四部分 总结 /Conclusions

4.1 主要创新点

(1)本系统的控制基本全部由 FPGA 控制实现并且 PCB 都是自主设计, 可以达到较高的速度和完全自主的控制,充分的使用了 FPGA 的特性,用最少的成本搭建了一个较大的系统;

(2)本系统所有的数据流都是自主控制的,裸露的,我们可以将这套系统作为一套基本的传输控制系统,在后续的改良版中,可以做各种各样的升级;

(3)本系统使用纯逻辑控制 4 张 TF 的读写,并自订了一个简易的文件系统,TF 卡可以跑在一个较高的速度;并且使用 LVDS 串行传输,速度快,稳定 性好;

(4)本系统自订了一个阵列相机控制的指令集,在理论上可以支持更多级和更多目的阵列系统控制;

(5)本系统采用了 GPU+FPGA+PC 的构架,在后续的设计中,可以进行丰富的图像处理工作,比如 FPGA 预处理数据,GPU 加速,PC 跑算法等,具 有较强的完备性和可升级性;


4.2 可扩展之处

(1)硬件设计中存在很多问题,比如过多的接插件导致成品率低,FLASH 固化芯片不稳定,端接电阻不匹配,供电不稳定等很多问题都导致了系统的稳 定性下降,在以后的设计中可以修正。

(2)相机工作的模式可以继续提升,包括帧率的提升,这需要更大的 DDR3 带宽,SERDES 速度和硬件稳定性,实现更高的帧率,同时由于在设计之初没有注意到 226 是卷帘式曝光且工作在 Slave 模式下,所以目前的曝光的 积分时间调整只能工作在室内和室外两种模式下,可动态调整的是增益值;如 果需要改良可以通过让相机工作在 Master 模式下,实现更大的曝光范围调整。

(3)TF 没能跑到理论支持的最高带宽下,后期可以通过完善硬件设计或者工作在 DDR 模式下,提高写入带宽,使写入帧率提升。

(4)目前的 GPU 只是进行了简单的数据搬运,没有利用其图像处理的能 力,后续可以在 GPU 上完善各种各样的图像处理算法,因为数据在 GPU 上是完全裸露的。


4.3 项目经验

从项目筹备阶段,开始准备这套系统的搭建,从PCB 的设计到系统理论构架再到实现经历了太多的困难和改版,不断的遇到问题,解决问题, 改进问题,在目前的硬件条件下做到了能做到的最好,但仍然还有很多问题和不足的地方。同时也收获了很多,大量的 RTL 代码编写,尤其是中途出现 FPGA 资源不够用时,通过各种各样的方式去优化代码来降低资源利用率,极大的锻炼了代码能力。软硬件系统的交互和配合让项目实施者对于数字系统的设计和操作系统的认识等各个方面都有了很大的提升。在组装阶段更是折磨人,反复的测试和更换使其深刻体会到了一个好的硬件设计有多么重要,好在最后的结果是满意的!


- THE END -

🍁


往期精选 

 
 

【免费】FPGA工程师人才招聘平台

FPGA人才招聘,企业HR,看过来!

系统设计精选 | 基于FPGA的实时图像边缘检测系统设计(附代码)

基于原语的千兆以太网RGMII接口设计

时序分析理论和timequest使用_中文电子版

求职面试 | FPGA或IC面试题最新汇总篇

资料汇总|FPGA软件安装包、书籍、源码、技术文档…(2024.01.06更新)

FPGA就业班,05.04开班,新增课程内容不加价,高薪就业,线上线下同步!

FPGA技术江湖广发江湖帖

无广告纯净模式,给技术交流一片净土,从初学小白到行业精英业界大佬等,从军工领域到民用企业等,从通信、图像处理到人工智能等各个方向应有尽有,QQ微信双选,FPGA技术江湖打造最纯净最专业的技术交流学习平台。


FPGA技术江湖微信交流群

加群主微信,备注姓名+学校/公司+专业/岗位进群


FPGA技术江湖QQ交流群

备注姓名+学校/公司+专业/岗位进群

FPGA技术江湖 任何技术的学习就好比一个江湖,对于每一位侠客都需要不断的历练,从初入江湖的小白到归隐山林的隐世高人,需要不断的自我感悟自己修炼,让我们一起仗剑闯FPGA乃至更大的江湖。
评论 (0)
  • 随着科技的进步不断更迭,电子设备的传输速度越来越快,时至今日对于高速传输带宽的要求也愈来愈高。印刷电路板(PCB,以下简称PCB) 在高速传输接口中扮演不可或缺的角色,其高频特性直接影响了整体传输效能。高频特性是指PCB在高频率下的电气性能,包括阻抗、插入损耗、回波损耗、群延迟等。这些参数会影响信号的传输速度、完整性和可靠性。 PCB潜在风险 你知道吗?如果PCB的高频特性不佳时,可能会导致以下问题: 信号传输速度变慢信号衰减增加信号反射增加信号失真 这些问题都会影响电子设备的性能,甚至
    百佳泰测试实验室 2024-06-20 16:05 159浏览
  • 1. 版权保护芯片RJGT102介绍为了防止硬件电路与固件被抄袭,核心在于加密芯片和安全解决方案的设计,目前大多MPU并不具备安全防护功能,所以最好的办法是使用一颗专用的加密芯片,通过加密芯片对接MPU,进行认证,授权,保存关键数据等。RJGT102采用了SHA256对称加密算法,256位的大数加密, 加密算法强度高。每片RJGT102都有唯一的客户编码,非常适合做防抄板,防抄软件,管控工厂生产数量,防止方案外泄等。参与SHA256运算的数据为:8字节Key(可动态更换),8
    万象奥科 2024-06-20 17:37 138浏览
  • ​在为期三天的上海国际嵌入式展会中,树莓派和上海晶珩一起展示了众多的基于树莓派和CODESYS的解决方案,没去过展会现场的小伙伴千万别错过这篇文章!视频地址:https://www.bilibili.com/video/BV1c1421k7ne/?vd_source=a637ced2b66f15709d16fcbaceeb47a9这个基于Raspberry Pi 5的嵌入式系统解决方案集成了16个EtherCAT总线控制的步进电机,旨在实现高性能的多轴运动控制。Raspberry Pi 5作为核
    树莓派开发者 2024-06-21 14:29 129浏览
  •  经过近几年的618大促之后,如今的618已经被默认的低价竞争给包围了。随着低价竞争的持续蔓延,曾经积极参与其中的一些品牌商,态度也从积极转为消极;各种被“忽悠”的消费者,也在想着法逃离电商平台设置的套路。与此同时,不甘心被大主播绑架的电商平台,与胃口不断加大的头部主播,开始展开极限拉扯。以往热闹的618,如今变成了各路参与者的围城,渴望进去的不停向里面张望,渴望出来的则变着法地希望,跳出618这个牢笼。虚假繁荣背后的暗流涌动在直播电商红利之下,抖音、淘宝、京东、唯品会等各路平台,在直
    刘旷 2024-06-21 09:58 159浏览
  • TT电机(直流电机)的功率、电压、电流、瞬间启动电压和电流是其运行的关键参数。这些参数决定了电机的性能和适用场景**。在探讨TT电机的这些特性时,需要综合考虑其电气特性以及启动和运行条件。以下将逐一解析这些关键参数: 1. 功率:    - TT电机的功率通常取决于其设计和应用场景。例如,普通TT电机的额定功率可以在几瓦到几十瓦不等[^4^]。    - 对于不同的TT电机型号,如370电机和310电机,它们的功率输出也会有所不同。例如,370电机通常适
    丙丁先生 2024-06-21 17:18 153浏览
  • GPIO的功率、电压和电流取决于具体的GPIO类型和配置。 GPIO(General Purpose Input/Output)通用型输入输出端口,是一种多功能的电子接口,广泛应用于微控制器、微处理器以及各种电子设备中,用于读取或输出信号。理解GPIO的功率、电压和电流的相关特性是进行电子电路设计和编程的基础。这些参数决定了GPIO端口能安全处理的电量,以及它与其他电子组件交互时的兼容性。 从电压角度来看,GPIO端口通常设计有一定的耐压限度,这意味着它们可以安全地在特定的电压范围内工作。例
    丙丁先生 2024-06-21 17:43 170浏览
  • Matter是连接标准联盟(CSA)所推出的统一连接标准,旨在让不同品牌的智能装置可以互通互联。并且支持包含Wi-Fi、Ethernet、Thread和Bluetooth等多种连接协议。 随着Matter被广泛运用于智能家居生态圈,目前Apple Homekit、Amazon Alexa、Google Home和Samsung SmartThings等智能语音助理都已支持Matter。然而,要是网络服务供货商的网络突然断线了,家里的智能装置是否还能正常操作?还是必需连接到外部网络才能控制智能装
    百佳泰测试实验室 2024-06-20 15:40 134浏览
  • 站上风口,交付量狂飙,装机量翻番……是什么让LiDAR再次“翻红”? 一波三折。如果要用一个词形容近两年的激光雷达市场,恐怕它最为合适。人类纪元,2022年。开启量产元年的车载激光雷达,一度风光无限。当时OEM厂商对激光雷达关键指标提升的需求仿佛“军备竞赛”。加速批量上车,进一步控制成本,将其控制在500美元左右……那一年,产业链上下游众志成城,万众一心。转眼到了2023年,车企在面向ADAS和自动驾驶的感知技术上逐渐分化成两派,纯视觉路线的落地以及价格战带来的降本压力,让很多车企出现
    艾迈斯欧司朗 2024-06-21 17:10 157浏览
  • 电脑显示器已逐渐成为现代人时常会接触到的3C产品,能带给消费者愉快的视听娱乐,不管是看电影、追剧、听音乐放松心情,或是玩一场紧张刺激的电竞游戏。忙碌之余,能够偶尔享受闲暇时光,也是一种释放。 您是否也曾遇过,在享受电影或游戏的过程当中,显示器带给我们的影像和声音突然出现不协调的情况呢?这就像是两者间没有互相搭配好,节奏步调变得不一样!这种情况我们称为「影音延迟」或「影音不同步」。 当这类问题持续发生时,无法好好享受电影或者追剧,会让人心情烦躁。对于电竞玩家来说更是硬伤,除了分心、受干扰外,更
    百佳泰测试实验室 2024-06-20 15:55 133浏览
  • 在汽车的复杂电路网络中,仪表网关扮演着信息枢纽的角色。对于驾校使用大众朗逸车主而言,了解仪表网关的位置不仅有助于日常维护,更是故障诊断和车辆升级的关键所在。大众朗逸作为一款深受消费者喜爱的车型,凭借其稳定的性能和经济的油耗赢得了广泛的市场认可。然而,即便是这样一款优秀的车型,在驾校使用过程中也难免会遇到一些技术问题,这时候对仪表网关的了解就显得尤为重要。18年后的大众,网关都是标配,直接从OBD通过CAN监听是没有数据报文对外发出的,不是没有,而是避开诊断请求,这个后边说。朗逸CAN总线技术的引
    lauguo2013 2024-06-21 08:18 155浏览
  • 反激电源包含原边反激何副边反激,原边反馈动态响应比副边反馈慢,但是相对成本低,无论是原边反馈还是副边反馈由于反激电源电路简单,成本低广泛的用在在电动两轮车Escooter,电动工具,打印机,清洁电器等充电场景,也广泛的应用在电表,家电,新能源等场景作为辅助电源给芯片供电,下面就以无锡明芯微的MX1210E作为例子详细的介绍下一款24v2.5A的一个方案,从该方案来看输入口有NTC防止过流,采用10D561K 的压敏作输入过压保护,有个滤波的0.47uF的X电容并采用分压电阻做X电容放电,串联差模
    王萌 2024-06-21 09:27 304浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦