USB3.0 UVC高清摄像头实验

小梅哥 2019-04-01

介绍

基于AC6102_V2开发板的USB Video Class摄像头实验,实现了通过AC6102开发板上的USB3.0芯片将OV5640摄像头采集到的图像数据传输到PC机上,并使用UVC图像显示软件显示的功能。

主要参数指标:

USB3.0速率等级

YUV422图像格式传输

1280*720@30fps帧率


UVC介绍:

       UVC,全称为:USB video class USB video device class。是Microsoft与另外几家设备厂商联合推出的为USB视频捕获设备定义的协议标准,目前已成为USB org标准之一。

如今的主流操作系统(Windows XP SP2 and later, Linux 2.4.6 and later, MacOS 10.5 andlater)都已提供UVC设备驱动,因此符合UVC规格的硬件设备在不需要安装任何的驱动程序下即可在主机中正常使用。使用UVC技术的包括摄像头、数码相机、类比影像转换器、电视棒及静态影像相机等设备。

最新的UVC版本为UVC 1.5,由USB Implementers Forum定义包括基本协议及负载格式。

网络摄像头是第一个支持UVC而且也是数量最多的UVC设备,目前,操作系统只要是 Windows XP SP2 之后的版本都可以支持 UVC,当然 Vista 就更不用说了。Linux系统自2.4以后的内核都支持了大量的设备驱动,并可以支持UVC设备。

使用 UVC 的好处 USB Video这块也成为一项标准了之后,硬件在各个程序之间彼此运行会更加顺利,而且也省略了驱动程序安装这一环节。

 

AC6102FPGA开发板UVC摄像头实验介绍

本实验基于Cypress厂家提供的应用手册AN75779。在该应用手册中,并未使用到FPGA芯片,而是直接使用FX3芯片连接图像传感器,如下图1所示。即一个最精简的基于FX3芯片的UVC摄像头是不需要FPGA芯片的参与的。但在实际的应用中,可能需要先对图像进行一定的预处理再送往PC端显示处理,为了降低PC端的运算开销,往往将这一部分预处理工作分配到FPGA中,利用FPGA强大的并行处理优势实现。

AC6102开发板上,设计了一款拥有30K逻辑单元的FPGA主芯片EP4CE30和一个FX3芯片,FX3芯片的所有数据线和控制线,除IICIISSPI等以外,全部连接到了FPGA上。因此当使用AC6102开发板进行UVC实验时,需要通过FPGA芯片进行一个简单的桥接。

桥接有两种方式,一种是直接使用组合逻辑,将输入连接到输出,例如:

assign LV = cmos_href;

assign FV = cmos_vsync;

assign DQ ={8'd0,cmos_data};

       当使用这种方式时,是直接的输入IO的信号经过布线直接连接到了输出IO上,没有D触发器,因此难以进行时序约束。

       另一种能够支持时序约束的桥接方式是,使用cmos_pclk将所有信号打2拍之后输出,如下图2所示。这样的话即每个信号从输入到输出,会经过2级寄存器传输,这样在进行时序约束时就非常方便了,一级寄存器作为输入寄存器,另一级作为输出寄存器,既方便布局布线,也利于时序分析。

本实验中采用第二种方式进行桥接,即在输入和输出信号之间插入2级寄存器的方式。

    reg LV_r,FV_r,PCLK_r;

    reg[15:0]DQ_r;

 

    always@(posedge cmos_pclk)begin

         LV_r <= cmos_href;

         FV_r <= cmos_vsync;

         DQ_r <={8'd0,cmos_data};

    end

 

    always@(posedge cmos_pclk)begin

         LV <= LV_r;

         FV <= FV_r;

         DQ <= DQ_r;

    end

 

    assign PCLK = cmos_pclk;

 

由此,整个基于AC6102开发板的UVC摄像头框图如下图3所示。

可以看到,与Cypress提供的UVC应用方案不同,该应用方案在图像传感器和FX3之间插入了一片FPGA,用作图像的转发,并将原本的控制图像传感器的IIC功能从FX3中移植到了FPGA中。实际上,直接使用FX3原本的IIC控制器来实现图像传感器的设置也是可以的,不过这涉及到FX3固件的修改,而且不同的图像传感器需要使用不同的初始化代码,也就意味着需要使用不同的FX 3固件,会增加开发工作量,因此在本例中使用FPGA来完成图像传感器的配置初始化工作。这样,对于FPGA开发工程师来说,可以避开不熟悉的FX3固件开发,能够有效减少开发工作量。

AC6102 UVC开发包文件介绍

AC6102 UVC应用工程共提供以下几个文件

  1. OV5640_USB30_UVC.qar

  2. OV5640_UVC_30FPS.png

  3. OV5640V2+AC6102V2.JPG

  4. UVC_AN75779.img

  5. UVC_AN75779.rar

  6. VirtualDub_1_10_4_35456.1400664289.zip

  7. Ø OV5640_USB30_UVC.qar文件为基于AC6102V2开发板和OV5640V2摄像头模块的FPGA应用工程,该工程主要实现了摄像头数据到FX3芯片的转发工作和OV5640摄像头的初始化配置工作。将该文件放置在一个非中文目录下,双击就可以直接使用Quartus软件打开。

  8. Ø OV5640_UVC_30FPS.png文件为使用该工程进行图像采集显示的效果图

  9. Ø OV5640V2+AC6102V2.JPG文件为进行试验时的硬件连接图

  10. Ø UVC_AN75779.img文件为USB芯片的固件,由于该固件尺寸为139KB,超过了EEPROM存储器的128K容量,因此实验时只能烧写到RAMSPI FLASH中。

  11. Ø UVC_AN75779.rar文件为USB芯片的固件源码,基于Cypress厂家提供的工程源码,我们进行了一定的修改,主要就是屏蔽了IIC部分,因为本例中没有用到IIC,实际上厂家的源码不做任何修改也是可以直接使用的。当初屏蔽这部分是为了降低固件尺寸,以期能够降低到128KB以内,不过没有降下来。

  12. Ø VirtualDub_1_10_4_35456.1400664289.zip文件是PC端的UVC图像显示软件。

实验过程

连接USB BlasterJTAG下载口,连接OV5640摄像头到网口左侧的Camera接口,将USB3.0数据线一端插入AC6102开发板,另一端插入PC端的USB3.0接口。将电源开关拨到ON位置。如下图5所示:

注意,这里一定要插入电脑的USB3.0接口,现在的电脑一般都带有USB3.0接口了,识别某USB接口为USB3.0还是2.0的方式很简单,可以通过以下三种方式识别。

1、根据USB协会标准定义,USB3.0typeA母口应该为天蓝色,如果您发现您的USB接口为蓝色,那一定是USB3.0接口。如下图6所示。当然,现在很多电脑厂商在生产时并未严格遵守这一协定,因此,有的电脑单凭颜色还是无法区分USB3.0USB2.0

2、查看USB接口附近的图案标识。USB3.0一般称作SuperSpeed USB,因此如果该USB接口对应的图案有SS标识,那一定是USB3.0接口。如下图7,右侧的带有SS标识的为USB3.0接口,而左侧的没有SS标识的则不是USB3.0接口。

3、如果上述两种方法还是无法区分的话,可以用最直接的办法,看看这个USB接口里有几个触点和簧片,USB3.0的只有4个,而USB3.0的有9个,如下图8所示:

双击OV5640_USB30_UVC.qar文件,打开之后进行全编译以得到sof文件。并将sof文件下载到FPGA中。

打开CypressControl Center软件,烧写UVC_AN75779.img文件到FX3芯片的RAM中。该软件需要用户已经安装了FX3-SDK,如未安装,可参看AC6102USB3.0开发教程相关章节先安装软件。如何烧写img文件,也可参看AC6102USB3.0开发教程相关章节。

       烧写完成后,系统会自动安装驱动,安装完成后会在设备管理器下的图像设备中出现一个名为FX3的设备,如下图9所示。该设备就是我们的UVC摄像头了。

将文件包提供的VirtualDub_1_10_4_35456.1400664289.zip解压,并运行VirtualDub.exe文件,如下图10所示。打开之后,选择File—>Capture AVI以进入图像捕获模式,如下图11所示:

然后选择Device—>FX3(DirectShow),如下图11所示,如果软硬件配置都没有问题的话,就可以在软件中看到显示的图像了。

12为使用该UVC工程截图的图片,可以看得到实时帧率为30fps左右。

关于FX3固件代码的理解和修改,请参看AC6102开发板USB3.0开发教程相关章节内容。


小梅哥 更新芯航线团队出品的各种资料
评论
热门推荐
相关推荐
我要评论
0
1
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦