在Xilinx平台使用V4L2框架编程实现视频输入

1. 1、V4L2框架概述

2. V4L2是Video for Linux2的简称,为Linux中关于视频设备的内核驱动。在Linux中，视频设备是设备文件，可以像访问普通文件一样对其进行读写。

3. 
   

   1.1 V4L2设备应用层流程

4.    注册的设备节点有/dev/video和/dev/v4l2-subdev；其应用层操作video设备主要流程如下:

5.    1) 通过打开video设备设置video参数；

6.    2) 设置采集方式；

7.    3) 将数据取出、处理、放回,可循环处理；

8.    4) 完成相应的任务后关闭。

9. 
   

10. 1.2 内核V4L2模块

        应用层流程可以通过打开文件一样打开视频输入设备，并且配置设备相关参数, 这是由于内核相关模块做了很多基础工作。跟V4L2相关的模块如下图所示:

                   图1 V4L2基本框架

      1.3 典型捕获管道：

                          图2 Xilinx视频典型捕获管道

1.   1、硬件视图

2.       1）多种组合可以开发一个捕获管道；

3.       2）使用标准化接口（AXI总线接口）在管道中缝合多个IP。

4.   2、软件视图

5.       1）复杂性存在于软件级别，以支持多种组合；

6.       2）由于没有任何标准的方法来配置管道中的不同元素，这给软件开发人员带来了更大的复杂性。

7. 
   

8.      1.4  具有流媒体和/或内存接口的基于帧的视频管道视频捕获设备：

9.     1）视频存储器到存储器设备；

10.     2）视频输出设备（无图形）；

11.     3）DMABUF:0拷贝缓冲区共享Media controller；

12.     4）描述逻辑拓扑和数据流；

13.     5）多媒体库 GStreamer、FFMPEG、OpenCV、OpenMAX、LibAV、VLC媒体播放器、MPlayers。

14. 
    

15. 

16.                   图3 V4L2框架对应设备

17. 
    

18.   2、 Xilinx 视频编解码

     在使用gst命令创建pipeline 完成视频输入到编码输出的过程如下：

           图4 Xilinx 视频输入设备及相关内核模块

1.     2.1 应用程序通过V4L2接口采集视频数据步骤

2.      1）打开视频设备文件，通过视频采集的参数初始化， 通过V4L2接口设置视频图像属性；

3.      2）申请若干视频采集的帧缓存区，并将这些帧缓冲区从内核空间映射到用户空间，便于应用程序读取/处理视频数据；

4.      3）将申请到的帧缓冲区在视频采集输入队列排队，并启动视频采集；

5.       4）驱动开始视频数据的采集，应用程序从视频采集输出队列中取出帧缓冲区，处理后，将帧缓冲区重新放入视频采集输入队列，循环往复采集连续的视频数据。最后停止视频采集。 

              流程图如下所示

1.    2.2 V4L2 ioctl控制符

2.   1）VIDIOC_QUERYCAP    查询设备的属性；

3.   2）VIDIOC_ENUM_FMT 帧格式；

4.   3）VIDIOC_S_FMT 设置视频帧格式，对应struct v4l2_format；

5.   4）VIDIOC_G_FMT 获取视频帧格式等；

6.   5）VIDIOC_REQBUFS 请求/申请若干个帧缓冲区，一般为不少于3个；

7.   6）VIDIOC_QUERYBUF 查询帧缓冲区在内核空间的长度和偏移量；

8.   7）VIDIOC_QBUF 将申请到的帧缓冲区全部放入视频采集输出队列；

9.   8）VIDIOC_STREAMON 开始视频流数据的采集；

10.   9）VIDIOC_DQBUF 应用程序从视频采集输出队列中取出已含有采集数据的帧缓冲区；

11.   10）VIDIOC_STREAMOFF 应用程序将该帧缓冲区重新挂入输入队列。

12. 
    

13.    2.3 控制字符解析和使用用例：

    2）VIDIOC_ENUM_FMT-------->struct v4l2_fmtdesc

       //通过这个结构体，可以显示对应的摄像头所支持视频帧格式。例如

3、Xilinx V4L2 Demo

                     图5：Xilinx V4L2 demo

          图6：Xilinx V4L2 + CTRLSW encode

1.       3.1 Xilinx使用V4L2实现视频输入的代码

2.         

3. 
   

4.       

3.2 应用程序将帧缓冲区重新排入输入队列

       ioctl(fd_v4l2, VIDIOC_QBUF, &buf)

1.    3.3   开始视频流数据的采集

2.   ioctl(fd_v4l2, VIDIOC_STREAMON, &type)

3.4 应用程序将视频采集输出队列中取出已含有采集数据的帧缓冲区           ioctl(fd_v4l2, VIDIOC_DQBUF, &buf)

      如果您在Xilinx Video for Linux (V4L2)方面有问题，欢迎联系:

                 simonyang@comtech.cn

          charlesxu@comtech.cn