基于ZYNQ的实时运动目标检测系统设计.pdf

叶工业控制计算机曳圆园圆3 年第 猿6 卷第 8 期基于 ZYNQ 的实时运动目标检测系统设计Design of 砸eal-time 酝oving 韵bject 阅etection 杂ystem 月ased on ZYNQ刘小韬1段金英1贾雯超2薛亮1渊1 西京学院电子信息学院袁陕西 西安 710723曰2 西京学院机械工程学院袁陕西 西安 710723冤作为机器视觉技术一个重要分支袁运动目标检测在医疗尧航空尧监控等领域有着非常广泛的应用遥 随着人类在医学成像尧人工智能和虚拟现实等技术方面的不断推进袁 人们对运动目标检测系统的要求也越来越高咱1暂遥 对目标提取精度的提高袁往往伴随着算法运算量的增加袁 进而导致实时性变差遥 当中央处理单元渊CPU冤无法以足够的速度执行计算时袁使用硬件来对目标检测算法进行加速袁是解决该问题的一个有效途径遥可编程逻辑门阵列 渊Field Programmable Gate Array袁FPGA冤 硬件平台由大量的逻辑元件和与或非门电路组合而成袁具有体积小尧功耗低尧速度快尧灵活性好等优点咱2暂遥 可以将数据进行并行处理袁拥有高速数据处理能力的同时袁又可以灵活地进行算法编程遥1运动目标检测算法概述视频图像中运动目标的检测就是把运动目标或者物体利用各种方法从背景图像中检测并提取出来的一种技术遥 常用的目标检测算法有图像差分法渊帧间差分法尧背景减除法冤尧光流法等遥 下面对其进行简要介绍院1.1 光流法光流法是通过检测视频序列中光流场中的像素速度变化来确定不同时刻运动目标的相对变化信息遥通常来说袁光流的产生与被观察目标或者用于采集图像的摄像头的相对运动有关袁并且运动区域与背景区域的光流不同袁因此袁可以根据光流的不同来从一幅图像中提取出运动区域遥一般来说袁要实现光流法要基于以下两个假设条件院1冤亮度不变院同一个点在随着时间变化时袁该点在不同图像上的亮度不会发生改变遥这是所有光流法实现的基本假设条件遥2冤小运动院随着时间的连续变化袁目标位置不会发生突变遥光流法的优点是不用提前预知运动目标所在场景信息的情况下就能对运动目标的位置和速度进行比较准确的检测和计算袁而且袁在视频图像采集装置移动的情况下也能对目标进行检测遥但是袁光流法的不足之处也很明显袁如计算复杂且计算量大尧耗时长遥1.2 图像差分法通过图像差分法得到的差值信息可以用于动态监测尧 目标的检测尧跟踪尧识别等遥 图像差分法又可以具体分为帧间差分法和背景差分法遥背景差分法采用当前帧与背景帧做差分运算袁将差分图像中像素点灰度值变化大的区域认定为运动目标袁像素点灰度值差别较小甚至没有的区域认定为背景遥 背景差分法实现比较简单尧算法复杂度低尧实时性好遥 同时袁通过它进行运动目标检测时袁通常可以得到比较完整的检测结果袁然而这种方法对外界环境干扰非常敏感袁如场景中光照改变尧摄像机发生颤动尧自然天气的变化等外界因素很容易使背景被误认为是目标袁使检测准确度降低遥帧间差分法既可以用于背景动态变化的场景袁 也可以用于背景静止的场景遥原理较为简单袁通过比较视频图像中多帧之间的差异袁找出运动物体遥 原理框图如图 1 所示院图 1帧间差法基本原理框图帧间差分法的计算公式如公式渊1冤所示院Dm-n渊x袁y冤=1袁 fm渊x袁y冤-fn渊x袁y冤 逸T0袁 fm渊x袁y冤-fn渊x袁y冤 n袁且m尧n均为正整数遥综上所述袁光流法抗噪能力差且计算复杂曰背景差分法虽然能检测出完整的目标袁但是背景帧的构造和更新会花费大量时间曰帧间差分法操作简单袁抗干扰能力强袁最适应在 FPGA 中实现遥圆ZYNQ 系统设计本文设计的运动目标检测系统主要是由图像采集模块尧图像处理模块尧图像输出模块三部分构成袁整体系统框图如图 2 所摘要院运动目标检测作为图像处理的研究热点袁目前已经应用到了自动驾驶尧机器视觉尧人机交互等多个领域遥 随着人们在这些领域不断探索袁对运动目标检测的准确度和实时性要求也越来越高遥 采用帧差法设计了一种基于 ZYNQ 的实时运动目标检测系统遥 在摄像头采集到视频流后袁通过 AXI4-Stream Video 协议进行数据间的传输遥 首先对视频数据进行灰度转化尧滤波等处理曰处理好的数据通过 VDMA IP 核尧帧差法 IP 核进行帧差运算来判别物体是否发生运动曰最后将视频数据输出到 LCD 显示屏上遥 实验结果表明袁此系统可以实时准确地检测出运动物体袁具有广阔的应用前景遥关键词院ZYNQ曰帧差法曰运动目标检测曰图像处理Abstract:In this paper,a real-time moving object detection system based on ZYNQ is designed by using frame differ鄄ence method.After the video stream is captured by the camera,the data is transmitted through AXI4原Stream Video proto鄄col.Firstly,the video data is processed by gray-scale conversion,filtering,etc.The processed data is used for frame dif鄄ference operation through VDMA IP core and frame difference IP core to determine whether the object is moving.Finally,the video data is output to the LCD display.The experimental results show that this system can detect moving objects ac鄄curately in real time,and has broad application prospects.Keywords:ZYNQ,frame difference method,moving target detection,image processing105基于 ZYNQ 的实时运动目标检测系统设计示遥 图像采集使用的是工业摄像头 OV5640袁主控采用的是嵌入式人工智能 FPGA 开发板 ZYNQ原7020 来进行底层逻辑设计和数据处理袁主控芯片是 Xilinx 公司的 XC7020袁其 PS 端为双核ARM Cortex-A9袁PL 端为 Xilinx Artix7 系列的 FPGA 结构袁显示屏为 7 英寸 RGB LCD 显示屏袁开发环境为 Vivado 2018.3遥图 2系统总体结构框图2.1 ZYNQ原7020 开发平台Z再晕匝-7000 系列是 Xilinx 于 2010 年 4 月推出的行业第一个可扩展处理平台袁旨在为视频监视尧汽车驾驶员辅助以及工厂自动化等高端嵌入式应用提供所需的处理能力与计算性能遥ZYNQ 实际上是一个片上系统渊SOC冤袁其在一个芯片内就实现了存储尧处理尧逻辑和接口等各个功能模块袁而不是像板上系统那样袁需要用几个不同的物理芯片来实现遥 这款基于 ARM 处理器的 SoC 可满足复杂嵌入式系统的高性能尧低功耗和多核处理能力等要求遥在 Z再晕匝-7000 系列芯片中袁 将逻辑部分映射到 PL 中袁将软件部分映射到 PS 中遥 PL 部分是基于 Xilinx苑 系列的 FPGA袁允许动态配置袁 也就是可以对系统应用进行动态修改袁 这是Z再晕匝 的一个重要特点袁 该部分拥有双端 BRAM渊BlockRAM冤袁也就是 PL 端的存储器阵列袁数字信号处理单元尧串行收发器尧时钟管理尧 输入辕输出接口等丰富资源曰PS 端是与 FPGA 无关的ARM 的 SOC 部分袁除了核心处理器部分袁还包括高速缓存尧加速处理器以及其他更多丰富的外设咱3暂遥2.2 图像采集部分设计工业摄像头 OV5640 是一款 1/4 英寸单芯片图像传感器袁其感光阵列达到 2592鄢1944渊即 500 万像素冤袁能实现最快 15 fpsQSXVGA渊2592鄢1944冤或者 90 fps VGA渊640鄢480冤分辨率的图像采集遥如图 3 是图像采集 IP 核袁此部分的作用主要是对输入的数据进行格式转换袁 将 8 位数据转换为 RGB565 格式遥 因为OV5640 输出的行场同步信号为 8 位有效数据袁 而一个完整的RGB565 格式为 16 位有效数据袁故需要将两个时钟的 8 位有效数据拼接成一个 16 位有效数据遥 外部通过 SCCB 总线来进行寄存器的配置袁SCCB 总线接口协议兼容 IIC 协议袁所以本系统中使用模拟 IIC 的方式来配置相关寄存器遥图 3OV5640 摄像头 IP 核2.3 图像处理部分设计在 ZYNQ 中袁 涉及到视频图像处理通常会使用 VDMA IP核袁它可以提供一个帧缓存的功能袁它可以处理帧速率的改变和图像维度的改变遥 AXI4-Stream Video 协议是 Stream 的一种袁它在视频 IP 核之间提供了一个简单尧多功能尧高性能的点对点接口袁在此为 VDMA IP 核的输入输出提供接口遥2.3.1 图像格式转换在对图片进行处理时袁一般将其转换为灰度图像进行处理遥主要操作就是提取图像当中的代表灰度值的 Y 分量袁将RBG565 数据格式转换为 RGB888 数据格式遥 由于无法对一整张图片进行处理袁 所以通常我们会选取一个 3鄢3 的图像阵列袁将选取出来的图像阵列与卷积模板进行乘加运算遥在 Verilog HDL 中如果要进行浮点运算袁需调用浮点的 IP袁过于复杂袁加上 ZYNQ 移位运算比乘除法运算容易实现且不占用过多资源袁 所以采用将 RGB 转 YCbCr 的公式扩大 256 倍袁再向右移 8 位来解决此问题遥经整理袁最终得到变换公式渊2冤如下所示院Y=渊77鄢R+150鄢G+29鄢B冤8Cb=渊-43鄢R-85鄢G+128鄢B+32 768冤8Cr=渊128鄢R-107鄢G+21鄢B+32 768冤8嗓渊2冤在运算过程中袁消耗了 3 个时钟周期袁所以在数据格式转变完成以后袁还需要延时 3 拍以同步数据信号遥2.3.2 帧差运算模块在帧差运算模块中袁一共有两个视频流输入袁一路来自 AX鄄I4-Stream 处理好的摄像头数据渊记为当前帧冤袁一路来自 VM鄄DA 寄存的摄像头数据渊记为前一帧冤遥当前帧数据是 72 M 摄像头数据通过 IP 核转换成 100 M匀z 时钟下的 Stream 数据袁而前一帧本身就是 100 MHz 下的 Stream 数据袁所以前一帧会先进入到 FIFO 中进行缓存遥由于前一帧的数据需要先进入 FIFO 进行缓存随后读取袁所以当前帧需要进行时钟延时袁确保两帧数据可以进行像素对齐袁从而进行像素数据一一做差遥两帧灰度像素数据进行做差后袁如果差值大于所设定的阈值则判断为运动区袁将标志位信号拉高遥遍历所有标志位为高的像素点袁找出最大尧最小的 X 坐标点和最大尧最小的 Y 坐标点袁以此来找出运动物体的左右边界和上下边界袁以此来绘制包围运动物体的边框遥针对帧差法检测过程中产生的空洞点与噪声点袁 可采用形态学的开操作对其进行滤波袁即先进行腐蚀运算袁再进行膨胀运算袁以此来对画面进行处理袁减少噪声和空洞点咱4暂遥2.4 图像显示部分设计处理完成的图像数据通过 AXI4-Stream to Video Out IP核模块进行输出遥 其主要作用就是将 VDMA 中的数据从 AXI4-Steram 格式转换为并行的视频输出格式渊Video Out 格式冤遥 此IP 核通常与 VTC IP 核配合使用袁使用方式为在 Slave 模式下袁AXI4-Stream to Video Out IP 核通过使能信号来配合控制VTC IP 核袁进而控制输入视频流与 VTC 之间所产生的相位差遥IP核进行配置完成后袁将其视频输出连接到 LCD 的驱动引脚上遥3实验结果以及分析系统设计完成后连接外设袁进行上电操作遥 随后将 Vivado软件生成的比特流文件下载入 ZYNQ原7020 开发板袁 在 ZYNQ平台上进行硬件检测遥实验结果如图 4 所示袁系统可较好地识别出运动物体遥为了更全面地评判系统性能袁本系统选取不同的实验对象袁采用控制变量法和取平均值法袁 使用不同的速度与距离来进行106叶工业控制计算机曳圆园圆3 年第 猿6 卷第 8 期图 4运动目标检测实验图实验袁以此来验证系统的性能遥 结果如表 1 所示院表 1实验统计表通过 Vivado 软件进行结果分析发现袁 本系统对硬件资源消耗较低且功耗较低遥实验结果表明该系统在检测速度尧精准度以及系统功耗方面都达到了预期效果袁系统达到了预期要求遥4结束语本文以 ZYNQ 为平台袁 使用帧差算法来进行运动物体的检测遥采用软硬件协同的方式袁用 PS 端来完成部分控制操作及软件处理袁在图像采集尧图像处理和图像显示方面通过 PL 端来进行系统加速袁充分发挥了 ZYNQ 并行度的优势遥 本系统合理地利用了系统软硬件资源袁整个系统运动流畅尧工作稳定袁达到了预期效果遥 系统可拓展性强袁可在本系统基础上搭配各种型号的分辨率镜头尧增加为多数目的运动物体检测袁具有极大开发潜力遥参考文献咱1暂王中正.基于 FPGA 的运动目标检测研究与实现咱D暂.西安院西安电子科技大学袁2019咱2暂邢凯.基于 FPGA 的多运动目标检测技术研究咱D暂.昆明院昆明理工大学袁2020咱3暂李少婷.基于 Zynq 的图像去雾算法及其实现咱D暂.呼和浩特院内蒙古大学袁2021咱4暂杜建宝袁张祖锋.基于 FPGA 的运动目标检测系统的设计咱J暂.仪器仪表用户袁2018袁25渊3冤院40-42袁48咱收稿日期院圆园圆猿原园员原员园暂渊上接第 104 页冤RXD 算法分别对仿真数据集和真实数据图像进行高光谱异常检测遥 RXD 算法可以在异常目标光谱特征未知的情况下进行检测遥 通过计算检测窗口与背景窗口数据的统计量袁 即均值和方差袁得到待检测目标的 RX 算子值袁将大于设定阈值的异常目标从背景中检测出来袁可表达为院RX渊r冤=渊r-冤TK-1渊r-冤=逸th0H1th0H0嗓渊3冤其中袁r 为待检测像素光谱向量袁 为背景窗口均值袁K 为背景窗口协方差矩阵袁th0为设定检测阈值遥 本文采用准确率渊Precision冤尧召回率渊Recall冤和虚警率渊Probability of False 粤larm袁 Pf冤咱11暂来评估检测结果院Precision=TPTP+FP渊4冤Recall=TPTP+FN渊5冤Pf=FPTP+FN渊6冤其中袁TP 为检测为真的真实目标数袁FP 为检测为真的非目标数袁TP+FP 为检测为真的所有目标数曰TP+FN 为被检测出的所有目标数遥 仿真数据集和真实数据图像的检测结果如表 2 所示遥 由此可以看出袁仿真数据集在异常检测方面也能表现出较高的准确率和召回率以及较低的虚警率袁与真实数据图像检测结果类似遥表 2仿真数据集与真实数据图像检测性能对比5结束语本文提出了一种高光谱抛撒地雷的图像仿真方法袁 设计并实现了一款仿真软件袁并将其应用到了异常检测任务中遥 首先袁利用仿真软件对原始高光谱背景数据集进行裁剪袁 并通过选择抛撒地雷的型号确定其尺寸尧布设范围尧个数等信息曰其次袁通过空间融合和光谱融合的手段将仿真地雷数据尽可能逼真地融合到不同背景图像中曰最后袁采用 RXD 异常检测算法分别对仿真数据集和真实数据图像进行检测袁验证仿真的真实性和有效性遥实验表明袁 仿真数据集检测准确率约为 82.67%尧 召回率约为88.84%尧虚警率约为 13.21%袁均与真实数据图像表现相似袁仿真较为准确真实遥但由于抛撒地雷的真实数据较少袁难以在多场景下及复杂环境下验证仿真的真实性袁 今后将在这一方面进行更加深入的研究遥参考文献咱1暂陈川.高分辨率遥感成像仿真关键技术研究咱D暂.合肥院中国科学技术大学袁2018咱2暂BRNER A,WIEST L,KELLER P,et al.SENSOR:a tool forthe simulation of hyperspectral remote sensing systems J.Isprs Journal of Photogrammetry&Remote Sensing,2001,55(5):299-312咱3暂COIS F,ENG A B.Simulation of Imaging Fourier TransformSpectrometers Using DIRSIGJ.陨maging 杂cience,1999咱4暂王更科.SETE 系统中可见光图像仿真算法研究咱D暂.开封院河南大学袁2011咱5暂章永杰袁徐振亚袁李建勋.飞机红外高光谱图像仿真模型研究咱J暂.航空兵器袁2020袁27渊4冤院91-96咱6暂黄伟.天基典型复杂背景高光谱图像仿真咱D暂.南京院南京航空航天大学袁2019咱7暂谢少彪袁齐乃明袁秦雷袁等.高光谱亚像元图像仿真与异常检测应用咱J暂.哈尔滨工业大学学报袁2021袁53渊12冤院10-15咱8暂DORA CHINMAYEE,MAJUMDAR JHARNA.Analysis of Ver鄄sions of the RX Algorithm for Anomaly Detection in Hyperspectral ImagesJ.Current Journal of Applied Science andTechnology,2021:25-31咱9暂袁静袁章毓晋袁高方平.线性高光谱解混模型综述咱J暂.红外与毫米波学报袁2018袁37渊5冤院缘缘猿原缘苑员咱10暂中国军事百科全书编审室援中国大百科全书 窑 军事咱M暂.北京院中国大百科全书出版社袁2007咱11暂赵永强袁饶元袁董世鹏袁等.深度学习目标检测方法综述咱J暂.中国图象图形学报袁2020袁25渊4冤院629-654咱收稿日期院圆园圆圆原员圆原圆远暂107