山东省高等学校省级大学生创新创业训练计划项目中期检查报告.docx

《山东省高等学校省级大学生创新创业训练计划项目中期检查报告.docx》由会员分享，可在线阅读，更多相关《山东省高等学校省级大学生创新创业训练计划项目中期检查报告.docx（12页珍藏版）》请在优知文库上搜索。

1、山东省高等学校省级大学生创新创业训练计划项目中期检查报告学 校山东大学项目编号S项目名称基于人工智能的垃圾瓶检测与分类在FPGA上的设计与实现项目负责人李敬阳项目级别省级一、项目进展情况及取得成果（按照项目研究工作计划逐一对照填写）项目进展情况（）按计划进行、（）进度提前、（）进度滞后主要研究阶段 （起止时间）研窕内容完成情况2021.7.12022.1.1利用YOLOv4架构训练空瓶数据集并做出实时检测基本完成2022.1.1 2022.5.4利用Vitis将yolov4网络转换为硬件描述语言移植到 FPGA平台上运行部分完成项目研究成果（已取得的成果）序号项目成果名称成果形式1基于yolo

2、算法的目标检测网络可执行程序2Xilinx FPGA ZU3EG UltraScale+MPSoC 开发板运行及调试实物二、项目季度报告(项目执行的进展情况，取得了哪些成绩，是否达到预期效果，以及在项目 的开展过程中还存在哪些问题，3(X)0字以内)目前本项目正处于人工智能检测垃圾瓶并进行分类的硬件移植阶段，进展良好。自项目开展以来，本团队成员开展了对于FPGA开发板技术、人工智能技术的理论学习，初步掌握了 FPGA开发版的使用，学习并掌握了人工智能工作原理及其所需的PythOn及C+代码，已经在WindoWS平 台上完成了 YOLo算法计算机视觉网络架构的搭建，并能够使用搭建完成的计算机视觉

3、网络完成数据集标 注、数据集训练、图片检测识别、视频检测识别、摄像头实时检测识别等一系列计算机视觉相关的工作。在软件工作基本完成的同时，项目组成员也迅速展开了对于FPGA开发板的调试与开发，初步完成了 FPGA操作系统的安装。在已完成安装的系统中，本项目组成员已经实现了开发板使用的三种方法，同时在 FPGA的LinUX系统中运行了数个计算机视觉的目标检测实例,验证了开发板具有后续进行实时检测的性能。1 .目标检测在WinlO系统上的软件实现在目标检测的软件实现方面，本项目目前采用的是AlexeyAB的YOLOv4框架。YOLOv4在原有YOLO 目标检测架构的基础上，采用了近些年CNN领域中最

4、优秀的优化策略，从数据处理、主干网络、网络训练、 激活函数、损失函数等各个方面都有着不同程度的优化，在实时目标检测算法中精度最高，实现了精度和 速度的最佳平衡。下图总结了近些年的目标检测检测器的优化改进手段的方向结构组成，同时在下面对几个重要改进的 部分列出了改进的方法：Tio-S（ac Dctcctor图1 yolo做出的改进 InPUt 部分：Image, Patches, ImageSPyramid（图像金字塔） BaCkbone 部分：VGG16, ResNet-50, SpineNet, EfficientNet-B0B7, CSPResNeXt50, CSPDarknet53 ne

5、ck部分：o Additional blocks： SPP, ASPP, RFB, SAMo Path-aggregation blocks： FPN, PAN, NAS-FPN, Fully-connected FPN, BiFPN, ASFF, SFAM Heads 部分：o Dense Predictions（One-Stage）： RPN, SSD, YOLO RetinaNet （基于 anchor） ComerNet, CenterNet, MatrixNet, FCOS （无 anchor）o Sparse Predictions（two-stages）： Faster R-CN

6、N, R-FCN, Mask R-CNN （基于 anchor） RepPoints （无 anchor）下图为yolov4网络结构的采用的算法，其中保留了 yolov3的head部分，修改了主干网络为CSPDarknet53,同时采用了 SPP （空间金字塔池化）的思想来扩大感受野，PANel作为neck部分。主干网络采用CSPDarknet53为了 nW0受野,采用了SPPfi跑想网络结构其他的改进策略采用PANet中的路径聚合楼块瞬用YOIOV冲的headBoF和BoS的选择采丽穗据明算法使用幽传箕法来选腌参数CmeN (妞，Nft国S化)改迸SAMSWftPANMosaicSelf A

7、dverdarial Training (SAT)不使用 PRULUSELURELU6 活渊使用DrOPBl OCknJ妣方法不使用SynCBN下图为yolov4在技术处理的思维导图:CIoU-IomCmBN （交叉小Itt标府化）OopBIockMowiicSAT （白对仄巾除）detectorCutMrMouicmKH8DIoUNMSYOLOV4使用class label smoothingbackboneMkh激活CSPDropBIockMIWRC使用MS COCO数据集，在不同的GPU上，使用不同的网络跟YoLoV4进行的对比结果：（横轴为FPS,纵轴为AP值）MS CM,O Objr

8、ct IMrctIoaMS K O IMctlnnMSC (K ()hil IMcYtixM (JObicct IMrtir(ve*图2 yolo检测与传统算法的对比目前本项目已经完成了运用yolov4网络在WindOWS平台上进行数据集训练、图片检测、视频检测、实 时检测，将在文末展示部分检测成果。2.目标检测的开发板硬件移植在硬件方面，选择了 XiIinXFPGAZU3EGUltraScale+MPSoC 的 UItra96-V2 开发板，Ultra96-V2 是基于 Arm的Xilinx Zynq UltraScale+ MPSoC开发板。Ultra96-V2采用Microchip认证的

9、无线电模块设计，可 在全球更多国家/地区使用。此外，Ultra96-V2提供商业和工业温度级选项。使用随附的InfineonPmiCS可 以实现额外的功率控制和监控。与Ultra96 一样,Ultra96-V2从提供的Delkin 16 GB microSD卡启动。可 以选择使用集成的无线接入点功能通过Web服务器连接到Ultra96-V2,或者使用提供的Linux Matchbox Windows环境，可以在集成的Mini DisplayPort视频输出上查看。提供了多个应用示例和板载开发选项作 为示例。开发板可以通过板载USb接口连接DP屏、鼠标和摄像头，通过jtag串口可以连接电脑进行通

10、信， 在Sd卡中烧入镜像文件后，开发板可以跑相应的IinUX系统。目前已实现了全部三种方式使用开发板：jiag的串口通信：通过jiag连接Ultra96开发板并进行COM 口通信的结果，进入IinUX的终端来对 开发板进行操作。Wifi通信：通过连接开发板的板载Wifi登录。 开发板跑IinUX系统：使用WIn32_disk_imager将镜像烧录入Sd卡后连接DP屏，在IinUX系统中进 行操作。同时本项目组己经使用安装的LinUX程序运行了数个VitiS-Al下的目标检测示例，将于报告末尾附上实 例运行结果。部署前对yolov4的模型进行可视化的操作：图3.4可视化具体操作流程在利用Vit

11、is将yolov4网络转换为硬件描述语言移植到FPGA平台上运行部分：由于开发板自带的LinUX 系统无法完成darknet配置，且开发板不支持yolo的直接移植，故我们通过xilinx的官方教程将yolov4转化 为caffe框架进行开发板的部署。下图是我们的流程概述：通过ssh终端访问ultra96v2开发板进行移植模型的初步测试对单张图片或视频进行检测，命令行调用模型进行检测，并在终端输出result的坐标位置，在文件目录处保存result的结果:对于理想瓶子:X 0 Rewde womo6 55H).iMkr.w.1M proc.rwtt.hppM4) RnuIY: 31:42. U7

12、QMT.5W 17,30 US.4M IS.)M procVB-rwlt.hpp:44) MWlT: 19ISC.S2 17.3419 201.Uf H3.:42.1771M1M5 proce*_rmXt.hpp:44) KMUlT: 7ns.M 274.214 I”.:Q.im”,M2135 procBS.rXt.hppM4) RtWlT:IM.4 If .7m 201.5 1，2.reot*1Mv2bcb*22-2ruraharvt%-t-l9rryflal/Mb3ta9U2 rot*Mv7.卬MSI213 H: .mz八 1213 1: .7TMCr IettGMflMgsgl 9 wt

13、ten to S4M 139 procv.rcuK.hppz44) RtWlT: 26.1Wl 15.4IJT C4.on Mr Hn. lll,nabjm EtMtSAy对于现实的瓶子检测效率还有待加强:root*uMv2-vcbM-202O*2:- cd urM,vtt,.librryplfZyolovVr8t彩2sb-bai42022:s=4r/v11l-LlIbr”plyol.tstjUotS4 WIOV4 y,PP. bottX3. jpgMIMIlM: I099Eg br In409tH099iA9 wf ttt to STDCWt19215 lSrO442.11S35 .83102X6215 14:04:42.127S6 .2421815 .82563必5 14:04:42,127214 .W42711215 li:94:42,127279 .WM1385 ProW*ultM44 RESULT: 1365 procssaarwlt.:44 RESULT: 130 proc9.rtult.lpr44 RMT: A130) proc。”JeWlt .5：3】 RCMT: A1385 proe5.rewlt.Mp:44) WSIAT: W6.394917S.5063 1M.6B2 iM.3W1.92415.413717.3439