基于MobilenetV1的盲人盲道专用智能眼镜的设计.pdf
《基于MobilenetV1的盲人盲道专用智能眼镜的设计.pdf》由会员分享,可在线阅读,更多相关《基于MobilenetV1的盲人盲道专用智能眼镜的设计.pdf(5页珍藏版)》请在咨信网上搜索。
1、物联网技术 2023年/第12期 智能处理与应用Intelligent Processing and Application760 引 言根据世卫组织的统计,2006 年中国的盲人大概有 500 万;到了 2010 年,这一数字攀升到了 824.8 万;而在 2016 年,失明者更是增加到了 1 731 万;截至 2021 年底,我国盲人数量达 1 730 万,占世界盲人总数的 18%。盲人群体的生存状况是我国政府和社会长期关注的焦点。中国盲人协会官方网站发布数据显示,我国目前现有的盲人数量居世界第一,是不可忽视的残疾人群体。2017 年,山东建筑大学对省内 65 个公共场所的调查发现,有 4
2、6%的盲道被占用1;同年,石家庄的一份调查显示:盲道被占率约为 11%2;2018 年一份对宁波市 79 个社区的调查发现,在危险地段设置警示性、提示性盲道的合格率仅为12%,合格率甚至低于商场3。由于城市建设规范对自行车、电瓶车的停放考虑欠佳,导致人行道被大量车辆占用,设置在人行道上的盲道也被殃及。这并不是“少数人素质低下乱停乱放”的问题,这一问题在全国都很常见。盲人出行除了在盲道方面遇到很多问题外,在辅助盲人出行工具这一方面也存在诸多困难。帮助盲人出行的方式通常有三种:导盲犬、盲杖和智能导盲装置4。导盲犬数量极少,在盲人群体中拥有者并不普遍;盲杖由于检测路面范围不全面,在使用过程中会遇到对
3、前方障碍物认知不清、无法察觉悬空的障碍物等问题;现存的智能导盲设备大多分为超声波导盲设备、红外导盲设备、引导式导盲设备。在使用超声波导盲设备时,超声波在途中会被反射或吸收,导致采集的信息不完整、检测出现盲区等;红外导盲设备在室外时太阳光会对红外线造成影响,导致测距出现一定程度的误差;导盲机器人存在开发成本高和不易携带维护等缺点,因此无法进行大范围推广应用。如今,随着计算机视觉技术的发展与深度学习在图像识别与检测领域的广泛应用,机器能够自动从大量图像数据中提取图像或对应物体的特征进行识别与判断,达到了极高的准确率。例如,基于深度学习的目标检测算法利用 AlexNet5、VGG6、GooleNet
4、7、ResNet8及 ResNext9等 卷 积 神 经 网络10作为提取图像特征的主干网络,实现了高精确率的检测模型。基于深度学习的目标检测从早期最具代表性的Fast-RCNN11、SPP-Net12、Faster-RCNN13等 到 近 三 年 的SNIPER14、NAS-FPN15等检测算法,多以高表征能力的CNN(Convolutional Neural Network,CNN)为主干网络实现了较高的检测精度。因此可将计算机视觉技术与硬件结合,应用于导盲设备中。为了让盲人出行更加便捷,更加安全,本项目设计了一款能够完整采集信息,不易受环境影响,可察觉前方障碍物种类,且易携带的盲人专用智
5、能眼镜,借助图像分类与超声波测距等技术,赋予盲人一双“慧眼”。开发的计算机视觉基于 MobilenetV1 的盲人盲道专用智能眼镜的设计马再蓉1,楼旭锋1,吴茂念1,2,郑 博1,2(1.湖州师范学院 信息工程学院,浙江 湖州 313000;2.浙江省现代农业资源智慧管理与应用研究重点实验室,浙江 湖州 313000)摘 要:针对视力障碍人士在盲道行走时无法有效预判前方障碍物的问题,设计了此款智能眼镜。该智能眼镜以 V831 开发板为控制核心,综合超声波导盲和引导式导盲方法,将微处理器、图像采集模块及测距传感器安装在眼镜架上,采用摄像头检测前方盲道路况,并使用 MobilenetV1 模型识别
6、障碍物种类,通过超声波测距传感器检测距前方障碍物的距离;一定距离内检测到障碍物时会播报相应语音提醒使用者,引导其避障以便安全出行。在真实环境中对该智能眼镜进行试验。结果表明,该眼镜实现障碍物分类功能、语音播报功能和与障碍物间距离测量功能的成功率分别约为 89.75%、96.75%和 96.5%。其中,对“石墩”这一障碍物类别的识别成功率最高,约为96.67%。关键词:智能眼镜;图像识别;深度学习;V831 开发板;语音模块;Python中图分类号:TP391 文献标识码:A 文章编号:2095-1302(2023)12-0076-05DOI:10.16667/j.issn.2095-1302.
7、2023.12.020收稿日期:2023-02-08 修回日期:2023-03-24基金项目:国家自然科学青年基金项目(61906066);2021年国家级大学生创新创业训练计划项目(202110347031);2022年浙江省大学生科技创新活动计划暨新苗人才计划(2022R431A017)2023年/第12期 物联网技术智能处理与应用Intelligent Processing and Application77技术与深度学习算法相结合的盲人专用智能眼镜,综合超声波导盲和引导式导盲方式,将微处理器安装在眼镜架上,通过超声波与云端相配合对数据进行处理。在盲道上行走遇到障碍物时该智能眼镜会发出声
8、音提醒盲人,引导盲人,帮助盲人在盲道上安全行走。1 系统总体设计本项目的控制系统以 V831 开发板为核心控制器(以下称 V831 开发板核心控制器为主控),数据处理中心(ESP-32开发板)将超声波测距模块采集的信息经处理后传输至主控,摄像头模块采集的数据经图像识别模块分类后,将分类结果传输至主控,主控将得到的数据进行整理,根据所得结果控制语音模块的播报信息。系统总框图如图 1 所示。图 1 智能眼镜控制系统总框图系统主要包括基于深度学习算法的图像识别模块、超声波测距模块和语音模块,系统整体应用流程如图 2 所示。打开开关为设备通电,系统启动后进行模型加载,模型加载完成后超声波模块和摄像头模
9、块开始采集数据。通过对摄像头采集的盲人在盲道上行走时所获取的图像信息与超声波测距模块采集的当前设备与前方路面的距离信息进行同步分析,判断所得数据是否在设定的正常范围内,若数据异常表明前方遇到障碍物,系统将获取图像识别模块检测的障碍物种类、超声波测距模块检测的当前位置与障碍物间的距离数据,将数据整理后语音播报给使用者,然后继续检测;若数据在正常值范围内,系统将不做提醒并继续检测。图 2 系统总体应用流程数据采集与传输本项目将 VR 眼镜作为基础结构,在此基础上放置所需模块及电路,并与电池连接,大体形状如图 3 所示。此款VR 眼镜长度为 172 mm、宽度为 89 mm、高度为 93 mm,完全
10、满足本项目模块对空间的需求。将摄像头模块放置于左眼位置处,将测距模块放置于右眼位置处;电池放在眼镜后部,减轻面部压力,如图 4 所示。图 3 智能眼镜模型 图 4 智能眼镜电池放置位置本眼镜所用测距传感器为 A21 超声波传感器模块,其具备高精度、盲区小(盲区 0.03 m、探测量程 0.02 5 m)、双 FOV 探测角(水平角度 40 65,垂直角度60 80)、响应时间短、过滤同频干扰、体积小、安装适配性高、防尘防水、寿命长、可靠性高等优点;此传感器的双角度探测有不同等级可选,根据本眼镜应用情况,选取水平角度 25,垂直角度 40;不同身高、不同视角对于距离的测量准确度影响不大。具体测量
11、区域如图 5 所示。图 5 超声波传感器测量区域本眼镜采用的摄像头模块为与 V831 开发板配套的摄像头模块,该模块的摄像头具有 200 万像素的固定焦点图像传感器,所拍摄的图片分辨率为 1 6001 200,摄像头模块以每秒 20 帧的速度抓取图片,并传到主控,可以较真实且迅速地拍摄环境图片。数据传输流程如图 6 所示。一方面,超声波模块采集前方距离信息,ESP-32 开发板将超声波模块采集的数据加工处理后传给主控;另一方面,摄像头采集当前盲道情况的图像数据,后将图片传给主控。主控接收并处理数据得到结果,若遇到非正常结果,便根据当前情况对使用者进行语音播报提醒。图 6 数据传输流程2 基于深
12、度学习的盲道路况检测识别2.1 数据集构建基于数字图像处理技术对盲道路况进行识别分类这一课物联网技术 2023年/第12期 智能处理与应用Intelligent Processing and Application78题在深度学习领域属于新型研究项目,采用的训练集和验证集是团队成员由以下方式获得:(1)团队成员实地拍摄;(2)在百度、谷歌、必应等大型网站上搜集下载,具体情况见表 1 所列。将每一类预留出 20%作为测试集,其余作为训练集。具体分类实例如图 7 所示。表 1 数据集详情类别网站下载/张实地拍摄/张共 计/张石墩1 7783532 131墙581136717消防栓1 6804272
13、 107树2 7467953 541电线杆2 2075722 779电瓶车2 1028642 966汽车2 0409572 997总计13 1344 10417 238图 7 盲道图片分类部分示例2.2 盲道路况识别算法现在较为经典的深度学习模型是 VGG 和 ResNet。但这两种网络模型的参数量与计算量较大,效率较低,占用内存较大。为提升卷积层网络效率,研究人员在卷积层神经网络的基础上提出了轻量化卷积神经网络。本项目的分类模型采用基于 MobilenetV116的图像分类模型。MobilenetV1 模型是 Google 针对手机等嵌入式设备提出的一种轻量级深层神经网络,该模型的核心思想是
14、使用深度可分离卷积块(Depthwise Separable Convolution)。深度可分离卷积块是由深度可分离卷积和普通 1*1 卷积组成。其中,深度可分离卷积的卷积核一般为 3*3,通常用于特征提取,而普通 1*1 卷积可以完成通道数调整。使用深度可分离卷积块的目的是使用更少的参数来代替普通的 3*3 卷积。深度可分离卷积块如图 8 所示。MobilenetV1 网络结构见表 2 所列。图 8 深度可分离卷积块表 2 MobilenetV1 网络结构类型/步距卷积核输入大小Conv/s23*3*3*32224*224*3Conv dw/s13*3*32 dw112*112*32Con
15、v/s11*1*32*64112*112*32Conv dw/s23*3*64 dw112*112*64Conv/s11*1*64*12856*56*64Conv dw/s13*3*128 dw56*56*128Conv/s11*1*128*25656*56*128Conv dw/s23*3*128 dw56*56*128Conv/s11*1*128*25628*28*128Conv dw/s13*3*256 dw28*28*256Conv/s11*1*256*25628*28*256Conv dw/s23*3*256 dw28*28*256Conv/s11*1*256*51214*14*25
16、6Conv dw/s13*3*512 dw14*14*512Conv/s11*1*512*51214*14*512Conv dw/s23*3*512 dw14*14*512Conv/s11*1*512*1 0247*7*512Conv dw/s23*3*1 024 dw7*7*1 024Conv/s11*1*1 024*1 0247*7*1 024Avg Pool/s1Pool 7*77*7*1 024FC/s11 024*1 0001*1*1 024Softmax/s1Classifer1*1*1 000运用现有的数据集,训练并使用分类模型,将在盲道上所遇障碍物分为石墩、墙、消防栓、树、杆、
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 MobilenetV1 盲人 盲道 专用 智能 眼镜 设计
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。