户外智能随从机器人系统设计_邓开连.pdf
《户外智能随从机器人系统设计_邓开连.pdf》由会员分享,可在线阅读,更多相关《户外智能随从机器人系统设计_邓开连.pdf(5页珍藏版)》请在咨信网上搜索。
1、ISSN 1006 7167CN 31 1707/TESEACH AND EXPLOATION IN LABOATOY第 42 卷 第 2 期Vol42 No22023 年 2 月Feb 2023DOI:10 19927/j cnki syyt 2023 02 021户外智能随从机器人系统设计邓开连,朱华章,燕帅(东华大学 信息科学与技术学院,上海 201620)摘要:设计了一款基于计算机视觉的随从机器人。与常规智能小车相比,该智能机器人实现了多个神经网络协同工作,能够跟随主人在户外移动,并且按照主人做出的指令执行相应的动作,具备人脸识别、基于行为识别的摔倒检测等功能。该智能机器人使用 Fac
2、eNet 进行面部特征提取;采用 YOLOV4+DeepSort 组合实现用户跟踪;基于 BlazePose 设计了手势命令;设计并训练了基于 LSTM 的行为识别网络。实验结果表明,在对人体行走、坐下、摔倒 3 类动作分类的准确率分别达到了93.6%、96.7%和 97.8%,能够有效地检测摔倒姿势。系统在达到预测的准确性同时占用更少的运算资源,将模型部署在搭载了拥有 512 个 CUDA 核心的 VoltaTMGPU 的 JetsonNX 上,运行帧率达到了 15 帧/s 以上,具有良好的实时性。关键词:户外跟随;智能机器人;系统设计中图分类号:TP 391文献标志码:A文章编号:1006
3、 7167(2023)02 0098 05Design of Intelligent Follower obot Used OutdoorDENG Kailian,ZHU Huazhang,YAN Shuai(College of Information Science and Technology,Donghua University,Shanghai 201620,China)Abstract:This paper designs a follower robot based on computer vision Compared with the conventional intelli
4、gent car,this intelligent robot realizes the cooperative work of multiple neural networks It can follow the owner to move outdoorand perform corresponding actions according to the instructions delivered by the owner It is equipped with the functionsof face recognition,falling detection based on beha
5、vior recognition,etc FaceNet is used for facial feature extraction;YOLOV4+DeepSort combination is used to achieve user tracking Gesture commands are designed based on BlazePose;and a LSTM-based behavior recognition networkis designed and trained The experimental results show that in theclassificatio
6、n of human walking,sitting and falling,the accuracy rates reached 93.6%,96.7%and 97.8%,respectively It can effectively detect falling postures The system can achieve a high accuracy of prediction whileoccupying less computing resources,the frame rate of running on JetsonNX with VoltaTMGPU which has
7、512 CUDA coreinside reaches more than 15 frames per second,which has good real-time performanceKey words:outdoor follow;intelligent robot;system design收稿日期:2022-07-11基金项目:2021 年 度 国 家 级 大 学 生 创 新 创 业 训 练 计 划 项 目(G180910418);2021 年中国纺织工业联合会高等教育教学改革研究项目(2021BKJGLX140);上海市高等教育学会 2021 年度规划研究项目(Z2-10)作者简
8、介:邓开连(1984 ),男,安徽六安人,高级实验师,主要从事嵌入式系统设计与应用、人工智能、实验教学研究与管理等。Tel:13818519931;E-mail:dengkailian dhu edu cn通信作者:燕帅(1988 ),男,安徽阜阳人,实验师,主要从事现代电子技术与系统、电路与电子技术类实验、实验教学管理与创新等研究实践。Tel:13671618266;E-mail:Sammyan dhu edu cn0引言随从机器人控制系统,适合在各个服务于人的环境中工作。根据机器人工作的空间,可以分为固定机器人和移动机器人。固定机器人如生产车间流水线上生产零部件的自动化生产机械臂;移动机器
9、人如苏黎世联邦理工学院研发的四足机器人 ANYmal 可以穿越复杂的山林环境1。文献 2 中的 OS 系统为各个模块提供了通信框架,便利了机器人开发。刘小军等3 第 2 期邓开连,等:户外智能随从机器人系统设计设计了基于 OS 开发平台实现人体骨架和物体的识别、同步定位与地图构建等功能的家庭服务机器人。陈智拓等4 设计了以 NI myIO 为核心处理器以LabVIEW 图形化系统,用于陪伴空巢老人,实现跟随、日常生活提醒、语音交互、音频播放、异常情况通信报警等基本的陪伴功能。唐文宇5 在路径规划中选取了全路径覆盖算法,配合激光雷达运用片分割策略动态分割区域,能够支持户外工作的机器人,路径规划十
10、个重要的课题;李晶6 在四轮驱动四轮独立机器人转向 AGV 的研究上,采用分布式计算,模块化设计和代码可重复的 OS 操作系统开发了自动导航 AGV 的应用。在机器人的设计上,Kalburgi 等7 仿照蝗虫运动的生理特征设计了基于 OS 的四足行走机器人。在机器人的追踪功能上,Panda 等8 将通用目标跟踪器和对象检测模块与目标重新识别模块融合在一起,有效地解决了目标由于长时间的遮挡或目标的运动模糊而丢失;Xue 等9 提出了一种基于密集连接和注意力的 YOLO(DCA-YOLO)的第一人称视角下的多人跟踪算法。本文提出了一款多神经网络协调工作的机器人,用户能够通过视觉感知向机器人发送运动
11、的控制命令,该机器人能够准确识别、追踪用户,可通过视觉实现跟随用户移动,时刻监视用户的运动状态,检测用户是否摔倒或遇到其他危险。1系统设计1.1随从机器人硬件结构图 1 所示为随从机器人系统框图,其主要有图像传感模块、Jetson Nx 神经网络计算模块、Arduino 运算控制模块、电动机及电动机驱动模块等组成。随从机器人的工作过程为 Web 摄像头收集到图像信息后通过 USB 接口传输到 Jetson Nx 用以进行图像处理,计算出用户位置后通过 USB 串口传输到下位机 Arduino,Arduino 控制舵机及轮毂电动机使得机器人和 Web 摄像头始终跟随和朝向用户。机器人的实物模型如
12、图 2所示。图 1随从机器人系统整体框图Jetson Nx 为边缘计算设计的一款嵌入式开发板,具有优秀的计算能力和充足的内存,为搭载多个神经网络以及支持其相互间协调工作提供了保障,能够满足户外跟随的实时性要求。图 2随从机器人实物模型图 3 所示为 Arduino UNO 核心板实物图,其处理器核心是 MEGA328,存储器为 W25Q64,同时具有 14路数字输入/输出口(其中 6 路可作为 PWM 输出),6路模拟输入,1 个 16 MHz 晶体振荡器,1 个 USB 口,1个电源插座,1 个 ICSP header 和 1 个复位按钮。为配合 Aruino 对电动机进行控制,采用了开拓者
13、电动机控制板驱动板,其实物如图4 所示。提供6 路 PWM 控制输出用以控制伺服电动机,6 路传感器结构和 6 路总线接口,7 V 电源输入接口。图 3Arduino 最小系统实物图图 4开拓者电动机驱动板实物1.2Jetson Nx 算法流程设计Jetson Nx 工作流程如图5 所示,激活程序,摄像头接受图像信息。其将 Facenet 识别到的人脸特征与数据库中的人脸信息进行对比,找出相近的数据及其所属的姓名。得出姓名与程序中预设的人脸对比,直到识别的人脸特征与数据库中主人的人脸信息相近。当身份识别成功后,程序跳出人脸识别循环并进入预选模式,通过手势的命令来选取 3 种工作模式。工作模式
14、1手势控制机器人运动,不同的手势代表 不 同 的 命 令,摄 像 头 传 来 图 像 信 息,使 用BlazePose 处理获得关节节点,不同关节节点之间的位置关系表示不同手势。上位机识别到命令后将命令信息通过 USB 串口传输到下位机当中,下位机控制电动机控制直流电动机转动轮子达成相应命令。工作模式2自动跟随模式,通过跟踪器 DeepSort与检测器 YOLO V4 识别主人位置,通过超声波测距模块获得距离主人距离来判断当前机器人应停止还是前进。在距离主人近距离内不做位置移动,但保持控制舵机使摄像头对准主人;若主人远离,则驱动直流电动机进行跟踪。在此期间,持续调用融合 BlazePose-9
15、9第 42 卷LSTM 网络识别主人行为,在主人摔倒时发出警报。工作模式 3取消机器人自动能力,采用手柄操作机器人位移。每个模式在完成工作后,都要进行一次退出模式命令的判断。当前模式工作结束将会回到模式选择的大循环当中。此外,在工作模式选择的时候,可以选择让机器人睡眠待机。在主人尝试唤醒机器人后,机器人会重新回到任务起始点,并捕捉主人脸部信息进行验证解锁。图 5Jetson Nx 算法工作流程2神经网络模型原理2.1人脸解锁Kazemi 等10 提出了使用多个回归器级联成的级联分类结构,通过该级联分类器可以获得人脸的图像区域,将图像区域截取并输入 FaceNet 网络。面部编码采用了 Schr
16、off 等11 设计的卷积神经网络的结构 FaceNet,每张含有人脸信息的图片经过编码输出 128 个向量,对比请求解锁人的面部特征向量和数据库中用户的特征向量,计算出两向量间的距离,其距离小于一定阈值的时候将其判定为用户本人,允许解锁。2.2用户追踪目标追踪算法中不仅要实现目标的检测,还要实现对目标的持续追踪。本文目标追踪算法是目标检测模型和目标追踪模型的结合,采用 YOLO V4 实现目标检测12,采 用 DeepSort 算 法 实 现 目 标 追 踪13。DeepSort 使用卡尔曼滤波算法和匈牙利算法实现多目标追踪,并加入了 eID 特征网络提取外观信息,使得目标在遮挡或者离开视野
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 户外 智能 随从 机器人 系统 设计 邓开连
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。