基于Deeplab V3 的机器人语义SLAM算法研究.pdf
《基于Deeplab V3 的机器人语义SLAM算法研究.pdf》由会员分享,可在线阅读,更多相关《基于Deeplab V3 的机器人语义SLAM算法研究.pdf(10页珍藏版)》请在咨信网上搜索。
1、信息技术 年第 期基于 的机器人语义 算法研究陈怀新 王 均 朱 佳 朱丽霞 巫东来 梅 竹(国网电力科学研究院 南京)摘 要:针对机器人在同步定位与地图构建()系统中受几何场景信息计算力和带宽负载的限制对 框架进行改进提出语义跟踪和语义建图线程语义跟踪线程通过 对图像语义分割同时提取该图像特征点进行移动一致性检查来剔除动态噪声点结合一致性检查后的特征点和分割后的图像信息来二次检查动态点随后位姿估计而语义建图线程主要完成语义八叉树地图的构建 在 数据集上进行了广泛实验在 系列数据中的旋转漂移误差达到 、平移漂移误差达到 满足实时性要求所提方法有效提高了 的精度和鲁棒性关键词:语义分割 移动一致
2、性检查 位姿估计 八叉树地图中图分类号:文献标识码:文章编号:():./.基金项目:国网江苏省电力有限公司科技项目资助()作者简介:陈怀新()男硕士研究方向为人工智能、图像处理、研究 ():().:引 言同步定位和地图构建()技术能同时估计摄像机运动并构建三维地图在移动机器人、无人驾驶、虚拟现实等领域中广泛应用 分为激光 和视觉 用于收集图像、点云等数据 一些神经网络算法在图像语义分割中具有良好的性能通过语义分割为地图中的对象分配有意义的语义标签建立语义地图 在根据几何信息建图的方法中由基于 的机器人语义 算法研究 陈怀新 等于 特征容易集中在强纹理区域采用基于四叉树的方法提取均匀的 特征但该
3、方法无法提供有效的语义特征而在语义方面文献提出端到端的 网络 通过使用单目深度图产生带有语义标签的三维体素实现 上下文学习任务 文献提出了一个用于形状补全的 网络使用来自 形状分类器的语义类预测对全局上下文进行编码 文献使用一个对整体场景保持大小不变的卷积核来处理不同空间尺度中的大型场景并开发出一种精细化推理策略获得高分辨率输出 上述方法从深度学习入手解决了一些特性问题但并未做到几何层次与语义层次的全面结合本文在 整体框架基础上提出语义跟踪和语义建图方法对相机图像同时进行 特征和 语义特征提取结合两者的优势共同剔除实际场景中的动态噪声点选取最优特征点作为输入 本文首次将 和 结合用以减少相机位
4、姿估计影响提高机器人感知水平 在 公开数据集上评估了本系统通过对比轨迹误差、平移漂移误差和旋转漂移误差有效验证本系统降低了位姿估计影响提高了精度和鲁棒性 语义分割语义分割指为图像中每个像素分配语义标签机器人任务中通常以相机传感器捕获的图像作为输入 使用基于全卷积神经网络()的 提取图像特征该方法采用编解码器实现分割通过逐步恢复空间信息来捕获更清晰的对象边界文献采用 利用空间金字塔通过几个不同膨胀系数的并行膨胀卷积操作来编码多尺度上下文信息本文研究工作中使用了 分割网络 有效结合了上述两种方法图()表示 空间金字塔即多个并行膨胀卷积处理过程图()表示 编解码器实现过程而图()表示 结合空间金字塔
5、的编解码器实现过程图 三种分割网络的特征提取方式 整体框架如图 所示主干网络分为编码模块和解码模块 编码模块中将输入图像进行空间金字塔池化操作(并行膨胀卷积)编码多尺度上下文信息解码模块中将低层次特征与膨胀卷积后得到的语义特征进行融合处理通过上采样输出语义图像具体来说编解码器和膨胀卷积是 的核心操作 接下来将阐述这些方法 编码编解码器已经成熟地应用于多种计算机视觉任务例如语义分割、目标检测和手势识别 编码模块主要将图像映射到高维来捕获语义特征 针对语义分割任务为获得更加密集的特征本文设置膨胀系数 和 分别作为最后两个尺度图像的卷积核该情况下输入图像空间分辨率与输出图像空间分辨率之比为 本文对每
6、个输入通道单独的执行膨胀卷积并通过 卷积组合各通道的输出实现编码该方法显著降低了模型的计算复杂度基于 的机器人语义 算法研究 陈怀新 等图 整体框架 膨胀卷积膨胀卷积起初用于处理图像分割任务传统的图像分割算法通过调整卷积层和池化层扩展感受野但该方法会导致特征图尺寸缩小必须上采样还原图像尺寸以免造成精度损失膨胀卷积通过调整卷积核的方式避免对图像进行上采样操作 二维图像中膨胀卷积定义如下:()其中 表示像素点位置 表示卷积核 表示输入 表示输出 设置膨胀系数 代表步长 如图所示图()、图()和图()分别表示 、情况 从图中能够发现传统的标准卷积即膨胀系数 时的特殊形式通过更改膨胀系数能够调整膨胀卷
7、积核在保持特征图大小不变的前提下扩大感受野信息 膨胀卷积现已成为一个强大的卷积工具能够精确控制输出图像的尺度 解码解码模块主要作用是为每个编码后的特征图逐像素进行类别标注即分割 解码结构将编码器输出特征进行上采样并使其与主干网络中相同空间分辨率的低层次特征融合其中低层次特征通过 卷积来减少通道数量 随后应用 卷积细化特征并上采样输出分割结果图 不同膨胀系数的卷积核本文创新性的引入语义方法借助 为 系统框架提供丰富的语义地图信息 接下来将详细介绍语义方法应用于机器人 任务例如建图、检测等基于 的机器人语义 算法研究 陈怀新 等 结合 的 整体框架机器人视觉 研究领域得到广泛关注传统 框架由前端特
8、征提取、后端状态估计、闭环检测等基本部分组成 同时相机图像存储着丰富的信息例如语义分割、目标检测等计算机视觉任务这也推动 朝着语义方向的进一步发展 本文提出一种结合 语义分割网络的 系统整体框架如图 所示图 结合 的 整体框架 本文所提系统共 个线程:语义跟踪线程、局部建图线程、闭环线程和语义建图线程 其中跟踪、局部建图和闭环 个线程并行运行而语义建图线程单独实现 局部建图线程和闭环线程为 自带线程语义跟踪线程和语义建图线程为本文所提方法 接下来将详细介绍本文的创新方法:语义跟踪和语义建图 语义跟踪线程姿态估计的准确性和复杂场景下的鲁棒性是评估机器人性能的重要指标而动态对象不利于机器人识别其噪
9、声点需要剔除 为此本文提出语义跟踪线程用于过滤动态噪声点语义跟踪线程步骤如图 所示相机捕获原始 图像 特征提取和 语义分割同时进行对 特征进行移动一致性检查后并与语义信息结合二次检查捕捉噪声点实现语义跟踪图 语义跟踪线程基于 的机器人语义 算法研究 陈怀新 等 移动一致性检查主要用于检查图像动态点本文以 分割结果中的关键点移动为依据判断该点为动态点若某一对象的动态点超过阈值则判定该对象为动态对象需进行剔除处理 移动一致性检查步骤如下步骤:计算图像光流金字塔捕获当前帧中相匹配的特征点步骤:选择合适的特征点匹配对 若匹配对中心的图像块像素差超过阈值丢弃该匹配对图像块大小设定为 若匹配对接近图像边缘
10、不能有效匹配丢弃该匹配对步骤:利用随机一致性采样()算法计算特征点匹配对得到基础矩阵根据基础矩阵和当前帧的像素坐标计算极线 随后计算匹配的特征点到对应极线的距离若该距离大于设定阈值则将该特征点分类为动态点相反则为静态点基础矩阵的计算公式定义如下:()其中分别表示最后一帧和当前帧即一组特征点匹配对 设 代表它们的齐次坐标定义为:()其中 表示图像帧值根据以上公式能够计算出 对应极线:()其中 代表极线 代表线向量 为基础矩阵 则特征点到极线的距离 计算为:()通过距离 能够判定特征点类别若 大于预设阈值 则判定为动态点若 小于 则判定为静态点上述步骤为移动一致性检查过程能够检测出大部分动态点而由
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于Deeplab V3 的机器人语义SLAM算法研究 基于 Deeplab 机器人 语义 SLAM 算法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。