基于VR技术的挖掘机遥控操作辅助系统.pdf
《基于VR技术的挖掘机遥控操作辅助系统.pdf》由会员分享,可在线阅读,更多相关《基于VR技术的挖掘机遥控操作辅助系统.pdf(4页珍藏版)》请在咨信网上搜索。
1、2023 年第 8 期122计算机应用信息技术与信息化基于 VR 技术的挖掘机遥控操作辅助系统周羿旭1ZHOU Yixu 摘要 在复杂、恶劣、危险环境中使用挖掘机作业时,采用远程操控是消除人员安全风险的根本途径。当前的远程控制方法通常基于平面图像,避免了观察人员到近井口作业。但是平面图像和现实三维图像存在视觉误差,不利于精细化操作。为此,提出开发一套基于 VR 的远程操作辅助系统,通过 VR头盔实现现场画面的全景呈现,同时增加虚拟仪表盘、虚拟行进轨迹等辅助功能,协助驾驶员对现场情况进行判断,提高效率与安全性。关键词 挖掘机;虚拟现实技术;远程操作;辅助抢险doi:10.3969/j.issn.
2、1672-9528.2023.08.0261.北京信息科技大学高动态导航技术北京市重点实验室 北京 1001010 引言在现代社会中,挖掘机是用来执行工业工程任务的重要设备,是应对油气井井喷失控抢险时的重要工程机械。但由于近井口存在高温、火焰和高压喷射等诸多危险因素,使得作业环境复杂、恶劣、危险,利用远程操控挖掘机替代操作员完成切割清障和井口重置等危险工作是理想的解决方案之一。随着工业的不断发展,挖掘机智能化、自动化挖掘有了较好的发展条件,国内外越来越多的学者开始关注远程操控挖掘机作业。2019 年,国内三一重工展示了与华为、中国移动等联合打造的 5G 遥控挖掘机,可以远程控制河南洛阳栾川钼矿
3、的挖掘机作业,但平面的画面不够直观,对操作人员要求较高,且可能误差较大。2019 年,日本一家公司,研发了一套通过 VR 头盔和遥控设备的系统,该设备选用固定机位广角相机,可实现近场遥控,但这种广角相机可视角度仍然较小,且该方案仅仅是将画面简单的展示在 VR 头盔中,对于一些精准操作仍主要依据驾驶员的经验判断。因此,为了进一步降低抢险人员作业风险,本文提出开发一套基于 VR 的远程辅助操作系统,实现基于 VR 的远程挖掘机全景画面呈现,并增加虚拟仪表盘、前进路线标注等辅助操作功能,辅助抢险人员对现场情况进行判断,提高安全性。1 基于 VR 的交互方法在驾驶室中安装双目相机,采集高清画面,通过硬
4、件编码器编码;同时,在前端抢险设备加装有毒有害气体传感器,获取现场环境参数。将画面视频和环境数据传至运算中心,由运算中心进行视频与数据的处理与分发。运算中心对视频流进行解码,并转化为 VR 画面传送至驾驶室 VR 头盔,实现现场画面重现。计算中心通过硬件解码器对收到的视频数据进行解码,得到视频画面。计算中心对视频画面的饱和度、亮度、对比度进行增强处理,通过基于深度学习的目标检测方法,对目标信息进行提取与标注,然后将视频画面投射进 VR 视野。计算中心基于收到的环境数据生成虚拟仪表盘,并将虚拟仪表盘叠加至 VR 视野,并通过 VR 眼镜呈现现场画面与虚拟仪表盘。同时,计算中心将画面分发至储存接口
5、和输出接口。储存接口可以录制视频,输出接口可通过视频线连接至指挥至中心屏幕,查看实时画面;指挥中心可以在画面中进行标记,标记信息实时同步至驾驶员的 VR 眼镜视野。驾驶员转动头部时,将 VR 眼镜将坐标、角度数据传至前端三轴稳定云台,云台根据角度数据转动,转向 VR 眼镜对应方向,驾驶员可任意查看现场各方向画面。驾驶员在后端驾驶室操作控制,控制数据采集单元使用 CAN 采集卡获取操纵杆等控制参数,发送至计算中心处理,计算中心对控制数据进行加密后转发至前端控制单元,实现对抢险机械的操作。1.1 VR 交互与全景画面重现方案说明常见全景画面传输方式有两种:(1)通过全景相机直接采集 360全景画面
6、,并将全景画面全部传输只后端。这种方式结构简单,但视频传输数据量较大,网络要求高。且由于相机通过鱼眼镜头把更大的画面投影到光学传感器画布上,最终画面的清晰度相对较低。且在双目 3 D 方向,全景相机还没有成熟的解决方案。(2)通过将普通相机安装在伺服云台上,云台跟随操作人员头部转动,实现全景画面的查 2023 年第 8 期123计算机应用信息技术与信息化看。这种方式传输的数据量较小,画面延时较低,且画面相对更清晰;云台转动是有一定的延时,但实际使用可通过软件补偿的方式降低其影响。且对这种方式进行双目扩展更方便,仅需加装摄像头即可。综上,本文选择第二种方案,整体技术方案如图 1 所示。1.2 低
7、延时通信方案本系统的数据传输主要包含两部分,即视频画面传输与控制信号传输。1.2.1 视频传输方案实际抢险应用中,抢险操作人员通常在现场不远处,实现 500 m 的传输距离即可满足应用需求。但现场操作对延时要求通常较高,所以本文选择点对点图传方案,如图 2 所示,该方案能够在 1 km 内实现超低延时的高清视频传输。图 2 视频信号传输方案1.2.2 控制信号传输方案为实现更加通用的控制信号传输,本文搭建了一条远定向远距离无线网络。如图 3 所示,基于该网络可以实现控制信号、设备信息等数据的传输。图 3 控制信号传输方案2 辅助操作功能2.1 虚拟仪表盘对于一些应急抢险任务来说,现场可能伴有明
8、火、有害气体等,准确了解现场状况对抢险作业有着重要意义。如图4 所示,通过在前端挖掘机设备安装传感器,将环境传感器数据传后端控后,并在 VR 中呈现出环境数据信息,辅助驾驶员进行判断。图 4 虚拟仪表盘功能2.2 前进路线虚拟标注驾驶员对路面宽度和行进轨迹的判断主要依据经验,当操作挖掘机通过狭窄目标时,准确判断轨迹、距离仍有一定难度。在 VR 画面中预测行进轨迹并进行标注,可以辅助驾驶员进行判断。挖掘机的驾驶舱与履带底盘可以水平旋转,即驾驶舱的正前方并不一定是行进方向的正前方。本文通过在地盘上加装地磁传感器,获得磁场数据,并回传至控制中心。本文基于地磁数据判断当前挖掘机底盘的真实航向角,即前进
9、方向与地球北极之间的夹角,定义该角为。在 VR 虚拟环境中空间方向通过(x,y,z)进行定义,初进入 VR 空间时,系统会将 y 轴正方向作为默认视野方向,即当 VR 头盔看向正前方时,头盔前方与 y 轴正方向夹角为 0。VR 头盔内置的电子罗盘可以获取VR头盔的真实方向,把这个真实方向定义为。基于真实挖掘机地盘方向 和头盔方向 可以对虚拟挖掘机方向进行矫正,则可以在 VR 中实时获取行进方向,并在这个方向上标注挖掘机的前进路线,辅助驾驶员进行更准确的判断,安全通过狭窄路段。3 基于三维孪生模型构建的信息融合方法本文研究实现了对挖掘机的三维姿态估计,根据挖掘机的关节坐标、旋转角等数据可判断挖掘
10、机姿态,但这种数据呈现方法不够直观,不适合操作人员观察。数字孪生技术是一种较为直观的信息展示方法,可以将物理实体的属性、状态、表现和行为映射到虚拟空间13。本文开发了一种新的信息融合方式,基于挖掘机的三维关键点信息,实时构建挖掘机的三维孪生模型,并实时渲染第一视角的模型画面辅助驾驶员观察。即当第一视角相机图像受干扰时,驾驶员仍可依据第一视角的数字孪生模型辅助判断。3.1 虚拟现实平台中挖掘机 3D 模型重建方法挖掘机各部位通过旋转关节相互连接,其姿态可以用两种方式表示:(1)各关节在笛卡尔坐标系中的相对位置。(2)各关节两侧部件的相对角度。在 Unity3D 中组合模型的构建依赖于各组成部件的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 VR 技术 挖掘机 遥控 操作 辅助 系统
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。