融合视觉特征增强机制的机器人弱光环境抓取检测.pdf
《融合视觉特征增强机制的机器人弱光环境抓取检测.pdf》由会员分享,可在线阅读,更多相关《融合视觉特征增强机制的机器人弱光环境抓取检测.pdf(8页珍藏版)》请在咨信网上搜索。
1、2023 08 10计算机应用,Journal of Computer Applications2023,43(8):2564-2571ISSN 10019081CODEN JYIIDUhttp:/融合视觉特征增强机制的机器人弱光环境抓取检测李淦1,牛洺第1,2,陈路1,2,3*,杨静4,闫涛1,2,陈斌5,6(1.山西大学 计算机与信息技术学院,太原 030006;2.山西大学 大数据科学与产业研究院,太原 030006;3.太原卫星发射中心 技术部,太原 030027;4.山西大学 自动化与软件学院,太原 030031;5.哈尔滨工业大学 重庆研究院,重庆 401151;6.哈尔滨工业大学
2、(深圳)国际人工智能研究院,深圳 518055)(通信作者电子邮箱)摘要:现有的机器人抓取操作通常在良好光照条件下开展,此时目标细节清晰、区域对比度高,而在夜间、遮挡等弱光环境下目标的视觉特征微弱,会导致现有的机器人抓取检测模型的检测准确率急剧下降。为提高弱光场景下稀疏、微弱抓取特征的表征能力,提出一种融合视觉特征增强机制的抓取检测模型,通过视觉增强子任务为抓取检测施加特征增强约束。对于抓取检测模块,采用仿U-Net框架的编码器-解码器结构实现特征的高效融合;对于弱光增强模块,从局部、全局层面分别提取纹理、颜色信息,以实现兼顾目标细节与视觉效果的特征增强。此外,分别构建弱光Cornell数据集
3、和弱光Jacquard数据集两个新的弱光抓取基准数据集,并基于上述数据集开展对比实验。实验结果表明,所提弱光抓取检测模型在基准数据集上的准确率分别达到了95.5%和87.4%,与生成抓取卷积神经网络(GG-CNN)、生成残差卷积神经网络(GR-ConvNet)等现有抓取检测模型相比,准确率在弱光Cornell数据集提升11.1、1.2个百分点,在弱光Jacquard数据集上提升5.5、5.0个百分点,取得了较好的抓取检测效果。关键词:机器人;抓取检测;弱光成像;深度神经网络;视觉增强中图分类号:TP391.4 文献标志码:ARobotic grasp detection in low-ligh
4、t environment by incorporating visual feature enhancement mechanismLI Gan1,NIU Mingdi1,2,CHEN Lu1,2,3*,YANG Jing4,YAN Tao1,2,CHEN Bin5,6(1.School of Computer and Information Technology,Shanxi University,Taiyuan Shanxi 030006,China;2.Institute of Big Data Science and Industry,Shanxi University,Taiyua
5、n Shanxi 030006,China;3.Technology Department,Taiyuan Satellite Launch Center,Taiyuan Shanxi 030027,China;4.School of Automation and Software Engineering,Shanxi University,Taiyuan Shanxi 030031,China;5.Chongqing Research Institute,Harbin Institute of Technology,Chongqing 401151,China;6.International
6、 Institute of Artificial Intelligence,Harbin Institute of Technology(Shenzhen),Shenzhen Guangdong 518055,China)Abstract:Existing robotic grasping operations are usually performed under well-illuminated conditions with clear object details and high regional contrast.At the same time,for low-light con
7、ditions caused by night and occlusion,where the objects visual features are weak,the detection accuracies of existing robotic grasp detection models decrease dramatically.In order to improve the representation ability of sparse and weak grasp features in low-light scenarios,a grasp detection model i
8、ncorporating visual feature enhancement mechanism was proposed to use the visual enhancement sub-task to impose feature enhancement constraints on grasp detection.In grasp detection module,the U-Net like encoder-decoder structure was adopted to achieve efficient feature fusion.In low-light enhanceme
9、nt module,the texture and color information was respectively extracted from local and global level,thereby balancing the object details and visual effect in feature enhancement.In addition,two low-light grasp datasets called low-light Cornell dataset and low-light Jacquard dataset were constructed a
10、s new benchmark dataset of low-light grasp and used to conduct the comparative experiments.Experimental results show that the accuracies of the proposed low-light grasp detection model are 95.5%and 87.4%on the benchmark datasets respectively,which are 11.1,1.2 percentage points higher on low-light C
11、ornell dataset and 5.5,5.0 percentage points higher on low-light Jacquard dataset than those of the existing grasp detection models,including Generative Grasping Convolutional Neural Network(GG-CNN),and Generative Residual Convolutional Neural Network(GR-ConvNet),indicating that the proposed model h
12、as good grasp detection performance.Key words:robot;grasp detection;low-light imaging;deep neural network;visual enhancement文章编号:1001-9081(2023)08-2564-08DOI:10.11772/j.issn.1001-9081.2023050586收稿日期:20230516;修回日期:20230612;录用日期:20230616。基金项目:国家自然科学基金资助项目(62003200,62006146);山西省基础研究计划项目(202203021222010
13、);山西省科技重大专项(202201020101006)。作者简介:李淦(2001),男,山西吕梁人,主要研究方向:抓取检测、深度学习;牛洺第(2000),男,河南平顶山人,硕士研究生,主要研究方向:抓取检测、图像增强;陈路(1991),男,山东聊城人,副教授,博士,CCF会员,主要研究方向:机器人抓取、图像增强;杨静(1990),女,山西太原人,讲师,博士,主要研究方向:机器学习、图像处理;闫涛(1987),男,山西定襄人,副教授,博士,CCF会员,主要研究方向:三维重建;陈斌(1970),男,四川广汉人,教授,博士,主要研究方向:机器视觉。第 8 期李淦等:融合视觉特征增强机制的机器人弱光
14、环境抓取检测0 引言 随着大数据、人工智能技术发展,机器人智能化水平不断提高1,作为一项重要的物体操控与人机交互能力,机器人抓取也得到越来越多的关注,广泛应用于智能分拣、家庭服务和水下作业等领域2-4。抓取检测定义为从视觉图像出发,自主检测目标物体上的可抓取部位,它的检测精度直接决定了目标抓取操作的有效性与稳定性,是机器人抓取的重要基础。受目标种类、形态未知,复杂环境干扰和多物体相互遮挡等因素影响,真实场景下的机器人抓取检测仍面临诸多严峻挑战。早期基于分析法的抓取检测算法往往依赖于对目标物理属性与几何结构的建模,如:表面材质、摩擦力、扭矩等,并采用力闭合(Force-closure)或形闭合(
15、Form-closure)策略判断抓取稳定性;但需提供目标物体完整三维模型,上述模型在真实场景下较难生成,且分析法对噪声等干扰的鲁棒性较差。得益于深度神经网络强大的判别特征学习能力,基于深度学习的抓取检测方法正受到愈加广泛的关注。Redmon等5首先引入卷积神经网络(Convolutional Neural Network,CNN)以端到端的方式预测可抓取区域参数,在抓取检测准确性和实时性方面都取得了较好的效果;Asif等6提出一种 GraspNet的CNN体系架构,在保持紧凑模型结构的同时,生成较高质量的抓取检测结果,且适用于低功耗设备;针对小尺寸、多目标、密集分布、任意方向等挑战场景下的抓
16、取检测任务,Wu等7提出特征融合与上采样模块(Fusion and Up-sample Module,FUM),以生成具有精细分辨率的强语义抓取特征;Yu等8结合压缩激励模块与 U-Net 架构,提出压缩激励残差网络(Squeeze and Excitation ResUNet,SE-ResUNet),通过集成通道注意力残差模块,从RGB-D图像中生成抓取估计,并预测每个抓取估计的质量分数。现有机器人抓取任务通常在光照良好条件下开展,此时目标细节清晰、区域对比度高;而在夜间等弱光条件下,目标视觉特征微弱,且与背景融为一体,给有效提取抓取特征带来挑战。经测试,使用亮度降低和添加噪声的Cornel
17、l数据集,文献 9 中生成的残差卷积神经网络(Generative Residual Convolutional Neural Network,GR-ConvNet)准确率从 97.7%下降至94.3%。由图1给出弱光环境下的目标物体抓取检测结果可以看出:直接在弱光图像上进行抓取检测,检测结果数量少、抓取区域质量低,见图1(a);而本文模型通过添加图像增强任务辅助,能预测更优的抓取区域,如图1(b)所示。图1GR-ConvNet和本文模型的弱光条件下抓取检测结果对比Fig.1Comparison of detection results under low-light conditions b
18、etween GR-ConvNet and our model为解决弱光条件下的视觉检测问题,现有方法往往依赖外置光源补光、红外相机/激光雷达辅助成像等方式,普遍存在能源消耗大、目标细节纹理信息缺失、多源信息融合复杂等不足,难以提供自然、丰富的图像视觉表示。随着图像视觉增强技术的发展,从弱光条件下感光芯片,如:电荷耦合器件(Charge Coupled Device,CCD)或互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)采集的稀疏、微弱光信号出发,利用深度学习等特征提取与表征方法,重构弱光信号污染下的图像真实像素值,从而恢复具
19、有清晰局部细节与自然色彩分布的正常光照图像,为解决弱光环境下的抓取检测问题提供了可行解决方案。Ignatov等10提出一种基于生成对抗网络(Generative Adversarial Network,GAN)11的强监督卷积神经网络,将手机的摄像水平提高到单反水平。Sharma等12提出基于分类的动态图像增强,首次将图像增强任务与分类相结合。这些模型对亮度、颜色、对比度、细节、噪声抑制等方面作出极大贡献。然而,受限于光学传感器灵敏度、固有噪声、模型误差等因素,图像增强算法恢复后的图像仍存在不同程度的颜色失真、细节模糊、噪声污染等问题,给可抓取特征的有效提取带来挑战;此外,现有研究13表明,单
20、纯提升图像视觉质量并不一定有助于提升下游任务(如:目标检测、图像分割等)的性能表现。因此,如何有效平衡图像视觉增强与可抓取特征提取之间的权重,在保证图像视觉质量的同时,尽可能提升模型在弱光条件下的抓取检测准确率,便成为亟待解决的关键。针对上述问题,本文提出一种融合视觉特征增强模块的弱光环境抓取检测算法,通过图像增强与抓取检测双任务约束,进一步提取增强后的可抓取特征,兼顾图像视觉质量与抓取检测精度。具体地,首先将弱光图像输入网络进行视觉特征提取,而后将提取特征输入两个不同模块(弱光增强模块和抓取检测模块),最后得到增强后的正常光图像和预测的抓取矩形。本文的主要工作如下:1)提出一种融合视觉特征增
21、强机制的弱光抓取检测网络(Low-light Grasp Detection Network,LGDN),通过图像增强任务约束,提升模型对微弱可抓取特征的增强与提取能力;2)引入全局分支学习颜色矩阵、伽马值等图像信号处理参数,通过与局部分支所学习纹理、结构信息的融合,实现兼顾细节与视觉效果的增强特征学习;3)构建了弱光 Cornell 数据集(Low-light Cornell Dataset)和弱光Jacquard数据集(Low-light Jacquard Dataset),本文模型在这两个数据集上的抓取检测准确率分别为95.5%、87.4%,优于对比模型。1 相关工作 1.1抓取检测近年
22、来随着深度学习的发展,越来越多的研究人员将深度学习应用于抓取检测领域。Jiang等14利用卷积神经网络生成质量、角度和宽度图像,推断对跖抓取位姿,可以推断出多个物体的抓取矩形;Pinto等15使用了一种类似于AlexNet的架构,并表明通过增加数据大小,卷积神经网络可以更好地泛化到新的数据。研究对基于卷积神经网络的抓取检测领域具有开创性的贡献,但由于缺少质量高的数据集以及高性能的网络,这些模型在测试过程中的正确率较低,不利于真实场景下的抓取任务。2565第 43 卷计算机应用基于上述研究,Ainetter等16提出端到端可训练的卷积神经网络架构,结合抓取检测和分割的结果以提升整体抓取精度;Sa
23、tish 等17引入了一种全卷积抓取质量卷积神经网络(Fully Convolutional Grasp Quality Convolutional Neural Network,FC-GQ-CNN),该网络使用数据收集策略和综合训练环境来预测抓取质量;Cao等18提出了一种新型的轻量级抓取检测网络,该网络以RGB与深度图图像为输入,预测抓取矩形的抓取质量、旋转角度和开口宽度;Kumra等9提出一种新的生成残差卷积神经网络GR-ConvNet,该网络能取得较好的抓取检测效果与较高的检测效率。上述工作通过改进卷积神经网络结构、增加网络层数和增加深度图像信息来增强对抓取特征的提取;但它们的网络参数
24、已经达到百万级别,模型推理速度较慢。为提高移动式设备上模型推理的速度,减少模型参数量,Song等19提出了一种分层RGB-D融合的抓取预测模型;为了减少模型可训练参数,Shukla等20提出了一种生成初始神经网络,极大提高了模型推理速度。尽管以上模型对于在公共数据集下的抓取检测模型已经具有良好的性能,但是对于存在噪声、遮挡、光照变化等复杂情况下的抓取检测研究较少。1.2弱光图像增强得益于深度神经网络在特征提取和表征领域的优势,基于深度学习的弱光图像增强方法也得到愈加广泛的关注。Wei等21提出基于视网膜(Retinex)理论的弱光照图像增强网络(RetinexNet),该网络由光照估计和反射层
25、估计两部分组成,可同时估算输入图像的光照和反射信息;Wang等22同样基于Retinex模型,从解耦的角度提出一种新的渐进式Retinex框架,使用相互增强的方式感知弱光照图像的光照和噪声;Liu等23同样基于Retinex模型设计照明估计模块和噪声去除模块来抑制噪声。通过这种方法,可以提高图像的动态范围,并且在一些特定的场景中取得了很好的效果。以上模型都是基于有监督的情况下配对学习,然而获取配对的弱光图像与正常光图像十分耗费人力物力,且大部分网络只适用于静态场景。为解决对配对数据的依赖,Guo等24通过逐步推导构造出了一种像素级别的曲线估计卷积神经网络Zero-DCE(Zero refere
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 融合 视觉 特征 增强 机制 机器人 弱光 环境 抓取 检测
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。