单目多视角图像的美国白蛾三维模型重建系统与试验.pdf
《单目多视角图像的美国白蛾三维模型重建系统与试验.pdf》由会员分享,可在线阅读,更多相关《单目多视角图像的美国白蛾三维模型重建系统与试验.pdf(6页珍藏版)》请在咨信网上搜索。
1、1 6 8 中国农机化学报2 0 2 3年D O I:1 0.1 3 7 3 3/j.j c a m.i s s n.2 0 9 55 5 5 3.2 0 2 3.0 8.0 2 3舒卓,陈立平,陈梅香,等.单目多视角图像的美国白蛾三维模型重建系统与试验J.中国农机化学报,2 0 2 3,4 4(8):1 6 8-1 7 3S h u Z h u o,C h e n L i p i n g,C h e n M e i x i a n g,e t a l.3 D r e c o n s t r u c t i o n s y s t e m a n d p r e c i s i o n e v
2、 a l u a t i o n o f H y p h a n t r i a c u n e a(D r u r y)b a s e d o n m o n o c u l a r a n d m u l t i-v i e w i m a g e s J.J o u r n a l o f C h i n e s e A g r i c u l t u r a l M e c h a n i z a t i o n,2 0 2 3,4 4(8):1 6 8-1 7 3单目多视角图像的美国白蛾三维模型重建系统与试验*舒卓1,2,陈立平1,2,陈梅香2,张瑞瑞2,郭新宇3,温维亮3(1.西北
3、农林科技大学机械与电子工程学院,陕西杨凌,7 1 2 1 0 0;2.国家农业智能装备工程技术研究中心,北京市,1 0 0 0 9 7;3.国家农业信息化工程技术研究中心/数字植物北京市重点实验室,北京市,1 0 0 0 9 7)摘要:为构建具有高清纹理特征的美国白蛾三维模型,并对美国白蛾三维模型进行精度评价,开展单目多视角图像的美国白蛾三维重建的研究。首先构建昆虫多视角图像采集系统,实现对美国白蛾高质量序列图像自动化获取,建立美国白蛾高质量序列图像样本库。然后利用S FM与MV S相结合的方法,实现美国白蛾精准三维模型重建。最后以美国白蛾形态参数对重建的美国白蛾三维模型进行精度评估试验。结果
4、表明,待评估值与参照值的相对误差小于5%、R2大于0.9 5。所重建的美国白蛾精准三维模型可以为深度学习样本扩增、植保病虫害识别与防控提供重要基础数据。关键词:三维重建;多视角图像;机器视觉;美国白蛾;重建效果评价;虫害防控中图分类号:T P 3 9 1.4 文献标识码:A 文章编号:2 0 9 5 5 5 5 3(2 0 2 3)0 8 0 1 6 80 6收稿日期:2 0 2 2年2月9日 修回日期:2 0 2 2年4月2日*基金项目:国家自然科学基金面上项目(3 1 9 7 1 5 8 1);北京市农林科学院创新能力建设专项(K J C X 2 0 2 0 0 2 0 6);北京市农林科
5、学院杰出科学家培育专项(J K Z X 2 0 1 9 0 3)第一作者:舒卓,男,1 9 9 5年生,湖南怀化人,硕士研究生;研究方向为蛾类三维建模。E-m a i l:a l v i n s h u 0 2 11 6 3.c o m通讯作者:陈立平,女,1 9 7 3年生,福建建瓯人,博士,研究员;研究方向为农业信息化和智能装备技术。E-m a i l:c h e n l p n e r c i t a.o r g.c n3 D r e c o n s t r u c t i o n s y s t e m a n d p r e c i s i o n e v a l u a t i o
6、 n o f H y p h a n t r i a c u n e a(D r u r y)b a s e d o n m o n o c u l a r a n d m u l t i-v i e w i m a g e sS h u Z h u o1,2,C h e n L i p i n g1,2,C h e n M e i x i a n g2,Z h a n g R u i r u i2,G u o X i n y u3,W e n W e i l i a n g3(1.C o l l e g e o f M e c h a n i c a l a n d E l e c t r
7、o n i c E n g i n e e r i n g,N o r t h w e s t A&F U n i v e r s i t y,Y a n g l i n g,7 1 2 1 0 0,C h i n a;2.N a t i o n a l E n g i n e e r i n g R e s e a r c h C e n t e r o f I n t e l l i g e n t E q u i pm e n t f o r A g r i c u l t u r e,B e i j i n g,1 0 0 0 9 7,C h i n a;3.N a t i o n a
8、 l E n g i n e e r i n g R e s e a r c h C e n t e r f o r I n f o r m a t i o n T e c h n o l o g y i n A g r i c u l t u r e/B e i j i n g K e y L a b o f D i g i t a l P l a n t,B e i j i n g,1 0 0 0 9 7,C h i n a)A b s t r a c t:I n o r d e r t o c o n s t r u c t t h e 3 D m o d e l o f H.c u n
9、 e a w i t h h i g h-d e f i n i t i o n t e x t u r e f e a t u r e s,a n d t o e v a l u a t e t h e a c c u r a c y o f t h e 3 D m o d e l o f H.c u n e a o b j e c t i v e l y a n d q u a n t i t a t i v e l y,t h e r e s e a r c h a n d e x p e r i m e n t o f 3 D r e c o n s t r u c t i o n o
10、 f H.c u n e a w a s c a r r i e d o u t i n t h i s p a p e r.F i r s t l y,t h e m u l t i-v i e w i m a g e s a c q u i s i t i o n s y s t e m f o r i n s e c t w a s c o n s t r u c t e d.T h e m u l t i-v i e w i m a g e s a c q u i s i t i o n s y s t e m w a s u s e d t o a c q u i r e h i g
11、 h-q u a l i t y s e q u e n c e i m a g e s o f H.c u n e a,a n d t h e s a m p l e l i b r a r y o f h i g h-q u a l i t y s e q u e n c e i m a g e o f H.c u n e a w a s e s t a b l i s h e d.S e c o n d l y,S t r u c t u r e f r o m M o t i o n(S FM)a n d M u l t i p l e V i e w S t e r e o(MV S
12、)a l g o r i t h m w e r e c o m b i n e d f o r t h e a c c u r a t e 3 D m o d e l r e c o n s t r u c t i o n o f H.c u n e a.F i n a l l y,t h e a c c u r a c y e v a l u a t i o n e x p e r i m e n t o f t h e r e c o n s t r u c t e d 3 D m o d e l o f H.c u n e a w a s c a r r i e d o u t b y
13、 m o r p h o l o g i c a l p a r a m e t e r s.T h e e x p e r i m e n t a l r e s u l t s s h o w e d t h a t t h e r e l a t i v e e r r o r b e t w e e n t h e e v a l u a t e d v a l u e a n d t h e r e f e r e n c e v a l u e w a s l e s s t h a n 5%,a n d t h e R2 w a s g r e a t e r t h a n 0
14、.9 5.T h e p r e c i s e 3 D m o d e l o f H.c u n e a r e c o n s t r u c t e d i n t h i s p a p e r c a n p r o v i d e b a s i c a n d i n t u i t i v e d a t a f o r d e e p l e a r n i n g s a m p l e a u g m e n t a t i o n,i d e n t i f i c a t i o n a n d c o n t r o l o f p l a n t d i s e
15、 a s e s a n d p e s t s.K e y w o r d s:3 D r e c o n s t r u c t i o n;m u l t i-v i e w i m a g e s;m a c h i n e v i s i o n;H y p h a n t r i a c u n e a(D r u r y);r e c o n s t r u c t i o n e f f e c t e v a l u a t i o n;p e s t c o n t r o l第4 4卷 第8期2 0 2 3年8月中国农机化学报J o u r n a l o f C h i
16、 n e s e A g r i c u l t u r a l M e c h a n i z a t i o nV o l.4 4 N o.8A u g.2 0 2 3第8期舒卓 等:单目多视角图像的美国白蛾三维模型重建系统与试验1 6 9 0 引言美国白蛾H y p h a n t r i a c u n e a(D r u r y)危害日益严重,是举世瞩目的世界性害虫,防治工作艰巨。美国白蛾发生信息的获取是该虫发生预警和精准防治的重要前提。基于机器视觉获取害虫发生信息是当前的研究热点,单一基于二维图像的害虫识别算法当遇到多种类、多姿态的害虫时,由于三维虫体进行二维图像获取时造成信息缺失
17、,其识别算法的普适性受到影响,导致害虫自动识别准确率不高14。美国白蛾姿态多样,自动识别难度大,因此,开展美国白蛾的三维重建研究,构建美国白蛾的数字三维模型,为美国白蛾识别研究提供重要基础数据,对美国白蛾的准确识别、及时防控具有重大意义5。在昆虫研究上,三维重建技术主要应用于昆虫局部器官特征的三维形态重建,实现三维形态模拟,以用于分析其三维形态结构特点67,而昆虫全局形态三维重建处于起步阶段。昆虫局部器官主要采取激光扫描共聚焦显微镜(C o n f o c a l l a s e r s c a n n i n g m i c r o s c o p e,C L S M)技 术、核 磁 共 振
18、(M a g n e t i c r e s o n a n c e i m a g i n g,MR I)技术、m i c r o-C T、显微切片与图像技术相结合等进行三维重建81 0。C h i t s a z等1 1研究了基于尼康相机的蜻蜓翅膀三维重建方法,公开数据集有助于对蜻蜓的空气动力学和结构进行航空分析,研究功能结构的进化,以及昆虫生态学的研究。在昆虫全局形态三维重建研究方面,N g u y e n等1 2研究了基于单反相机、双轴转台以及三维重建软件构建昆虫真彩色3 D模型的方法,主要针对鞘翅目虫体进行三维重建,具有一定的复杂度,对鳞翅目蛾类害虫的适用性较低。L a u1 3将一
19、对立体图像进行处理,实现了鞘翅目害虫的三维重建。S t r b e l等1 4基于D I S C 3 D开展了昆虫数字化研究,获取的图像可用于生成颜色纹理化3 D模型,可为分类学、系统发育等基于特质的研究开辟新的机会。胡玉婷等1 5基于F l a s h软件设计了一套昆虫三维标本制作系统。基于C L S M、MR I、m i c r o-C T等仪器的昆虫三维重建存在设备成本高、数据量大、数据处理耗时长、三维重建效率低等问题。基于机器视觉的昆虫三维重建具有设备简单、成本低等特点,与立体视觉系统相比较,单目多视觉系统具有设备小型化、图像获取效率高、便携性等特点,单目多视觉三维重建系统在昆虫三维重
20、建方面具有较强的优势。本文基于微距相机与单片机控制单元研制多视角昆虫高清图像样本采集系统,实现美国白蛾虫体高质量 序 列 图 像 自 动 化 获 取。通 过 运 动 结 构 恢 复(S t r u c t u r e f r o m m o t i o n,S FM)算法和多视角立体视觉(M u l t i p l e v i e w s t e r e o,MV S)算法进行三维模型重建,实现基于单目视觉的美国白蛾虫体三维模型重建,为病虫害精准防控识别提供支撑。1 昆虫图像采集系统设计本文研制了一种昆虫多视角图像采集系统,主要包括计算机、单片机、步进电机及其控制器、微距相机、光源、图像采集台
21、等重要部件,如图1所示,其中图像采集台包括底座、旋转轴、滑轨、可更换背景板及可调整位置的相机支架等。图1 昆虫多视角图像采集系统F i g.1 I n s e c t m u l t i-v i e w i m a g e s a c q u i s i t i o n s y s t e m1.单片机 2.计算机 3.微距相机 4.环形光源5.美国白蛾标本 6.背景板微距相机由工业相机加装微距镜头组成,相机选用ME R-2 0 0 0-5 G C-P工业相机,相机配备焦距为7 5mm的G X-7 8 2 8-1 0 M的微距镜头,微距镜头参数见表1。表1 相机与镜头技术参数T a b.1 P
22、 a r a m e t e r s o f c a m e r a a n d l e n s参数数值相机型号ME R-2 0 0 0-5 G C-P传感器S o n y I MX 1 8 3 C OM S分辨率5 4 6 93 6 7 2像素尺寸/(mm)2.42.4镜头型号G X-7 8 2 8-1 0 M聚焦范围/m0.7通光口径F 2.8F 1 6 昆虫图像采集光源选择科视R L 1 0 0-7 5环形白色 无 影 光 源,步 进 电 机 及 其 控 制 器 分 别 采 用4 2 B Y G 3 4-4 0 1 A型步进电机、T B 6 5 6 0型细分驱 动器,步进电机装在底座上,
23、主轴与转轴刚性连接。步进电机上安装带有针孔的旋转轴,虫体样本用昆虫针固定于旋转轴上,固定在旋转轴上的刻度指针以及底座上相应位置的刻度盘用来显示图像采集时昆虫标本所处的角度位置,便于查询序列图像中每张图像所处的旋转角。该采集系统工作原理如图2所示,通过单片机(意法半导体公司S TM 3 2 F 1 0 3 R E T 6)控制步进电机1 7 0 中国农机化学报2 0 2 3年的转动角度及微距相机的快门开关,完成图像采集与存储。基于上述系统,相机可以上下、前后移动,以调整镜头与昆虫的相对位置,实现不同大小昆虫样本的清晰对焦。图2 昆虫多视角图像采集系统工作原理F i g.2 W o r k i n
24、 g p r i n c i p l e o f i n s e c t m u l t i-v i e w i m a g e s a c q u i s i t i o n s y s t e m美国白蛾成虫用昆虫针沿虫体躯干方向竖直固定。本文制作的美国白蛾样本如图3(a)所示,每只美国白蛾采集3 2张图片。用1 c m的立方体放置于昆虫旁,作为昆虫大小的参照物。采集不同姿态的美国白蛾成虫1 0只,并获取翅膀肩角到顶角的距离、躯干长度形态参数,如图4所示。(a)美国白蛾标本(b)固定标本示意图图3 美国白蛾标本固定方法F i g.3 H.c u n e a s p e c i m e n
25、s f i x e d v e r t i c a l l y图4 美国白蛾形态特征F i g.4 M o r p h o l o g i c a l p a r a m e t e r s o f H.c u n e a2 三维模型构建基于昆虫图像采集系统所获取美国白蛾高质量图像序 列,利 用 运 动 结 构 恢 复 算 法(S t r u c t u r e f r o m m o t i o n,S FM)进行三维模型的稀疏重建,利用多视角立体视觉算法(M u l t i p l e-v i e w s t e r e o,MV S)进行三维模型稠密重建,对三维点云模型进行网格化、纹理映
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 单目多 视角 图像 美国 三维 模型 重建 系统 试验
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。