基于点云语义分割的猪只体尺测量方法研究.pdf
《基于点云语义分割的猪只体尺测量方法研究.pdf》由会员分享,可在线阅读,更多相关《基于点云语义分割的猪只体尺测量方法研究.pdf(8页珍藏版)》请在咨信网上搜索。
1、n2023年7 月第54卷第7 期农学报业机械doi:10.6041/j.issn.1000-1298.2023.07.033基于点云语义分割的猪只体尺测量方法研究耿艳利1,2季燕凯岳晓东1付艳芳3(1.河北工业大学人工智能与数据科学学院,天津30 0 130;2.智能康复装置与检测技术教育部工程研究中心,天津30 0 130;3.河北省畜牧总站,石家庄0 50 0 35)摘要:生猪的体尺参数是生猪生长状态的重要评判标准,而人工测量体尺耗时耗力且容易造成猪只的应激反应,本文研究了无接触式猪只体尺参数测量方法,借鉴人工测量经验法,提出基于点云语义分割的猪只体尺测量方法。本文以大约克夏猪为研究对象
2、,搭建无接触式猪只点云采集平台,采集3510 组猪只双侧点云数据;利用直通滤波器与随机采样一致性分割处理方法去除背景点云,基于统计滤波器去除离群点,采用体素下采样方法稀疏点云,完成猪只点云的预处理;基于PointNet网络,结合注意力模块构建语义分割模型,针对不同分割部位设计猪只体尺测量方法。试验结果表明,在自制数据集上,改进的语义分割模型准确率为8 6.3%,相较于PointNet、Po i n t Ne t+和3D-RCNN分别高8、5.7、2.6 个百分点;体尺的测量值与实测值最大绝对误差为6.8 cm,平均绝对误差均在5cm以内,具有较高的估算准确性,此方法能够用于猪只体尺测量。本文将
3、语义分割与体尺测量相结合,可为后续非接触测量提供思路。关键词:猪只体尺;KinectV2;语义分割;非接触测量中图分类号:TP391.4文献标识码:A文章编号:10 0 0-12 98(2 0 2 3)0 7-0 332-0 7OSID:Pigs Body Size Measurement Based on Point Cloud Semantic SegmentatiGENG Yanli,2JI YankailYUE XiaodongFU Yanfang3(1.School of Artificial Intelligence,Hebei University of Technology,T
4、ianjin 300130,China2.Engineering Research Center of Intelligent Rehabilitation Device and Detection Technology,Ministryof Education,Tianjin300130,China3.Hebei Provincial General Animal Husbandry Station,Shijiazhuang 050035,China)Abstract:The body size parameters of live pigs are important criterion
5、for evaluating the growth state ofpigs.The manual measurement of body size is time-consuming and labor-intensive and easy to cause thestress response of pigs.The non-contact pig body size parameter measurement method was studied,referencing the manual measurement experience method,and the pig body s
6、ize measurement method wasproposed based on point cloud semantic segmentation.A non-contact pig point cloud collection platformwas established to collect bilateral point cloud data of 3 510 groups of pigs.The background point cloudwas removed by the pass-through filter and random sampling consistent
7、 segmentation method.The outlierswere removed by statistical filter.The point cloud was sparsed by voxel downsampling method to completethe pretreatment of pig point cloud.Based on PointNet network and combined with attention module thesemantic segmentation model was constructed.The measurement meth
8、od of pig body size was designed fordifferent parts of segmentation.The experimental results showed that the accuracy of the improvedsemantic segmentation model was 86.3%,which was higher than that of PointNet,PointNet+and3D-RCNN.The maximum absolute error between the measured value and true value w
9、as 6.8 cm,andthe average absolute error was within 5 cm,which had a high estimation accuracy.The method can beused for the measurement of pig body size.The research combined semantic segmentation with body sizemeasurement,which can provide an idea for the non-contact measurement.Key words:pig body s
10、ize;KinectV2;semantic segmentation;non-contact measurement收稿日期:2 0 2 2-11-0 83修回日期:2 0 2 3-0 2-0 6基金项目:河北省省级科技计划项目(2 2 32 6 6 0 6 D、2 0 32 6 6 2 0 D)和国家留学基金委项目(2 0 2 0 0 6 7 0 50 17)作者简介:耿艳利(198 2 一),女,副教授,主要从事智能畜牧设备研究,E-mail:g e n g y l h e b u t.e d u.c n333耿艳利等:基于点分割的猪只体尺测量方法研究第7 期0引言我国是世界上最大的猪肉生
11、产国和消费国1为了高效地发展我国生猪养殖行业,“十四五”畜牧发展规划提出到2 0 2 5年,大幅推进全国生猪养殖行业现代化建设2 。现代化养殖育种离不开精准的数据3,而猪只体尺参数的测量在猪的科学养殖中占有关键地位。生猪的体尺参数是生猪生长情况的重要评判指标,传统的猪只体尺参数采集需要人与猪直接接触4,容易导致猪只出现应激反应,甚至导致猪只死亡。在体尺测量过程中,使用非接触设备测量可以有效避免猪只应激,并且有效解决传统测量方法的效率、精度和动物福利问题5-7 。近几年,为了解决非接触式测量问题,研究者研究了机器视觉8-0 测量动物的方法(1-1。司永胜等14 利用最小外接矩形对猪只背部图像中的
12、姿态进行调整,利用猪背实现体尺测量。马学磊等15 通过法向量特征实现羊体点云分割,利用手工选点测量羊体体尺。张馨月等16 应用主成分分析法对提取出的奶牛背部点云进行基于法矢量与曲率相结合的精简操作,完整保留了奶牛背脊点和边缘特征点。王可等17 利用地面法向量结合主成分分析法矫正猪只点云坐标,便于猪只测点的选取与测量。WANG等18 提出了一种基于猪腿部形状约束的体尺测点定位方法,并根据测点间距自动计算相应体尺,无需人工定位体尺测点,平均误差为7.7 3%。LI等19 利用龙门架安装5个深度相机,对采集的点云预处理、配准和三维重建并测量体尺参数,计算出体尺和体宽的最大误差为2 0 mm。赵宇亮等
13、2 0 1利用深度学习模型在猪背图像上检测身体测量的关键点,为动物体尺测量提供了新思路。综上所述,利用相机俯视拍摄动物背部的彩色图与深度图数据测量方法,只能获取长度与宽度信息,无法测量围度信息。利用动物三维点云数据进行测量,由于身体结构复杂,部分测点特征相似,测点选取难度大,多数为手动交互式选点测量。为了实现自动测量猪只体尺,借鉴语义分割2 1 模型,本文提出一种融合注意力机制的点云语义分割猪只体尺测量方法,将猪只分为头部、肩部、腹部、臀部4部分,对带有语义标签的点云数据分别设计测量方法,以实现猪只体尺自动测量。1材料与方法1.1猪只点云采集平台搭建猪只点云数据采集平台结构示意图如图1所示,猪
14、只在进食时无大幅度运动,体态相对稳定,利于猪只点云数据的采集,因此模拟猪只进食情况,在实验室中设计搭建猪只点云采集平台。该平台主要由点云数据采集单元、耳标触发单元、采集通道和上位机组成。点云数据采集单元选用KinectV2相机,其主要由RGB摄像头(分辨率1920像素10 8 0 像素)、深度传感器(分辨率为512像素42 4像素)和红外发射器等组成,深度检测范围为0.5 4.5m,视场7 0 6 0。耳标触发单元采用无线射频识别装置KLM900,射频范围为0 0.8 m,采样频率50 帧/s。采集通道长1.6 m,宽0.9 m,相机对称放置在通道两侧,高度为0.8m,水平相距1.2 m,与地
15、面水平夹角3540。当猪只进入采集通道时,无线射频识别装置识别猪只身份信息传输给上位机并且触发相机采集5帧数据,触发最小间隔设置为10 s。2采集通道(a)采集平台示意图(b)实验室模拟采集装置图1猪只点云信息采集平台Fig.1Platform of pig point cloud information collection1.KinectV2相机2.无线射频识别装置3.耳标4.上位机1.2猪只点云数据采集试验数据分两次采集,2 0 2 0 年12 月2 2 一2 7 日于沧州市东辛庄某养殖场和2 0 2 2 年12 月142 0日于山西省沁源县某养殖场采集猪只点云,品种为大约克夏猪,日龄8
16、 0 110 d。如图2 所示,在猪舍的水嘴处设置铁丝网,通道仅允许单只猪通过,同实验室放置条件一样,将KinectV2相机安装在通道两侧。两次分别采集56、15头猪,共7 1头,3510 个点云数据。使用Matlabb自 带 的StereoCameraCalibrator程序完成两个相机外参数标定,通过输出外参数系数完成2 个相机所拍摄的点云拼接。图2养殖场猪只点云采集Fig.2Pig point cloud collection on farms1.3猪只点云预处理当采集通道固定时,猪只所在范围也是相对固定的。为了方便后续对猪只点云进行分割与测量,农3342023年机学业报械需要提取完整的
17、猪只点云。对拍摄点云进行预处理:(1)猪只点云粗滤波获取猪只点云区域。两相机拼接完成后的点云数据中,如图3a所示,只有猪只所在的部分点云需要进行后续处理,该部分点云与相机的相对位置基本固定,本文使用直通滤波器在坐标轴上设定阈值,去除阈值之外的无关点云,快速获取猪只区域点云,如图3b所示,(a)点云拼接(b)直通滤波处理(c)RANSAC去除平面(d)去除离群点(e)体素下采样图3猪只点云预处理Fig.3Pig point cloud preprocessing(2)基于随机采样一致性算法去除地面点云。地面点云会对后续处理造成不利影响,因此通过随机采样一致性算法去除点云中的地面部分。具体操作为在
18、点云中任意取3个点,计算其对应的平面方程为ax+by+cz+d=0(1)式中a、b、c、d-平面方程系数XyZ-一点云坐标值计算所有点至该平面的代数距离为d,=Iax;+by;+cz;+dl式中d,一一距离一点序号任意一点的坐标值d,=Iax;+by;+cz;+dl(2)选取阈值dmax,若d,dmax,则该点被认为是该平面的点,否则为平面外的点。重复以上步骤,设置最大迭代次数N,得到平面点数最多的面,然后将其删除掉,达到去除平面的效果,如图3c所示。(3)基于统计滤波器去除离群点:猪只点云中的离群点会对体尺测量造成巨大的影响,使用统计滤波器将游离在猪体外的点去除。首先对每个点的邻域进行统计分
19、析,将点云中所有的距离假设构成高斯分布,其形状由均值和标准差决定,设点云中的第n个点坐标为P,(X,Yn,Z,),该点到任意一点P(Xm,Ym,Zm)的距离S,为S,=V(X,-X.)+(Y,-Y.)+(Z,-Z.)(3)计算遍历每个点到任意点之间距离的平均值和标准差为1S,(4)ni=1(S,-)2(5)二ni=1式中n一点云总数当某点临近K个点的平均距离在标准范围-x,+x)内则保留该点,不在该范围内定义为离群点删除,如图3d所示。(4)基于体素下采样的点云精简。猪只点云点数庞大,严重影响后续分割的处理速度。为了提升后续处理速度且保留更多的特征信息,对猪只点云进行体素网格下采样处理。计算点
20、云的包围盒,将包围盒离散成小体素。设置体素大小为1mm,获取落在每个体素中的点集,在每个体素中取一个采样点代替原来的点集,如图3e所示。1.4融合注意力机制的猪只点云语义分割1.4.1自注意力模块自注意力机制可以依据目标去关注输入信息的部分细节,挖掘更深层次的语义特征。自注意力机制首先通过卷积将输人特征X线性映射为query(查询矩阵)、key(键矩阵)和value(值矩阵)3个分支,先将query与key进行点积得到对应的权重,随后利用Softmax函数进行归一化处理,最后通过加权求和得到注意力,具体计算公式为QKAttention(Q,K,V)=SoftmaxAW。Softmax(6)式中
21、查询矩阵dk一一维数K-键矩阵V一一值矩阵A-输人矩阵W。Q 的权重矩阵WkK的权重矩阵W-V的权重矩阵一经过上述过程,可以对当前点特征进行更新,有利于相同类别点云进行相互补充,加强点云特征学习,增强网络鲁棒性1.4.2融合注意力模块自注意力模块能够增强网络对特征的感知和学习能力,丰富点的特征信息。本文设计的融合注意力模块的语义分割网络结构如图4所示,该网络的输入是N个原始的点云数据,每个点云数据包含X、Y、Z、R、G、B共6 个维度信息,之后每个点云数据与T一Net空间变换网络进行乘积,使得点云旋转到隐含的规范空间,得到更好进行特征提取的角度。空间变换网络的输出结果将作为多层感知器(Mult
22、i-layerperceptron,M LP)的输人,以将点云数据升维d-式中335耿艳利等:基于点割的猪只体尺测量方法研究第7 期至N64,提取到点云高层次局部特征。高层语义特征将通过注意力模块,以提取到关键的特征维度信息。注意力模块输出的数据通过多层感知器将数据的维度从6 4维扩大到10 2 4维,利用最大池化操作提取到点云的全局描述特征。此时点云的全局特征中忽略了局部信息的表达,将N1024全局特征信息与注意力模块输出的关键特征信息N64拼接成N1088,以增强数据中包含的语义信息的丰富度,最终通过多层感知器将语义分割的结果输出,得到分割后的猪只点云数据。输人旋转网络MLP(64,64)
23、注意力机制t9XNxeunjost9XNNx6Nx6权重共享KHT-Net矩阵相乘一一MLP(64,128,1024)WXNt9XN1024ood权重共享权重共享全局特征分割后输出MLP特征融合点云数据(512,256,128,M)图4隔融合注意力模块的语义分割网络Fig.4Semantic segmentation network of attention module1.5体尺测量鉴于猪只的体尺参数比较丰富,确定体长、体高、腹围、肩宽、腹宽、臀宽6 种能够反映猪只体型特征的体尺参数。如图5所示,人工测量标准如下:体长:猪只耳根到尾根的水平距离。体高:猪只耆点(一般为肩部最高点)和地面的垂直
24、距离。肩宽:肩部的最大宽度。腹宽:猪只腹部的最大宽度。臀宽:猪只臀部的最大宽度。腹围:猪只腹部的最大宽度处绕腹部一周的距离。根据实际人工测量方法结合猪只身体特点设计自动测量方法。1.5.1点云坐标系矫正由于猪只点云在分割时利用了T一Net空间变体长体高腹围肩宽腹宽臀宽图5人工测量特征示意图Fig.5Schematic of manual measurement features换网络,导致猪只实际坐标系与测量所需坐标系存在差异,故测量之前先对坐标系进行矫正2 2 。首先对猪只点云做最小包围长方体,根据猪只体尺特征,体长与长方体长度方向一致,体高与长方体高度方向一致,体宽与长方体宽度方向一致。利
25、用长方体长、宽、高的方向与长方体中心,重新对猪只建立坐标系,完成坐标系矫正,如图6 所示。图6坐标系矫正Fig.6Correction of coordinate system1.5.2肩宽、腹宽、臀宽测量手工测量猪只体尺时,选取肩部、腹部、臀部最突出的位置为肩宽、腹宽、臀宽的测量点,根据手工测量方法,设计猪只宽度测量方法。分别将语义分割后的肩部、腹部与臀部3部分做xoz面垂直投影,如图7 所示,其中x轴方向为体长方向,z轴方向为体宽方向。遍历点云,分别计算每一部分沿z轴的最大值与最小值,确定两点位置(x1,z)、(x 2,z 2),计算两点之间的距离为d(x,-x2)+(z/-z2)(7)相
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 语义 分割 猪只体尺 测量方法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。