基于Cow-DETR与深度...像的非接触式奶牛体质量评估_沈维政.pdf
《基于Cow-DETR与深度...像的非接触式奶牛体质量评估_沈维政.pdf》由会员分享,可在线阅读,更多相关《基于Cow-DETR与深度...像的非接触式奶牛体质量评估_沈维政.pdf(10页珍藏版)》请在咨信网上搜索。
1、2 0 2 3 年 8 月农 业 机 械 学 报第 54 卷 第 8 期doi:106041/j issn 1000-1298 2023 08 027基于 Cow DET 与深度图像的非接触式奶牛体质量评估沈维政1张哲1戴百生1王鑫杰1赵凯旋2李洋3(1 东北农业大学电气与信息学院,哈尔滨 150030;2 河南科技大学农业装备工程学院,洛阳 471023;3 东北农业大学动物科学技术学院,哈尔滨 150030)摘要:针对当前牧场奶牛体质量(体重)称量效率低,人工参与容易引发奶牛应激等问题,提出了一种基于改进DET(Detection transformer)网络的端到端式奶牛体质量评估方法(
2、Cow DET),实现利用奶牛背部深度图像进行非接触式奶牛体质量评估。首先设计并搭建实验数据采集装置,利用 Intel ealSense D435 深度相机和体重秤采集奶牛背部深度图像和体质量数据;然后,通过边缘平滑滤波器和孔洞填充滤波器对深度图像进行补全处理,减少深度数据缺失对体质量评估的影响;最后,以 DET 网络为基础建立奶牛体质量评估模型,通过在预测模块中添加含有交替全连接层的体质量预测单元,提升奶牛体质量相关的特征信息提取能力,实现端到端式奶牛背部定位的同时进行奶牛体质量非接触式评估。结果表明,本文方法可以实现较高精度的奶牛体质量评估,通过 5 倍交叉验证,在含有 139 头奶牛数据
3、的数据集中,平均绝对误差不超过 17.21 kg,平均相对误差不超过 3.71%,单幅图像平均识别时间为 0.026 s。通过与现有体质量评估方法相对比,本文方法比其他 6 种方法在更多的奶牛头数的数据集中取得了更低的平均绝对误差和平均相对误差,同时本文方法对奶牛站立姿势要求较低,更符合牧场实际生产需要,为奶牛体质量评估提供了新的解决思路。关键词:奶牛;体质量评估;目标检测;深度图像;深度学习中图分类号:S823;TP391.41文献标识码:A文章编号:1000-1298(2023)08-0277-09OSID:收稿日期:2022 12 03修回日期:2023 02 11基金项目:国家自然科学
4、基金项目(32072788、31902210、32002227)、国家重点研发计划项目(2019YFE0125600)、黑龙江省重点研发计划项目(2022ZX01A24)和财政部和农业农村部:国家现代农业产业技术体系项目(CAS36)作者简介:沈维政(1977),男,教授,博士生导师,主要从事智慧畜牧研究,E-mail:wzshen neau edu cn通信作者:戴百生(1986),男,副教授,博士,主要从事计算机视觉和智慧畜牧研究,E-mail:bsdai neau edu cnNon-contact Predicting Method of Dairy Cow Weight Based
5、onCow DET and Deep ImageSHEN Weizheng1ZHANG Zhe1DAI Baisheng1WANG Xinjie1ZHAO Kaixuan2LI Yang3(1 College of Electrical Engineering and Information,Northeast Agricultural University,Harbin 150030,China2 College of Agricultural Equipment Engineering,Henan University of Science and Technology,Luoyang 4
6、71023,China3 College of Animal Science and Technology,Northeast Agricultural University,Harbin 150030,China)Abstract:In order to solve the existence of some problems such as the low weighing efficiency of dairycows in the current pasture,and being easy to cause the stress of dairy cows by manual par
7、ticipation,anend-to-end method of dairy cow weight estimation(Cow DET)based on improved detectiontransformer(DET)network was proposed The non-contact estimation on the dairy cow weight wascarried out by using the depth image of dairy cow back Firstly,a data acquisition device was designedand built,w
8、ith which the cow s back depth image and weight data were collected by using the IntelealSense D435 depth camera and the weight scale Then,deep image data was filled by using the edgeflat filter and hole filling filter to reduce the impact of deep data loss on weight estimation Finally,byadding the
9、weight prediction unit with an alternate fully connection layer(AFC)to the prediction moduleof DET to establish a cow weight estimation model AFC was added to improve the ability of dairy cowweight-related feature extractingIt implemented the end-to-end dairy cow back positioning whileperforming a n
10、on-contact estimation of dairy cow weight by Cow DET model The data of 139 cowswere used to evaluate the model,and the results through 5-fold cross validation showed that the weightestimation method proposed can achieve a high accuracy in dairy cow weight estimation The averageabsolute error of weig
11、ht estimation was below 17.21 kg,the average relative error was less than 3.71%The average recognition time was 0.026 s per image Compared with the existing weight estimationmethods,the results showed that Cow DET got lower average absolute error and average relative errorthan the other six methods
12、in more dairy cow data In the meantime,the method proposed had lessrequirements on the posture of dairy cow,which can more comply with the actual production demand ofranch and provide a solution for the weight estimation of dairy cowKey words:dairy cow;live weight estimation;target detection;deep im
13、age;deep learning0引言体质量是体现奶牛健康状况的重要参数,奶牛体质量为评估奶牛个体的健康和生长状态、判断牧场环境的适宜性及饲料营养分配的合理性提供了一个重要依据1 5。及时关注体质量变化,调整饲料分配,对于降低成本,增加产奶量具有重要的实际意义6。目前国内牧场多采用传统称量方式进行奶牛体质量测量,评测效率较为低下,容易造成奶牛应激反应,影响产奶量7。随着智慧牧场概念的提出和计算机视觉的发展,基于计算机视觉的非接触式牲畜体质量评估受到研究人员广泛的关注。在非接触式体质量评估方面,国内外研究学者早期多基于二维GB 图像进行分阶段的非接触式奶牛体质量评估8 15,通过奶牛 GB 图
14、像提取奶牛体长、体斜长、胸围、肩高、臀高和背部面积等体型数据,基于体型数据建立回归方程预估牲畜体质量。然而,二维图像不包含深度数据,不易获取奶牛背部曲面变化的信息,导致体质量评估精度不高。视觉传感器技术的发展和三维相机的低成本化,使其逐渐应用于智慧畜牧。部分学者开始研究应用含有深度信息的点云数据进行分段式奶牛体质量评估16 20,通过采集奶牛俯视和侧视深度数据,进行三维点云重建,进而利用通过点云提取到的奶牛体尺数据评估奶牛体质量。但是,三维重建对奶牛位姿要求较高,而奶牛的位置和姿态是动态变化的,需要人工参与挑选位姿合格的数据进行重建,导致重建精度无法保证,难以获取体尺数据,同时,分段式提取的体
15、尺特征,会产生不可避免的误差,影响奶牛体质量评估的精度。为解决这一问题,更多学者开始研究基于对牲畜站立姿势要求较低,但与体质量相关性较高的背部视角的深度图像数据和深度神经网络的端到端式牲畜体质量评估模型21 22。文献 23提出一种改进的 Faster CNN 目标检测网络的端到端式牲畜体质量评估方法,对猪只体质量进行评估,该方法对猪只的站立姿势和图像采集环境没有限制。然而,传统目标检测的检测结果框中含有除牲畜背部以外的其他杂物,比如通道栏杆、地面上的粪便和其他障碍物等,容易影响奶牛背部数据中体质量相关特征提取的有效性,进而影响模型体质量评估的性能24。为此,本 文 提 出 一 种 改 进 D
16、ET(Detectiontransformer)网络的端到端式牲畜体质量评估方法 Cow DET,利用奶牛的背部深度图像,对奶牛体质量进行评估。通过 DET 网络的注意力机制25,更加关注奶牛背部深度信息,减少除奶牛背部外的栏杆、粪便、地面等杂物信息对体质量评估的干扰。此外,本研究在 DET 原结构的基础之上,在预测模块中添加含有交替全连接层(Alternate fullyconnected,AFC)的体质量预测单元,更好地提取奶牛体质量相关特征信息,进行体质量评估,以实现在检测奶牛个体的同时对奶牛体质量进行评估。1材料和方法1.1数据采集为了获取奶牛的体质量数据和对应的背部深度图像,本文设计
17、了一套采集装置,如图 1 所示,包括深度相机(距地面约 2.5 m)和带围栏的体重秤(长约 2.5 m,宽约 0.9 m,围栏高约 1.5 m,整体高约2.5 m)。本研究将采集装置安装在奶牛采奶后必经区域,体重秤两侧围栏仅允许奶牛逐头单向通过数据采集装置,进行无接触式奶牛图像和体质量数据采集。经过多种深度相机对比,本文最终选择使用成本可控,室内外成像效果都较好的 Intel ealSenseD435 深度相机进行数据采集,将深度相机架设在数据采集装置的顶部,与地面平行,同时与 PC 端直连,以 Visual Studio 2017 为 开 发 平 台 并 基 于ealSense SDK 2.
18、0 进行奶牛背部深度视频流数据采集,分辨率为 848 像素 480 像素,帧率为 30 f/s,在 2021 年 9 月和 2022 年 7 月于黑龙江省大庆市林甸县晟康牧业有限公司的奶牛养殖场,共采集 139头体型不一、体质量从 206 kg 到 781 kg 不等的奶牛背部深度图像序列,整理得到共计 14 421 幅图像。872农业机械学报2 0 2 3 年图 1奶牛数据采集装置图Fig 1Cow data acquisition device diagrams1.2数据补全处理由于牧场环境强光和奶牛背部黑色花纹对光线的吸收等影响,奶牛背部数据产生部分不规律的残缺。如图 2a 所示,奶牛臀
19、部和肩部出现不同大小和形状的残缺,其包含错误的深度信息,会严重影响模型的体质量评估精度26 28。针对这一问题,本文利用 ealSense SDK 2.0 提供的边缘平滑滤波器和孔洞填充滤波器对深度图像数据进行补全处理29。首先采用边缘平滑滤波器对采集图像深度噪声进行平滑处理,确保图像保持较为合理且稳定的边缘。该滤波器通过对 x 轴和 y 轴进行扫描,获取目标像素深度值,计算一维指数移动平均线(Exponentialmoving average,EMA)以确定合适的平滑量,计算公式为St=Yt(t=1)Yt+(1)St 1(t 1 且 =|StSt 1|thresh)Yt(t 1 且 =|St
20、St 1|thresh)(1)式中 加权减少程度系数Yt 新记录的瞬时值(视差或深度)St 1 时间段 t 1 的 EMA 值thresh 深度阈值图 2深度图像滤波效果Fig 2Depth image filtering effect diagrams接下来进行空间域的孔洞填充,由于 D435 深度相机采用左成像器作为立体匹配算法的参考,因此本研究采用左侧有效像素(Left valid pixel)对深度数据缺失部分进行空间域的孔洞填充;最后进行时间域的孔洞填充,采用与边缘平滑滤波器相同类型的指数移动平均线滤波器,通过对深度图像的像素在时间域上应用指数滑动平均来进行孔洞填充,经过多次试验,系
21、数 取 0.5、阈值参数 thresh取 20时可取得较好效果。最终补全效果如图 2b 所示,图 2a 中背部缺失部分得到有效填充,取得较完整的奶牛背部深度数据。运用上述方法对所有采集到的原始图像进行处理,得到用于模型训练的深度图像数据集。1.3数据标注与数据增强为了提升本实验算法的可重复性和实验结果的可信度,本研究模型均采用 5 倍交叉验证的方式进行训练和测试。将采集到的 139 头奶牛数据,共计14 421 幅图像,根据奶牛数量平均分成 5 份,每份包含约 20%样本。选择其中 4 份约 111 头奶牛作训练集,其余作测试集,为方便网络模型训练,本实验将体重秤采集到的体质量数据写入文件名中
22、,文件命名格式为:index_weights_.png,如:000001_596_ png。本实验需要进行两个类别的目标分类检测,分别为奶牛“cow”和 默 认 背 景 类“background”,采 用LabelImg 标记软件进行标注,为了减少奶牛头部对实验结果的影响,标注时标注框不包含牛头部,并将图像标注内容记录到 XML 格式文件中,包括图像索引、图像大小、对象类别、位置坐标和体质量真值。为了丰富训练集的图像数据,避免过拟合现象的发生,本文通过镜像和旋转来扩大训练数据集,其中镜像的对称轴为图像中心线。经过镜像和旋转处理后,训练集图像总数扩大近一倍。将训练集和测试集名称写入 TXT 格式
23、文件中,用于后续奶牛体质量评估模型的训练。1.4Cow DET 奶牛体质量评估模型为了实现奶牛目标检测的同时进行奶牛个体体质量评估,并且减少检测框内除奶牛背部外的背景等杂物对体质量评估的影响,本研究提出一种改进的 DET 网络的端到端式奶牛体质量评估模型 Cow DET。该网络包含 3 个模块,分别为骨干网络模块、Transformer 编码器与解码器模块、预测模块。其中骨干网络模块为基础特征提取模块,负责对图像进行特征提取;Transformer 编码器与解码器模块采用注意力机制,对骨干网络模块的输出进行特征提取,通过注意力机制,能够关注奶牛背部区域,减少背景中栏杆、粪便等杂物信息的干扰,提
24、高后续预测模块的预测精度;预测模块在 DET 网络原有基础之上,增加了含有交替全连接层的体质量预测单元,接受 Transformer 编码器与解码器模块传来的 Token,对其进行检测框预测、类别预测和体质量预测,实现了高精度牛背目标检测的同时预测奶牛体质量。整体网络结构如图 3 所示。972第 8 期沈维政 等:基于 Cow DET 与深度图像的非接触式奶牛体质量评估图 3整体网络结构Fig 3Structure of neural network1.4.1骨干网络模块骨干网络为基础特征提取模块,通过对深度图像进行卷积,获得图像特征向量。为了更好地提取特征同时避免随机梯度爆炸、消失等问题,本
25、研究选用 esNet 50 作为基础特征提取网络,具体结构如表 1 所示。表 1esNet 50 网络结构Tab1esNet 50 network structure层数输出尺寸/(像素 像素)网络结构C1424 2407 7,64,步长为 2C2212 1203 3 max pool,步长为 21 1,643 3,641 1,2563C3106 601 1,1283 3,1281 1,5124C453 301 1,2563 3,2561 1,10246C526 151 1,5123 3,5121 1,20483通过卷积神经网络从输入图像 Xpng1 H0 W0(单通道数据)中获取低分辨率的特
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 Cow DETR 深度 接触 奶牛 体质 评估 沈维政
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。