基于多纹理特征融合的麦田收割边界检测.pdf
《基于多纹理特征融合的麦田收割边界检测.pdf》由会员分享,可在线阅读,更多相关《基于多纹理特征融合的麦田收割边界检测.pdf(9页珍藏版)》请在咨信网上搜索。
1、农业信息与电气技术基于多纹理特征融合的麦田收割边界检测潘胜权,陈凯,解印山,莫锦秋(上海交通大学机械与动力工程学院,上海200240)摘要:自主导航是智能化农机完成收割作业的重要保障。该研究针对多云天气下光照易变化导致单一特征难以应对麦田环境的问题,提出基于多纹理特征融合的麦田收割边界检测方法。通过构建由图像熵特征和方向梯度特征组成的二维特征向量对麦田收割区域与未收割区域进行分类。其中,根据图像熵特征提取的特点,提出基于滑动窗口的直方图统计方法加速图像熵特征提取速度,较传统熵特征提取方法,该研究方法耗时减少 49.52%。在提取二维特征基础上,根据特征直方图分布特点,结合最大熵阈值分割算法对麦
2、田图像进行初步分类,然后通过去除小连通区域对误分类区域进行剔除,进而运用 Canny 算子提取边缘轮廓点,得到分布于收割边界附近的待拟合点。最后,通过 Ransac 算法对拟合直线进行区域限制,得到较为准确的收割边界。试验结果表明,相比传统基于 Adaboost 集成学习算法提取收割边界,该研究算法处理 240 像素1280 像素的图像平均耗时为 0.88s,提速约 73.89%;在不同光照条件下,收割边界平均检测率为 89.45%,提高 47.28 个百分点,其中弱光照下检测率为 90.41%,提高 46.19 个百分点,局部强光照下检测率为 88.26%,提高 46.00 个百分点,强光照
3、下检测率为 89.68%,提高 49.64 个百分点。研究结果可为田间农机导航线识别提供参考。关键词:机器视觉;图像处理;图像熵;多纹理特征;方向梯度;收割边界;小麦doi:10.11975/j.issn.1002-6819.202301067中图分类号:S224文献标志码:A文章编号:1002-6819(2023)-12-0123-09潘胜权,陈凯,解印山,等.基于多纹理特征融合的麦田收割边界检测J.农业工程学报,2023,39(12):123-131.doi:10.11975/j.issn.1002-6819.202301067http:/www.tcsae.orgPANShengquan
4、,CHENKai,XIEYinshan,etal.Detectionofthewheat-harvestingboundaryinwheatfieldbasedonmulti-texturefusionJ.TransactionsoftheChineseSocietyofAgriculturalEngineering(TransactionsoftheCSAE),2023,39(12):123-131.(inChinesewithEnglishabstract)doi:10.11975/j.issn.1002-6819.202301067http:/www.tcsae.org0引 言自主导航作
5、为智能农机系统中田间信息感知模块的关键技术,被广泛应用于播种、施肥、除草和收割等农业作业不同阶段1-2。在收割作业阶段,为提高收割效率,避免重复收割和漏割,作业人员需具备丰富的收割经验,且在长时间反复观察割台与收割边界位置的作业过程中,作业人员容易产生疲劳,存在一定的安全隐患。因此,为了降低劳动成本、减少作业时间、提高生产率,开展智能农机联合收割机自主导航技术研究具有重大现实意义。作业导航线识别是实现智能农机自主导航作业极为重要的一环,实时准确地识别作业导航线能有效加快作业进度,在收割阶段还能降低作物损失率3。作业导航线识别已有研究主要可以分为两类,即基于机器视觉的导航线识别4-9和基于测距传
6、感器10-15的导航线识别。由于激光雷达价格昂贵,而视觉传感器价格低廉,且获取目标信息较为丰富,故国内外关于基于机器视觉的导航线识别的研究不断增多。在导航线识别方面,用于早耕期与中耕期的作物行线识别技术研究已比较成熟。大多数研究以作物与背景差异明显的颜色作为识别特征,以超绿算法为核心,对图像进行预处理,后续通过 Hough 变换、OTSU 算法或垂直投影法完成单一或多条作物行线识别,进而用于指导早耕、中耕期的智能农机作业导航16-21。早耕、中耕期导航线检测方法均基于待检测目标与背景存在颜色上的明显差异,而小麦收割场景下,未收割区域、已收割区域以及土地在颜色上并无明显差异,基于颜色特征的算法难
7、以应用。针对颜色特征不明显的作物收割场景,魏新华等22通过双目相机获得水稻收割场景下的点云信息,根据安装参数获得点云高度,结合密度峰聚类和均值聚类方法对高度信息聚类实现了水稻收割场景下的收割边界识别;杨雨23针对小麦收割场景,利用种子点区域生长算法对收割区域与未收割区域进行区分,进而利用改进 Ransac 算法对二值图像点进行拟合得到了收割导航线;张成涛等24通过改进平滑纹理特征实现了对小麦收割导航线的识别;曾宏伟等25对小麦图像灰度直方图进行双峰拟合获取分割阈值,进而结合区域生长算法实现了低对比度下小麦收割导航线的提取。上述方法大多使用单一特征进行收割场景导航线识别,而在多云天气下作业时,光
8、线强度易发生变化,同一图像不同区域的光照存在差异,单一特征往往难以适应变化的光照条件。本文通过分析待检测麦田特征,构建由反映数量性纹理的图像熵特征和反映方向性纹理的方向梯度组成的二维特征向量,通过滑动窗口算法改进熵特征提取方式加快特征提取过程,利用最大熵阈值分收稿日期:2023-01-14修订日期:2023-05-22基金项目:国家重点研发计划项目(2019YFB1312301)作者简介:潘胜权,研究方向为机电系统集成、机器视觉。Email:通信作者:莫锦秋,博士,副教授,博士生导师,研究方向为机电系统集成控制。Email:第39卷第12期农 业 工 程 学 报 Vol.39No.122023
9、年6月TransactionsoftheChineseSocietyofAgriculturalEngineeringJune2023123割、形态学处理得到收割麦田边界点,融合二维特征下得到的边界点集合并结合 Ransac 算法使得拟合收割直线时边界附近待拟合点得到增广,进而得到较准确的收割机导航线。1麦田收割边界检测图 1a 为 2021 年 6 月 18 日上午 09:0010:00,在北京小汤山精准农业基地拍摄的麦田图像,通过对大量小麦场地照片分析发现,常用于行线识别的颜色特征无法应用于小麦收割边界的识别,但已收割区域麦茬矮小以及无顶部麦穗的特点使得其与未收割区域在迎光和背光时均存在均
10、匀性、疏密等方面的差异。因此,本文选择能反映图像一定区域内均匀性特点的熵作为判别特征。此外,由于已收割区域麦茬裸露,在图像上显示较为规整,其梯度方向较未收割区域更为一致。因此本文在熵特征的基础上融合方向梯度特征进行收割边界识别。1.1图像预处理基于视觉的导航线识别易受光照强度影响,而非结构化农场环境不同于结构化工业环境,光照强度难以控制。赵博等26提出针对不同光照环境,使用直方图均衡化减弱由于光照强度不一致带来的影响,图 1b 与图 1c分别为原始麦田图像灰度化以及均衡化处理后的图像。a.原图像a.Original imageb.灰度图b.Gray scale imagec.均衡化图c.Equ
11、alized image图 1麦田图像及预处理结果Fig.1Wheatfieldimageandpreprocessedresults1.2麦田图像熵特征提取图像熵 E 衡量一定区域内的信息含量,反映该区域内像素点的数量特征,其计算式为E=NGray1i=0pilog2pi(1)式中 NGray为灰度级数;pi为第 i 个灰度级出现的概率。图像熵是针对一定区域内的纹理特点而提出的,故应选用一定大小的滑动窗口对图像滑动计算不同区域的熵值大小,且通过滑动窗口计算特征值的同时,还能对图像进行降采样,减少后续特征的处理量。滑动窗口过大会增加熵特征提取的计算量,过小则使得不同区域求得的熵值差异较小,容易
12、造成误判。而滑动步长过大会使得窗口扫描较为粗略,导致最终求得导航线精度较低,滑动步长过小则会额外产生大量待计算熵值的窗口,增加图像熵特征提取的计算量。本文最终选择大小为 40 像素30 像素的窗口,滑动步长横向为 10 像素,纵向为 5 像素。1.2.1图像感兴趣区域选择由于相机成像存在透视现象,同一对象与相机距离发生变化时往往在图像中的纹理特征会有较大的差异,而这种差异会导致对区域收割与否的误判,因此需要选择图像中熵特征具有明显差异的感兴趣区域27。本文在固定相机安装方式时以拍摄图像纵向高度衡量小麦与相机间距离。为保证感兴趣区域内收割与否熵特征差异明显,感兴趣区域的纵向高度不宜过大,而纵向宽
13、度过小又容易导致真实边界信息丢失。为保留真实边界信息的同时比较不同高度区域熵特征差异明显程度,本文将图 1a 纵向分割为 3 等份,至上而下得到顶部、中部、底部 3 个区域的熵值,如图 2 所示。jwindow014012010080604020051015202530354045E(iwindow,jwindow)2.052.001.951.851.751.651.901.801.701.60iwindowa.底部区域a.Bottom areajwindow014012010080604020051015202530354045E(iwindow,jwindow)2.01.91.81.61.
14、71.51.4iwindowb.中部区域b.Middle areajwindow014012010080604020051015202530354045E(iwindow,jwindow)2.01.71.51.91.81.6iwindowc.顶部区域c.Top area注:iwindow和 jwindow分别为横向、纵向窗口序号;E(iwindow,jwindow)为(iwindow,jwindow)窗口熵值。Note:iwindowandjwindowarewindowNo.inhorizontalandverticaldirection,respectively;E(iwindow,jwi
15、ndow)istheentropyvalueofwindow(iwindow,jwindow).图 2不同区域熵值图Fig.2Entropymapatdifferentareas观察不同区域熵图可以发现,底部区域距离相机过近导致已收割区域纹理过于清晰,而顶部区域距离相机过远使得未收割区域纹理过于模糊,均无法区分收割区域与未收割区域。故本文在固定安装方式下选择图像的纵向中部区域作为收割边界识别的感兴趣区域。1.2.2基于滑动窗口算法的熵特征提取计算图像熵特征的传统方法是对原图像按照熵特征提取所需窗口大小及位置进行截取,统计所截取图像内124农业工程学报(http:/www.tcsae.org)2
16、023年直方图,进而计算熵值,每个窗口相互独立。该计算方法使得不同窗口间重叠区域被重复计算,检测实时性无法得到满足,因此本文对直方图统计方式改进。当生成横向 2 个相邻窗口、纵向 2 个相邻窗口时,如图 3 所示。按照传统熵特征提取方式,子窗口 A2B1B4A3,A4A3D2D1,D2C1D3C4,B4B3C2C1中数据将计算 2 次,A3B4C1D2中数据将计算 4 次,增加计算量。A1B2A2B1D3D2C1A3B4C4A4D1D4B3C2C3注:AkBkCkDk为第 k 个熵特征计算窗口,k=1,2,3,4。Note:AkBkCkDkisthek-thentropyfeaturecalc
17、ulationwindow,k=1,2,3,4.图 3相邻滑窗示意图Fig.3Adjacentslidingwindows本文对原图像进行分割得到熵特征窗口的子窗口。使用滑动窗口算法组合子窗口的灰度直方图数据,进而得到整幅图像的熵特征。以横向为例,第 iwindow个熵特征窗口的左上角以及右下角的横坐标分别如式(2)式(3)所示。xLU(iwindow)=(iwindow1)xstep(2)xRD(iwindow)=min(iwindow1)xstep+xwindow,xpic)(3)xLU(iwindow)xRD(iwindow)xstepxwindowxpic式中,分别为第 iwindow
18、个矩形窗口左上角和右下角的横坐标,像素;为窗口横向滑动步长,像素;为窗口横向宽度,像素;为图像横向宽度,像素。此时每行横向矩形窗口数量 Nwinx如式(4)所示。Nwinx=xpicxwindowxstep+1(4)xLU(iwindow)xRD(iwindow)xpicxwindowxstep与即为子窗口获取的横向分割点,若不是的整数倍,将产生大量子窗口,增加计算量,分割结果如图 4 所示。L(1)L(2)L(3)L(4)R(1)R(2)R(3)R(4)L(iwindow)R(iwindow)注:实线 L(iwindow)和虚线 R(iwindow)分别为第 iwindow个熵特征计算窗口的
19、左边界和右边界,iwindow=1,2,3,Nwinx。Note:ThesolidlineL(iwindow)andthedashedlineR(iwindow)aretheleftandrightboundariesoftheiwindow-thentropycalculationwindow,respectively,iwindow=1,2,3,Nwinx.图 4子窗口横向分割图Fig.4Horizontalsplitdiagramofsub-windowxpicxwindowxstepNsubx为减少子窗口数量,本文令为的整数倍,此时横向被划分的子窗口数为Nsubx=Nwinx1+xwi
20、ndowxstep(5)此时,特征提取窗口右边界同时也是后续窗口的左边界,减少了子窗口数量。如图 5 所示,R(1)既为第 1个特征窗口的右边界,也为第 4 个特征窗口的左边界。熵特征提取仅需滑动子窗口,如将第 1 个特征窗口向右滑动 1 个子窗口即求得第 2 个特征窗口直方图统计结果。iwindow=1iwindow=2L(1)L(2)L(3)L(4)R(1)R(2)R(3)R(4)图 5横向子窗口组合示意图Fig.5Schematicdiagramofhorizontalsub-windowcombinationxpicypicxwindowywindowxstepystep对于一幅大小的
21、图像,熵特征提取窗口大小为,窗口横向和纵向滑动步长分别为、时,传统熵特征提取算法计算量 C1约为C1xpicypicxstepystep(xwindowywindow)(6)本文改进熵特征提取算法计算量 C2约为C2 2(xwindowypic+ywindowxpic)+xpicypic(7)以本文采集原始图像尺寸 720 像素1280 像素为例,经选择感兴趣区域后,实际处理为 240 像素1280 像素。在 16GB 内存、Inteli7-12700HCPU、RTX3060GPU 的计算机上提取该图像熵特征,传统熵特征提取算法与改进后的熵特征提取算法耗时分别为 1.05与 0.53s,本文算
22、法提速约 49.52%。1.3图像方向梯度特征提取熵特征体现了窗口区域内的像素点数量关系,反映了纹理的复杂程度,但无法反映纹理的方向特征。而小麦收割后留下的矮茬使得收割区域的纹理方向较为一致,故本文在提取熵特征的基础上增加了方向梯度特征。本文选择大小为 33 的 Sobel 算子分别提取 x、y 方向上的梯度强度,x 方向和 y 方向的 Sobel 算子为Sobelx=10+120+210+1(8)Sobely=+1+2+1000121(9)式中 Sobelx为 x 方 向 的 Sobel 算 子;Sobely为 y 方 向 的Sobel 算子。滑动窗口的方向梯度 G 为G=xwindowi=
23、1ywindowj=1GijIArea(Dirij)xwindowywindowIArea(Dirij)=1,Dirij Area0,Dirij Area(10)式中 Gij为窗口内位于(i,j)像素点的梯度强度,无量纲;第12期潘胜权等:基于多纹理特征融合的麦田收割边界检测12540,80)Dirij为窗口内位于(i,j)像素点的梯度方向;Area 为梯度方向区间;梯度区间过大将导致未受割区域滑动窗口内方向梯度偏大,而过小将使得收割区域滑动窗口内方向梯度偏小,均不利于通过方向梯度特征判断区域收割与否。根据大量采集图像的分析结果,本文令区间大小为40,梯度方向区间 Area 为。1.4图像后处
24、理1.4.1最大熵阈值分割在得到图像的熵特征和方向梯度特征后需要选择合适的阈值将收割区域与未收割区域区分开来,常用的阈值分割方法有基于灰度图的双峰阈值分割法、最大类间方差法和熵阈值分割法等28。由于本文提取的特征均为浮点类型,选取不同的灰度级数时,特征直方图存在较大差异,故双峰阈值分割法与最大类间方差法不适合本文。而熵阈值分割反映了分割后图像的均匀程度,将图像分为不同类别时,整幅图像的熵值最大时,分割效果最好,灰度级数对最终阈值的选取影响较小。故本文选择最大熵阈值分割作为阈值选取方法,二分类问题分割后图像熵值 Eseg为Eseg=nseg1i=0p1ilog2p1iNGray1i=nsegp2
25、ilog2p2i(11)p1i=pinseg1k=0pk(12)p2i=piNGray1k=nsegpk(13)p1ip2i式中 Eseg为分割后的图像熵值;为分割后灰度级 i 在前景图中出现频率;为分割后灰度级 i 在背景图中出现频率;nseg为分割阈值对应灰度级数。图像的熵特征直方图如图 6a 所示,由于拍摄光线、角度等,提取的熵特征中存在少许低值噪声点,这些噪声点会使得最终的熵特征分割阈值偏小,而收割边界处信息量往往较高,其熵值较大,故可舍弃低熵值点。熵特征分割阈值与舍弃低熵值点比例关系曲线如图 7所示。舍弃比例低于 5%时,曲线较陡,此时低值噪声点对熵特征阈值影响较大;舍弃比例高于 5
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 纹理 特征 融合 麦田 收割 边界 检测
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。