基于特征双融合CenterNet的白细胞检测方法.pdf
《基于特征双融合CenterNet的白细胞检测方法.pdf》由会员分享,可在线阅读,更多相关《基于特征双融合CenterNet的白细胞检测方法.pdf(9页珍藏版)》请在咨信网上搜索。
1、2023 08 10计算机应用,Journal of Computer Applications2023,43(8):2602-2610ISSN 10019081CODEN JYIIDUhttp:/基于特征双融合CenterNet的白细胞检测方法刘欢,吴亮红*,张侣,陈亮,周博文,张红强(湖南科技大学 信息与电气工程学院,湖南 湘潭 411201)(通信作者电子邮箱 )摘要:针对实际检测过程中复杂场景下由白细胞的形态、染色程度差异较大而导致白细胞检测困难的问题,提出一种基于特征双融合CenterNet的白细胞检测方法TFF-CenterNet(Twice-Fusion-Feature Cent
2、erNet)。首先,通过特征金字塔网络(FPN)将主干网络特征与反卷积层特征相融合,增强方法的特征提取能力,从而解决白细胞个体差异、染色程度不同等问题;然后,针对白细胞占据图像面积与图像背景面积严重不均衡的问题,改进热力图损失函数来提升对白细胞正样本的关注以提高检测平均精度均值(mAP);最后,针对白细胞图像目标微小、位置随机、细胞粘连的特点,引入坐标注意力和坐标卷积,提高对白细胞位置信息的关注度和敏感性。对于复杂场景下的白细胞,TFF-CenterNet的mAP达到97.01%,比CenterNet高3.24个百分点;检测速度达到167 frame/s,比CenterNet快42 frame
3、/s。实验结果表明,所提方法在复杂情况下能在提高白细胞检测mAP的同时达到实时性要求,并提升了鲁棒性,可为辅助医疗诊断中白细胞的快速自动检测提供技术支持。关键词:白细胞检测;CenterNet;坐标注意力;特征融合;坐标卷积中图分类号:TP391.4 文献标志码:ALeukocyte detection method based on twice-fusion-feature CenterNetLIU Huan,WU Lianghong*,ZHANG Lyu,CHEN Liang,ZHOU Bowen,ZHANG Hongqiang(School of Information and Elec
4、trical Engineering,Hunan University of Science and Technology,Xiangtan Hunan 411201,China)Abstract:Leukocyte detection is difficult due to different shapes and degrees of staining of leukocytes during real detection process in complex scenarios.To solve the problem,a dual feature fusion CenterNet ba
5、sed leukocyte detection method TFF-CenterNet(Twice-Fusion-Feature CenterNet)was proposed.Firstly,the features of the backbone network were fused with the features of deconvolution layers through Feature Pyramid Network(FPN).In this way,the feature extraction ability of the method was improved to sol
6、ve the problems of individual differences and different degrees of staining of leukocytes.Then,aiming at the problem of severe imbalance between the image area of leukocytes and the background image area,the heatmap loss function was improved to enhance the focus on positive samples of leukocyte and
7、 improve detection mean Average Precision(mAP).Finally,for the characteristics of the tiny target,random location,and cell adhesion of leukocyte images,coordinate attention and coordinate convolution were introduced to improve the attention and sensitivity of leukocyte location information.For leuko
8、cytes in complex scenarios,TFF-CenterNet achieves the mAP of 97.01%and the detection speed of 167 frame/s,which are 3.24 percentage points higher and 42 frame/s faster than those of CenterNet respectively.Experimental results show that the proposed method can improve the mAP of leukocyte detection i
9、n complex situations while achieving real-time requirements,and improves the robustness,so that this method can provide technical support for rapid automatic leukocyte detection in complementary medical diagnosis.Key words:leukocyte detection;CenterNet;coordinate attention;feature fusion;coordinate
10、convolution0 引言 医学领域通常通过分析白细胞来识别人体的一些常见疾病1。当身体不适时,在血液细胞涂片图像中,白细胞数量的增加或减少,形态结构如大小、颜色和形状的变化,都反映着人体各种疾病的发生。血细胞分类有人工细胞分类、流式细胞分析仪和图像处理技术三种方法2。人工细胞分类主要用显微镜观察分析血液涂片图像中的白细胞,耗时耗力3,更多依赖专业人员的个人经验,存在一定误差4。流式细胞分析仪可以同时处理大量的细胞,但无法显示白细胞的形态5,得不到白细胞的图像,特殊情况下仍需人工镜检进行复检6。随着计算机图像处理技术与医疗领域的紧密结合,图像处理技术辅助医疗诊断成为一个发展趋势。传统的白细
11、胞图像分割、特征提取和白细胞图像分类等技术在实际应用中存在分割不准确、特征提取困难和白细胞分类精度文章编号:1001-9081(2023)08-2602-09DOI:10.11772/j.issn.1001-9081.2022071009收稿日期:20220711;修回日期:20221118;录用日期:20221130。基金项目:国防基础科研计划项目(JCKY2019403D006);湖南省自然科学基金资助项目(2021JJ30280);湖南省科技创新计划项目(2017XK2302)。作者简介:刘欢(1997),女,河南南阳人,硕士研究生,CCF会员,主要研究方向:图像处理;吴亮红(1977)
12、,男,湖南宁乡人,教授,博士,主要研究方向:智能计算、计算机视觉;张侣(1997),男,贵州毕节人,硕士,主要研究方向:计算机视觉、图像处理;陈亮(1985),男,湖南邵阳人,讲师,博士,主要研究方向:深度学习、图像识别、计算机视觉;周博文(1983),男,湖南益阳人,高级工程师,博士,主要研究方向:计算机视觉、图像处理;张红强(1979),男,河南新乡人,讲师,博士,主要研究方向:群机器人系统、群体智能、优化与智能控制。第 8 期刘欢等:基于特征双融合CenterNet的白细胞检测方法低等问题。因此,快速自动准确地检测出血液细胞涂片图像中的白细胞指标,对辅助医疗诊断具有重要意义。神经网络是一
13、种抽象的特征提取方法,具有较强的特征学习能力,端到端的学习可以将复杂步骤简单化,避免手工提取特征过程中导致误差的累积,实现检测过程自动化7,在医学图像数据处理中有着广泛的应用。近年来,为提高血液细胞检测效率以辅助医学诊断,显微血液涂片图像中白细胞的自动检测成为一个研究热点8。Zhao等9利用颜色R和B的简单关系得到R-B图像,应用形态学操作删除噪声和完整的细胞核,然后给出一种合并细胞核的算法,帮助从外周血图像中检测白细胞;Nateghi等10使用一些形态学操作和最优 Otsu 阈值对白细胞进行分割;Fan 等11提出了一种端到端的白细胞定位和分割方法LeukocyteMask,以像素到像素的方
14、式自动分割白细胞;刘阳12提出了基于RGB和C-Y颜色空间的白细胞图像分割算法,对4类白细胞进行分割,平均精度为95.58%;Lu等13提出了一种基于 UNet+和 ResNet的深度学习网络 WBCNet用于白细胞的分割,获得了较高的分割准确率。这些基于分割的方法在具有清晰的白细胞结构数据集上是有效的,但对于细胞粘连严重、白细胞图像较小以及杂质污染等情况下的白细胞图像并未进行实验验证。Wang 等14以 SSD(Single Shot MultiBox Detector)和YOLOv3作为检测框架,给出了实验分析证明并考虑各种因素的影响,其中最佳平均检测精度为90.09%;耿磊等15基于Ma
15、sk R-CNN(Mask Region-Convolutional Neural Network)提出了结合注意力机制多尺度特征融合的白细胞检测方法,对白细胞的平均精度均值(mean Average Precision,mAP)达到了98.25%;陈奕君16提出基于半监督检测的白细胞自动识别方案,在采集的数据集上进行了实验验证;王榆锋等17提出了一种基于YOLO框架的改进目标检测算法YOLO-Att,在公开血细胞数据集(Blood Cell Count and Detection,BCCD)18检测任务中,对白细胞检测的平均精度达到94.51%;王静等19改进YOLOv5的白细胞检测算法,将
16、含有BCCD的混合并扩增后的数据集作为实验对象,平均精度达到99.4%;姚江帆20构建了两种单检测器和一个两级检测器,对BCCD数据集的重构和优化作为实验对象,平均精度达到98.3%。以上对白细胞检测的方法均有较好的检测效果;但这些方法用于训练和测试的数据集都是经过剪切、色彩较为统一以及比较清晰的白细胞图像,对于差距较大的白细胞涂片,检测方法的泛化能力没有得到验证。实际操作过程中,首先得到显微镜下的血液细胞涂片图像,因为个体差异、染色程度、光线等因素的影响,如图 1所示,得到的血液细胞涂片图像色彩和形态差异很大,从中快速准确地检测出白细胞是一项困难的任务。针对复杂血液细胞涂片图像,本文在Cen
17、terNet21的基础上改进优化,提出了一种具有良好泛化能力的白细胞检测方法 TFF-CenterNet(Twice-Fusion-Feature CenterNet),能有效提取复杂血液细胞涂片中白细胞图像的位置信息和特征信息,提升白细胞的检测速度和检测精度。1 TFFCenterNet白细胞检测网络 1.1总体框架现有的深度学习目标检测网络可分为有锚框和无锚框两大类。有锚框的方法又分为两阶段检测网络,如区域卷积神经网络(Region Convolutional Neural Network,RCNN)系列22-24和一阶段检测网络,如YOLO(You Only Look Once)25-2
18、7系列、SSD 网络28和 RetinaNet29等。CenterNet 作为无锚框目标检测方法的典型代表,使用关键点估计找到目标的中心点,然后直接预测目标在中心处的宽度和高度信息,生成符合目标形状的预测框,整体架构较为简单,不需要提前准备锚框,避免了锚框所引起的大量正负样本不均衡问题,减少了大部分的超参数设计。此外,CenterNet不需要使用非极大值抑制去筛选候选框,减少了网络的整体参数和计算量,与一阶段和二阶段目标检测方法相比,检测速度和精度都有很大程度的提高。文献 21 中表示CenterNet支持Hourglass30、深层聚合(Deep Layer Aggregation,DLA)
19、31和ResNet32三种主干特征提取网络。由于数据集的数量有限,白细胞在血液细胞涂片图像中尺寸微小,对于网络参数量较大的 Hourglass 和 DLA 主干网络,易导致网络过拟合,不适用于本文对白细胞的检测。在ResNet系列网络中,选择结果相对较好的ResNet34作为主干特征提取网络。在此基础上,为了使本文方法更精准地定位和识别目标位置区域、提高网络对白细胞位置信息的敏感性,在主干特征提取网络的第 1 个下采样后加入坐标注意力(Coordinate Attention,CA)33。为了充分提取融合白细胞的特征信息,使用 带 有 注 意 力 模 块 的 特 征 金 字 塔 网 络(Fea
20、ture Pyramid Network,FPN)34,将自顶而下所得到的多尺寸特征图与解码反卷积过程中所产生相同尺寸的特征图相加,形成经过FPN主干特征首次融合与反卷积层特征再次融合的特征双融合方法,提取更多可利用的白细胞细节特征,提升网络的特征提取能力。其中,在主干特征提取的连续下采样过程中为了减小白细胞细节信息的损失,将空洞空间池化金字塔(Atrous Spatial Pyramid Pooling,ASPP)35模块添加到主干特征提取网络的中段;在 FPN 的横向连接过程中分别通过空间注意力(Spatial Attention,SA)36模块将白细胞的位置信息融入特征融合过程中。此外,
21、通过 SE(Squeeze-and-Excitation)模块37调整FPN产生的3个特征图的通道权重后,与反卷积层中相同尺寸大小的特征图进行相加,避免杂乱信息的干扰而降低检测效果。最后,在FPN的最后一层与反卷积最后一层处同时 使 用 坐 标 卷 积 CoordConv38(如 图 2 中 CoordConv1 和CoordConv2所示),增加两个通道分别记录原始输入的x和y坐标,然后再进行传统卷积,从而使卷积过程可以感知特征图的空间信息。CoordConv与CA注意力模块共同增强网络对白细胞位置信息的关注,从而再次提高检测精度。图2所示为TFF-CenterNet方法的网络框架。图1复杂
22、血液细胞涂片图像样本Fig.1Samples of complex blood cell smear image2603第 43 卷计算机应用1.2注意力模块在输入的血液细胞涂片图像中,白细胞的体积微小、数量少,红细胞、血小板、杂质等背景信息大量存在。背景在经过多层卷积后的层层累积会带来大量无用信息,从而忽视目标白细胞部分关键信息,影响检测精度;因此,本文引入坐标注意力CA,将位置信息加入到通道注意力中,可以同时提取到方向和位置的关键信息,有利于网络学习到白细胞的特征信息,更加准确地检测出目标白细胞的位置,从而在密集预测任务时能明显提升检测方法的性能。如图 3(a)所示,将沿垂直和水平方向的输
23、入特征图通过两个平均池化(Avg Pool)操作后,分为两个单独的方向感知特征图,接着进行拼接和11卷积变换,然后将带有特定方向信息的两个特征图分解为两个中间特征图,通过两个卷积变换使两个中间特征图具有相同的通道数,最后通过乘法将两个具有位置信息的中间特征图作用于输入特征图上。空间注意力 SA 根据特征图的空间维度信息提取特征39,按照每个像素位置的信息分布分配权重40。如图 3(b)所示,先将输入特征在空间维度上分别进行Mean和Max操作,接着分别通过1个卷积核,将经过卷积后的2个结果进行拼接,保证最后得到的特征在空间维度上与输入的特征图一致,最后采用Sigmoid激活函数得到一个新的特征
24、图。SE模块如图3(c)所示,主要是学习通道之间的相关性,让网络更加关注带有重要信息的通道,得到每个通道所对应的权重。将每个权重与输入特征图对应的通道,以此来调整输入特征图各通道的比重,保证重要通道信息可以较为完整地传递。1.3空洞空间池化金字塔下采样容易导致分辨率下降,从而引起目标的部分细节信息丢失。如图 4 所示,ASPP 主要是对于输入的特征图使用不同采样率的空洞卷积41同时进行采样,再将采样的结果拼接在一起,通过 11卷积调整通道数,相当于多个比例捕捉图像的上下文信息42。空洞卷积可以增大感受野,不改变图像输出特征图的尺寸,因此经过不同的空洞卷积核卷积后,拼接后会得到具有不同感受野的特
25、征图。白细胞检测属于小目标检测,需要丰富的上下文信息,使用不同扩张卷积速率的扩张卷积来获得不同感受野的上下文信息,以丰富FPN的特征信息。根据本文所得到的特征图尺寸大小,选择以1、3、5三个不同速率的扩张卷积来实现空洞空间卷积池化金字塔。1.4损失函数的改进CenterNet的损失函数由热力图损失、中心点损失和长宽损失三部分组成。针对白细胞数量少、目标微小且与整个背景图2TFF-CenterNet网络框架Fig.2Network framework of TFF-CenterNet图3注意力模块Fig.3Attention modules图4空洞空间池化金字塔示意图Fig.4Schematic
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 特征 融合 CenterNet 白细胞 检测 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。