![点击分享此内容可以赚币 分享](/master/images/share_but.png)
基于Transformer结构的深度学习模型用于外周血白细胞检测.pdf
《基于Transformer结构的深度学习模型用于外周血白细胞检测.pdf》由会员分享,可在线阅读,更多相关《基于Transformer结构的深度学习模型用于外周血白细胞检测.pdf(8页珍藏版)》请在咨信网上搜索。
1、DOI:10.J2210094May2023Chinese Journal of Scientific Instrument2023年5月Vol.44 No.5第44卷第5期表仪报器仪学基于Transformer结构的深度学习模型用于外周血白细胞检测冷冰,冷敏3,常智敏,葛明锋12,董文飞1.2(1.中国科学技术大学生物医学工程学院(苏州),生命科学与医学部苏州215163;2.中国科学院苏州生物医学工程技术研究所苏州215163;3.聊城市心脏病医院聊城252200)摘要:虽然血细胞分析仪已广泛应用于医院中,但人工镜检仍是白细胞检测的“金标准”。本文提出了一种基于DETR的Transform
2、er结构的深度学习模型T-DETR用于外周血白细胞的检测,旨在缓解人工镜检的压力。首先,使用PVTv2作为DETR的骨干提取多尺度特征图来提高检测精度。然后,将可变形注意力模块引人到DETR模型中,减少计算复杂度以加快模型收敛。最后,为了得到最优权重,在筛选后的公共白细胞数据集上使用了迁移学习的训练方式。实验结果表明,T-DETR在COCO数据集上mAP为0.47 6,在白细胞数据集上的mAP为0.9 54,优于DETR和经典CNN模型,验证了Transformer结构的模型在医学图像检测中应用的可行性。关键词:白细胞;目标检测;深度学习;Transformer;DETR中图分类号:TH776
3、文献标识码:A国家标准学科分类代码:52 0.2 0 40Deep learning model based on Transformer architecture forperipheral blood leukocyte detectionLeng Bing*2,Leng Min,Chang Zhimin,Ge Mingfeng,Dong Wenfeil.?(1.School of Biomedical Engineering(Suzhou),Division of Life Sciences and Medicine,University of Science and Technolog
4、yof China,Suzhou 215163,China;2.Suzhou Institute of Biomedical Engineering and Technology,Chinese Academy of Science,Suzhou 215163,China;3.Liaocheng Cardiac Hospital,Liaocheng 252200,China)Abstract:Although blood cell analyzers have been widely used in hospitals,the manual microscopy is stll the“gol
5、d standard forleukocyte detection.In this article,T-DETR,a DETR-based deep learning model with Transformer architecture is proposed for thedetection of peripheral blood leukocytes,which aims to relieve the pressure of manual microscopy.First,PVTv2 is used as the backboneof DETR to extract multi-scal
6、e feature maps to improve detection accuracy.Then,the deformable attention module is introduced into theDETR model to reduce the computational complexity to accelerate the model convergence.Finally,to obtain the optimal weights,thetraining method of transfer learning is used on the filtered public l
7、eukocyte dataset.Experimental results show that T-DETR has an mAPof O.476 on the COCO dataset and 0.954 on the leukocyte dataset,which is better than DETR and the classical CNN model.Resultsverify the feasibility of the Transformer structured model for medical image detection applications.Keywords:l
8、eukocyte;object detection;deep learning;Transformer;DETR0引言白细胞作为人体与疾病抗争的“卫士”,可以抵抗细收稿日期:2 0 2 2-0 7-0 7ReceivedDate:2022-07-07*基金项目:国家重点研发计划(2 0 2 1YFB3602200)项目资助菌、病毒、寄生虫等外来病原体的攻击。白细胞分为5类:中性粒细胞、嗜酸性粒细胞、嗜碱性粒细胞、单核细胞、淋巴细胞。白细胞的增多或减少都是身体可能发生病变的表现。因此,白细胞的检测成为医生进行诊断疾病和治疗观察的重要手段表仪仪114第44卷报学器目前医院广泛使用的血细胞分析仪是基
9、于电阻抗原理,常出现检测异常的情况。人工镜检作为血细胞分析仪的补充,是白细胞检测的“金标准”。受到实验室政策和资源情况的限制,人工血涂片复查的比率往往比血液学审查国际共识小组制定的“规则”要求低,但工作量依然很大2 。此外,人工镜检对人员的专业性要求较高,且容易出现观察者之间的差异基于传统机器学习的方法,文献3 提出了动态信号提取算法,结合支持向量机实现了血细胞与肿瘤细胞的高精度分类。文献4 提出基于回归树的特征选择方法,将显著特征输入到支持向量机中进行分类。传统方法需要预处理、分割、特征提取和选择等繁琐步骤,结果容易受到染色条件、光线强弱等的影响5近年来,深度学习极大地提高了目标检测领域的先
10、进水平。其中,卷积神经网络(convolutionalneuralnetwork,CNN)在视觉任务上的成功依赖于卷积层所编码的强大的归纳偏置6 。最近,视觉转换器(T r a n s f o r m e r)使用自注意力来聚合不同位置的信息,表现出比CNN更高的性能7 。根据模型结构的不同,目标检测模型可分为基于CNN和Transformer的两种类型。基于CNN的一阶段目标检测网络如你只需看一次网络(youonlylookonce,YO LO)【8 ,直接对候选框分类并对位置进行回归,检测速度快但精度低。二阶段网络如更快的区域卷积神经网络(fasterregionbasedCNN,Fast
11、erR-CNN)【9 ,先在提议框上进行有无目标的分类和回归,然后进行目标多分类和框回归,检测精度高但速度较慢。文献10 整合了YOLOv3用于宫颈细胞的检测,开发了一个完整的宫颈液涂片诊断系统。文献11 利用软注意力机制改进FasterR-CNN用于白细胞的检测,最佳mAP可达0.7 44。文献12 使用YOLOv4进行急性淋巴白血病患者血液中的母细胞检测,在公共数据集上的最佳mAP0.5可达0.9 6。基于Transformer 的检测Transformer(d e t e c t i o ntransformer,D ET R)【13 是一种端到端的目标检测模型,采用集合预测的方法直接给
12、出预测结果,省去了人工设计阶段和后处理过程。文献14 提出的可变形注意力模块(deformableattentionmodule,D A M)可以融合多尺度特征,增强了DETR对于小目标的检测能力。文献15 提出的空间调制的共同注意力机制引人了空间先验和多尺度,加快了DETR模型的收敛。在细胞检测应用方面,文献16 提出了一种基于注意力的实例分割的模型Cell-DETR,达到了与掩码区域卷积神经网络(maskregionbased CNN,M a s k R-CNN)相同的性能。基于深度学习的白细胞检测方法尚有以下不足:1)基于CNN的检测模型受到人工设计的步骤及后处理等因素的影响,性能有待提
13、高。2)基于Transformer的DETR作为一种新型目标检测网络,其收敛速度和小目标检测能力有待提升。本文面向实验室的白细胞检测真实场景,将流程简洁的DETR作为基础模型进行改进,提出了一种Transformer架构的端到端目标检测网络基于转换器的DETR(transformer based DETR,T-DETR)1T-DETR的原理T-DETR模型的流水线框架分为三部分,如图1所示。第1部分使用金字塔视觉转换器第二版(pyramidvision Transformerversion 2,PVT v 2)17 提取多尺度的特征图,以提高检测精度。第2 部分将多尺度特征图输入到编码器和解码
14、器模块中,该模块中的DAM自然聚合多尺度特征并提高模型收敛速度。第3部分将处理后的结果与真值进行二部图匹配,输出预测集合预测值真实值含有DAM的编码器和解码器PVTv2多尺度显微图片特征图预测集合二部图匹配损失图1所提出的模型流水线框架Fig.1The proposed model pipeline framework1.1DETR模型原始的DETR模型以ResNet为骨干网络提取单尺度特征,编码器接收展平的特征做自注意力处理,解码器则接收编码器的输出和一组可学习的目标查询集,对目标和全局图像上下文的关系进行推理,输出预测集合。该模型消除了人工设计的组件及后处理过程,简化了检测流程。DETR的
15、模型结构及流程如图2 所示。DETR模型采用匈牙利算法定义损失函数使集合匹配的损失最小,包含分类损失和边界框损失13NCHungarin(y,j)=Z-logpa(a(c.)+Cbox(b,b,(i)(1)其中,P是物体被预测为c类的概率。Cbox((b r,b。(i))是边界框损失,b,是真值,6。(i)是预测边界框。冷115冰等:基于Transformer结构的深度周血白细胞检测第5期网络骨干编码器解码器预测头特征图口前馈类别及网络边界框CNN前馈没有网络省标TransformerTransformer编码器解码器前馈类别及网络边界框前馈没有网络自标位置编码目标查询图2DETR的结构及检测
16、流程13Fig.2Architecture and detection process of DETR 13原始DETR模型在初始化时每个查询对所有位置的权重相同,导致模型训练时收敛慢;在训练时只采用低分辨率的单尺度特征图使得小目标的检测性能不佳。因此本文针对这两方面进行改进。1.2网络骨干PVTv2为了得到多尺度特征图,我们使用基于Transformer的PVTv2作为T-DETR的骨干。它的设计仿照ResNet,分为4个阶段,结构如图3所示。每个阶段分为两部分,其中重叠的图像块嵌入用于对局部连续性信息进行建模,Transformer编码器中使用线性空间还原注意力替代多头注意力层以减少计算和
17、内存成本。本文所使用的版本为PVTv2-small,大小与ResNet-50模型接近。HWHWHWHWXCXCFxC门EHIFF48816“1632Transformer块平均池化X32山11特征图日多头注意力图像线性层DW卷积层S位置嵌入相加正则化GELU全连接线性空间还原注意力前馈网络重塑重塑HWHWxC4244重叠的图像块嵌入Transformer编码器(Li)图3PVTv2 模型的结构17 Fig.3Architecture of the PVTv2 model 171.3DAMDAM只关注参考点周围的几个关键点,可以有效减少特征映射的复杂度,加速模型的收敛将单尺度特征图xERCHxW
18、辅输人到DAM中,则DAM的计算公式为14MDeformAttn(z,Pa,x)=WXmm=KZAmgk Wmx(p,+APmgk)(2)其中,9 是查询元素的索引,z。是查询元素的特征表示,P。是参考点,M是注意力头的总数,K是被采样键的总数。Apmgk和Amgk分别表示第m个注意力头中第k个采样点的采样偏移和注意力权重。W和W是可学习的权重。DAM还可以通过注意力机制自然聚合PVTv2生成的多尺度特征图,提升检测精度。输入的多尺度特征图CxH,xW,为1xl=,其中xER多尺度可变形注意力特征的计算公式为14:MMSDeformAttn(z,Pa,ixl/-1)=Wm(3)mLAmlk:W
19、mx*(b(p,)+APmlk)A116表仪仪器学报第44卷其中,P,E0,1 是每个查询元素参考点的归一化坐标,L是特征层的总数,Apmlgk和Amlgk分别表示第1个特征层中的第m个注意力头中第k个采样点的采样偏移和注意力权重。((p。)对p。坐标进行缩放以对应相应的特征层。应当注意的是,当L=1时,式(3)将退化为式(2)。2实验验证2.1数据集在大规模自然数据集上进行预训练,并在医学数据集上进行迁移学习(transferlearning,T L)训练,已成为医学成像领域的常规做法。模型的TL训练比从头开始(from scratch,FS)的训练表现出更好的性能18)本文T-DETR模型
20、预训练使用的数据集是COCO数据集【19 该数据集包含118 k训练图像和5k验证图像。本文使用的白细胞数据集为Raabin公共数据集【2 0 ,该数据集由两名血液学专家标注,但存在大量有争议和未识别的细胞,且标注框包含较多背景区域。本文对无争议的细胞图片进行筛选和重新标注,并由检验科医生进行确认,筛选后的数据集信息如表1所示。筛选后的白细胞主要有3类:嗜酸性粒细胞、单核细胞、中性粒细胞。训练集和验证集按照8:2 比例划分。该数据集未包含患者信息,原作者未说明数据存在伦理风险。表1Raabin数据集的详细信息Table 1Details of the Raabin dataset图片数量实验设
21、备成像设备放大倍数分辨率CX18Samsung10.32310053122988显微镜Galaxy S5相机2.2检测性能评估目标检测模型的性能评估需要同时考虑到模型的准确率和召回率,一般使用平均精度(average precision,AP)来评价。AP值由准确率和召回率曲线下方的面积计算。对于多类别的目标检测,使用平均AP(m e a n A P,mAP)来评估检测性能:mAP1AP.(4)二ni=1其中,n是目标类别的总数,AP,是第i个类别的AP值。本文使用的是COCO数据集的常用目标检测评价指标mAP0.5:0.9 5,该指标为交并比取值0.5 0.9 5,间隔为0.0 5时的10
22、个数值所对应mAP的均值。该指标能够更全面评价模型检测和定位的准确性。2.3模型训练策略本文基于pytorch1.8.0框架搭建模型,使用4个NVIDIARTX3090GPU进行分布式训练,系统是Ubuntu20.104.1 LTS,CPU 为Intel?Xeon?Silver 4210R。我们训练的检测模型有:DETR、T-D ET R、Fa s t e r R-CNN、YOLOv3。各模型的训练参数如表2 所示。表2 模型训练的参数设置Table 2Parameter settings for model training模型数据集训练方式优化器学习率动量权重衰减轮次批量大小用时/hT-D
23、ETRCOCOFSAdamW210-4一1x10-4704229DETRRaabinTL/FSAdamW1x10-4一110-4100811T-DETRRaabinTL/FSAdamW210-41x10-4100424一Faster R-CNNRaabinTLSGD21020.91x10-4100811YOLOv3RaabinTLSGD11020.9510-4100892.4结果分析本文的实验主要分为3个部分:1)实验是在环境中的微软常见物体(Microsoftcommon objects in context,CO CO)数据集上对T-DETR进行FS训练,为T-DETR在白细胞数据集上的T
24、L训练提供预训练权重。总训练周期为7 0 个轮次,在第6 1个轮次mAP取得最大值0.47 6,训练过程如图4所示。2)实验包含两部分内容。首先,在白细胞数据集上对T-DETR和DETR进行TL训练,两者的预训练权重均来自于COCO数据集。如图5所示,T-DETR在第40 个轮次开始收敛,收敛速度较DETR快,且mAP值高于DETR。然后,在白细胞数据集上对T-DETR和DETR进行FS训练。训练时DETR不能收敛,且mAP值一直为0,因此结果未在图中展示。虽然T-DETR的FS训练性能略低于TL训练,但超过了DETR的TL训练。由此可见,所提出的T-DETR优于DETR的性能,且TL训练有助
25、于提升模型性能。3)部分实验中,在白细胞数据集上对CNN模型FasterR-CNN和YOLOv3进行TL训练,得到最优的模型权重以实现白细胞的检测与识别。如图6 所示,YOLOv3117冷冰等:基于Transformer结构的深度学习模型用于外周血白细胞检测第5期0.5120.4mAP损失100.3dvu0.280.16010203040506070轮次图4T-DETR在COCO数据集上的训练损失和mAPFig.4Training loss and mAP of T-DETR onCoco dataset1.0100.88DETR(TL)0.6dvu6#T-DETR(TL)T-DETR(FS)
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 Transformer 结构 深度 学习 模型 用于 外周血 白细胞 检测
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。