SSM:基于孪生网络的糖尿病视网膜眼底图像分类模型.pdf
《SSM:基于孪生网络的糖尿病视网膜眼底图像分类模型.pdf》由会员分享,可在线阅读,更多相关《SSM:基于孪生网络的糖尿病视网膜眼底图像分类模型.pdf(10页珍藏版)》请在咨信网上搜索。
1、DOI:10.1.2023.03.006CNATURISCIENCE)May,20232023年5月JOURNALNANNNIVERSITYVol.59,No.3第3 期第59 卷南京大学学报(自然科学)SSM:基于李生网络的糖尿病视网膜眼底图像分类模型谭嘉辰1,董永权1.2*,张国玺1(1.江苏师范大学计算机科学与技术学院,徐州,2 2 1116;2.徐州市云计算工程技术研究中心,徐州,2 2 1116)摘要:糖尿病视网膜病变是由糖尿病引起的一种重要眼部疾病,不及时治疗可能会导致失明,现有的诊断方法主要依靠医生手动分类,但这种方法耗时耗力.随着深度学习的发展,越来越多的自动分类技术被应用到医
2、学领域.针对糖尿病视网膜病变严重程度的分类问题,样本图像十分稀缺,传统的单支模型很难达到较高的分类性能,提出一种李生结构的分类模型SiameseModelwithSwin-TransformerandMLP-BasedU-Net(SSM),并利用数据扩增来解决此问题,首先,利用直方图均衡化、高斯滤波和增强对比度等方法预处理图像;然后,将预训练的Swin-Transformer作为SSM模型的特征提取分支网络来获得层次化的特征表示;此外,还设计了一个含有跳跃连接结构的MLP-BasedU-Net(M U-Ne t)作为SSM模型的分类器来对提取的特征进行分类.在Messidor数据集上进行训练和
3、测试,与现有最先进的模型相比,,SSM模型性能更优,在测试集上的精确率达0.9 7 6,召回率达0.9 7 5,F1达0.9 7 6,准确率达0.9 7 5,Kappa系数达0.9 6 7.关键词:糖尿病视网膜病变分类,深度学习,李生网络,Transformer中图分类号:TP391.41,R587.2,R774.1文献标志码:ASSM:A classification model of diabetic retinal fundus imagesbased on siamese networkTan Jiachen,Dong Yongquanl.2*,Zhang Guoxil(1.Schoo
4、l of Computer Science and Technology,Jiangsu Normal University,Xuzhou,221116,China;2.Xuzhou Cloud Computing Engineering Technology Research Center,Xuzhou,221116,China)Abstract:Diabetic retinopathy is an important eye disease caused by diabetes,which leads to blindness if left untreated.Existing diag
5、nostic methods rely on manual classification by doctors,but these methods are time-consuming and labor-intensive.With the development of deep learning,more and more automatic classification technologies have been applied tothe medical field.For the classification of the severity of diabetic retinopa
6、thy,traditional single-branch models are difficult toachieve high classification performance due to the scarcity of sample images.This paper proposes a Siamese odel with Swin-Transformer and MLP-Based U-Net(SSM)using data augmentation to solve this problem.Due to the different quality ofimages in th
7、e dataset,histogram equalization,Gaussian filtering and contrast enhancement are firstly used to preprocessimages.Then,pre-trained Swin-Transformer is used as the SSM feature extraction branch network to obtain the hierarchicalfeature representation.In addition,a MLP-based U-Net(MU-Net)with skip con
8、nection structure is designed as the classifierof SSM model to classify the extracted features.The SSM model is trained and tested on the Messidor dataset and hasimproved performance compared to the most advanced models available,with accuracy rate,recall rate and F1 reaching O.976,0.975 and 0.967,r
9、espectively.Key words:classification of diabetic retinopathy,deep learning,siamese network,Transformer基金项目:国家自然科学基金(6 18 7 2 16 8),江苏省研究生科研与实践创新计划(SJCX21.1140)收稿日期:2 0 2 2 12 0 3*通讯联系人,E-mail:t o m d y q 16 3.c o m426第59 卷南京大学学报(自然科学)现代社会的快节奏生活使糖尿病患者成为增长速度最快的病人群体之一,截至2 0 2 1年,全球共有5.37 亿成年人患有糖尿病 .糖尿病
10、的高血糖会损害细小的血管,导致视网膜血管肿胀,出现渗漏液和血液,这种并发症就是糖尿病视网膜病变(DiabeticRetinopathy,DR)2,可能导致视力受损,是人类永久性失明最常见的病因之一 3-4.现在,医学上普遍认为根据相关生理指标,DR可分为正常(normal)、轻度DR(m i l d D R)、中度DR(mo d e r a t e D R)、重度DR(s e v e r e D R),阶段样例如图1所示.DR早期阶段为mildDR(图1b),可以检测到微动脉瘤的形成;moderateDR(图1c)阶段可能会出现血管肿胀和视力模糊,严重的会出现血管异常和大量的堵塞血管;seve
11、reDR(图1d)阶段已经是DR的后期,可以检测到视网膜脱离和大的视网膜裂口,导致完全失明 5.由于DR的早期症状难以发现,所以患者需要进行定期筛查,目前主流的筛查方法是依靠临床医生进行手工诊断,通过使用眼底镜、眼底照相、荧光素眼底和光学相干断层扫描(Optical CoherenceTomo-graphy,OCT)等方法来检测患者的病情.手工筛查十分依赖医生的经验,经验不足和长时间工作后的疲劳使医生很容易对其误诊漏诊,所以DR自动识别技术能使医生和患者都受益.近年来深度学习在医学领域被广泛应用,为了减少筛查的成本,许多深度学习模型被应用到DR分类任务中,尤其是卷积神经网络(Convoluti
12、onalNeuralNetworks,CNN)(6-7,(a)normal(b)mild DR(c)moderate DR(d)severe DR图1DR各阶段的样例图Fig.1Samples ofeach stageof DRDR分类任务的主要挑战就是DR图像数量稀缺,而且和普通图像相比,结构简单,语义单一,但图像中的浅层信息和高级特征都很重要,所以需要结合图像全局和局部信息来获取图像特征.为了解决这些问题,本文在模型架构方面选择李生网络结构,和单支的网络相比,李生网络只需要很少的训练数据就可以达到较高的分类效果,在特征提取方面,本文选择使用Swin-Transformers1作为分支网络.
13、传统的CNN模型往往只关注图像的局部信息,而Transformerl9结构更关注图像的整体信息.Swin-Transformer利用窗口注意力和移动窗口注意力将CNN的思想应用到Trans-former上,和原始的Transformer相比,性能得到了提升.在分类方面,本文设计了一种新的MLP-BasedU-Net(M U-Ne t)分类器,以多层感知机(MultilayerPerceptron,MLP)为基础,借鉴了U-Net101的结构.实验结果表明,与其他方法相比,本文提出的方法是有效的.本文的具体贡献:(1)提出一个新的李生网络模型SiameseModel with Swin-Tran
14、sformer and MLP-BasedU-Net(SSM).以预训练的Swin-Transformer替代传统的CNN作为分支网络,在面对高分辨率的DR图像时,利用窗口自注意力和移动窗口自注意力来构造层次特征映射,能够高效地提取DR图像中的特征。(2)提出了一个新的MU-Net分类器,以MLP为基础,在升降维的过程中增加跳跃连接,使浅层特征和深层特征得到充分的融合,更有利于模型的判别,(3)在数据集上以端到端的方式训练本文提出的模型,实验结果证明,在Messidor数据集上,该模型优于目前最先进的模型1相关工作人工检测DR图像现在有很多问题,缺乏专业的眼科医生和昂贵的费用给患者造成了许多阻
15、碍自动分类技术简化了诊断过程,近年来深度学习模型已成功实现了准确的DR自动分类。Prattetal1利用简单的CNN网络就达到了0.95的特异度.丁蓬莉等 12 在AlexNet的基础上设计了CompactNet模型来对DR进行分类.李琼427谭嘉辰等:SSM:基于李生网络的糖尿病视网膜眼底图像分类模型第3期等 13 也在AlexNet的基础上设计了BNet,同时利用迁移学习和数据增强等方法达到了0.8 3的准确度.Gayathrietal141通过轻量级CNN从眼底图像中提取特征,再用决策树进行分类.Hossen etal15利用迁移学习和DenseNet结构来对DR图像进行分类,但是从头开
16、始训练需要大量数据,而医学数据非常稀缺,导致模型很难得到充分的训练.随着许多大模型的提出,预训练的模型也被越来越多地应用到具体的分类任务中.Delapavaetal16利用多种预训练模型来提取DR图像特征,针对不同病灶分别训练不同的分类器,再将分类器集成获得最终的结果.Guptaetal17利用VGG19在自已的数据集上完成预训练,再利用分类器分类.但是预训练的先验知识十分有限,为了能让模型专注于图像的关键区域,注意力机制被广泛应用到神经网络中.Yangetal18提出一种特征映射全局通道注意力机制(GCA),使用一种基于一维卷积核的算法并利用GCA设计了一个用于DR分类的GCA-effici
17、ent模型.Al-AntaryandArafal19提出一种多尺度注意力网络,利用编码器和多尺度特征金字塔将视网膜图像嵌人高层次特征.除了传统的单支网络,Tianetal201提出双分支网络,在CNN中融人通道注意力和空间注意力,加入空间金字塔池化,并且利用全局平均池化来压缩特征.现有方法主要基于CNN和单分支结构,利用预训练和在CNN中加注意力等方法来提升模型性能,但在样本稀缺和特征提取等方面还是存在改进空间,现有的研究表明Trans-former在特征提取方面比CNN具有优势,且李生网络在面对小样本时,和传统的单分支网络相比,在结构上有天然优势,所以本文以李生网络和Transformer为
18、基础来设计模型.2本文方法本文提出一个基于Swin-Transformer和MU-Net分类器的李生网络模型SSM,其结构如图2所示.将一组经过预处理的图像对送入SSM模型,通过参数共享的两个相同的分支网络来提取图像特征,将两个模型提取的特征拼接,再将拼接后的特征送人MU-Net进行分类,最后输出分类结果.分支模型摒弃了传统的卷积神经网络模型,采用最新的Transformer架构,利用注意力机制来提取图像特征,进一步增强图像中各局部信息和全局信息之间的关系,提高网络提取特征的能力.和传统的MLP相比,MU-Net借鉴了U-Net的思想,在MLP的基础上增加了跳跃连接和网络深度,能够让分类器融合
19、保留更多的图像信息。Swin_TransformernormalmildDRWMU-NetmoderateDRsevereDRSwin_Transformer图2SSM的结构Fig.2Theframeworkof SsM2.1SSwin-TransformerSwin-Transformer是一种拥有CNN特性的Transformer网络.Trans-former网络最先在自然语言处理领域被提出,利用其特有的注意力机制来序列建模,能够解决数据中的长依赖性问题.VIT(Vi s i o n T r a n s f o r m e r)第一个将Transformer引人视觉领域 2 1,而Swin
20、-Transformer是在VIT的基础上结合卷积特性设计的网络模型,其结构如图3所示。H/4WI448HI4W14CH/8W/82CH/16W/164CH/32xWI328CMLPMLPStage1Stage2Stage3Stage4Buppequa JeounLNLNHxW3-SwinSwinSwinSwinmagesTransformerTransformerTransformerTransformerBlockBlockBlock-.BlockW-MSASW-MSA2262LNLN图3Swin-Transformer的结构Fig.3Theframeworkof Swin-Transfo
21、rmer428第59 卷南京大学学报(自然科学)Swin-Transformer与VIT不同,传统的VIT计算的是全局注意力,在面对大像素的医学图像时计算量巨大,训练时间开销长.Swin-Trans-former借鉴了卷积窗口的思想,另辟蹊径,将图像块分成小窗口,每次只计算窗口内的自注意力,使注意力的计算复杂度随着图像的分辨率大小线性增长而不是平方级增长.同时,为了保证每个窗口之间也能进行信息交互,Swin-Transformer利用移动窗口的方式在下一层重新划分小窗口,使得上层不在同一窗口的区域得到信息交互.具体的移动方法是在上一层的基础上向右下角移动两个图像块,如图4所示第一层第二层自注意
22、力计算窗口图片块图4Swin-Transformer中的移动窗口结构Fig.4The structure of shifting window in Swin-Trans-former为了得到图像的全局信息,Swin-Transformer产生了一个层次特征映射,如图5所示.随着网络的加深,从灰色轮廓的图片块开始,逐渐合并相邻区域内的图片块,使窗口内的图像块越来越多,分别采用4,8,16 倍下采样来形成一种层次化的表征,类似卷积神经网络中的池化操作2.2MU-Net对于高分辨率的医学图像特征,16x8x4x自注意力图片块计算窗口图5Swin-Transformer的层次特征映射Fig.5Hie
23、rarchical feature mapping of Swin-Trans-former传统的MLP分类器结构简单、训练难度大且容易丢失像素间的信息,本文利用U-Net的思想设计了MU-Net分类器.MU-Net的结构如图6 所示.医学图像和其他图像相比,语义简单,结构单一,但是图像中的每一种特征都很重要,其低级语义特征和高级语义特征具有同等的重要性,而利用扩张路径和收缩路径以及残差网络的特征跳跃连接能够更好地保存特征信息,41000*10002048*2048输入2048*2048归一化层+MLP+ReLU激活函数输出向量40964096图6MU-Net的结构Fig.6The frame
24、work of MU-Net3实验3.1数据集使用Messidor数据集 2 2 ,这是由法国国防研究部资助的一个研究项目,属于2 0 0 4年TECHNO-VISION项目.Messidor中含有来自三个不同眼科机构的12 0 0 张彩色眼底图像,每张眼底图像都由一个拥有45视野的彩色3CCD摄像机取得.图像的分辨率有三种:1440 9 6 0,22401488和2 30 41536.12 0 0 张图像被专家手动标注,共有 normal,mild DR,moderate DR和 se-vereDR四个类.Messidor数据集的具体分布如表1所示.3.1.1数据预处理Messidor数据集
25、中的数据是从三个眼科机构收集而来的,所以存在光照不均衡、模糊和有噪音等情况。为了减少外在因素表1Messidor数据集的具体分布Table 1The distribution of Messidor datasets类别数量(张)占比normal54645.5%mild DR15312.7%moderateDR24720.5%severeDR25421.1%429谭嘉辰等:SSM:基于李生网络的糖尿病视网膜眼底图像分类模型第3期对实验结果的影响,对图像做了一定的预处理:具体的预处理方法如下:(1)对比度有限的自适应直方图均衡(CLA-HE).传统的直方图均衡是对图像全局进行操作运算,在面对图像
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- SSM 基于 孪生 网络 糖尿病 视网膜 眼底 图像 分类 模型
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。