基于深度学习的眼科超声图像智能辅助诊断方法研究.pdf
《基于深度学习的眼科超声图像智能辅助诊断方法研究.pdf》由会员分享,可在线阅读,更多相关《基于深度学习的眼科超声图像智能辅助诊断方法研究.pdf(6页珍藏版)》请在咨信网上搜索。
1、提出一种基于深度学习的眼科超声图像智能辅助诊断方法,以为眼科疾病的智能化临床诊断提供辅助分析。方法院首先,建立眼科超声图像数据集,在数据集上完成ResNet-50、DenseNet-121和MobileNet 3种网络模型的训练,并通过准确率、宏平均精确度、宏平均敏感度、宏平均F1值以及AUC值评估模型的分类性能,通过模型文件大小和检测测试集图像的平均用时评估模型的实时性能,选出最合适的眼科超声图像智能辅助诊断模型。然后,通过梯度加权类激活映射方法实现图像异常组织区域的热力图可解释性分析。最后,基于PyQt工具包完成眼科超声图像智能辅助诊断软件开发。结果院与ResNet-50和DenseNet
2、-121模型相比,MobileNet模型整体性能较优,准确率、宏平均精确度、宏平均敏感度、宏平均F1值、AUC值分别为0.948 5、0.926 6、0.930 5、0.928 1和0.995 8,模型文件大小和检测平均用时分别为56.69 MiB和0.089 0 s。设计的眼科智能超声辅助诊断软件能够实现眼科超声图像的智能识别和热力图可解释性分析。结论院基于深度学习的眼科超声图像智能辅助诊断方法可以准确地识别眼科超声图像,能够满足眼科疾病临床诊断需求。关键词眼科超声;超声图像;迁移学习;深度学习;辅助诊断;眼科疾病中国图书资料分类号R318曰R319文献标志码A文章编号1003-8868渊2
3、023冤07-0001-06DOI院10.19745/j.1003-8868.2023130Research on intelligent assisted diagnosis method of ophthalmicultrasound images based on deep learningLI Ze-meng,WANG Xiao-chun,WANG Xiao-ning,ZHOU Sheng*(Institute of Biomedical Engineering,Chinese Academy of Medical Sciences&Peking Union Medical C
4、ollege,Tianjin 300192,China)AbstractTo propose a deep learning-based intelligent assisted diagnosis method for ophthalmic ultrasoundimages to facilitate intelligent diagnosis of ophthalmic diseases.An ophthalmic ultrasound image dataset wasestablished,which was used for the training of three network
5、 models of ResNet-50,DenseNet-121 and MobileNet.The threemodels underwent classification performance evaluation in terms of accuracy,macro-average precision,macro-averagesensitivity,macro-average F1score and AUC value,and real-time performance evaluation from the aspects of model file sizeand the av
6、erage time consumed for detecting the images in the test set,so as to determine the optimal intelligent assisteddiagnostic model for ophthalmic ultrasound images.Then the gradient weighted class activation mapping method was used toachieve interpretable analysis of the heat map of the abnormally org
7、anized regions of the image.Finally,the ophthalmicultrasound image intelligent assisted diagnosis software development was completed based on PyQt toolkit.MobileNetmodel gained advantages over ResNet-50 and DenseNet-121 models,which had the accuracy,macro-average precision,macro-average sensitivity,
8、macro-average F1score,AUC value,model file sizeand theaverage time for detection being 0.948 5,0.926 6,0.930 5,0.928 1,0.995 8,56.69 MiB and 0.089 0 s,respectively.The ophthalmic ultrasound image intelligentassisted diagnosis software realized intelligent recognition and heat map interpretable analy
9、sis of ophthalmic ultrasoundimages.Thedeeplearning-based ophthalmic ultrasoundimageintelligentassisteddiagnosismethod can accuratelyidentifyophthalmicultrasound images,andcan meetclinicaldiagnosisrequirementsofophthalmicdiseases.悦澡蚤灶藻泽藻酝藻凿蚤糟葬造耘择怎蚤责皂藻灶贼 允燥怎则灶葬造袁2023袁44渊7冤院1-6Key wordsophthalmic ultra
10、sound;ultrasoundimage;transfer learning;deep learning;assisted diagnosis;ophthalmic disease0引言我国眼科疾病患者人数每年都在不断增长,超声成像一直以来都是眼科临床中最为常用的诊断与筛查方法之一,具有快速、无创、可重复性好、安全性窑研究与设计窑栽澡藻泽蚤泽论著李泽萌,王晓春,王效宁,等.基于深度学习的眼科超声图像智能辅助诊断方法研究J.医疗卫生装备,2023,44(7):1-6.1 窑医疗卫生装备窑 2023年7月第44卷第7期悦澡蚤灶藻泽藻 酝藻凿蚤糟葬造 耘择怎蚤责皂藻灶贼 允燥怎则灶葬造 窑 灾燥造
11、援 44 窑 晕燥援 7 窑 July 窑 2023高的特点,尤其对存在屈光介质混浊的眼科疾病具有无法替代的重要作用1。目前,传统的眼科疾病诊断方法受医疗资源的不均衡分配和影像医生培养的高成本限制,严重阻碍了眼科超声检查的大规模普及,临床上迫切需要对眼科超声图像进行自动分析及智能辅助诊断。深度学习是一种新兴技术,在眼科领域具有许多潜在应用,包括眼部疾病的筛查和诊断等,基于深度学习的眼科辅助诊断方法研究不断更新完善。通过在海量数据中提取和学习图像特征2,实现将眼科专家诊断经验复制到机器中,不仅能有效缩短年轻影像医生的专业学习曲线,提高眼科超声影像的质量控制水平,减少漏诊、误诊概率,提升诊断的客观
12、性与准确性,还可以切实缓解高年资眼科医生的工作强度,减少一些重复性的劳动,提高临床诊断效率。柴文俊3提出了一种面向眼科影像的多模态智能疾病辅助诊断方法,其不仅能提供预标注功能,还可以提供多种眼科疾病的智能识别细分任务以及可视化预测能力。张炜4开发了一个眼底异常体征部位智能检测和多病种智能诊断系统,可以为眼科医生提供玻璃体、视网膜、黄斑和视神经部位的眼底病变信息,用于更全面地评估眼底健康。Wang等5开发了白内障分类系统,通过设计Web服务器,使医生无需掌握任何编程和数学知识就可以获得上传图像的B超检测结果。视网膜脱离(retinal detachment,RD)、玻璃体积血(vitreous
13、hemorrhage,VH)、玻璃体后脱离(posteriorvitreous detachment,PVD)是3种最常见的眼科疾病,患者可能会出现突发性且无痛的视力模糊、单眼视力丧失、视野中的闪光和飞蚊症。有研究表明,急性、自发性、非创伤性PVD伴VH与RD的发生具有相关性6。后巩膜葡萄肿7(posterior scleral staphyloma,PSS)是病理性近视退行性改变发生的最重要因素和重要的标志性病变,常见于高龄及眼球过度轴向伸长人群。星状玻璃体变性8(asteroid hyalosis,AH)是一种良性疾病,但眼底能见度差可能导致视网膜疾病的漏诊,是进行完全有效的眼底检查的重大
14、障碍。因此,及时完成对这几类眼科疾病的筛选识别并采取治疗措施能够预防或延缓疾病恶化,有效减少视力损伤。目前,国内外针对眼科超声图像识别诊断的研究较少且诊断模型准确度通常无法满足临床需求,因此,本文提出一种基于深度学习的眼科超声图像智能辅助诊断方法,能够自动分析、识别眼科超声图像,为眼科疾病的智能化临床诊断提供辅助分析。1方法本研究使用TensorFlow平台作为深度学习任务的后端,同时为了提高训练效率,采用迁移学习技术,通过保留预训练模型的初始化权重降低数据需求量和计算成本。基于深度学习的眼科超声图像智能辅助诊断方法设计流程如图1所示,包含预处理、模型训练、界面设计、图像识别、热力图分析和程序
15、打包6个步骤。1.1图像预处理本文使用的仪器为天津迈达医学科技股份有限公司生产的眼科A/B型超声诊断仪器(型号:MD2300S),使用的图像数据来源于天津医科大学眼科医院,所有的图像都经过了脱敏处理,以保护患者的隐私和健康信息安全。本研究是基于世界医学协会赫尔辛基宣言的原则进行的,获得了天津医科大学眼科医院伦理委员会的批准。因本研究是一项回顾性的研究,且对所有B超图像进行了脱敏处理,因此知情同意被豁免。由眼科专家对采集的图像样本进行筛选与分类。纳入标准:异常图像仅包含5种异常(AH、PVD、VH、PSS、RD),同时纳入正常图像。排除标准:(1)图像质量差;(2)2种及以上异常同时存在;(3)
16、存在5种异常以外的异常。本次实验最终纳入16 937张眼科超声图像构建数据集,其中正常图像1 073张、AH图像1 870张、PVD图像5 741张、VH图像4 204张、PSS图像3 326张、RD图像723张。采用随机抽样方法基金项目院天津市科技计划支撑项目(19YFZCSY00510);中国医学科学院中央级公益性科研院所基本科研业务费资助项目(2021-JKCS-007);天津市自然科学基金项目(22JCYBJC00340)作者简介院李泽萌(1999),女,研究方向为人工智能医学图像处理,E-mail:。通信作者院周盛,E-mail:图1基于深度学习的眼科超声图像智能辅助诊断方法设计流程
17、图预处理图像脱敏筛选分类建立数据集模型选取迁移学习保存最佳参数模型模型训练设计系统界面选取文件夹导入图像输出模型预测结果图像识别选取图像调用模型输出热力图像结果热力图分析打包所有程序栽澡藻泽蚤泽论著李泽萌,王晓春,王效宁,等.基于深度学习的眼科超声图像智能辅助诊断方法研究J.医疗卫生装备,2023,44(7):1-6.2 窑医疗卫生装备窑 2023年7月第44卷第7期悦澡蚤灶藻泽藻 酝藻凿蚤糟葬造 耘择怎蚤责皂藻灶贼 允燥怎则灶葬造 窑 灾燥造援 44 窑 晕燥援 7 窑 July 窑 2023数据集AH图像PVD图像VH图像PSS图像RD图像正常图像总计训练集1 1203 4422 5221
18、 99843264310 157验证集3741 1488416561442153 378测试集3761 1518416721472153 402总计1 8705 7414 2043 3267231 07316 937按照6颐2颐2的比例随机选取图像样本设置训练集、验证集和测试集,数据集划分情况见表1。1.2模型训练1.2.1训练流程在 本 文 构 建 的 数 据 集 上 完 成ResNet-50、DenseNet-121和MobileNet 3种网络模型的训练,并通过实验结果对比来选择最适合眼科超声图像智能辅助诊断的网络模型9。首先,通过迁移学习方法得到预训练模型;然后,去除全连接部分,只保留
19、卷积基;最后,为模型添加更适合本文六分类情况的更具针对性的分类器,完成分类模型的训练。模型训练流程如图2所示。1.2.2评价方法为评估网络模型对6种眼科超声图像的分类性能,采用混淆矩阵、准确率(sccuracy,Acc)、精确度(precision,Pre)、敏感度(sensitivity,Sen)、F1值及AUC值作为模型的分类性能评价指标,准确率Acc、精确度Pre、敏感度Sen和F1值的计算公式如下:Acc=TP+TNTP+FP+TN+FN伊100%(2)Pre=TPTP+FP伊100%(3)Sen=TPTP+FN伊100%(4)F1=2TP2TP+FP+FN伊100%(5)式中,TP、
20、TN、FP、FN分别为真阳性、真阴性、假阳性、假阴性。ROC曲线与坐标左上角的完美分类点10越接近,AUC值越大,最大值为1。通过宏平均方法11可以评估模型的整体分类性能,将每种病变的分类敏感度加和求均值获得宏平均精确度,按相同计算方法获得宏平均敏感度和宏平均F1值。为评估网络模型对6种眼科超声图像的实时性能,采用模型文件大小和预测本文测试集图像的平均用时作为模型的实时性能评价指标,在模型分类性能相当的情况下,运算耗时越少,模型越高效。1.3热力图可解释性分析梯度加权类激活映射12(gradient-weighted classactivation map,Grad-CAM)的可解释性已成为深
21、度学习模型的基本特征,利用Grad-CAM技术对原始图像上的每个类别进行推理解释,能够直观地看到模型决策所依据的重点区域,并自动定位病变区域。具体实现过程为:首先将待识别的图像输入到训练好的网络模型中,将模型最后一个卷积层的输出作为特征图,通过最后一个卷积层的特征映射的加权和得到类激活热力图CAMi;然后将热力图标准化到01范围内以便可视化,获得输入图像中对预测结果影响较大的区域;最后将输入图像叠加到热力图上,调节热力图强度因子,即可得到模型在识别眼部组织特征时的主要关注区域,即对应疾病的病变组织区域。类激活热力图CAMi的计算公式为13CAMi(x,y)=k移wkifk(x,y)(6)式中,
22、i为目标类别;CAMi为i的类激活映射;k为高度H、宽度W的单元;wki为单元k对应的类别i的权重,通过网络模型训练得到;fk(x,y)表示单元k在空间位置(x,y)的特征映射。1.4软件设计PyQt14是基于Python语言环境,融合Qt库模块功能而形成的用于跨平台人机交互系统开发的工具包,其可以用来开发占用更少磁盘空间、运行更快的面向对象软件15。本文所述眼科超声图像智能辅助诊断软件基于PyQt5开发,主要包括图像导入、图像识别、热力图可解释性分析以及输出结果4个部分,可以识别AH、PVD、VH、PSS、RD图像和正常图像。通过使用Python PyQt库编写人机交互界面,可以帮助医生更方
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 深度 学习 眼科 超声 图像 智能 辅助 诊断 方法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。