仿鹰视顶盖的眼底OCT图像重建方法.pdf
《仿鹰视顶盖的眼底OCT图像重建方法.pdf》由会员分享,可在线阅读,更多相关《仿鹰视顶盖的眼底OCT图像重建方法.pdf(10页珍藏版)》请在咨信网上搜索。
1、第 50 卷 第 8 期2 0 2 3 年 8 月Vol.50,No.8Aug.2 0 2 3湖 南 大 学 学 报(自 然 科 学 版)Journal of Hunan University(Natural Sciences)仿鹰视顶盖的眼底OCT图像重建方法贾晓芬 1,梁镇洹 1,赵佰亭 1,余燕 2,朱少进 2,王云仪 2(1.安徽理工大学 电气与信息工程学院,安徽 淮南 232001;2.安徽理工大学第一附属医院,安徽 淮南 232001)摘 要:客观因素导致临床获得的眼底OCT图像存在对比度差、病灶区域边缘模糊等现象.为解决上述问题,借鉴鹰视觉系统的信息处理机制,提出单幅OCT图像的
2、超分辨率重建方法EOTRN.它仿照鹰眼视顶盖逐步扩大感受野的思路,从纵、横两维度逐级挖掘高级语义特征.纵向维度上借助空洞卷积、密集连接、通道注意力实现感受野逐步扩大、不同网络层特征传播及不同通道特征间的“竞争”与“合作”,完成低频信号的高级语义特征的初步提取.横向维度上借助64个特征子空间剔除高级语义特征中的冗余信息,校正并突出显著信息,实现病灶区域的纹理、轮廓特征强化.最后对底层语义特征和高级语义特征进行上采样和深层重建,得到高清 OCT 图像.仿真表明,在4 放大倍数时,EOTRN 对测试集 3 的 PSNR 和 SSIM 值比EMASRN分别提高了0.96%和1.36%,重建图像能够突出
3、细节信息,真实反映眼底健康状况.EOTRN的参数量较少,适用于嵌入式系统的部署,实现眼底OCT图像的实时超清重建.关键词:超分辨率重建;光学相干断层扫描;鹰眼;感受野中图分类号:TP391.41 文献标志码:AReconstruction Method of Eye OCT Image Imitating Eagle Optic TectumJIA Xiaofen1,LIANG Zhenhuan1,ZHAO Baiting1,YU Yan2,ZHU Shaojin2,WANG Yunyi2(1.Institute of Electrical and Information Engineerin
4、g,Anhui University of Science and Technology,Huainan 232001,China;2.The First Affiliated Hospital of Anhui University of Science and Technology,Huainan 232001,China)Abstract:Objective factors lead to poor contrast and blurred edges of the lesion area in eye optical coherence tomography(OCT)images ob
5、tained clinically.To address these issues,a super-resolution reconstruction method for single eye OCT image,named EOTRN,is proposed by referring to the information processing mechanism of the eagle vision system.It imitates the idea of gradually expanding the receptive field of the eagle optic tectu
6、m,and excavates advanced semantic features from both the vertical and horizontal dimensions step by step.In the vertical dimension,EOTRN utilizes dilated convolutions,dense connection and a channel attention mechanism to gradually expand the receptive field.This process propagates the characteristic
7、s of different network layers,enabling competition or cooperation among different channel features.As a result,the preliminary extraction of advanced semantic features of low-收稿日期:2022-05-10基金项目:安徽省自然科学基金面上项目(2108085ME158),Natural Science Foundation of Anhui Province(2108085ME158);国家自然科学基金面上项目(52174
8、141),National Natural Science Foundation of China(52174141);安徽高校协同创新项目(GXXT-2020-54),Collaborative Innovation Project in Anhui Universities(GXXT-2020-54);安徽理工大学研究生创新基金(2021CX2075),Graduate Innovation Fund of Anhui University of Science and Technology(2021CX2075)作者简介:贾晓芬(1978),女,安徽砀山人,安徽理工大学教授,博士 通信联
9、系人,E-mail:文章编号:1674-2974(2023)08-0106-10DOI:10.16339/ki.hdxbzkb.2023272第 8 期贾晓芬等:仿鹰视顶盖的眼底OCT图像重建方法frequency signals is achieved.In the horizontal dimension,EOTRN eliminates redundant information from the advanced semantic features,corrects and highlights salient information,and enhances the texture
10、and contour features of the lesion areas using 64 characteristic subspaces.Finally,the underlying semantic features and the advanced semantic features are upsampled and deeply reconstructed to obtain high-definition images.the Experiments show that,for the third test set with scale factor 4,compared
11、 with EMASRN,EOTRN achieves 0.96%increase in PSNR and 1.36%increase in SSIM values.The reconstructed images generated by EOTRN effectively highlight the detailed information and accurately reflect the health of the fundus.Moreover,EOTRN has fewer parameters,making it suitable for the deployment of e
12、mbedded systems to realize real-time ultra-clear reconstruction of eye OCT images.Key words:super-resolution reconstruction;optical coherence tomography(OCT);eagle eye;receptive field开展眼底疾病筛查,尽早提出诊断和预防方案,避免患者丧失劳动能力对促进社会发展具有重要意义.光学相干断层扫描(Optical Coherence Tomography,OCT)作为检查青光眼、黄斑水肿、糖尿病性视网膜病变等视网膜异常疾病
13、的重要手段,通过将病人的眼位固定后连续快速采集多张图片经配准和平均而成.实际应用中,由于设备自身不足以及拍摄过程中病人身体无意的抖动,获取的图像往往较为模糊,视觉效果较差,对病情分析和诊疗方案的提出产生很大影响.超分辨率重建通过建立低分辨率(Low Resolution,LR)图像与高分辨率(High Resolution,HR)图像间的映射关系,从LR图像中获得丢失的高频信息,构造出一幅视觉效果良好的重建(Super Resolution,SR)图像,其在医学、安全、遥感等领域有着广泛的应用.李键红等1提出一种挖掘理想重建图像自相似性的超分辨率重建方法,柏正尧等2提出一种用于脑部MRI图像重
14、建的伪3D卷积轻量级密集残差连接3D卷积神经网络.由于多幅图像超分辨率重建需要对同一场景下多幅 LR 图像进行特征提取,眼底OCT图像拍摄过程中眼球可能存在转动,难以获取多幅相对静止图像,因此单幅图像超分辨率重建更适用于眼底OCT图像的重建过程.Das等3提出一种基于诊断信息的视网膜 OCT 图像超分辨率重建方法,Daneshmand等4提出使用混合低秩近似和基于二阶张量的全变分法的OCT图像重建方法,Cao等5提出一种提高OCT图像光学分辨率和数字分辨率的生成对抗网络.上述方法证明了在不提高硬件设备的情况下,超分辨率重建在提高OCT图像清晰度和对比度上的可行性.近年来,伴随着人工智能浪潮席卷
15、全球,基于深度学习的图像超分辨率重建技术得到快速发展.为提高OCT图像视觉效果,突出病灶区域特征,国内外学者在单幅OCT图像超分辨率重建方法上进行了深入研究,柯舒婷等6提出用于OCT视网膜图像超分辨率重建的PPECA-SRGAN 模型,该模型可不依赖配对数据集进行训练且能够捕捉更多细节信息.Huang等7改变了传统的端到端的卷积神经网络模型,提出对眼底 OCT 图像同时进行去噪和重建的SDSR-OCT模型.上述方法虽取得了一定的效果,但模型结构较为复杂、参数量较大、运行速度较慢,对硬件设备有较高的要求;且卷积层间缺乏相应的联系,空间上无法突出显著特征,重建后的图像细节信息仍有待加强.OCT图像
16、成像过程中由于使用宽带光源,不可避免地会引入噪声,所获得的图像对比度较低、层次特征不明显,对病变程度的判断产生严重的影响.要想实现高质量重建,必须探索新方法,凸显病灶区域小目标的显著特征.文献 8 表明,鹰视网膜利用两个中央凹结构可将成像范围扩大至270,较大的成像范围及其感光细胞密集的特性,使得鹰眼对颜色、对比度等特征较为敏感,有利于快速识别小目标.与此同时,在鹰眼的视觉系统中,利用视觉注意机制分析图像场景中的信息,更容易选取感兴趣的特定区域.为了在远距离的大市场下深挖小目标物体细节特征,Duan等9提出用于探测远距离海上小目标物体的鹰眼视觉自适应机制算法;Fu等10仿照鹰视觉系统提出用于目
17、标检测和识别的轻型视觉系统,Liu等11提出用于航拍图像分类的鹰眼多任务CNN模型,以区分不同航拍图像间微小的差别.上述方法证明了鹰眼独特的107湖南大学学报(自然科学版)2023 年成像及信息处理机制在识别细小物体方面具有显著的优势,其为解决OCT图像病灶区域边缘模糊、细节信息不明显问题提供了新思路.综上,为了促进眼底疾病筛查的智能化,强化OCT图像中的低频信号的高级语义特征,实现高质量重建,借助鹰视觉系统设计信息处理模块,提出仿鹰视顶盖的眼底OCT图像重建方法EOTRN(Reconstruction Network of Eye OCT Image Imitating Eagle Opti
18、c Tectum,EOTRN).EOTRN 仿照鹰视顶盖信息处理机制,在纵、横两维度方向上设计感受野逐步扩大的信息处理模块,并采用密集连接方式对高级语义特征进行深层挖掘,突出显著信息.同时,引入通道注意力和空间注意力融合不同网络层、不同卷积核学习的深、浅层信息,实现不同维度特征的互补,促进OCT图像的高质量重建.1 EOTRN网络模型EOTRN由特征提取模块、信息处理模块和重建模块三部分级联而成,其网络结构见图1.特征提取模块采用两个卷积核串联的方式对输入的低分辨率OCT图像进行底层特征的提取.信息处理模块仿照鹰视顶盖信息处理机理,从两个维度对OCT图像进行深层特征的采集,结合通道注意力和空间
19、注意力突出显著特征.重建模块将基本重建图像进行上采样操作后进行深层重建,获得最终的SR图像.1.1 特征提取模块为了更好地从低分辨率OCT图像中获取有用信息,采用两个33大小的卷积核串联的方式对低分辨率图像进行特征提取.串联方式较卷积核并联方式在不降低模型复杂度的前提下,保证特征的充分提取.该过程可表示为:X0=C3 3(C3 3(X)(1)式中:X代表输入的低分辨率图像,C33表示大小为33的卷积核,X0代表特征提取模块的输出,即从LR的OCT图像中提取的高频信号的底层语义特征.1.2 信息处理模块特征提取模块可充分提取高频信号的底层语义特征,但无法保证对低频信号的高级语义特征的提取.OCT
20、图像中病灶区域、健康区域的边缘轮廓及病灶区域的纹理特征等低频信号的高级语义特征对诊断结果具有重要影响,必须全面提取高清重建必需的上述特征.鹰视网膜利用270的大成像范围及其感光细胞密集特性,实现对小目标的快速识别.受此特性启发,可采用加宽特征提取层的方式,实现小目标的语义特征提取.此外,鹰眼的视网膜与视顶盖间拥有完善的投射关系,在视顶盖中其利用5层视顶盖核团对视觉信息由浅到深逐步整合,且感受野随深度的增加而增大,从而对视觉信息进行逐级的处理.为了更好地从 OCT 图像中提取低频信号的高级语义特征,借鉴鹰眼视网膜与视顶盖间的投射关系,仿照鹰视网膜的中央凹结构及视顶盖中逐步加大感受野实现有效特征逐
21、级提取的信息处理机制,设计从纵、横两维度对高级语义特征深层提取的信息处理模块.纵向维度负责对各通道的特征图进行高级语义特征提取,横向维度负责融合纵向维度提取的高级语义特征,深层挖掘显著信息.1.2.1 纵向维度纵向维度上,设计了仿鹰视顶盖信息模块(Eagle Optic Tectum and Visual Block,EVB),它使用空洞卷积在不增加复杂度的前提下逐步扩大感受野,采用密集连接获取更多深层特征;引入通道注意力促进不同通道特征间的“竞争”与“合作”,利用n个(实验部分确定为6)顺序相连的EVB模块完成纵向维度的高级语义特征提取.EVB模块的结构见图图1 EOTRN网络结构Fig.1
22、 The network structure of EOTRN108第 8 期贾晓芬等:仿鹰视顶盖的眼底OCT图像重建方法2,它包括信息深层提取和信息融合两部分.受鹰视顶盖对视觉信息逐步扩大感受野进行多层处理的启发,信息深层提取部分采用四个卷积核对特征进行深层次的提取,后两层采用空洞卷积扩大感受野,挖掘更多有效信息.每个卷积核输出时将原有特征的通道数减半以减少参数量,同时前一卷积核的输出向后层卷积核逐层传播形成密集连接,以便后层卷积核对特征的深层次学习.四个卷积核的输出可表示为:F1=C3 3(Xi-1)(2)F2=C3 3(C3 3(F1)(3)F3=C23 3(F1,F2)(4)F4=C3
23、3 3(F1,F2,F3)(5)式中:Fk代表第k(k=1,2,3,4 )层卷积核的输出,C3 3表示大小为33的卷积核,C23 3表示卷积核大小为33、空洞率为2的空洞卷积,C33 3表示卷积核大小为33、空洞率为3的空洞卷积,表示级联操作,Xi-1是第i(i=1,n)个EVB模块的输入.信息深层提取层在两个 33卷积后,连续使用了卷积核为33、空洞率分别为2、3的空洞卷积,因为空洞卷积可通过扩大感受野挖掘出更多有效特征.两个33卷积是为了突出OCT图像的边缘纹理信息;两个空洞卷积以不同的空洞率扩大出不同大小的感受野,从而保证病灶区域的轮廓信息提取.空洞卷积较同等大小的普通卷积,感受野更大、
24、运行速度更快,能以较少的连接参数挖掘更多的病灶表征信息.信息融合部分将EVB模块信息深层提取部分四个卷积核的输出通过Concat融合,融合后的特征可能造成部分冗余.为了剔除冗余,促进不同通道间的融合,突出病灶区域的纹理、轮廓等显著信息,利用11卷积核进行通道数的变换,使用图3所示的通道注意力机制挖掘显著信息,它分为全局上下文嵌入、通道规范化和门适应三个部分.全局上下文嵌入使用l2准则进行规范化操作,并引入训练参数助力l2规范化的自适应输出;通道规范化使用l2准则进行特征之间的跨通道规范以减少参数量;门适应通过权重和偏置控制神经元之间的竞争与协同关系.该过程的数学模型为:F5=C1 1(F1,F
25、2,F3,F4)(6)Rc=|F5|2=(i=1Hj=1W(Fi,j5)2)+(7)Rc=C Rc|R|2=C Rc(c=1CR2c)+12(8)F5=F51+ftanh(Rc+)(9)式中:F5和F5分别表示通道注意力的输入和输出,Rc表示全局上下文嵌入的输出,R=R1,R2,Rc-1,Rc表示Rc分解后的C(C=64)个特征图,Rc表示通道规范化的输出,C表示对Rc尺度进行归一化的标量,、表示可训练的参数,表示常数,ftanh表示tanh激活函数.通道注意力机制的输出经33卷积核进行深层提取并与 EVB 模块输入的原始特征相结合,得到EVB模块的输出,此过程为:Xi=C3 3(F5)+Xi
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 仿鹰视 顶盖 眼底 OCT 图像 重建 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。