一种基于注意力机制的文物图像显著性检测方法_雷雨晴.pdf
《一种基于注意力机制的文物图像显著性检测方法_雷雨晴.pdf》由会员分享,可在线阅读,更多相关《一种基于注意力机制的文物图像显著性检测方法_雷雨晴.pdf(5页珍藏版)》请在咨信网上搜索。
1、第 25 卷第 1 期2023 年 1 月大 连 民 族 大 学 学 报Journal of Dalian Minzu UniversityVol25,No1January 2023收稿日期:20220409;最后修回日期:20220730基金项目:辽宁省自然科学基金项目(2020MZLH19);贵州省科技支撑计划项目(2021534)。作者简介:雷雨晴(1998),女,辽宁盘锦人,大连民族大学计算机科学与工程学院硕士研究生,主要从事图像处理研究。文章编号:20961383(2023)01006405一种基于注意力机制的文物图像显著性检测方法雷雨晴1a,1b,杨楠1a,1b,冉勇2,闫宇1a,
2、1b(1大连民族大学 a计算机科学与工程学院;b大连市汉字计算机字库设计技术创新中心,辽宁 大连 116650;2德江傩堂戏博物馆,贵州 铜仁 565200)摘要:针对以往的显著性模型在文物检测中,边框突出类图像和背景复杂类图像对非显著性区域的背景做出反应的问题,有效地对文物图片进行显著性检测,构建了文物图像显著性数据集。使用了基于深层次的“层次集”网络(Deep Level Sets,DLS)算法的显著性检测,替换基于卷积神经网络(ConvolutionalNeural Network,CNN)的 VGG16 网络,将其换为更有效的网络,并引入注意力机制。针对边框明显图像,对原始图像进行显著
3、性检测后,根据设定的阈值判断其是否为边框明显类图像,从而判断是否应该重新输入到网络。与已有的算法进行定量分析与定性分析,在构建的文物数据集上进行的实验结果表明:该方法对于图像显著性区域的检测非常有效。关键词:文物图像;注意力机制;显著性矩阵中图分类号:TP391文献标志码:AA Method for Significance Detection of Cultural elic ImagesBased on Attention MechanismLEI Yuqing1a,1b,YANG Nan1a,1b,AN Yong2,YAN Yu1a,1b(1aSchool of Computer Sci
4、ence and Engineering;bDalian Chinese Character Computer Font DesignTechnology Innovation Center,Dalian Minzu University,Dalian Liaoning 116650,China;2 DejiangNuotang Opera Museum,Tongren Guizhou 565200,China)Abstract:In the detection of cultural relics using significance models before,the images wit
5、hobvious borders and the background complex images will respond to the background of the nonsignificant area In order to detect the significance of cultural relic images effectively,the signifi-cance data set of cultural relic images is constructed The significance detection algorithm basedon deep l
6、evel sets(DLS)is used to replace the VGG 16 network based on convolutional neuralnetwork(CNN),which is more effective and introduces attention mechanism For the imageswith obvious borders,after the significance detection of the original image,whether it is an im-age with obvious borders according to
7、 the set threshold is identified,so as to judge whether itshould be reinput into the network Compared with the existing algorithms,the quantitative andqualitative analysis are carried out The experimental results on the constructed cultural relic da-ta set show that this method is very effective for
8、 the detection of image salient regionsKey words:cultural relic image;attention mechanism;significance matrixDOI:10.13744/21-1431/g4.2023.01.013视觉显著性检测是通过模拟人类视觉来提取图像显著区域的算法,在图像重定位、图像自动裁剪、图像压缩和目标识别领域具有重要的应用。1998 年 Itti 等从视觉心理学对人类自下而上的视觉选择性注意过程进行研究并提出了显著性检测模型1。显著性目标检测方法可分为传统显著性检测方法和基于深度学习的显著性检测方法。传统显著
9、性检测方法研究中,Liu 等提出将显著性检测定义为二元分割问题2,Zhang L 等利用背景和前景区分,进而构建图层排序的显著性检测方法3,Hou X 等通过观察图片背景的特征分布和属性,通过剔除图像背景信息得到显著区域4。深度学习的显著性方法研究中又分为传统的卷积神经网络方法和完全卷积神经网络方法。传统的卷积神经网络方法中,Wang L 等提出了一种结合局部估计和全局搜索的显著性检测算法5,Li G等将嵌套窗口中提取的多尺度 CNN 特征与具有多个完全连接层的深度神经网络结合将图像分为三个区域再对他们进行特征提取而后进行整和6。完全卷积神经网络中,Wu 等提出以VGG16 作为基础网络附加互
10、学习模块、边缘模块和解码模块的模型7,Wang W 等通过完整的迭代前馈和反馈策略扩展深度显著性目标检测(Sa-lient Object Detection,SOD)模型,使其足够通用和灵活,涵盖大多数其他基于全卷积网络(FullyConvolutional Network,FCN)的显著性模型8,LiuJ J 等人基于 U 形结构的模型9。显著性检测在文物图像缩略图生成时具有重要作用。在文物系统展示中需要对大量的文物图像进行剪切显著性区域,这些需要大量人工进行。本文通过分析文物图像的背景属性和规律,提出了一种基于注意力机制的文物图像显著性检测方法。自 2014 年以来,深度学习在显著性检测方
11、向以其优异的性能,证明了其在显著性检测方向的可行性。然而,深层网络在面对如书画类文物图像这样图像特征多样化的情况下,现有的深度学习方法很难区分对象边界和周围相似区域域的像素,因此深层网络可能会输出高度模糊且边界不准确的显著图。2017 年 pinghu 等提出了一个深层次的“层次集”(Deep Level Sets)网络来生成紧凑而统一的显著性图,即 DLS10。DLS 模型主要包括基于 CNN 的 VGG16 网络、超像素过滤(GSF)层和重量函数(HF)三个部分。首先原始图像通过基于 CNN 的 VGG16 网络,并输出全分辨率的粗略显著图像,于此同时对原始图像使用 gSLICr进行超像素
12、分割,统一输入到超像素过滤层,最后使用重量函数将 GSF 层的输出转换为最终显著图。但作用于文物图像时会存在不足。(1)当文物图像较为复杂,前景背景差异较小的情况下,基于 CNN 的 VGG16 网络处理得到的粗略显著图会过于模糊,即使经过与超像素结果优化,得到的效果依旧不好。(2)文物图像中会存在如图 1a 这类图像,图像边缘会有边框将其部分突出,但对于网络模型来说只能得出如图 1b 的结果。a)边缘突出类图像b)预测结果图 1边缘突出类图像及其预测结果2本文方法21DLS 模型针对上文提到的问题,在 DLS 的基础上对其进行修改。(1)基于 CNN 的 VGG16 网络部分。首先使用膨胀的
13、卷积层替换了最后三个 Maxpooling 层,并最后一个完全连接的层更改为卷积层和 Sig-moid 层,以便网络获取 GB 图像 224224。作为输入并产生 5656。最后,添加没有学习参数的上采样层,以将图像缩放到全分辨率。由于后续算法中使用了水平集的方法,因此将卷积神经网络输出的显著性值线性的转移至 05,05 并将其视为水平集。(2)超像素过滤(GSF)层部分。在 CNN 网络运算的过程中,利用 gSLICr 将图像分割为 400500 个超像素,而后将其与 CNN 网络产生后转换为的水平集一同输入 GSF 超像素过滤层。(3)重量函数(HF)部分。由于如果使用简单的 Heavis
14、ide 函数作用于零水平集,会陷入局部最小值。为解决这种问题,采用了文献中提出的近似重载函数(AHF),该函数作用于所有的水平曲线并趋向于寻找一个全局最小化器,最终即可得到最终显著图。其次设定阈值,在最终图像输出后对其进行56第 1 期雷雨晴,等:一种基于注意力机制的文物图像显著性检测方法判断,如大于阈值则在处理后重新输入网络。修改后网络模型如图 2。图 2基于注意力机制的 DLS 模型其中网络部分是对称的编解码器架构,编码器组件基于 esNet50 来提取多级特征,编码器结构与解码器结构一一对应。A 模型为注意力机制模块11,D 模块为自制的判别模块,C 模块为图像像素改变模块。22注意力机
15、制模块注意力机制是通过算法模拟生物观察这一行为,将内部经验和外部感觉融合,增加部分区域观察仔细度的一个机制。而自注意力机制是在注意力机制的基础上做出改进,可有效的减少对外部信息的依赖,与注意力机制相比,自注意力机制更擅长捕捉特征或数据的内部相关性。在未引入自注意力机制之前,大多数用于图像处理的模型都是用卷积操作堆叠起来的。但这存在一个明显的问题,卷积运算仅仅关注整个图像的局部区域,因此通过使用卷积层来建模图像中的依存关系是无效的或效果不明显的。而这导致了一个后果,对于多类别的数据集,哪怕是最新的生成模型,都难以捕捉某些类别中经常出现的几何或结构模式。为了解决这些问题,通常在网络中引入自注意力机
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 一种 基于 注意力 机制 文物 图像 显著 检测 方法 雷雨
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。