联合特征推理和语义增强的渐进式壁画修复.pdf
《联合特征推理和语义增强的渐进式壁画修复.pdf》由会员分享,可在线阅读,更多相关《联合特征推理和语义增强的渐进式壁画修复.pdf(12页珍藏版)》请在咨信网上搜索。
1、第 50 卷 第 8 期2 0 2 3 年 8 月Vol.50,No.8Aug.2 0 2 3湖 南 大 学 学 报(自 然 科 学 版)Journal of Hunan University(Natural Sciences)联合特征推理和语义增强的渐进式壁画修复陈永 1,2,赵梦雪 1,陶美风 1(1.兰州交通大学 电子与信息工程学院,甘肃 兰州 730070;2.甘肃省人工智能与图形图像处理工程研究中心,甘肃 兰州 730070)摘 要:针对现有深度学习算法修复壁画图像时,未充分考虑破损区域与完好区域信息的一致性,导致修复结果易出现边界效应和纹理模糊等问题,提出了一种联合特征推理和语义增
2、强的渐进式壁画修复算法.首先,设计区域渐进结构,实现了待修复区域的渐进式收缩修复.然后,利用特征推理模块,对缺失像素的特征值进行迭代推理填充,减小壁画修复重构误差,增强壁画破损区域与完好区域之间的相关性.最后,将各层特征图自适应融合,并采用语义增强模块进行纹理细节迁移,提升壁画补全区域和整体的一致性.敦煌壁画数字化修复实验表明:所提方法修复结果具有更好的纹理细节一致性,在主客观评价指标上均优于比较算法.关键词:图像处理;壁画修复;渐进式修复;语义增强;特征推理中图分类号:TP391.41 文献标志码:AProgressive Mural Inpainting Method Based on J
3、oint Feature Reasoning and Semantic EnhancementCHEN Yong1,2,ZHAO Mengxue1,TAO Meifeng1(1.School of Electronic and Information Engineering,Lanzhou Jiaotong University,Lanzhou 730070,China;2.Gansu Provincial Engineering Research Center for Artificial Intelligence and Graphics&Image Processing,Lanzhou
4、730070,China)Abstract:To solve the problem that the existing deep learning algorithms do not fully consider the consistency of the information between the damaged area and the intact area when repairing mural images,which leads to boundary effects and texture blur in the repair results,we proposed a
5、 progressive mural inpainting algorithm combining feature reasoning and semantic enhancement.Firstly,the progressive structure of the region was designed to realize the progressive contraction of the region to be repaired.Then,the feature reasoning module was used to iteratively fill the feature val
6、ues of the missing pixels,reduce the reconstruction error of the mural restoration,and enhance the correlation between the damaged area and the intact area of the mural.Finally,the feature maps of each layer were adaptively fused,and the semantic enhancement module was used to transfer the texture d
7、etails,so as to improve the consistency of the mural completion area and the whole.The digital restoration experiments of Dunhuang 收稿日期:2022-08-23基金项目:国家自然科学基金资助项目(61963023),National Natural Science Foundation of China(61963023);教育部人文社会科学研究青年基金资助项目(19YJC760012),Humanities and Social Sciences Youth F
8、oundation of Ministry of Education(19YJC760012);兰州交通大学基础研究拔尖人才项目(2022JC36),Lanzhou Jiaotong University Basic Top-notch Personnel Project(2022JC36);兰州交通大学天佑创新团队项目(TY202003),Tianyou Innovation Team of Lanzhou Jiaotong University(TY202003)作者简介:陈永(1979),男,甘肃武威人,兰州交通大学教授,博士 通信联系人,E-mail:文章编号:1674-2974(20
9、23)08-0001-12DOI:10.16339/ki.hdxbzkb.2023292湖南大学学报(自然科学版)2023 年murals show that the restored murals by the proposed method have better consistency of texture details,and are superior to the comparison algorithms in subjective and objective evaluation indicators.Key words:image processing;mural inpai
10、nting;progressive inpainting;semantic enhancement;feature reasoning敦煌莫高窟壁画作为世界级文化遗产,记载着十六国至明清的彩绘艺术,具有极高的研究价值.然而莫高窟地处干旱戈壁沙漠,受大自然侵袭、人为破坏等因素影响,大多数壁画出现了裂纹、剥落、酥碱等病害1.将数字化修复技术应用于古代壁画遗产的修复保护,已成为当前的研究热点2.目前,图像修复算法主要包括:以纹理合成和稀疏表示等为主的传统修复算法和深度学习修复方法.其中,传统类修复3-5主要将先验信息采用复制合成的方式补全缺失像素,该类算法对壁画裂纹等小区域破损有较好的修复效果,但对
11、于脱落等较大区域破损修复时,易出现结构紊乱、无效填充等问题6.对于缺失区域较大的图像,深度学习是目前的主流图像修复方法.深度学习方法一般需要设计相应的学习网络,利用已知图像的完好信息生成未知破损信息7-9.壁画图像结构复杂且包含较多的语义信息,采用深度学习方法时,一般设计卷积神经网络、生成对抗网络或者编解码器等方法,学习壁画图像深层语义特征来实现对于较大破损区域的壁画修复10-15.Yu等7提出了基于生成对抗网络的双阶段修复算法,但精修复阶段编码器在编码时采用整体编码的形式进行重构,修复后图像局部与全局有较大差异,易出现块效应问题.Nazeri等8提出了基于结构预测和内容补全的联合生成对抗修复
12、模型,采用边缘结构预测的方法可以较好地拟合壁画结构信息,但该方法重构过程未考虑破损区域和完好信息的相关性,修复结果存在模糊的问题.Li等9提出了一种基于视觉重建的修复网络,通过线条结构和颜色特征重建的方法进行修复,但该方法采用连续下采样和反卷积,易出现边界像素丢失,其重构结果存在语义偏差.Xiong等10提出了基于轮廓引导的双阶段修复模型,通过结构拟合的方式引导修复,但该方法采用Sobel算子检测轮廓时存在方向单一的问题,导致对于复杂纹理图像修复效果欠佳.Guo等11提出通过全分辨率残差网络来填充不规则孔洞的修复方法,但在修复过程中多次将特征图映射回RGB空间,存在映射信息丢失而失真的问题.L
13、iu 等12提出了互编码器-解码器的图像修复模型,通过多尺度和深浅层特征联合作用恢复图像的结构和纹理特征,但修复过程未区分无效信息,修复结果易出现纹理细节模糊的现象.上述深度学习算法由于采用整体特征提取的方法,易引入无效像素参与卷积,往往会导致壁画修复结果出现语义不明和像素紊乱等问题.因此,区分无效像素、加强有效信息利用程度对提升壁画修复结果具有重要意义.Li等13提出了基于循环推理卷积特征映射完成修复的方法,该方法增强了对于破损信息的修复约束性,但该方法采用标准卷积层级联的方式进行编解码,易引入无效像素参与修复,导致修复结果存在伪影现象.Wadhwa 等14提出基于超图卷积的粗细双阶段图像修
14、复方法,但该方法对结构纹理等先验信息考虑不足,导致修复结果存在结构紊乱纹理模糊等现象.胡凯等15提出了一种基于边缘生成的双阶段图像修复算法,通过预测缺失区域边缘结构引导完成重构图像,但该方法未充分考虑破损区域与完好信息的一致性,其结果存在局部模糊的现象.综上所述,现有深度学习图像修复算法在修复壁画时,一般采用对破损壁画进行整体特征提取的方式进行修复,该过程中未充分考虑破损区域与完好区域信息的一致性,导致修复结果中易出现边界效应和纹理模糊等问题,因此本文提出了一种联合特征推理和语义增强的渐进式壁画修复方法.主要工作有:1)首先,设计区域渐进结构,通过部分卷积的掩膜更新机制,实现待修复区域的渐进式
15、收缩,避免了对破损壁画特征整体提取的盲目性.2)然后,构建了由共享编码、门控卷积和标准卷积联合解码的特征推理模块,采用提出的特征推理机制对缺失像素的特征值进行迭代推理填充,加强对破损区域的约束,减小壁画重构误差,增强壁画破损区域与完好区域之间的相关性.3)最后,将各渐进迭代层输出的2第 8 期陈永等:联合特征推理和语义增强的渐进式壁画修复特征图自适应融合,并采用语义增强模块对重构图像与原始壁画间的纹理细节进行迁移,使其生成更加符合视觉一致性的重构结果.实验结果表明,本文方法能够更有效地修复真实敦煌壁画,主客观评价均优于对比方法.1 本文方法1.1 网络整体架构壁画往往呈现出复杂结构和纹理的特点
16、1.大多数深度学习模型,通常将待修复破损壁画视为整体,采用特征提取或多阶段修复的方式,对待修复壁画进行整体特征学习.然而,壁画破损区域与完好信息之间有较强的相关性,整体特征提取的修复方式忽视了破损区域与完好信息的一致性,会导致修复结果易出现边界效应和纹理模糊等问题13.因此,本文提出了一种联合特征推理和语义增强的渐进式壁画修复方法,其网络整体框架如图1所示.该网络模型主要包括:区域渐进模块、特征推理模块、特征融合模块以及语义增强模块四部分,如图1所示.模型工作时,首先,将原始壁画图像和破损掩膜输入模型,通过由部分卷积构成的区域渐进模块,仅对破损掩膜区域进行修复,避免了传统编码器对图像特征提取时
17、,采用整体特征提取,未区分破损区域和完好区域的差异性的缺点.接着设计特征推理编码器,进行渐进式推理修复,并通过门控卷积与标准卷积构成的双通道解码器解码生成修复后特征图.该过程中,在编解码器之间利用跳跃连接的方式,提升特征信息的长程迁移能力,增强推理特征图之间的相关性.然后,更新当前修复完成后的破损掩膜边界,继续反馈至修复模块,循环进行特征推理修复,直至整个破损区域完成渐进式收缩修复.最后,将每次循环解码得到的特征图进行自适应融合,并通过语义增强模块将原始壁画图像的整体纹理色彩等特征信息迁移至重构图像,用于增强破损区域修复结果与壁画先验信息的整体一致性,提升重构壁画的全局语义合理性,最终输出修复
18、后壁画图像.图1中各部分模块功能如下.1.2 区域渐进模块在壁画修复过程中,破损掩膜为待修复的壁画区域,该区域内像素均为初始待修复的无效像素.为了避免对壁画整体特征学习的盲目性,本文提出区域渐进模块,采用部分卷积来确定和更新每次渐进迭代过程中需要修复的区域.现有深度学习方法在壁画图像修复时,一般采用普通卷积对壁画图像进行特征提取,卷积核内所有像素均参与计算,如图2(a)所示,但该操作未区分壁画中完好区域和破损区域的像素,会导致大量无效像素也参与特征提取,无效像素将逐层前向传播,导致出现错误混叠的问题9.为了避免上述普通卷积只能进行整体特征学习的不足,本文采用部分卷积进行特征提取.部分卷积示意图
19、如图2(b)所示,该卷积方式仅针对输入壁画中的完好区域有效像素进行卷积操作,而对破损掩膜区域像素不进行任何特征提取.在图2(b)中,破损掩膜区域像素因为是破损无效像素,部分卷积权重均为0,表示破损无效像素不参与特征提取,从而有效避免了无效像素参与卷积过程而导致结构紊乱和视觉伪影问题16.在区域渐进模块,采用部分卷积只针对壁画完好区域特征进行提取,可以避免破损掩膜区域无效图1 本文总体模型框架Fig.1 Model framework of proposed method3湖南大学学报(自然科学版)2023 年像素参与卷积过程,从而减小破损区域对修复结果的影响.该模块结构图如图3所示.在图3所示
20、区域渐进模块中,通过部分卷积实现破损掩膜更新和特征映射,经过规范化层和Leaky ReLU激活函数处理后,从而得到当前渐进待修复壁画.在此过程中,部分卷积层计算后进行标准化特征映射公式,如式(1)所示.f*x,y,z=WTz()fx,ymx,ysum(1)sum(mx,y)+b,if sum(mx,y)!=0;0,else(1)式中:fx,y,z表示zth通道中输出壁画(x,y)位置的特征值,WTz是当前迭代层中的第z个卷积核权重.fx,y和mx,y分别是以壁画(x,y)位置为中心的当前滑动窗口的特征图和对应的二进制掩膜,表示特征图对应位置点对点相乘,sum(1)代表当前滑动窗口区域值为1的个
21、数,sum(mx,y)为对应掩膜区域中值为1的总数,sum(1)/sum(mx,y)为比例因子,当卷积过程中掩膜发生变化时,即有效像素的输入数值发生变化时调整其结果,b为偏置值.生成的位置x,y处的壁画破损区域新边界值如式(2)所示:m*x,y=1,if sum(mx,y)!=00,else(2)式中:m*x,y代表更新后的掩膜,sum(mx,y)代表mx,y掩膜区域中值被标记为1的总数,若总数不等于0,则将卷积块中值为0的像素置为1.完成一次卷积操作后,即可获得一次迭代后的新掩膜,从而动态完成一次掩膜的渐进更新.更新后的破损掩膜和当前层输入掩膜之间的差异定义为当前迭代层中需要修复的区域.更新
22、后的破损掩膜在壁画当前层计算过程中被保留,直到在下一层修复过程中被进一步渐进收缩.1.3 特征推理模块在完成待修复壁画破损区域渐进式确定后,紧接着对待修复壁画Oim+M进行特征推理.为了增强对于缺失破损壁画信息的推理能力,本文提出由共享编码器和双通道解码器构成的特征推理模块对破损壁画图像进行渐进修复.其中,共享编码器由部分卷积层级联构成,双通道解码器由门控卷积层和标准卷积层对特征图进行联合解码.特征推理模块结构图,如图4所示.图 4特征推理模块,首先将区域渐进修复确定的破损壁画Oim+M采用部分卷积级联的方式进行特征提取.接着,将特征图采用语义一致性模块进行破损像素的特征推理,并在完成特征推理
23、后采用门控卷积和标准卷积联合解码器融合输出.在该过程中,将编码器和解码器层进行跳跃连接,使编码器和解码器的特征融合共享,减少编解码器网络层之间的信息丢失.在壁画修复过程中,为了增强壁画破损区域与完好区域信息的一致性,本文引入语义一致性注意力(Semantic Consistency Attention,SCA)机制来进行缺失像素的特征推理,通过计算语义一致性注意力分数来指导特征匹配块与缺失像素块之间的特征推理过程,语义一致性注意力分数计算过程如图 5所示.图3 区域渐进模块Fig.3 Area progressive module图4 特征推理模块Fig.4 Feature reasoning
24、 module(a)普通卷积(b)部分卷积图2 普通卷积和部分卷积示意图Fig.2 Schematic diagram of ordinary convolutionand partial convolution4第 8 期陈永等:联合特征推理和语义增强的渐进式壁画修复在图5特征推理注意力分数计算过程中,从特征图Fi有效区域中选取33的特征匹配块作为卷积滤波器,选定余弦相似度作为掩膜缺失像素块和壁画完好区域特征匹配块之间的匹配准则.在壁画完好区域按照从左至右从上到下的顺序,依次计算以像素点(x,y)为中心的特征匹配块与以像素点(x,y)为中心的缺失像素块之间的特征相似度,以此评价二者之间的相似
25、度.像素点之间余弦相似度计算如式(3)所示:simix,y,x,y=fx,yfx,y,fx,yfx,y(3)式中:simix,y,x,y表示位置(x,y)与位置(x,y)之间的像素特征相似度,fx,y表示位置(x,y)处的像素特征值,fx,y表示位置(x,y)处的像素特征值.为了计算得到缺失像素块与壁画完好区域匹配特征块之间的相似度值,通过式(3)可以分别求解得到大小为k k块内部每个像素点的余弦相似度,然后求平均,该过程计算公式如式(4)所示.simix,y,x,y=p,q-k,ksimx+p,y+q,x,yk k(4)在通过式(4)得到缺失像素块和壁画完好区域特征匹配块的相似度值后,采用全
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 联合 特征 推理 语义 增强 渐进 壁画 修复
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。