基于改进U-Net网络的城市道路提取方法研究_谢天怡.pdf
《基于改进U-Net网络的城市道路提取方法研究_谢天怡.pdf》由会员分享,可在线阅读,更多相关《基于改进U-Net网络的城市道路提取方法研究_谢天怡.pdf(7页珍藏版)》请在咨信网上搜索。
1、第 51 卷收稿日期:2022年8月30日,修回日期:2022年9月18日基金项目:国家自然科学基金青年科学基金项目(编号:62102184);江苏省自然科学基金青年科学基金项目(编号:BK20200784);中国博士后科学基金面上项目(编号:2019M661852);江苏省高等学校大学生创新创业训练计划项目“基于深度学习的遥感图像研究”(编号:202110298091Y)资助。作者简介:谢天怡,女,研究方向:图像处理。梁曦文,女,研究方向:图像处理。徐昇,男,博士,副教授,研究方向:计算机视觉。总第 401 期2023 年第 3 期计算机与数字工程Computer&Digital Engin
2、eeringVol.51 No.3基于改进 U-Net 网络的城市道路提取方法研究谢天怡梁曦文徐昇(南京林业大学信息科学技术学院南京210037)摘要针对现有方法对高分辨率遥感图像的道路信息提取精度有限的问题,论文选用PyTorch作为深度学习框架,在卷积神经网络(CNN)的基础上选用U-Net模型进行改进,使用ResNet50残差模块替换原模型的卷积部分,增加模型感受野并解决梯度弥散问题,从而增加网络深度来提取目标的深层特征。实验部分使用南京玄武湖附近道路数据集作为马萨诸塞州道路数据集的补充,对比了不同道路场景下改进模型的提取效果,并利用准确率和召回率结合提取结果评价改进模型的性能,总结其适
3、用的场景。实验结果显示,论文改进模型在马萨诸塞州道路数据集上的不同场景中的提取效果较好,而在分辨率更高的南京玄武湖附近道路数据集中的车辆或遮挡物较多路段,道路提取结果出现不连续现象。基于马萨诸塞州道路数据集,改进模型提取结果准确率约为0.8,召回率约为0.75。其中,相较于早期的U-Net网络结构,准确率提高48.14%,召回率提高19.04%;相较于近年有学者提出的改进TGCA-Net网络结构准确率提高19.40%,召回率持平。关键词城市道路提取;高分辨率遥感图像;U-Net;ResNet50中图分类号TP75DOI:10.3969/j.issn.1672-9722.2023.03.021R
4、esearch on Urban Road Extraction Method Based onImproved U-Net NetworkXIE TianyiLIANG XiwenXU Sheng(College of Computer Science and Technology,Nanjing Forestry University,Nanjing210037)AbstractTo address the problem of limited accuracy of road information extraction from high-resolution remote sensi
5、ng images by existing methods,this paper selects PyTorch as the deep learning framework,chooses the U-Net model to improve on the basis of convolutional neural network,uses ResNet50 residual module to replace the convolutional part of the original model,increases the model perceptual field and solve
6、s the gradient dispersion problem,so as to increase the network depth to extract the deep features of the target.The experimental part uses the road dataset near Nanjing Xuanwu Lake as a supplement to the Massachusettsroad dataset to compare the extraction effect of the improved model under differen
7、t road scenes,and evaluates the performance ofthe improved model using the accuracy and recall combined with the extraction results to summarize its applicable scenes.The experimental results show that the improved model in this paper has better extraction effects in different scenes on the Massachu
8、setts roaddataset,while the road extraction results show discontinuities in the road dataset with higher resolution near Nanjing Xuanwu lakewhere there are more vehicles or occlusions.Based on the Massachusetts road dataset,the accuracy of the improved model extraction results is about 0.8 and the r
9、ecall rate is about 0.75.Among them,compared with the earlier U-Net network structure,the accuracy is improved by 48.14%and the recall rate is improved by 19.04%.Compared with the improved TGCA-Net network structureproposed by some scholars in recent years,the accuracy is improved by 19.40%and the r
10、ecall rate is the same.Key Wordsurban road extraction,high-resolution remote sensing image,U-Net,ResNet50Class NumberTP756502023 年第 3 期计算机与数字工程1引言城市道路作为现代城市运输系统中不可或缺的角色,作用于城市规划、车辆导航、防灾减灾等多个领域。遥感图像是城市道路信息的主要来源之一,空间分辨率越来越高的遥感图像为获取城市道路信息提供了一种快捷且经济的途径。基于高分辨率遥感图像的道路信息提取对优化道路运行管理机制、城市路网应急管理服务等方面有十分重要的意义。遥
11、感图像的道路信息提取方法可分为传统方法和深度学习方法1。常见的传统方法有模板匹配方法 25、知识驱动方法 68、面向对象方法 910。而深度学习方法是现代研究中常用的道路提取方法,在国内外专家的探索中,常见的方法有 VGG模型、全卷积神经网络(FCN)11、DenseNet网络结构12、U型结构的网络结构(U-Net)13等。VGG模型增加了网络的深度和减小了卷积核的尺度,验证了小尺寸的卷积核有着较大的优势;缺点是耗费更多计算资源,并且使用了更多的参数,导致更多的内存占用(140M)。全卷积神经网络(FCN)用卷积层替换了全连接层,不但更好地综合了全图信息而且提升了分割效率;缺点是训练比较麻烦
12、,得到的结果不精细,对图像的细节不够敏感。DenseNet网络结构构建了从局部识别到全局感知的道路提取模块,虽然可以很好地提高无遮挡道路的识别精度,但对于有着复杂背景下的道路区域识别效果较差。U 型结构的网络结构(U-Net)在生物医学图像分割中有很好的表现,数据增强使得只需很少的带标注数据,训练时间短,是比较早的使用多尺度特征进行语义分割任务的算法之一;缺点是有效卷积增加了模型设计的难度和普适性等。针对传统道路提取方法效率低等问题,本文运用现有的PyTorch深度学习框架,针对高分辨率遥感图像城市道路网提取中,高分辨率图像地物信息丰富、道路背景杂乱等问题,在原适用于医学图像分割的U-Net模
13、型基础上进行改进。通过跨层连接操作将残差模块的输入和输出进行简单的叠加求和,增加了反向传播效率从而缓解梯度趋近于零的问题。使新模型能够在弥补U-Net模型增加深度时产生的梯度弥散问题的同时,推动图像的精细化分割,提升网络计算效率。同时在两个不同的数据集上对改进模型进行测试实验,以验证本文方法的性能,并与其他算法进行了比较。2U-Net+ResNet50网络结构设计常用的CNN方法14处理高分辨率遥感图像地物信息复杂精细,并且采用U-Net模型可以扩充层数增大感受野,但是简单的增加网络模型深度效果并不是很理想,不仅会出现梯度更新失败,还会给模型训练增加难度。针对于此,本文在卷积神经网络(CNN)
14、的基础上选用U-Net模型进行改进,使用ResNet50残差模块替换原模型的卷积部分,在增大原始网络感受野的同时增加网络的非线性拟合能力,更好地应用于图像语义分割。2.1相关技术2.1.1U-Net模型U-Net模型是由Ronneberger等在2015年基于FCN模型的基础上提出的一种呈对称的U型结构的网络结构,其结构图呈现U字形。其中左侧的编码器是由VGG16网络构成,右侧的解码器部分由8层卷积层整合特征信息,对应编码器中的下采样操作,解码器阶段结束每次的上采样运算后都能够在通道维度上链接到编码器阶段产生的特征图,从而实现精密分割提高准确率。目前,U-Net模型中的激活函数常用的是ReLu
15、函数,主要作用在隐层神经元输出方面。此模型最初应用于医学图像分割,对于医学影像中小样本数据的训练效果较好。除此之外在网络训练过程中U-Net 模型针对类似生物细胞图像的提取目标时,添加交叉熵损失函数来弥补训练数据集中每个类别像素的出现频率。U-Net模型对于高分辨率的图像分割效果较好,所以本文将其应用到高分辨率的遥感图像道路网提取中。2.1.2ResNet50网络本文的主干网络选用的是 ResNet50 网络,包含了49个卷积层和1个全连接层,按顺序可以划分为 5个阶段:stage1、stage2、stage3、stage4和 stage5。如图 1 所示,其中 CONV 为卷积层所处阶段为s
16、tage1,在这一阶段对应有批量正则化处理、激活函数以及最大池化操作15。Stage2至stage5代表残差块,每块中又分别由3、4、6、3小块组成。2.2U-Net+ResNet50网络结构设计本文的研究对象为高分辨率遥感图像,这有可能会导致出现分辨率过高使得无关背景信息过多以及其他干扰问题。而传统的U-Net模型在处理一些较大数据集或一些特征复杂度较高的图像时,解码部分和编码部分不能很好地提取图像细节特征。所以本文引入的残差网络不仅能保证自身最651第 51 卷优性能,还在此基础上不断地加深网络层数,在不会牺牲准确率的前提下,达到学习更隐秘特征的目的。其次,残差连接还能够有效解决在U-Ne
17、t模型中增加模型深度时的梯度弥散问题。除此之外,残差连接能在模型反向传播时让梯度更快地传播到浅层部分,减少过拟合情况,在不额外增加多种参数的情况下保证较小的网络内存消耗,较大提升了网络的计算效率。所以本文在原始U-Net模型上,选用较为成熟的 ResNet50替换原始的卷积结构。该改进结构能够使网络模型更加容易优化,提取的特征更抽象且更具有语义信息,能够提高网络模型的泛化能力16,旨在推动图像的精细化分割,满足网络结构的设计原则。图1ResNet50网络结构图改进后的网络模型结构如图2所示,整体的结构仍然是U型结构,同基础的U-Net模型一样,左边为编码器部分,右边为解码器部分。其中编码器部分
18、采用了ResNet50残差模块替代原始U-Net模型中的后两层卷积结构。在横向和竖向方向上添加了跨层跳跃连接,增强了语义表征能力。上述的一个残差块,具体如图3所示。图3包含3个卷积层,其中第一个11的卷积起到了通道降维的作用17。然后再通过 11卷积恢复,通过残差映射的方式分别计算最后叠加作为该残差块的输出。这样做可以减少计算时间和参数量18,保证每个卷积层提取的特征能够被充分利用。(a)网络整体结构示意图(b)改进后编码器部分示意图图2U-Net+ResNet50网络结构示意图图3残差块示意图图中,x为上一层的输出;y是经过残差块处理得到的结果。公式为y=F(x)+x(1)模型中运用的ReL
19、U函数是目前应用最广泛的激活函数。相较于其他激活函数,该函数有着更快的收敛速度,因而能更好地解决梯度消失问题并降低网络计算复杂度。其函数公式可以表示为ReLU=max(0,x)(2)2.3损失函数设计损失函数19能够比较模型网络预测结果和真实数据间的差异大小,根据其结果可以判断出模型的好坏程度,并且能够通过误差的反向传播算法进一步地优化网络的参数,使模型网络达到最优状态。损失函数是深度学习模型网络设计中很重要的一步,常用的有对数损失函数、MSE平方损失函数和交叉熵损失函数等,本文是基于高分辨率遥感图像的城市道路网提取,在语义分割中属于端到端的类型,交叉熵损失函数本质上是对数似然函数,可以用于二
20、分类或多分类的任务中,并且当模型中的激活函数为Sigmoid函数时,它还可以解决权重更新过慢的问题。谢天怡等:基于改进U-Net网络的城市道路提取方法研究6522023 年第 3 期计算机与数字工程道路信息提取属于二分类问题,所以本文在改进模型损失函数这方面选用二值交叉熵损失函数,二分类模型只涉及正反例,只需要预测一个概率,具体如式(3)、式(4)所示,其中N是总的样本数量。Loss=-1N1Nylog()M+()1-y log(1-M)(3)其中M是Sigmoid函数,y 0,1。M=11+e-x(4)3实验与分析3.1实验准备3.1.1高分辨率数据集介绍实验使用马萨诸塞州数据集和南京玄武湖
21、附近路段数据集。其中,公开的马萨诸塞州道路数据集是由1171张大小为15001500像素的分辨率为1m的遥感图像组成,该数据集涵盖城市、郊区和乡村地区,总面积超过2600km2。由于自身电脑的运算能力有限,需要将15001500的遥感图像裁剪至256256大小。由于在数据集下载过程中,有部分图像被损坏,除此之外,得到16800张图像作为数据集,并将其按2:8的比例分割验证集与训练集,不单独划分测试集。而玄武湖附近道路数据集由4张100008000像素的高分辨率南京玄武湖附近道路遥感图像组成。与马萨诸塞州温带大陆性气候不同,南京市位于亚热带季风气候区,植被茂密。此地点又位于南京市老城区,由于人们
22、的居住习惯,居民区分布较为密集。因此图像中道路背景信息复杂且整张图像较大,挑选主要道路部分裁剪出16张大小在512512以内的图像。此数据集将用作模型的补充测试集,用于评价改进的模型。3.1.2基于深度学习的语义分割流程基于深度学习的语义分割流程一般可以分为三个阶段,数据预处理、模型训练以及测试验证,具体流程图如图4所示。若是数据样本较少时,要保证训练效果就需要在数据预处理阶段扩大样本容量,常用方法有对图像进行旋转(90、180、270)、水平镜像、垂直镜像等,本文马萨诸塞州道路数据集在裁剪时获得较多样本,遂不需再扩充样本容量了。模型训练阶段能够通过反向传播模型损失函数的误差来更新优化网络的参
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 改进 Net 网络 城市道路 提取 方法 研究 谢天怡
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。