基于3D卷积和自注意力机制的卫星云图预测研究_方巍.pdf
《基于3D卷积和自注意力机制的卫星云图预测研究_方巍.pdf》由会员分享,可在线阅读,更多相关《基于3D卷积和自注意力机制的卫星云图预测研究_方巍.pdf(10页珍藏版)》请在咨信网上搜索。
1、第 59 卷 第 1 期2023 年 1 月南京大学学报(自然科学)(NATURAL SCIENCE)Vol.59,No.1Jan.,2023JOURNAL OF NANJING UNIVERSITY基于 3D卷积和自注意力机制的卫星云图预测研究方巍1,2,3*,李佳欣1,陆文赫1(1.数字取证教育部工程研究中心,南京信息工程大学计算机学院,南京,210044;2.气象灾害国家重点实验室,北京,100081;3.江苏省大气环境与装备技术协同创新中心,南京信息工程大学,南京,210044)摘要:卫星云图是气象预报的重要资源之一,可以显示云层的生消变化,对气象分析和预报工作有极大的作用.对云图进行
2、一定时间段的预测有助于及时掌握云层的移动轨迹和变化情况,提高卫星云图资料的实用性.然而,当前卫星云图的预测面临诸多困难,例如,云团的变化大多是非平稳、非线性的;云图数据量小,实时性差等.因此,从时空序列的角度出发,提出一种基于 3D 卷积和自注意力机制的卫星云图预测模型,该模型在 STLSTM(Spatiotemporal Long ShortTerm Memory)的基础上,在其单元内部引入 3D 卷积和自注意力机制,使模型能同时提取时间信息和空间特征,进一步增强云层短期趋势和长期依赖的联系;同时,在其外部框架使用空间和通道注意力机制,促进对云图空间特征的提取.在风云四号的卫星云图上进行评估
3、,实验结果证明,该模型能够较准确地预测云层的形态变化和运动轨迹,各项评价指标均优于现有模型.关键词:风云四号,云图预测,3D卷积,注意力机制中图分类号:TP301 文献标志码:AResearch on satellite cloud image prediction based on 3D convolution and selfattentionFang Wei1,2,3*,Li Jiaxin1,Lu Wenhe1(1.Engineering Research Center of Digital Forensics,Ministry of Education,School of Comput
4、er and Software,Nanjing University of Information Science and Technology,Nanjing,210044,China;2.State Key Laboratory of Meteorological Disasters,Beijing,100081,China;3.Jiangsu Provincial Collaborative Innovation Center for Atmospheric Environment and Equipment Technology,Nanjing University of Inform
5、ation Science and Technology,Nanjing,210044,China)Abstract:Satellite cloud image is one of the important resources of meteorological forecast.It plays a great role in meteorological analysis and forecasting by showing the generation and disappearance of clouds.Predicting cloud image in a certain per
6、iod of time is helpful to grasp the movement trajectory and changes of cloud layers in time,and improve the practicability of satellite cloud image data.However,the prediction of the satellite cloud images is facing many difficulties,such as most changes in cloud clusters are nonstationary and nonli
7、near.There are many problems such as small cloud map data and poor realtime performance.Therefore,we propose a satellite cloud image prediction model based on 3D convolution and selfattention mechanism from the perspective of spatiotemporal sequence.On the basis of STLSTM(Spatiotemporal Long ShortTe
8、rm Memory),this model introduces 3D convolution and self attention mechanism into its unit,which enables the model to extract temporal information and spatial features at the same time,furtherly enhance the relationship between shortterm trend and longterm dependence on clouds;At the same time,space
9、 and channel attention mechanisms are used in DOI:10.13232/ki.jnju.2023.01.015基金项目:国家自然科学基金(42075007),灾害性天气国家重点实验室开放基金(2021LASWB19),江苏省研究生科研与实践创新计划(KYCX22_1218)收稿日期:2022-10-06*通讯联系人,Email:南京大学学报(自然科学)第 59 卷its external framework to promote the extraction of spatial features of cloud images.In this p
10、aper,the evaluation is carried out on the Fengyun4 satellite cloud image.Experimental results show that the model more accurately predicts the morphological changes and movement trajectories of clouds,and is superior to the existing models in various evaluation indicators.Key words:Fengyun4,cloud im
11、age prediction,3D convolution,attention mechanism随着中国科技的快速发展,国家气象卫星技术也在不断提高,获取更多的气象卫星数据是进行气象预测时不可或缺的资源之一,获取实时准确的气象卫星数据对保障民众日常生活有至关重要的作用.通过卫星云图可以看到地面云层的分布状态,从而进一步地分析和预测云团的生消演变.同时,不同形状和亮度的云层代表不同的天气状态,可以成为是否降水的依据,从而对强对流天气以及极端天气作出更准确的预报.但在现实工作中,由于气象卫星传输方式的限制,地面工作人员在接收气象卫星传过来的云图时存在较大的时延1,还存在云图丢失等情况,大大降低了
12、预测的时效性.当前,人们对云图中的云层变化也只是依靠简单的线性外推,这种方式限制了气象预报的发展.图像序列预测为解决上述问题提供了一种十分有效的方法,因此,本文对卫星云图的时序预测展开了研究.卫星云图预测实际是一个时空序列预测问题,将过去的卫星云图序列作为输入来对未来若干时刻的卫星云图进行预测,输出预测结果2.然而,由于输入的卫星云图观测的区域较大,生成的图片也较大,导致计算量十分庞大.同时,大气混沌效应使图像序列的变化规律非常复杂,这给建立有效的卫星云图预测模型带来了极大的挑战.随着深度学习的快速发展,计算机视觉在其影响下得到快速进步,视频插值3、自动驾驶4等领域因其得到了快速发展,气象学相
13、关预报和应用在深度学习的影响下也逐步成为热门的研究方向.许多研究将神经网络应用于卫星图像5-6,证明了深度神经网络在卫星图像上的有效性.本文对卫星云图预测问题进行研究,提出一个新的预测模型,将卫星云图与计算机视觉、视频预测等技术相结合,对一定时间内的卫星云图进行准确、及时的预测.本文提出 3D 自注意力时空LSTM(Long ShortTerm Memory),将 3D 卷积和自注意力机制融入 LSTM,可以更好地提取卫星云图的时间和空间信息.本文的主要贡献:(1)为了更好地预测卫星云图,使用卷积注意力 模 块(Convolutional Block Attention Module,CBAM
14、)来对卫星云图进行特征提取,它可以有效地融合云图的通道和空间信息.(2)设计了一种注意力记忆模块,将该模块无缝集成到记忆单元内部,使记忆单元在记住更早的历史信息的同时更注意序列中的关键细节.(3)考虑卫星云图预测场景的特殊性,采用3D 卷积,不仅提取当前卫星云图的轮廓、纹理等空间特征,还能提取相邻云图之间的时变信息.1 相关工作 传统的卫星云图预测方法主要通过云团的匹配和追踪来进行研究7.研究人员肉眼观看某个云图后,记录观察到的云团,将其结构形状用特征量表示出来,再查找后面时刻的卫星云图是否存在相似的云团,如果存在则记录该云团的空间信息,进而确定云团的移动轨迹8.最后,根据大气运动的时空延续性
15、,对目标云团进行线性外推,实现卫星云图的预测.2000 年龚克等9利用基于MPEG2 中运动矢量的方法预测了云团运动轨迹.2004年 Lorenz et al10使用 Heliosat2方法获取云图的相关指标,结合运动矢量方法实现云团运动预测.2010年杨俊等11利用局部阈值的思想对地基云图中的云团进行了预测.传统方法对卫星云图中云团的匹配和追踪有一定难度,采用的预测方法大多是线性的.然而,大气运动过程中存在大量非线性变化,如云团自身的形变和翻转等非平稳变化,因此,传统卫星云图预测方法很难得到准确的预测结果.卫星云图预测任务本质上是一个时空预测任务,但与传统的时间序列不一样.时空序列预测 15
16、6第 1期方巍等:基于 3D 卷积和自注意力机制的卫星云图预测研究同时包含空间和时间信息,是一种无监督深度学习算法,利用大量的无标签数据作为输入,采用网络模型去学习连续的图像帧之间的联系与特征信息,通过图像之间的联系性准确地输出后面的图像,具有极大的研究潜力与应用价值.这个算法的核心思路是向网络中输入X1,X2,Xn,准确生成后续的帧Xn+1,Xn+2,Xn+t.时序图像预测模型大多基于自编码模型和递归神经网络.自编码器能实现对图像的压缩,其预测模块采用自编码器对图像进行压缩和预测.基于自编码器的预测模型结构图如图 1所示.Xing et al12提出一种动态编码模型.首先,编码器对像素图像进
17、行编码,得到一个变量,这个变量与其状态相关,再对这个变量进一步编码,反复操作.这就是采用逐层训练的方法构建一个多层编码器.Udrescu and Tegmark13搭建一个基于卷积自编码器的预测模型,模型主要由两部分组成,第一部分用于获取输入的图像和时间差,将这两个部分进行编码之后传递给第二部分,也就是解码器,将输出的矢量转换为对应的图像,但该模型无法准确地预测动作变化.Liu et al14构建了一个光流模型,它由三个卷积层和三个反卷积层组成,卷积层和反卷积层用跳跃连接,能够更好地保留空间信息.Xue et al15搭建基于自编码器和由卷积网络改进的预测模型,创建了条件变分自编码器,能获取未
18、来图像的条件分布,实验证明该模型取得了不错的效果.循 环 神 经 网 络(Recurrent Neural Network,RNN)16由于其独特的性质在时间序列预测任务上取得了非常好的效果.循环神经网络的架构如图 2所示.RNN 有权值共享的优势,在时间序列预测任务中可以根据当前时刻的输入数据和上一个时刻的隐藏状态得到当前时刻的预测数据,并对隐藏状态进行更新和记录,因此具有一定的记忆功能.但是对于长时间序列问题,RNN 的处理效果较 差,还 容 易 出 现 梯 度 消 失 等 问 题.Hochreite and Schmidhuber17提 出 LSTM,解 决 了 这 个 问题.LSTM
19、通过状态单元记录从长时间序列中提取有用的信息并记录下来,同时采用输入门、遗忘门和输出门控制输入信息的提取、状态单元的更新以及输出信息的选择.尽管如此,LSTM 也只能处理时序数据,对于卫星云图预测和雷达回波等时空序列问题,无法捕捉图像的空间信息.Shi et al18在 LSTM 的基础上提出卷积长短期 记 忆 神 经 网 络(Convolutional LSTM,Conv LSTM)用于预测雷达回波图,取得了良好的预测结果,开启了利用 RNN 进行时空预测研究的新纪元.ConvLSTM 通过卷积学习之前状态的空间信息,因此具备了同时提取空间特征和时间特征的能力.该方法成功地对短时雷达回波图像
20、进行了预测,其结果比实时光流法更加准确.此后,在ConvLSTM 的基础上发展了很多改进的变体结构,如 Shi et al19引入光流轨迹的思想提出轨迹门控循环单元(Trajectory GRU,Traj GRU),可以主动学习用于重复连接的位置变化结构,进一步提高了预测的准确率.为了提高网络对时空特征的非线性拟合能力,LSTM常被堆叠使用,但对于简单的堆叠结构,时空信息分别沿时间步横向传递和沿堆叠层纵向传递,纵向传递的时空信息没有得到有效利用.因此,Wang et al20提出时空长短期记忆(Spatiotemporal LSTM,STLSTM),将纵向传递的信息连接到下一时间步,并使用额外
21、的时空记忆单元图 1自编码器的结构Fig.1Autoencoder structure图 2循环神经网络的架构Fig.2The architecture of RNN 157南京大学学报(自然科学)第 59 卷对其进行更新和传递.RequenaMesa et al21将生成对抗网络和 LSTM 网络结合起来预测卫星云图,效果不错.然而,标准 LSTM 单元仅使用一个输入门和一个遗忘门来完成输入信息的提取以及状态单元的遗忘和更新,往往只能提取输入信息中的部分信息对状态单元进行更新,因此输入信息中的部分有效信息可能会被丢失.Chang et al22提 出 运 动 感 知 单 元(Motion A
22、ware Unit,MAU),通过有效拓宽时间感受野来提高模型在捕捉运动信息方面的表达能力.其包含两个模块,一个关注模块和一个融合模块,实验结果证明,两个模块取得了不错的效果.Gao et al23提出SimVP,不使用复杂的模块,如 RNN,LSTM 和Transformer,也不引入复杂的训练策略,如对抗性训练和课程学习.SimVP 仅需 CNN、跳连和MSE损失,为未来的研究提供了一种新思路.2 方法 2.1整体框架图 3是本文使用的网络架构图.该网络主要由 CBAM 注意力模块、双向自编码器模块24和 3D 自注意力时空 LSTM 预测模块组成.首先,将多时段的卫星云图作为输入,利用C
23、BAM 充分提取特征后,将其输入双向自编码器模块,最后再用学习融合后的时空特征来预测未来时刻的云图序列.2.2卷积注意力模块为了更好地预测卫星云图,本文通过利用卷积注意力25模块对卫星云图进行特征提取.卷积注意力模块主要由两部分组成,即通道注意力机制和空间注意力机制,它的整体架构如图 4 所示.通道注意力模块的作用是关注不同通道之间的相关性,采用计算获取不同通道的权重信息,并将获取的权重信息重新应用到提取的通道中,以此学习不同通道的特征.空间注意力模块的作用是捕获特征图中不同像素位置之间的空间相关性,不同位置的像素对网络学习的重要程度不同,能得到重要区域上的相关信息,这是对通道注意力的有效补充
24、.通道注意力模块的具体结构如图 5 所示.首先,将输入的特征fch进行降维,分别进行一次最大池化和一次平均池化,得到两个1 1 C的特征向量,这两个向量都包含输入特征在通道维度上的全局分布.并且,为了减少计算量,在完成池化操作后,再用一个卷积对这两个特征向量进行降维,使模型的通道数减少到之前的 1/16.其次,将两个降维后的特征向量进行叠加,通过一个11的卷积对两者进行融合,并将通道数恢复至原来的数量C.最后,经过一个 sigmoid函数,得到通道注意力矩阵CAch,将其与原始输入逐元素相乘,实现在通道维度上对原输入特征的自适应调整.通道注意力模块的数学表达如式(1)所示:Fchannel=C
25、Achfchannel=(w1(w0vmax+w0vavg)fchannel(1)其中,表示 sigmoid,w0 RC/r C,w1 RC C/r分别代表两个 11 卷积核的权重,()代表 relu 函数,vmax和vavg分别代表经过最大池化和平均池化后的特征向量.空间注意力模块的流程与通道注意力模块相似,具体结构如图 6 所示.首先,对通道注意力提取的特征沿通道分别进行一次最大池化和一次平均池化操作,将尺寸为H W C的输入特征压缩为两张H W 1的单通道特征图,展示输入图 3本文的网络架构图Fig.3Network architecture diagram of our algorit
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 卷积 注意力 机制 卫星云图 预测 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。