基于Python的气象数据可视化方法应用研究.pdf
《基于Python的气象数据可视化方法应用研究.pdf》由会员分享,可在线阅读,更多相关《基于Python的气象数据可视化方法应用研究.pdf(4页珍藏版)》请在咨信网上搜索。
1、2023 年第 7 期32计算机应用信息技术与信息化基于 Python 的气象数据可视化方法应用研究王添男1,2 李新庆2 王艳萍2 孙 芳2 谢雨婷3WANG Tiannan LI Xinqing WANG Yanping SUN Fang XIE Yuting 摘要 多源、异构、海量气象数据,如何实现快速可视化加工分析,提高数据应用价值,已成为气象行业亟待解决的关键性问题之一。基于此,提出了一种结合 Python 工具集与气象大数据云平台(天擎)的气象数据可视化分析方法。首先,采用天擎数据环境作为实验数据集,对气象数据特征进行分析和描述;其次,对数据集进行预处理,实现多源气象数据格式的标准
2、和统一;最后,采用基于 python 的 Matplotlib、Cartopy 等工具集进行开发,实现气象数据的常规可视化应用。结果表明,研究成果能够为用户提供不同维度的气象数据可视化服务。关键词 气象数据;可视化;Matplotlib;Cartopy;工具集 doi:10.3969/j.issn.1672-9528.2023.07.0081.中国气象局旱区特色农业气象灾害监测预警与风险管理重点实验室 宁夏银川 7500212.宁夏气象防灾减灾重点实验室 宁夏银川 7500213.宁夏警官职业学院 宁夏银川 750021 基金项目 中国气象局旱区特色农业气象灾害监测预警与风险管理重点实验室 2
3、020 年科研项目(CAMP-202005);中国气象局旱区特色农业气象灾害监测预警与风险管理重点实验室 2022 年度青年培养项目(CAMT-202204)0 引言数字经济时代,数据在推动社会发展中起到了关键性作用,气象部门利用卫星、雷达、自动气象观测站等现代观测设备每日都可以获得大量气象数据。面对高频次、海量气象数据,充分挖掘和分析数据,才能产生更高的价值、更好地服务于用户。数据展现在数据技术价值链的末端,可直接作用于用户决策过程。数据展现方法的选择会直接决定数据可视化技术的优劣,进而影响数据最终应用和决策1。文本、表格等传统的数据表现形式仅能展示单一维度的数据,影响用户对数据接受和理解的
4、效率,难以满足用户在大量数据中快速获取重点信息的需求。在各类数据展现的方法中,数据可视化技术依靠信息传递速度快、效率高、数据显示多维性、直观性、图形色彩种类丰富等优点被用户所接受。本文使用 Python 从天擎接口获取 2022 年部分地面气象要素数据(结构化数据)以及 NAS 中存储海温数据(非结构化数据),并依赖 Matplotlib、Cartopy 等工具包进行可视化应用研究,通过对气温、海温、湿度、空气质量、风级风向和温湿度等要素的可视化展示,实现气象数据快速、准确的可视化图形绘制,为下一步气象大数据可视化研究提供技术思路。1 基于天擎的气象数据特征分析气象数据从量级、频次、数据类型和
5、数据质量方面,具备大数据 4 V 特征(volume、velocity、variety、veracity)2-4。面对海量气象数据,分析背后的价值显得尤为重要,本文研究的数据集均来自天擎。作为全国气象部门新一代数据环境支撑平台,天擎主要围绕大数据资源进行技术构建,具备海量数据存储、全业务贯通、数据高效应用的能力,可提供“数算一体”的平台化服务5。天擎利用分布式存储技术对各类气象资料数据进行存储,并按照业务应用场景对数据存储进行分类分级,通过数据存储管理网站建设,实现了对数据库、存储结构、权限控制、能力开放等功能。利用数据同步、数据迁移与清除、数据备份与恢复等功能,实现数据的高效流转。天擎中非结
6、构化数据索引信息通过解码程序进入文件索引库,产品文件转存在 NAS 存储中,需要毫秒级服务的实时非结构化数据(雷达、模式、卫星等核心数据)存储在Cassandra 数据库中。文件索引库中存储的信息可进行备份和恢复。当 NAS 存储中的产品文件过期后,系统可以通过数据迁移功能将过期数据删除,并同步修改对应产品文件的索引信息,天擎数据存储流程如图 1 所示。本文非结构化数据通过 NAS 获取海温数据集进行研究和可视化分析。结构化数据主要通过接口调用的方式在大数据云平台获取数据,访问接口是用户从 MUSIC 环境中获得所需资料的必备通道6。不同数据类别对应不同资料接口,主要包含地面、高空、海洋、辐射
7、、农业气象、大气成分等 14 类资料,且服务接口采用 RESTFul、能力开放 API 等调用方式,为用户提供在线数据下载或查阅服务。本文结构化数据通过接口获取地面资料进行可视化分析,数据名称为 SURF_CHN_MUL_HOR(中国地面逐小时数据)、SURF_CHN_MUL_DAY(中国 2023 年第 7 期33计算机应用信息技术与信息化地面日值数据),服务接口采用 getSurfEleByTime(按时间检索地面数据要素),共选择 TEM_Avg(平均气温)、RHU_Avg(平均相对湿度)、WIN_D(风向)、WIN_S(风速)等关键要素进行分析。2 气象数据可视化工具选型本文在前期对常
8、用的可视化工具进行工具选型,以适合气象行业应用需求。目前,广泛使用的可视化工具产品有多种多样,由于使用方法、适应范围、产品底层架构、服务目标分类标准不同而区分不同的工具,详情可见表 1。表 1 可视化工具分类表分类标准工具类型分类 1举例分类 2举例使用方法工具开箱即用TableauGephi代码开发使用D3.jseChartsMatplotlib适应范围泛用类D3.jseChartsTableauMatplotlib领域专业类Gephi(关系分析)产品底层架构平台性工具TableauGephi插件性能工具D3.jseChartsMatplotlib服务目标统计图形D3.jseChartsGe
9、phiMatplotlib信息图Tableau表 1 对常见的几类可视化工具进行对比说明:D3(Data-Driven Documents)在数据和文档之间承担驱动程序的角色7,以代码为主进行开发,有良好的插件接口、可扩展性较强,但对使用者有编程的要求;Echarts 使用一种配置式为主的代码开发模式,入手难度较 D3 框架低,对个性化定制的支持有限,值得在一些无过多定制需求、需要快速开发的项目中使用;Tableau 是一款专注于结构化数据的快速可视化工具,可安装即用,支持多种数据源且适配于多个领域。因不支持代码级别操作,在数据细节展示控制以及可视化效果调节方面不能很好地处理;Gephi 是一
10、款专注于关系分析软件,下载安装之后以工具方式运行,不需要用户拥有代码开发经验,被称为复杂关系分析界的“PhotoShop”。Gephi 主要用于各种网络和复杂系统,动态和分层图的交互可视化8。Python 因其简单易学、免费开源、丰富资源库等优点被广泛应用于各行各业9。Pandas是Python的一个数据分析包,支持快速处理数据的函数;NumPy 是一个运行速度非常快的数学库,主要用于高性能科学计算、数据分析以及数组计算10。Matplotlib 函数库可用于数据可视化展示,支持绘制各种线图、散点图、柱状图、等高线图、条形图、3D 图形等等。Cartopy 函数库用于生成地图和其他地理空间数据
11、分析图形,可提供对 Matplotlib 协作接口,使用最简单直观的方式生成 GIS 地图11-12。综上所述,本文采用 Cartopy、Matplotlib 等 Python 工具依赖包,结合天擎为用户提供不同维度的气象数据可视化服务。3 数据预处理3.1 实验环境本文开发代码和运行环境均在 Linux 系统环境下安装、部署和实施,且下载安装了 Anaconda 用于搭建 python 开发环境。Anaconda 作为 Python 的包和环境的管理器,它涵盖了多种常用的数据科学包,可解决不同版本的 Python 兼容问题、Python 库依赖混乱、环境切换等问题,实现单独虚拟环境的快速创建
12、、保存、加载和切换。具体环境配置清单如下:操作系统:Centos 7 64 位企业版操作系统;处理器:Intel(R)Xeon(R)CPU E7-4830 v4 2.00 GHz;服务器缓存:Redis-3.0;数据库:虚谷数据库。3.2 导入库和数据集本项目中 Python 开发需要的库有 cartopy、matplotlib、numpy、pandas、math 等。数 据 预 处 理 环 节 需 要 借 助numpy、pandas 库进行操作。Numpy 作为很多高级扩展库的基础库主要用于高性能科学计算、数据分析以及数组计算,特别是支持条件运算、矩阵运算、统计运算、数组运算等。Pandas
13、 集成了很多数据处理函数和时间序列分析功能,能够很方便的读取源文件(csv、json、excel、sql 等)、数据判空、自动对齐、分组等功能。使用 Pandas 读取天擎接口获取的原始气象数据集,用表2 中的方法即可。本文从天擎获取当日数据、近 14 天预报的原始气象数据,分别命名为“weather1”“weather14”,因此读取方式为 pd.read_csv(weather14.csv,encoding=gb2312)。表 2 Pandas 读取数据集方法表源文件格式读取方式含义csvpd.read_csv()读取含有逗号分隔值文件格式的数据jsonpd.read_json()读取 j
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 Python 气象 数据 可视化 方法 应用 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。