基于Hadoop的河北行业...服务大数据云平台设计与应用_张中杰.pdf
《基于Hadoop的河北行业...服务大数据云平台设计与应用_张中杰.pdf》由会员分享,可在线阅读,更多相关《基于Hadoop的河北行业...服务大数据云平台设计与应用_张中杰.pdf(5页珍藏版)》请在咨信网上搜索。
1、SOFTWARE软 件2023第 44 卷 第 1 期2023 年Vol.44,No.1基金项目:河北省重点研发计划项目资助(导线覆冰和风偏气象灾害精准预警技术研究:22375405D)作者简介:张中杰(1968),男,河北辛集人,本科,高级工程师,从事气象服务与应用气象技术研究工作。通讯作者:曲晓黎(1982),女,吉林蛟河人,本科,正高级工程师,从事气象服务与应用气象技术研究工作。基于 Hadoop 的河北行业气象服务大数据云平台设计与应用张中杰 1,2 李飞3 曲晓黎2,3 周朔3(1.河北省气象科学研究所,河北石家庄 050021;2.河北省气象与生态环境重点实验室,河北石家庄 050
2、021;3.河北省气象服务中心,河北石家庄 050021)摘要:随着大数据产业的蓬勃发展和全社会对气象服务需求的日益增长,气象大数据与各行各业数据平台的融合应用越来越广泛。而传统气象数据的存储和运算方式,难以同时高效支撑多个行业、高时空分辨率的气象数据生产和传输要求。因此该方案基于 Hadoop 技术建设河北省行业气象服务大数据平台,通过分布式存储、分布式计算,快速接收原始气象数据、通过插值等方法对气象数据进行时空降尺度、通过行业专项预报指标和模型快速计算相关气象服务产品,最终生成支撑能源电力、交通运输等多领域气象监测预报服务产品,得到了很好的应用。为河北省构建气象大数据产业发展生态环境、提升
3、气象信息产业化发展以及保障地方经济社会发展提供了有力支撑。关键词:Hadoop;大数据;气象服务;平台;设计中图分类号:TP311.1 文献标识码:A DOI:10.3969/j.issn.1003-6970.2023.01.006本文著录格式:张中杰,李飞,曲晓黎,等.基于Hadoop的河北行业气象服务大数据云平台设计与应用J.软件,2023,44(01):024-028Design and Application of Hebei Meteorological Industry Service Big Data Cloud Platform Based on HadoopZHANG Zho
4、ngjie1,2,LI Fei3,QU Xiaoli2,3,ZHOU Shuo3(1.Meteorological Institute of Hebei Province,Shijiazhuang Hebei 050021;2.Key Laboratory of Weather and Meteorological and Ecological Environment of Hebei Province,Shijiazhuang Hebei 050021;3.Hebei Province Meteorological Service Centre,Shijiazhuang Hebei 0500
5、21)【Abstract】:With the vigorous development of big data industry and the growing demand of the whole society for meteorological services,the integration and application of meteorological big data and data platforms of all walks of life are more and more extensive.However,the traditional storage and
6、operation methods of meteorological data are difficult to efficiently support the production and transmission requirements of meteorological data with high spatial and temporal resolution in multiple industries at the same time.Therefore,the scheme is based on Hadoop technology to build a big data p
7、latform for industry meteorological services in Hebei Province.Through distributed storage and distributed computing,the scheme can quickly receive original meteorological data,conduct time-space downscaling of meteorological data through interpolation and other methods,quickly calculate relevant me
8、teorological service products through industry specific forecast indicators and models,and finally generate meteorological monitoring and forecasting service products supporting energy,electricity,transportation and other fields,it has been applied well.It provides strong support for Hebei Province
9、to build the ecological environment for the development of meteorological big data industry,promote the industrialization of meteorological information,and ensure the local economic and social development.【Key words】:Hadoop;big data;meteorological services;platform;design基金项目论文25张中杰李飞曲晓黎等:基于 Hadoop
10、的河北行业气象服务大数据云平台设计与应用0 引言随着各行各业和社会公众对气象服务需求的日益旺盛和气象信息化的快速发展,气象数据呈几何级数增长1。传统的气象数据挖掘大部分为单机模式,建立气象大数据云平台是气象信息网络智能化发展的趋势2,能够更加充分利用气象数据并深入挖掘其价值3。Hadoop 是一种分布式系统架构4,5,其核心组件有 3 个:(1)HDFS(Hadoop Distributed File System:分布式文件系统),它是一个高可靠、高吞吐量的分布式文件系统6,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色,用于存储文件,通过目录树来定位文件。HDFS 适合一次写入
11、,多次读出的使用场景。(2)MapReduce(分布式计算框架),它是一个分布式的离线并行计算框架,用于海量数据运算分析7。MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个 Hadoop 集群上。MapReduce 将计算过程分为两个阶段 Map 和 Reduce,Map 阶段并行处理输入数据,Reduce 阶段对 Map 结果进行汇总。(3)Yarn,这是作业调度与集群资源管理的框架,采取经典的主从式(Master-Slave)分布式结构8。Yarn 是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作
12、系统平台,而 MapReduce 等运算程序则相当于运行在操作系统之上的应用程序。Hadoop 具有开源、可靠稳定、可扩展、低成本等优势9,已广泛应用于城市轨道交通、电力、农业等多种行业的数据存储与计算领域10-13。在气象大数据云平台建设方面,山东、海南、广西均介绍了当地的存储技术和实现过程1,14,15。河北省Hadoop 行业气象服务大数据云平台(简称云平台)的特点在于集成多种行业气象服务指标算法,快速生成行业用户关注范围内格点化的气象实况和预报预警服务产品,同时支撑气象业务系统和行业部门应用系统,同时支撑京津冀交通气象中心以及省内电网、电厂、铁路、公路等多部门快速共享气象信息,在气象灾
13、害防御和气象资源趋利避害方面发挥重要作用。1 云平台系统架构河北省 Hadoop 行业气象服务大数据云平台系统架构示意图如图 1 所示,利用 Ambari 用于整体的配置,进行管理和监控 Apache Hadoop 的集群。Ambari 还提供了一个直观、易用的 Hadoop 管理 Web UI 界面。Yarn 作为资源调度平台,负责为 MapReduce 等运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,用于管理和调度各种细粒度的任务,包括格点实况的订正和交通气象风险指数等行业专项预报产品的计算任务等。Hbase 是一个 NoSQL 数据库,运行于 HDFS(包括一个 NameN
14、ode 和多个 DataNode 等)文件系统上,用于存储来自于前端的各种实况、预报数据以及运算得出的各种预报数据。Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题。MongoDB 是基于分布式文件存储的数据库,主要用于存储地理信息数据和进行空间地理位置的计算等。Nginx API 用于将各种客观化服务产品通过接口的形式对外提供发布。2 云平台数据流程河北省 Hadoop 行业气象服务大数据云平台的数据来自河北省气象局“天擎”大数据云平台资源池,读Ambari-serverSecondaryNameNodeNginxAPIMapreduce2 Clie
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 Hadoop 河北 行业 服务 数据 平台 设计 应用 张中杰
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。