精细化气象服务系统设计与实现_李晓勇.pdf
《精细化气象服务系统设计与实现_李晓勇.pdf》由会员分享,可在线阅读,更多相关《精细化气象服务系统设计与实现_李晓勇.pdf(5页珍藏版)》请在咨信网上搜索。
1、数据库系统设计Database System Design电子技术与软件工程Electronic Technology&Software Engineering258中国气象局明确提出,大力发展智慧气象,就是要实现更智慧、更个性、更便捷、更智能的气象服务,践行气象工作“以人为本”的基本理念。与此相呼应,中国各地积极推进智能化、个性化、互动式气象服务,推进大数据、云计算等先进技术在精细化预报、分区预警、灾害影响预报和风险预警中的应用,开发精细化气象服务产品,将气象云服务终端延伸到气象灾害应急指挥部门,基于手机客户端、微信的个性化定制服务等新的气象服务手段不断涌现。智能网格预报、多源数据融合技术的
2、发展,带来了精细网格数据的应用。利用精细网格数据,结合行业、用户需求研制高时空分别率的服务产品,推动气象服务向精细化、智能化不断发展。因此,推动精细化气象服务业务体系建设显得十分重要。1 精细化气象服务系统架构设计系统总体架构采用分层设计,从下到上分为物理层、数据层、服务层、应用层、用户层。物理层:从系统运行稳定可靠性、安全性、并发响应速度等多方面考虑,采用分布式基础框架,分为数据库集群与应用服务器集群,外接存储阵列,满足存储容量动态扩展。数据层:主要是对原始数据(数据库或者服务产品文档等存放数据的形式)的操作层,这些操作包括存储、清洗、预计算等加工处理;根据业务数据类型划分,建立三个主体数据
3、库:分别为地面资料库(SurfaceDataDB),综合业务库(PubDataDB),精细网格数据库(PubServiceDB),通过对三个数据库中数据进行分类,同时考虑其存取效率要求,关系性数据主要采用 MS SQL 数据库进行存储,非关系性数据采用 PostgreSQL 进行存储。服务层:是用户接口或 Web 客户端与数据库之间的逻辑层,所有业务对象在此实例化,服务层是生成并操作接收信息的业务规则和函数的集合,通过业务规则完成该任务,并由此被封装到在物理上与应用程序逻辑本身相独立的组件中,通过 API 接口实现数据访问服务。应用层:应用层是各类具体业务操作的集合,由若干个特定应用服务元素(
4、SASE)和一个或多个公用应用服务元素(CASE)组成,各类具体业务操作在本层中实现,同时收集及处理各类原始业务数据。2 精细化气象服务系统设计与实现系统采用面向服务的架构(SOA),符合 Web API、Web Service 标准的访问接口。系统设计坚持“集中、协同、一体化”的技术路线,系统间的交互采用面向服务(SOA)架构的设计思想,采用组件式开发模式,保证各功能模块间是低耦合、高内聚模式,通过重用面向功能的模块,快速响应业务需求变化,提升信息化支撑业务能力。采用 B/S 模式、前后端分离开发模式,以.Net技术标准构建应用平台,采取 JSON 等技术进行数据的封装、共享,遵循业界先进、
5、成熟的技术标准。2.1 精细化数据存储库的选择在当前大数据时代的背景下,与位置有关的数据占比和使用率会愈来愈大。气象数据具有天然的地理空间属性,网格化数据分辨率的提高,使得数据量也在以几何数量级增加。因此,需要考虑到数据增加时的承载能力提升问题。目前,气象网格数据采用 Grib2 或 Netcdf数据格式进行数据压码,形成文件提供用户端使用,用户端解码形成二维数据集开展应用工作。在需要块数据的应用场景下,解码形成的二维数据集访问效率很高。但块数据的应用在公共气象服务中需求很少,大多数应用场景是用户需求高度定制化,往往是需要从庞大数量格点中抽取其中一个或一部分数据。另一个问题是用户端的需求往往还
6、需要叠加时间维度,二维数据集存储形式会造成记录庞大,访问效率低下。异构数据库架构的精细化气象服务系统设计与实现李晓勇李红玉熊胤帆黄忠华(泸州市气象局 四川省泸州市 646000)摘要:本文基于业务应用,介绍了精细化气象服务系统建设涉及的系统架构、精细数据环境构建、精细化气象服务功能实现、数据产品共享、前端系统开发等技术,提供了业务解决方案。关键词:精细化;气象服务系统;设计数据库系统设计Database System Design电子技术与软件工程Electronic Technology&Software Engineering259选择,既能很好地与已有系统相衔接,又能满足不断增长的新需求
7、,达到数据资源的高度共享和协同处理,对数据资源的访问更加透明、高效、可靠,网格数据处理的能力更强,更好地满足更广泛的数据处理需求。业务项目中,选择了 Microsoft SQL Server 和 PostgreSQL 数据库系统,分别侧重进行多源数据的组织、存储。其中,Microsoft SQL Server 衔接原有业务系统,存储气象网格数据初步解码形成的格点场二维(Lng,Lat)数据集,典型的表结构如表 1 所示。表 1:网格数据表结构字段说明DateTime资料时次Ele要素名称Lon1格点起始经度Lat1格点起始纬度Lon2格点结束经度Lat2格点结束纬度Dx格点经向间距Dy格点纬向
8、间距Nx径向格点数Ny纬向格点数Data数据集PostgreSQL 起源于伯克利(BSD)的数据库研究计划,是最重要的开源数据库产品开发项目之一,有着非常广泛的用户。PostgreSQL 在关系型数据库的稳定性和性能方面均优与 MySQL,同时 PostgreSQL 也兼具NoSQL 特性,超过了原来只使用 NoSQL 带来的开发自由性。PostgreSQL 给到开发人员新的有力的解决方案,从非结构化数据开始着手,当需求变化或增多时,可以将结构化和非结构化的数据在同一个数据库里面进行有机结合,而且是在一个具有 ACID 特性的环境中。同时,PostgreSQL 增加了存储管理空间数据的能力,提
9、供了包括:点(POINT)、线(LINE)、线段(LSEG)、方形(BOX)、多边形(POLYGON)和圆(CIRCLE)基本的集合实体类型空间数据支持能力,定义了一系列的函数和操作符,引入空间数据索引 R-tree,来实现几何类型的操作和运算。在气象应用中其典型的数据表结构如表 2。表 2:基于地理空间数据存储表结构字段名数据类型说明IDInt4记录标识GeoPoint网格地理坐标DataJsonb数据记录2.2 精细网格数据的时间序列化处理与存储建设高时空分辨率的网格时间序列数据集数据量庞大,如何存储和高效检索这些气象数据越来越成为一个难题。传统的方案常常采用关系型数据库加文件系统的方式实
10、现这类气象数据的存储和实时查询,这种方案在可扩展性、可维护性和性能上都有一些缺陷,随着数据规模的增大缺点越来越明显。相比之前的方案,利用分布式 NoSQL 存储来解决海量气象数据的存储和实时查询问题,可以支撑更大规模的数据量并提供更好的查询性能,并且在稳定性、可管理性等方面,也得到了显著的提升。PostgreSQL 由于兼具 NoSQL 特性,用于构建本地精细网格数据环境具有明显优势。精细网格数据存储采用表格存储方式,将网格化数据转换成非结构化数据(数据模型如图 1)。每行数据分为主键和属性列,通过主键来标示一行数据,每个网格转换为表格中的一行,每个气象要素转化为一个属性列,要素的时间序列值构
11、成了属性的数据序列,实现了降低数据维度作用,同时提升了数据读写效率。非结构化数据的应用大幅降低了数据记录数,同时还可对属性列的数据序列进行压缩处理,进一步提高数据检索效率。智能网格预报数据集示例:Lat:23.50,Lng:94.85,Items:Time:2021-11-17 08:00:00,RH:85,Rain:0.0,TEMP:21.7,Cloud:29,WindD:337.0,WindF:1.7,RH_Max:null,RH_Min:null,Weather:晴,TEMP_Max:null,TEMP_Min:null,Time:2021-11-17 11:00:00,.,Addres
12、s:null,StartTime:2021/11/17 8:00:00实况分析历史数据集示例:图 1:非结构化数据模型数据库系统设计Database System Design电子技术与软件工程Electronic Technology&Software Engineering260timeSeries:2009-01-02,2009-01-03,.,eleItems:eleName:Temp_Avg,values:7.2,7.3,7.6,7.0,.,eleName:Temp_Max,values:8.6,8.6,9.5,8.7,.,eleName:Temp_Min,values:6.4,6.
13、1,6.4,6.5,.,eleName:Pre_Sum,values:0.0,0.0,0.0,.,eleName:Pre_Max,values:0.0,0.0,0.0,0.5,0.9,.,eleName:RH_Avg,values:78.0,77.0,74.0,88.0,.,eleName:RH_Min,values:61.0,68.0,62.0,75.0,.,eleName:Wind_Avg,values:1.9,1.6,1.6,1.6,1.5,.,.,.2.3 数据共享服务异构数据库架构下,数据的共享服务需要对各类数据进行集成。数据库数据集成的基本思想是:数据库集成的目的是为用户提供涉及多
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 精细 气象 服务 系统 设计 实现 李晓勇
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。