电力大数据高速存储及检索技术应用_林翰.pdf
《电力大数据高速存储及检索技术应用_林翰.pdf》由会员分享,可在线阅读,更多相关《电力大数据高速存储及检索技术应用_林翰.pdf(2页珍藏版)》请在咨信网上搜索。
1、Application 创新应用244 电子技术 第 52 卷 第 6 期(总第 559 期)2023 年 6 月输数据的效率;而Chunk Server服务器的主要作用则是存储具体的数据,且所有的数据都能通过文件的形式存储于该服务器上,在很大程度上增强了系统的兼容性,Chunk Server服务器数量越多,云存储系统的规模也就越大;客户端的存在使服务器具备了为外部数据提供存储窗口和访问路径的功能,通常被安装于Chunk Server服务器上。服务器就能同时具备存储服务器和客户端服务器的功能,可实现管理每一个客户端节点的监管系统,对设备运行状态、磁盘运行状态、服务在线情况以及异常告警等均能实现
2、实时在线管控。这种分布式系统优越性在于可以在不增添硬件设备的同时,通过增加Chunk Server服务器小规模拓展系统存储空间。电力大数据高速存储一体机中所有的节点都是采用网络连接,并采取自适应副本管理技术提升系统的容错能力,为了方便用户端访问云存储系统,本设计还将所有的存储节点都设置了对外服务功能,用户可以通过增加或减少存储节点在线伸缩存储系统。高速存储一体机的优异性。电力大数据高速存储一体机的优异性能主要表现在以下三个方面:(1)在对系统中的节点进行增减时,系统可以正常运行。本设计采用的是可在线增减存储节点的方式,使得元数据节点、存储节点等可以通过注册管理机制自适应管理,自动完成节点伸缩业
3、务。并且系统可提供24h不间断存储服务,有效解决了传统存储模式中存在的扩容流程烦琐的问题。(2)本0 引言随着电力行业信息化、网络化、自动化以及智能化水平的不断提升,电力生产、传输以及使用等环节产生的数据信息也在持续增多,使得传统电力数据管理系统中存在片面性、滞后性以及盲目性等弊端逐步显现出来,极不利于海量大数据的传输和储存,因此,急需增强电力数据管理系统获取数据、存储数据以及利用数据的能力。1 电力大数据高速存储一体机技术路线 电力大数据高速存储一体机研发思路及步骤。电力大数据高速存储一体机针对智能电网海量数据存储需求,以当前领先的大数据处理技术为基础,结合分布式存储理论与并行计算理论,将开
4、源软件Hadoop分布式并行框架移植到嵌入式ARM-Linux硬件上,设计分布式海量数据存储技术架构,构建海量数据存储一体机原型系统。电力大数据高速存储一体机技术架构。本文所介绍的高速存储一体机文件系统采用的是分布式存储机制,该机制可实现将数据分散存储在多台独立的存储服务器上。同时运用元数据管理服务器(Master Server)、数据存储节点服务器(Chunk Server)以及客户端节点结构组建虚拟的海量存储卷。其中,Master Server服务器的作用是保存系统的元数据,负责对整个文件系统的管理,该服务器采用的是主备双机镜像方式,使系统可以处于24h不间断运行的状态;有效提升了系统采集
5、和传作者简介:林翰,国网信通亿力科技有限责任公司;研究方向:计算机技术。收稿日期:2022-09-19;修回日期:2023-06-12。摘要:阐述一种满足大数据环境下电力数据存储和检索需求的管理系统和核心技术,包括电力大数据高速存储一体机技术、海量检索系统技术、流计算即时处理系统技术。关键词:大数据,数据存储,数据检索,流计算。中图分类号:TP333,TP315文章编号:1000-0755(2023)06-0244-02文献引用格式:林翰,陈矗.电力大数据高速存储及检索技术应用J.电子技术,2023,52(06):244-245.电力大数据高速存储及检索技术应用林翰,陈矗(国网信通亿力科技有限
6、责任公司,福建 350007)Abstract This paper describes a management system and core technology to meet the requirements of power data storage and retrieval in the Big data environment,including power Big data high-speed storage all-in-one machine technology,massive retrieval system technology,and stream compu
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 电力 数据 高速 存储 检索 技术 应用 林翰
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。