基于卷影拷贝服务技术的海洋实时观测数据备份.pdf
《基于卷影拷贝服务技术的海洋实时观测数据备份.pdf》由会员分享,可在线阅读,更多相关《基于卷影拷贝服务技术的海洋实时观测数据备份.pdf(6页珍藏版)》请在咨信网上搜索。
1、38卷海洋信息技术与应用http:/海洋信息技术与应用JOURNAL OF MARINE INFORMATION TECHNOLOGY AND APPLICATION基于卷影拷贝服务技术的海洋实时观测数据备份吴永芳,王晓瑞,张学灵,司佳,陈刚(国家海洋信息中心,天津300171)摘要:为了提高服务器对海洋实时观测数据的备份性能,提出了对NTFS文件系统中海量数据基于卷影拷贝服务的备份方案。该方案解决了传统备份方案中备份时间过长、不能有效备份的问题。将本文备份方案和传统备份方案的性能进行了对比,并对备份的数据进行了恢复演练。实验结果表明,基于卷影拷贝服务的备份方案能够使海洋实时观测数据的备份性能
2、获得较大的提升,且基于该方案备份的数据是可用的。该方案能够进一步保障海洋数据的安全存储。关键词:备份;卷影拷贝服务;性能;海洋实时接收数据;海量小文件中图分类号:P717;TP309.3文献识别码:A文章编号:2097-0307(2023)03-0134-06Doi:10.3969/j.issn.2097-0307.2023.03.002Research on backup of ocean real-time observation data based onvolume shadow copy serviceWU Yongfang,WANG Xiaorui,ZHANG Xueling,SI
3、 Jia,CHEN Gang(National Marine Data and Information Service,Tianjin 300171,China)Abstract:To improve the backup performance of ocean real-time observation data in the server,a volume shadow copyservice based backup scheme for massive data in the NTFS file system is proposed.This scheme solves the pr
4、oblem oftoo long backup time and ineffective backup in traditional backup schemes.In this paper,the performance of the backupscheme is compared with the traditional backup scheme,and the recovery drill is carried out for backup data.Theexperimental results show that the backup scheme based on volume
5、 shadow copy service has greatly improved thebackup performance of marine real-time observation data.The data backed up based on this scheme is available,whichfurther guarantees the safe storage of marine data.Keywords:backup;volume shadow copy service;performance;real time ocean receiving data;mass
6、ive small files第38卷第3期2023年8月收稿日期:2022-11-02;修订日期:2023-01-03作者简介:吴永芳,硕士,工程师,主要从事数据备份和恢复、服务器运维研究,电子邮箱:通信作者:张学灵,学士,工程师,电子邮箱:随着科学技术的进步,人们获取海洋数据的手段越来越多,已经可以通过陆地、海面、海底、水下、航空航天等多种监控和监测设备获取到大量不同时间段、不同尺度、不同地区的数据,其中非结构化数据已占到总数据量的 60%70%1。按照数据获取到发布的时间长短,海洋数据可以分为海洋实时观测数据和海洋延时观测数据2。海洋实时观测数据的获取方式主要包括浮标、雷达、志愿船和全球
7、导航卫星系统(Global NavigationSatellite System,GNSS)等。接收服务器接收到海量的观测数据后,需要进行质控和备份3。1海洋实时观测数据备份的意义数据备份是指为防止操作失误等人为因素或系统故障等自然因素导致数据丢失,而将数据通过一定的方法复制到其他存储介质进行保存的过程4,目的是在需要时能迅速、准确地找到目标数Vol.38,No.3Aug.20233期http:/据进行恢复5。海洋实时观测数据的获取大多是经过艰苦的海上作业,借助昂贵的数据采集和分析设备获取得来的,海洋项目的完成需要耗费大量的人力、物力和财力,海洋数据获取的成本非常高,许多数据一旦丢失难以重新采
8、集。与陆地数据采集相比,海洋调查具有高风险、高投入的特点。因此需要重视海洋数据的安全存储,其中就涉及对接收服务器中的海洋数据进行备份6。2NTFS文件系统中海洋实时数据的备份现状目前Windows服务器中广泛使用的文件系统类型为NTFS(New Technology File System)。NTFS相对FAT文件系统更加复杂,但也具有非常明显的优势:安全性更高、不易产生碎片并能够获取到更大的存储7。NTFS文件系统中采用的引导记录、主文件表 MFT 的数据格式以及 B+树数据结构,可以为操作系统和数据库提供非常详细的索引,这为文件查找带来了很大的便利,但在同一个分区具有很多小文件时,系统空间
9、分配、读写磁盘时会频繁地访问 MFT,因此 MFT 对 NTFS 文件系统的性能有着至关重要的影响。海量小文件则意味着将有大量索引查询、元数据读取、数据读取的请求操作8,因此查找的速度受到了很大的限制9。海洋实时观测数据中绝大部分都是KB级别的小文件10,如果利用如基于小文件合并和分层索引的传统备份方式11,在备份前仍然需要先对NTFS文件系统磁盘中的大量小文件进行扫描,以获取元数据信息,扫描操作需要消耗大量时间。例如在对拥有超过2 254万个小文件的磁盘进行备份时,扫描时间接近3 h,而备份时由于受到元数据管理、缓存机制以及数据布局等因素的限制8,备份时间超过63 h。因此在采用传统备份方式
10、对海洋实时观测数据进行备份时,不但备份性能非常低,而且长时间备份也影响了接收服务器本身的CPU、内存以及磁盘的性能,使得系统的整体读写性能受到严重影响。因此,本文尝试基于卷影拷贝服务(VolumeShadow Copy Service,VSS)技术对实时观测数据进行备份,以期提高对海洋实时观测数据的备份性能,降低对观测数据的传输和质控的影响。3卷影拷贝服务卷影拷贝服务(VSS)是Microsoft Corporation在服务器操作平台上提供的一种服务,是Windows下的指针型快照技术,具体来说它通过在卷管理模块上加入快照功能,创建时间点映像,即卷影副本(只读副本),从而实现数据的快速备份和
11、恢复,同时不会影响到系统性能。基于这一点,卷影拷贝服务非常适合用于海量数据的备份12。基于卷影拷贝服务的备份方式,是基于快照的块级数据备份方式,即把快照技术和备份技术相结合,可以保证数据备份时的一致性13,与传统备份方式相比,可以避免因备份数据量较大造成备份耗时太长,无法为用户提供服务的问题14。因此块级备份是目前备份性能最高的备份方式之一15。3.1卷影拷贝服务的原理一个完整的VSS解决方案由以下四个基本部分组成:(1)VSS请求程序:请求创建卷影副本的应用程序,本文中指的是数据备份系统。(2)VSS服务:可确保其他组件相互通信并协同工作,是Windows操作系统的一部分。(3)VSS写入程
12、序:保证备份数据一致性的组件。在创建卷影副本的过程中,如果有如SQLServer或者Windows系统中的注册表等应用程序继续写入数据会造成卷影副本中数据的不一致,从而影响该时间点卷影副本的完整性。(4)VSS提供程序:创建给定时间点卷影副本的组件。程序基于存储阵列(硬件模式)或操作系统(软件模式),本文采用的是后者。卷影副本的创建包括以下两种方法:克隆(Clone)和写入时复制(Copy on Write)。克隆,是在给定时间点对源卷进行完整复制,在此过程中源卷和镜像卷的数据始终保持同步,此镜像卷为只读副本。而写入时复制,不复制源卷,只拷贝数据所在位置的指针,以生成一个快照位图,当有写操作时
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 拷贝 服务 技术 海洋 实时 观测 数据 备份
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。