海量异构存储文件系统管理新技术研究与应用.pdf
《海量异构存储文件系统管理新技术研究与应用.pdf》由会员分享,可在线阅读,更多相关《海量异构存储文件系统管理新技术研究与应用.pdf(4页珍藏版)》请在咨信网上搜索。
1、石油管材仪器24:PETROLEUMTUBULARGOODS&INSTRUMENTS2023年12 月开发与设计海量异构存储文件系统管理新技术研究与应用王景德,付喜春,董一,陈建宁,李克臣(东方地球物理勘探有限责任公司大庆物探研究院黑龙江大庆16 3357)摘要:大规模数据中心海量异构存储文件系统在地震处理解释生产项目应用中需要频繁的查询和挂载,传统的工作模式需超级用户权限管理文件系统,存在异构存储挂载命令不同、难以记忆,手动命令行输入速度慢且容易出现错误等诸多技术问题,影响生产工作效率和数据安全。通过系统级优化以及软件编写,对存储文件系统进行集中管理,使用Shell语言开发文件系统管理和查询
2、软件,实现快速、准确、高效地对海量异构存储文件系统进行科学统一的管理,弥补了原有技术缺陷,极大提高了地震处理解释系统运行效率。关键词:文件系统管理;查询文件系统;挂载文件系统;shell 语言中图法分类号:TN914D0I:10.19459/ki.61-1500/te.2023.06.005Research and Application of New Management Technology on Mass(Daqing Geophysical Exploration Research Institute of BGP China National Petroleum Corporatio
3、n,Daqing,Heilongjiang 163357,China)Abstract:Massive heterogeneous storage file systems in large-scale data centers need to be queried and mounted frequently in seismic pro-cessing and interpretation production projects.The traditional working mode requires root permission to manage file system,and t
4、here aremany technical problems such as heterogeneous storage mount commands are dfficult to remember,manual command input is slow andprone to errors,etc.,which greatly affect the production efficiency and data security.Through system-level optimization and sofware devel-opment,centralized managemen
5、t of storage file systems is carried out.Shellis used to develop file system management and query sofware.The software realizes the scientific and unified management of the massive heterogeneous storage file system quickly,accurately and efficient-ly,makes up for the original technical defects,and g
6、reatly improves the operating efficiency of the seismic processing and interpretation system.Key words file system management;querying file systems;mounting file systems;shell language正常运行作业。而节点本身的存储容量远远无法满足工0引言作需求,需要将高性能、大容量外部存储的文件系统作在一个大规模数据中心,有4 套PC集群系统(7 2 6为本地磁盘使用,才能保障节点访问到所需的项目数个运算节点),配置了4 5套不
7、同厂家、多种架构的异构据。当部分运算节点无法正常访问文件系统时,便会影存储系统,总物理容量18 PB,划分了150 个数据文件系响全局的并行作业进度。用户分发作业前查询所需要统。根据地震资料处理解释应用软件的实际需要,每个的文件系统如果没有全部挂载,就无法正常读写地震数运算节点都需要挂载10 0 个以上的文件系统,全部节点据导致作业运行失败。因此,集群运算节点文件系统的挂载文件系统总量达到数万个。在实际生产中,集群运高效、及时、准确挂载,对地震资料处理解释生产的影响算节点必须挂载生产项目需要的全部文件系统才能够巨大。对于集群节点文件系统挂载在日常运维管理方初投稿收稿日期:2 0 2 3-0 5
8、-2 3;修改稿收稿日期:2 0 2 3-0 7-0 6第一作者简介:王景德,男,19 7 2 年生,高级工程师,19 9 3年毕业于黑龙江大学应用数学专业,获学士学位,现从事大规模集群地震资料处理系统和解释服务器系统的运维管理、性能优化、程序开发工作。E-mail:wangjd-文献标识码:AHeterogeneous Storage File SystemWANG Jingde,FU Xichun,DONG Yi,CHEN Jianning,LI Kechen文章编号:2 0 9 6-0 0 7 7(2 0 2 3)0 6-0 0 2 4-0 42023年第9 卷第6 期面存在以下问题:1
9、)在集群管理中,超级用户的正确使用是保证系统安全的非常重要的因素。而传统模式存储文件系统的挂载需要超级用户的权限完成,使系统安全存在不可预知的风险。2)对于不同厂家、多种架构的异构存储文件系统,在集群节点上的挂载方式、命令和服务器地址均不相同,系统运维管理人员需要正确记忆大量的信息,才能快速完成海量文件系统挂载工作。3)传统方式需手动输人与各个文件系统匹配的命令完成挂载,速度慢且容易出现错误,很大程度影响生产工作效率。针对海量异构存储文件系统挂载存在的技术问题,通过对系统级优化、文件系统管理、文件系统查询3个方面进行技术研究,研发存储文件系统管理新技术,大幅度提高生产工作效率。1系统级优化面对
10、多套大规模PC集群系统,对于系统运维管理人员来说保证系统的安全和稳定是工作的重中之重,因此对文件系统管理的技术研究要在系统安全稳定的前提下进行。传统模式文件系统的挂载和卸载,必须使用超级用户的权限才能进行,而频繁的使用超级用户工作,使系统安全存在不可预知的风险2 。通过系统配置优化,实现普通用户拥有超级用户的部分功能,替代完成文件系统挂载、卸载等工作。sudo是一个允许普通用户执行部分或者全部超级用户命令的工具3。对sudo工具相应的配置文件进行优化,设定指定的普通用户获得超级用户才能够进行的挂载、卸载文件系统的权限4。通过对/etc/sudoers文件进行配置优化,设定系统运维管理人员获取特
11、定的超级用户权限,实现普通用户可以创建和删除目录,使用挂载、卸载命令对文件系统科学管理,最大程度保证系统的安全性和稳定性52文件系统管理软件的研发面对数据中心多套集群、多节点、多存储文件系统的现状,不同架构、不同类型的异构存储文件系统挂载方式、命令以及挂载服务器IP地址均不相同,需要运维管理人员手动输入与各个文件系统匹配的挂载命令。4套集群按照每个运算节点平均挂载12 0 个文件系统计算,使用传统方式手动批量挂载全部文件系统大约需要3小时。而且还需要详细准确了解文件系统匹配的挂载服务器IP地址、挂载命令才能正确执行。完成这项工作占用了大量的系统时间,还容易产生人为错误王景德等:海量异构存储文件
12、系统管理新技术研究与应用动前挂载的全部文件系统才能交付用户使用,而单独节点通过命令行手动挂载全部文件系统所需工作量和时间,与整套集群的挂载基本相同。文件系统挂载速度决定了用户的工作效率。因此,针对这些问题开发了文件系统管理软件fsmgr(以下简称fsmgr软件)。2.1fsmgr软件开发技术fsmgr软件使用shell 语言开发。为了提高软件的可读性和易修改性7 ,编写了多个具有不同功能的子程序脚本文件,通过主程序软件 fsmgr对子程序脚本的调用,实现软件的全部功能8 。同时由于每套集群都有各自的管理节点、计算节点、I0节点,每套集群安装的软件、使用的用户也各不相同,因此针对不同集群的存储系
13、统,开发了相应的fsmgr软件和子程序脚本文件。2.2子程序脚本文件的开发基于fsmgr软件,开发了两类子程序脚本文件,分别是运维管理账号脚本文件和文件系统挂载命令脚本文件(简称“mtfs”)。在运维管理账号脚本文件中,添加允许使用fsmgr管理软件的普通用户账号,以此规范使用该软件的用户。在“mtfs”脚本文件中,记录当前全部文件系统的名称和挂载命令。通过此脚本进行文件系统挂载,无需记住相应的挂载命令及文件系统对应的服务器IP地址,并且当有新增文件系统需要挂载时,只需要在“mtfs”脚本中新增对应的文件系统名称和挂载命令,即可实现动态、高效的统一管理存储文件系统9 2.3fsmgr 主程序软
14、件开发fsmgr主程序软件由三部分功能组成:运算节点关机之前记录所挂载的文件系统信息;开机后对要挂载的文件系统进行恢复;完成日常工作中的文件系统挂载任务。fsmgr工作原理如图1所示。否管理员账号是-b-I获取需要备份获取需要恢复文件的节点名称系统的节点名称保存该节点挂载读取备份文件文件系统名称系统的列表在指定节点上挂载文件系统结束图1文件系统管理软件fsmgr功能框图25此外,个别集群运算节点在重新启动后,需要恢复启开始是否为-m获取需要挂载的文件系统名称在集群所有节点上挂载文件系统26使用fsmgr软件时首先判断当前用户是否为运维管理账号脚本中定义的用户,如果不是则提示无权限使用。针对fs
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 海量 存储 文件系统 管理 新技术 研究 应用
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。