GFS分布式技术架构进阶.docx
《GFS分布式技术架构进阶.docx》由会员分享,可在线阅读,更多相关《GFS分布式技术架构进阶.docx(8页珍藏版)》请在咨信网上搜索。
1、 分布式存储技术解读系列之四:GFS分布式技术架构进阶 1. 什么是GFS?首先,我们从 GFS 的定义:“Google File System (GFS) is a scalable distributed file system (DFS) created by Google Inc. and developed to accommodate Googles expanding data processing requirements. GFS provides fault tolerance, reliability, scalability, availability and perf
2、ormance to large networks and connected nodes . ” 。当中我们可以非常明确看到 GFS区别于Ceph和SWift的核心在于它是一个文件系统,但是这个文件系统又是区别于我们Linux操作系统上普通的EXT文件系统,它具有分布式架构,因此它被赋予了以下特性 :(1) 扩展性 ( Scalability ) :它具备较强的架构扩展性,可以使得数据规模很容易扩展到PB级别;(2) 高可用( availability ):它具备较强的集群高可用性,能解决节点故障对集群的可用性影响 ;(3) 容错性 ( Fault Tolerance ):它具备很强的数据容
3、错性,能解决数据错误的问题 ;除此之外,我们还要知道它的来源,它是谷歌的杰出作品,是谷歌三驾马车(GFS、Big Table、Mapreduce)三个当中的一个,而且对应着谷歌著名的三篇论文当中的一篇,支持所有谷歌服务的基石。接下来,我们 从各个维度来分析究竟是什么样的架构和原理使它具备了这样的分布式特性 。2. GFS架构原理2.1GFS物理架构从 物理节点角度看GFS的架构,它主要分为三个部分:Client、Master Server、Chunk Server。应用的数据读写请求从Client端发起,先经过Master Server查询元数据信息,得到元数据信息之后再到Chunk Serv
4、er寻找数据本身或者写入数据本身。如图2.1:图2.1 GFS物理拓扑图Client:是GFS提供给应用程序的访问接口,它是一组专用接口,以库文件的形式提供。应用程序直接调用这些库函数来获取数据的访问。它的输入仅仅需要文件名称及其在GFS系统当中的全路径。Master:是GFS的集群管理节点,可以是主备模式,当然也可以是AA模式的集群。但是它的数据空间只有一个。它主要负责保存GFS的元数据及集群的协调管理。Chunk:它是存储数据的节点,它可以扩展为很多。它主要负责响应客户端的实际数据读写,数据以文件的形式存储在Chunk Server上,文件组织的粒度为Chunk(默认为64M)。既然是文件
5、系统的存储管理方式,那必然是Chunk_ID+Chunk_Address的组织管理模式。2.2GFS Master既然Master是GFS的核心管理节点,那么搞清楚Master里面的运作机制就是搞清楚GFS的必要条件,首先我们来看Master Server存储的元数据是什么样的?我们在文章前面内容当中曾经说过,GFS排除它的分布式而言,它就是一个文件系统。既然是文件系统就会遵循文件存取的基本规则:客户端按照全路径文件名称存放或者读取文件。如图2.2.1:图2.2.1 Master命名空间图对于Master Server上保存的Metadata来讲,主要包含两个维度的数据,一个是文件的命名空间,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- GFS 分布式 技术 架构 进阶
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【快乐****生活】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【快乐****生活】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。