《云计算第三版》Amazon云计算AWS专题培训课件.ppt
《《云计算第三版》Amazon云计算AWS专题培训课件.ppt》由会员分享,可在线阅读,更多相关《《云计算第三版》Amazon云计算AWS专题培训课件.ppt(50页珍藏版)》请在咨信网上搜索。
1、云计算(第三版)Amazon云计算AWSof52云计算第三版配套PPT课件3.1 基础存储架构Dynamo3.2 弹性计算云EC23.3 简单存储服务S33.4 非 关 系 型 数 据 库 服 务Si m pl e D B和DynamoDB3.5 关系数据库服务RDS3.6 简单队列服务SQS3.7 内容推送服务CloudFront3.8 其他Amazon云计算服务3.9 AWS应用实例3.10 小结在电子商务中积累的大量基础性设施和各类先进技术,很早地进入了云计算领域,并在提供计算、存储等服务方面处于领先地位。Amazon开发并提供了一系列云计算服务这些云计算服务共同构成了Amazon We
2、b Service(AWS)亚马逊 Amazon弹性计算云EC2简单存储服务S3简单数据库服务Simple DB简单队列服务SQS弹性MapReduce服务内容推送服务CloudFront电子商务服务DevPayFPS提供的服务主要包括of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo3.1.1 Dynamo概况3.1.2 Dynamo架构的主要技术of52云计算第三版配套PPT课件Dynamo概况3.1 基础存储架构Dynamo面向服务的Amazon平台基本架构为了保证其稳定性,Amazon的系统采用完全的分布式、去中心化的架构作为底层存储架构的Dynamo也同样采用了无中心
3、的模式Dynamo只支持简单的键/值(key/value)方式的数据存储,不支持复杂的查询Dynamo中存储的是数据值的原始形式,即按位存储,并不解析数据的具体内容6of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo3.1.1 Dynamo概况3.1.2 Dynamo架构的主要技术of52云计算第三版配套PPT课件Dynamo需要解决的主要问题及解决方案3.1 基础存储架构DynamoDynamo在设计时被定位为一个基于分布式存储架构的,高可靠、高可用且具有良好容错性的系统。下图列举了Dynamo设计时面临的主要问题及所采取的解决方案。问 题采取的相关技术数据均衡分布改进的一致
4、性哈希算法数据备份参数可调的弱quorum机制数据冲突处理向量时钟(Vector Clock)成员资格及错误检测基于Gossip协议的成员资格和错误检测临时故障处理Hinted handoff(数据回传机制),永久故障处理Merkle哈希树8of52云计算第三版配套PPT课件Dynamo的存储节点3.1 基础存储架构DynamoDynamo中的存储节点呈无中心的环状分布。preference listcoordinator存储与某个特定键值相对应的数据的节点列表执行一次读或写操作的节点通常,coordinator 是 preference list 上的第一个节点两个基本概念9of52云计算第
5、三版配套PPT课件Dynamo采用了分布式的数据存储架构,均衡的数据分布可以保证负载平衡和系统良好的扩展性。因此,如何在各个节点上数据的均衡性是影响Dynamo性能的关键问题。Dynamo中使用改进后的一致性哈希算法,并在此基础上进行数据备份,以提高系统的可用性。3.1 基础存储架构Dynamo数据均衡分布的问题数据10of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo数据均衡分布的问题一致性哈希算法是目前主流的分布式哈希表(Distributed Hash Table,DHT)协议之一,于1997年由麻省理工学院提出。一致性哈希算法通过修正简单哈希算法,解决了网络中的热点问题
6、,使得DHT可以真正地应用于P2P环境中。一致性哈希算法11of52云计算第三版配套PPT课件数据均衡分布的问题 一致性哈希算法平衡性 单调性分散性负载 两步进行:求出设备节点的哈希值,并配置到环上的一个点;接着计算数据的哈希值,按顺时针方向将其存放到环上第一个大于或等于数据哈希值的节点上;添加新节点时,按照上述规则,调整相关数据到新的节点上。删除节点和添加节点过程相反 of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo一致性哈希算法除了能够保证哈希运算结果充分分散到整个环上外,还能保证在添加或删除设备节点时只会影响到其在哈希环中的前驱设备节点,而不会对其他设备节点产生影响。一
7、致性哈希算法可以大大降低在添加或删除节点时引起的节点间的数据传输开销数据均衡分布的问题13of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo数据均衡分布的问题改进的一致性哈希算法Dynamo中引入了虚拟节点的概念每个虚拟节点都隶属于某一个实际的物理节点,一个物理节点根据其性能的差异被分为一个或多个虚拟节点。各个虚拟节点的能力基本相当,并随机分布在哈希环上。14of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo数据均衡分布的问题Dynamo将整个哈希环划分成Q等份,每个等份称为一个数据分区(Partition)在存储数据时,每个数据会被先分配到某个数据分区,再根据
8、负责该数据分区的虚拟节点,最终确定其所存储的物理节点。减小数据分布不均衡的可能性添加或删除设备节点时引起较小的数据传输数据分区的好处1215of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo数据备份在Dynamo中,每个数据的副本备份存储在哈希环顺时针方向上该数据所在虚拟节点的后继节点中。数据备份在存储数据的同时进行,会使每次写操作的延时变长。Dynamo中对写操作进行了优化,保证一个副本必须写入硬盘,其他副本只要写入节点的内存即返回写成功。每个虚拟节点上实际存储了分配给它以及分配它的前N-1个前驱虚拟节点的数据。思考思考:Amazon可以保证相邻的节点分别位于不同地区区域,即
9、使某个数据中心由于自然灾害或断电的原因整体瘫痪,仍可以保证在世界上其他数据中心中保存有数据的备份。这里就有一个非常重要的问题如何进行节点分布,保证相邻节点位于不同的数据中心?16of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo数据冲突问题Dynamo选择通过牺牲一致性来保证系统的可靠性和可用性,没有采用强一致性模型而采用了最终一致性模型。可靠性(Reliability)可用性(Availability)一致性(Consistency)分布式系统架构中通常考虑的三个因素由于Dynamo中可能出现同一个数据被多个节点同时更新的情况,且无法保证数据副本的更新顺序,这有可能会导致数据
10、冲突。17of52云计算第三版配套PPT课件数据冲突问题如 何 解 决18of52云计算第三版配套PPT课件3.1 基础存储架构DynamoDynamo中的向量时钟通过node,counter 对 来表示。node表示操作节点counter是其对应的计数器,初始值为 0节点每进行一次更新操作则计数器加 1数据冲突问题Dynamo中采用了向量时钟技术(Vector Clock)19of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo成员资格及错误检测由于Dynamo采用了无中心的架构,每个成员节点都需要保存其他节点的路由信息为了保证每个节点都能拥有最新的成员节点信息,Dynamo中
11、采用了一种类似于Gossip(闲聊)协议的技术20of52云计算第三版配套PPT课件成员资格及错误检测 lDynamo中每个节点就是一个Dynamo成员,为了使系统间数据转发更迅速,规定每个成员节点都要保存其它节点的路由信息l由于机器或人为因素,成员的加入或撤离时常发生,为了保证每个节点保存的都是最新的成员信息,每个节点每隔固定时间(1秒)利用一种类似于Gossip(闲聊)协议的方式从其它节点中任选一个进行通信。l连接成功,双方交换各自保存的信息(存储数据情况,路由信息)of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo成员资格及错误检测节点A节点B1保存的所有节点版本2比A中
12、新的节点信息3B索要的节点信息更新更新Dynamo中还通过Gossip来实现错误检测任何节点向其他节点发起通信后,如果对方没有回应,则认为对方节点失效22of52云计算第三版配套PPT课件成员资格及错误检测 l节点之间交换信息的过程中,如果节点失效,则会产生无效的传送信息,加重传输负担,Dynamo的错误检测机制:一旦发现对方节点无回应,则认为该节点失效,选择别的节点通信;同时定期向失效节点发消息,若对方有回应则重新建立通信。基于基于GossipGossip协议的最优传遍路径协议的最优传遍路径 of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo成员资格及错误检测为了避免新加入的
13、节点之间不能及时发现其他节点的存在,Dynamo中设置了一些种子节点(Seed Node)。种子节点和所有的节点都有联系。当新节点加入时,它扮演一个中介的角色,使新加入节点之间互相感知。新节点 1新节点 2种子节点ACB24of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo成员资格及错误检测自底向上每一层代表一次随机通信第一层节点1将信息交换给节点2第二层节点1和2同时开始随机选择其他节点交换信息直到N个节点全部传遍结论:Dynamo中的节点数不能太多Amazon采用了分层Dynamo结构来解决该问题假如一个新节点加入节点总数为N的系统,并以最优的方式传播,那么将新节点信息传遍
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 云计算第三版 计算 第三 Amazon AWS 专题 培训 课件
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【胜****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【胜****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。