某人寿保险IT系统基础架构容灾经验分享.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,xx,人寿,IT,系统基础架构,容,灾经验,分享,XX,人寿保险股份有限公司系,1996,年,8,月,22,日经中国人民银行总行批准成立的全国性、股份制人寿保险公司。,截至,2012,年，,XX,人寿总资产超,4100,亿元，净资产近,210,亿 元，在全国设立了北京、上海、湖北、山东、广东等,35,家分公司，各级机构超,4200,家，构建起完整的服务网络为客户提供及时和周到的服务，累计为,2776,万个人客户和,25,万机构客户提供过服务，累计理赔客户,927,万人次，累计理赔金额,99,亿元。,XX,人寿旗下拥有,XX,资产管理有限责任公司、,XX,养老保险股份有限公司和,XX,之家投资有限公司。,XX,资产是国内资本市场大型机构投资者之一，受托资产管理总 规模超,4600,亿元，综合投资收益率居于行业前列。,2012,年，,XX,人寿和,XX,资产分别通过,“,保监会不动产投资能力和投资计划产品创新能力备案,”,，成为,保险资金投资不动产暂行办法,实施以来，行业内第一批取得不动产直接投资、不动产金融产品设立与发行双重资格的保险集团化公司。,未来，,XX,人寿将坚持专业化经营，深耕寿险产业链，为广大客户提供,“,从摇篮到天堂,”,持续一生的全方位金融保险服务，致力于让保险更便捷、更实惠，让,XX,人寿成为人们生活的一部分。,客户,简介,1.,客户急需解决的问题与需求,2.,什么是容灾,3.,容灾方案的选择,4.,容灾技术,5.,数据远程容灾软件,6.,容灾演练,客户需求,ECM,系统作为,XX,人寿重要的在线业务支撑系统，为一线业务人员提供在线的电子文 档、电子保单等服务。,主数据中心：金融街数据中心，运行所有重要系统的核心机房，满足所有重要系统的数据备份、恢复需求。,ECM,系统是金融街数据中心中最重要的系统之一。在,2008,年部署了,EMC,与,HDS,存储，作为高速存储负责,OLTP,事件型,oralce,数据库核心并且同时存放海量影像文件。为,ECM,系统提供了一个高性高效率能的存储池。,由于现在地址灾难和各种火灾停电等因素造成只有一个数据中心的,xx,人寿数据安全性相对较低，而随着国家法律法规对于金融保险行业的要求，在同城建设数据容灾中心成了重中之重的任务。,规划本地容灾中心：亦庄容灾数据中心，满足,ECM,系统的本地数据级容灾需求，通过,40Mbit,带宽传递容灾数据（每天的新增数据,），实现,了数据级容灾,。,同时由于本套系统为客户的核心业务数据库存放的系统，所以在保障数据安全性的前提下对存储系统的性能有很高的要求，不能因为部署容灾中心增加了容灾传输的性能压力后就影响当前的客户数据正常访问。,客户,现状,金融街数,据中心,主业务存储,主,机群集,主,机群集,主,机群集,主业务存储,性能情况,什么是容灾,容灾备份系统就是防止意外情况而采取的一种解决方案，其目的只有一个，那就是保证数据安全。,根据,Disaster Recovery Jounal,的调查表明，在受到灾难袭击的,5,个公司中，将有,2,个公司无法从灾难中重新开始工作。而那些即使是重新开张的公司中，也将有至少,1,个将在两年后关张,建设容灾系统的目的就是保护所有的业务数据，,保证业务的连续性,什么是业务,连续性,业务持续性（,Continuous Business,）,=,保证业务的稳定,保证企业可以面对计划的和意外的事件发生的时候继续维持运作,受到对下面两个方面的理解的驱动,业务影响：考虑如何避免对商业的影响,业务流程与风险：考虑计划和意外事件发生时的情况,数据的可用性保护只是操作灵活性的一部分，最终的解决方案将会围绕着其它方面（例如人员、流程和架构等）,(,恢复策略,),Backup,策略,Replication,策略,Geo Cluster,Synchronous Replication,Asynchronous Replication,DB log,性价比,What about,Application availability,and business access availability,Application,Data,Business Access,CMCC,运营方式,技术难度,业务恢复速度,维护,人员要求,资源复用,主备中心,相对简单,慢,相对简单,相对不高,较低,双 中 心,相对复杂,快,相对复杂,相对较高,较高,两种方式,同城容灾,远距离容灾,灾难抵御种类,较少,较多,对用户服务的连续性,较差,较好,网络组织难度,较容易,难度较大,技术复杂度,较容易,难度较大,容灾中心技术支持,较好,较差,人员组织,较容易,难度较大,项目管理协调难度,低,高,工程投资,较低,较高,运营成本,较低,较高,建设周期,较短,较长,两种方式,同级设备容灾,主机处理能力与生产中心相等,存储设备与生产中心配置相等,容灾中心系统可靠性与生产中心设置级别相当，如主机集群等,投资高，与生产中心平台投资接近,降级设备容灾,主机处理能力低于生产中心,存储设备配置低于生产中心,容灾中心系统可靠性低于生产中心设置级别，如不考虑主机集群等,投资低于同级规模,CMCC,设备配置策略,存储级,数据库级,(Oracle),IPStor,第三方软件,(VVR),LVM(VxVM),数据复制策略,Recovery-time Objective(RTO),多长时间内关键应用必须恢复,我能承受多长时间宕机,?,Recovery-point Objective(RPO),哪一个时间点之前的数据必须被恢复,我能容忍多少数据丢失,?,被选定的切实可行的灾难恢复方案必须基于成本和恢复时间的平衡,如果我花费多一点，我的恢复过程会快多少,?,如果我花费少一点，我的恢复过程会慢多少,?,预定的恢复目标决定相关解决,方案,需要对中心机房所有的主机系统都有进行改造，改为使用,VERITAS VOLUME MANAGER,。而这种方式需要把,IBM,主机上的,VG,信息都铲掉，即所有的数据库都要首先备份到磁带库上，然后把,IBM,主机的卷管理软件改为,VERITAS VOLUME MANAGER,，然后重建,VG,，再把数据从磁带库上恢复出来。,系统风险极大！在实施阶段很容易造成现有系统的不稳定、数据丢失,项目实施周期长，并且需要每个业务主系统都要多次停机，社会影响较大,VERITAS VVR,通过主机实现，对主机系统和应用系统影响较大,性能不可预测、难于优化、需要在每台主机上都进行配置和优化,如果采用,VERITAS VVR,解决方案，需要对生产中心的,8,台,IBM,主机、将近,20,个分区、容灾中心将要购买的所有主机和分区都要进行改造，工作量可想而知！,如果进行软件升级，则所有的主机则都要重新调整，不但工作量大，而且风险高！,如果采用,VERITAS VVR,解决方案，将来的新建系统都要进行相同的工作，工作量很大,VERITAS VVR,是按照,CPU,个数计算,LICENSE,，成本不菲,而采用,IBM,硬件容灾方案，是与主机无关的；如果采用,IBM,存储解决方案，那么只对,2,台存储进行操作。将来微码升级、系统配置也只针对,2,台存储。,软件解决方案,HDS,虚拟化方案,IBM,方案,方案复杂度,复杂,简单,实施复杂度,复杂,简单,实施风险,在生产端要把,EMC DMX3000,虚拟化，需要把主机映射关系重做,小,是否适合大型数据库,不适合，目前来看虚拟化方案仅适用于文件系统应用,适合,对整体系统性能影响,对,EMC DMX3000,的每一次访问都要通过,USP,机头，对系统性能影响可想而知,无影响,软件维保成本,每年需要维保成本，标准配置无现场服务；如需现场服务，需额外购买,软件维保随存储硬件设备提供，不增加额外成本；,IBM,提供现场服务,容灾成功案例,较少,很多,对集成商的工作影响,大,小,硬件解决方案,Synchronous Remote Replication,同步复制,实时镜像，数据同步,系统快速恢复，最少数据丢失,理论极限值,100km,，距离越长，时延越大,高带宽需求（,I/O,峰值计算）,对生产端,I/O,响应时间冲击,备份端存储处理能力要求足够好,否则会连累生产端，导致宕机,Cache,、,Destaging,Synchronous,1-Write to primary,2-Write to secondary,3-Write complete on secondary,4-I/O Completion,1,生产主机,可以无需备份主机,3,4,2,100,公里,P-VOL,S-VOL,同步数据复制的理想条件,网络带宽,光纤,1000Mb/s,ATM 622Mb/s,距离,10,公里，最长不超过,30,公里,The Rolling Disaster.(IBM,4/8/94),“Except in a total disaster,(explosion,earthquake),you should NEVER expect your entire system,to fail at the same moment.Failures will,be intermittent and gradual,and the disaster will,actually occur over many seconds,even minutes,This is the Rolling Disaster”.,除了地震，爆炸等完全毁灭性灾难外，你根本不可能碰到系统同时瘫痪的情况。故障总是间断的，渐渐的累积起来的，整个灾难的过程会持续数秒钟，甚至几分钟，这就是我们所谓的,Rolling Disaster,。,同步方式的挑战,:Rolling Disaster,Rolling Disaster,数据保持,I/O,的一致性,数据结构可能被破坏，数据不可用,第一波故障,灾难结束计算终止,Corruption can occur,保证数据一致性和完整性,Timestamp,write sequencing,Consistency group,最小的响应时间冲击,低带宽（平均,I/O,计算）,很少的数据丢失,没有,0,数据丢失,Asynchronous,1,生产中心,容灾中心,Primary Host,3,4,2,1-Write to primary,2-I/O Completion,3-Write to secondary,4-Write complete on secondary,任何距离,S-VOL,P-VOL,Mainframe VSE,VM,OS390,IBM AIX,Sun Solaris,HP-UX,TRU-64 and VMS,Win2K/WinNT,Asynchronous Remote Replication,异步复制,容灾方式的采用,同步容灾的理想条件,距离,30,公里,两地有光纤连接或者,622Mb/s ATM,异步容灾没有距离限制,在实际银行、电信的应用中，同步容灾对联机事务处理类的业务会增加响应时间，对批处理业务处理速度也有很大的影响,技术的选择是性能，投资和,RPO,等指标的平衡,应用,级容灾，需要针对容灾对应用做出相应的调整,cache,5 nanoseconds/m speed of light in Fiber,2 microseconds/switch,up to 1 ms write into cache memory,up to 30 ms write to back-end disk,时延考虑,=1ms,1,000 IOPS for,local write to cache,synchronous considerations,cache,cache,write IO,complete,5 s/m,2 s/switch,1 ms cache write,+0.3ms cache read,remote link latency,1 ms cache,write,=2.3ms,435 IOPS 0km,100km FC direct1ms(ROT),DWDM250s/dev,FCIP Europe19ms,FCIP trans atlantic81ms,FCIP NorthAmerica44ms,FCIP Sing.US210ms,=3.3ms,303 IOPS 100km,=83ms,12 IOPS IP London-NY,数据远程复制软件,移动,BOSS/BAS,系统容灾,(,原有系统,),CRM,计费 结算 营业 帐务 经营分析,DB2 OLAP,数据挖掘,SAN,经营分析系统,SAN,SAN,DWDM,钦洲北路机房 金桥机房,关于容灾链路的问题,目前情况看，容灾链路主要有以下方式,将长波口放置在大交换机上（湖南、上海移动）,将长波口放置在小交换机上,大、小交换机不互联（辽宁移动、江苏移动）,大、小交换机互联（,ISL,）,容灾链路到底需要多少对光纤需要采集现有生产系统的数据,对现有生产系统进行先期优化非常重要,如果没有裸光纤，那么可以通过,SAN Router,，把,FC,转换为,IP,，但只能走异步容灾方式,容灾链路的容量,具体情况、具体分析,EMC,有,ET Wizard,工具协助进行容灾规划,需要收集数据、统计数据变化率，主要影响写操作的响应时间，估算最大写吞吐量。通过数据分析工具可以得出每秒的写操作,IO,数和写操作,IO,量（,MB,）,现有系统的容量规划非常重要，,ET Wizard,会根据时间间隔分析每个,LUN,的,IOPS,变化情况，然后分析该,LUN,上的,SRDF,同步写对系统性能的影响,不同距离、不同存储类型、不同微码、不同,Block Size,大小,根据经验,，两边,都是,IBM,存储,、,5771 code,、,32KB Block Size,、,20,公里内，,RDF,单,链路可,承载的,IOPS,为,3200,左右（吞吐量为,32KB*3200=102.4MB/s,）（,最近湖北移动的实施中，RDF单链路初始同步速率达到60MB，此时I/O SIZE 为32K，接近2000IOPS，故在正常生产中可达到更高,）,IBM,解决,方案,建设容灾系统我们所关心的问题,业务需求的,SLA,、特定应用系统的,RTO,、,RPO,、,KPI,IT,蓝图整体系统架构,鲁棒性、灵活性,与最佳实践经验差距分析,数据恢复、容灾切换、回切流程,业务连续性包含更广的内容,主动性更强,业务连续性流程,危机管理,人力资源管理,IT,系统恢复,一石激起千层浪,易于使用,提高能源效率,以信息为中心的保护,投资保护,IBM,拥有最完善的存储产品线,DS8000,DS4000,DS3000,DS6000,DS5000,2009,更可靠,DS8000/XIV/DS6800/SVC,电源、接口、数据均冗余；,XIV,划时代全新体系结构；,DS8000,支持三点容灾；,DS6800,、,DS800,支持,System Z,更绿,支持异构环境的虚拟化,SVC,和,NAS,网关；,配合,SATA,磁盘更绿色；,支持,Thin Provision,精简配置；,更经济,DS3200/DS3300/DS3400,更具价格优势,面向,System X,的存储,N,系列存储，基于,IP,的容灾建设,支持,SAS/FC/SATA,磁盘,更快,DS8000,最高,490,万,IOPS;,SVC,的,SPC,性能优异；,DS4800+GPFS,适合,HPC,应用；,DS5000,高达,70,万,IOPS,；,DS5000,最高吞吐率,6400MB/s,；,DS8000 XIV,SAN Volume Controller,多种类型,访问需求,异构环境,虚拟引擎,高端服务器,向外扩展,向上扩展,向外扩展,通用,存储,DS3000,DS4000,DS5000,N,系列,IBM,磁盘存储定位,DS,高级拷贝服务技术,Primary,Site A,Metro,Site B,Out of,Region,Site C,Metro/Global Mirror,Three site synchronous and asynchronous mirroring,Available on:,DS8000,ESS,N Series,FlashCopy,Point in time copy,Available on:,DS8000,DS6000,ESS,SAN Volume Controller,DS4000,N Series,Within Storage System,Out of,Region,Site B,Primary,Site A,Global Mirror,Asynchronous mirroring,Available on:,DS8000,DS6000,ESS,SAN Volume Controller,DS4000,N Series,Primary,Site A,Metro distance,300km,Site B,Metro Mirror,Synchronous mirroring,Available on:,DS8000,DS6000,ESS,SAN Volume Controller,DS4000,N Series,39,IBM DS8000,创新的革命,创新延续了,DS8000,世界级的性能，提供绿色存储,POWER 5+,处理器,支持,4,900,000 IOPS,，业界第一,支持固态硬盘,性能提升,8,倍！,存储池条块化,新增卷配置选项可以无须特别优化即可获得最大性能,AMP,领先的缓存专利技术可以显著地提高性能（成倍提高,RAID 5,的性能），减少备份时间、商业智能,/,数据仓库的处理时间、流媒体、以及批量处理,Z/OS,全球镜像多线程读,IBM,独有的创新技术可以提高,Z/OS,远程镜像的性能,业界目前唯一的支持磁盘加密功能的厂商,支持重复数据删除,创新以简化并提高效率,IBM FLASHCOPY SE(SPACE EFFICIENT),可以通过减少容量来减少成本，更少的磁盘、更少的能耗、更,绿色,DYNAMIC VOLUME EXPANSION,更简单、在线、卷扩展来支持发展,SSL,-,新的安全性连接协议选项，为回拔支持额外的审计记录,IBM SYSTEM STORAGE PRODUCTIVITY CENTER,增强的用户管理图形化界面，支持单一的管理平台管理多台,DS8000,设备,混插磁盘,提供内部层次化存储,分区（,LPAR,）,-,扩展性能与性能的完美结合，相对单一存储提高,TCO,创新与服务器协作以提高数据中心效率,IBM DS8000 运行 DB2 和 AIX 在 IBM SYSTEM PTM 平台上可以支持统一的自动化功能和集成的有效性和性能,更有效地利用,P,服务器与,DS8000,中的缓存，可以提高整个系统的性能而无需增加管理的复杂,DS8100,DS8300,DS8300 with up to four Expansions,Processor,pSeries POWER5,2-way,4-way,4-way,Cache,16 to 128 GB,32 to 256 GB,32 to 256 GB,Expansion Rack,Yes(1),Yes(2),-,Host Adapters,4-port Fibre Channel/FICON(2 Gb),2-port ESCON,2 to 16,2 to 16,2 to 32,Device Adapters,2 to 12,2 to 12,2 to 12,Drives,145GB,300GB,450GB(15,000 rpm FC),500 GB(7200 rpm high capacity drives),16 to 128*,(Increments of 16),16 to 128,(Increments of 16),16 to 1024,(Increments of 16),Physical Capacity,1.1 to 58 TB,1.1 to 58 TB,1.1 TB to 460 TB,Power,Single-Phase,or,Three-Phase,Three-Phase,Three-Phase,Dimensions,Height x Width x Depth,Footprint,76 x 33.25 x 43 in,9.93 sq.ft.,76 x 33.25 x 43 in,9.93 sq.ft.,76 x 66.5 x 43,19.86 sq.ft.,DS8000 Turbo Hardware Overview,DS8300 Turbo(4-Way with four expansion frames),Up to 1024 Disks,I/O Drawers,Batteries,Power Supplies,p5(POWER5+)Servers,HMC,设备,性能测试,9 Flash Disk(1 spare)+136 15KRPM FC Disk(8 spare),All disks is 146G.,亦庄容,灾数据中心,金融街数,据中心,备份系统扩容与升级方案,昌平数据中心,业务以太网,主业务存储,主,机群集,主,机群集,备份,服务器,存储网络,双冗余核心,存储交换机,主,机群集,主,机群集,容灾,存储,备份磁带库,远程,镜像,容灾演练测试,测试一,正常情况下，容灾系统切换（,Failover,）测试,测试目的,:,检验正常生产情况下，系统,通过自动,实现生产中心,R1,盘组与容灾中心,R2,盘组之间的实时数据同步复制功能，并且后者盘组的数据为可恢复的,Oracle,数据。,测试二,容灾系统切换后系统的回切（,Failback,）测试,测试目的,:,检验容灾系统在正常切换后，系统能够回切，即：回复至系统初始状态。（将容灾中心,R2,盘组的增量数据反向更新至生产中心,R1,盘组）,测试三,使用中,的链路,突然中断情况下，系统的状态,测试目的,:,检验在使用中,的链路,突然中断的情况下，系统在容灾中心的,R2,盘组的数据仍为可恢复的,Oracle,数据。,链路,恢复后，,R1,、,R2,盘组的再同步为增量数据同步,测试方法：通过手工突然中断使用中的,所有链路,模拟链路灾难。,测试四,单,链路故障测试,测试目的,:,检验容灾系统在正常运行时，当两,条链路,中的任意一条发生故障，数据的远程同步镜像仍旧可以进行。,