HP容灾技术培训.pptx

2007Hewlett-PackardDevelopmentCompany,L.P.Theinformationcontainedhereinissubjecttochangewithoutnotice容灾技术培训2AgendaXP容灾原理容灾系统架构及设计容灾系统日常维护容灾数据切换及恢复外挂存储3XP磁盘阵列容灾原理4ContinuousAccess(CA)ContinuousAccessXP（简称CA）是基于XP磁盘阵列的远程镜像软件。通过CA可以实现两台XP之间的实时数据复制。P-VOLS-VOLPrimary XPSecondary XPP-VOL=源数据卷S-VOL=目标卷MCU=MasterControlUnit，包含P-VOLRCU=RemoteControlUnit，包含S-VOLMCURCU5数据复制技术ContinuousAccessXPSync每一个写IO先后在主备阵列上写完以后才返回完成，数据零丢失两站点之间距离越远，写延时越长适用于两站点之间距离较近（通常小于30KM），且远程链路带宽较高（通常大于1Gb）的情况6数据复制技术ContinuousAccessXPAsync每一个写IO写入主阵列缓存即返回完成主阵列通过建立IO顺序表的方法向备阵列异步更新数据主阵列通过缓存（Sidefile）储存尚未发送给备阵列的数据写IO延时基本不受远程链路距离影响在链路带宽足够的情况下可实现数据接近零丢失需要通过参数设置的方式限制暂存数据对缓存的占用7数据复制技术ContinuousAccessXPJournal每一个写IO写入主阵列缓存并更新Metadata后即返回完成备阵列向主阵列发送请求，异步从主阵列读取数据主阵列通过Journal盘储存尚未发送给备阵列的数据，对缓存占用很少写IO延时基本不受远程链路距离影响合理设置Journal盘的容量可以最大程度保持数据传输的有序性8HP3DCSolution一、二中心之间通过ContinuousAccessSync方式进行数据复制，实现数据零丢失二、三中心之间通过ContinuousAccessJournal方式进行数据复制，实现远距离数据容灾在每个中心分别通过RaidManager主机进行管理和控制RaidManagerRaidManagerRaidManager9ContinuousAccess的控制方式在XP上安装CA软件，在访问XP的主机上安装Raidmanager软件。通过控制Raidmanager命令来管理CA的运行RAID Manager Instance 控制命令控制命令主机主机RAID Manager Instance控制命令控制命令主机主机P-VOLS-VOLP-VOLS-VOLFC网络网络SVPUDPCA软件CA软件IP网络FC连接FC连接MCUMCURCURCU10ConsistencyGroup(CTGroup)在异步模式下，CA通过ConsistencyGroup（简称CTGroup）来保证写入顺序的一致性。对于同一个CTGroup内的所有镜像卷来说，写入远程XP的顺序和写入本地XP的顺序是一致的。Data1Data4Data2Data3ApplicationData1Data2Data3Data4CacheData1Data4Data2Data3CacheData4Data3Data2Data11234SortPrimarySiteRemoteSiteAsynchronousTransferwithoutoforderrepaired(perconsistencygroup)Sortbysequencecontrolinformation11RaidManager(RM)RAIDManager（简称RM）XP是基于主机的软件包。通过RM可以从主机上使用命令行来控制XP镜像软件（包括ContinuousAccess、BusinessCopy等）的运行。Commands:pairdisplaypaircreatepairsplit.ConfigurationFileRaidManagerInstanceHostCMDDeviceXP12RaidManager在容灾系统中的应用/etc/horcm0.confInstance0Instance0/etc/horcm0.confCommandsP-VOLXPsoftware(CA)CmdDeviceLocalXPCommandshost1host2S-VOLXPsoftware(CA)CmdDeviceRemoteXPIPFC13RAIDManager配置文件/etc/horcm.conf:HORCM_MON#ip-addressservicepoll(10ms)timeout(10ms)132.33.34.11horcm010003000本机IP地址horcm进程监听端口号 轮询设置超时设置HORCM_CMD#dev_name/dev/rdsk/c11t15d7XPCMDDevice的设备文件HORCM_DEV#dev_groupdev_nameportTargetLunca-billbill01_01CL1-A00CTgroup名称镜像卷名称LUN所在的端口target号LUN号HORCM_INST#dev_groupip_address serviceca-bill132.33.34.11horcm0CTgroup名称对端RM主机IP地址对端RM主机horcm进程监听端口号14容灾系统架构及设计15方案概述本项目的目标是构建XX集团计费帐务系统的大连容灾系统。容灾中心选址在大连XX机房。数据复制机制选择基于存储级的数据复制软件ContinuousAccess/XP。容灾存储设备选择惠普公司的企业级高端存储设备XP10000。在容灾机房中配备了各子应用系统的容灾主机惠普公司的HP9000服务器。本项目实施完成后，根据目前应用系统在两台XP128上的部署，将实现北京机房的两台XP128到大连一台XP10000的实时数据复制。16本次项目复制数据范围业务分类卷组LDEV数量容量(GB)feevg010547649billvg01101472029busvg010641566colvg010320276mqvg01341dsfeevg010239538dsbillvg010226359dsbusvg010211152共计 3344609根据东软及网通集成公司的共同确认，本次容灾项目涉及的数据复制范围如下：17现有SAN环境18项目实施后的SAN环境19XP10000划分硬件配置硬件配置Cache:16GBCHIP端口：16个ACP：1对磁盘组：146GBx4x26（裸容量14TB左右）Cache划分划分五个业务系统共享16GBcache。磁盘组磁盘组OPEN-E。Raid级别采用RAID5（3D+1P）。LDEV IDLDEVID的分配采用disperse方式。20XP10000端口配置CHIP端口端口计费系统，MQ：2个CHIP端口帐务系统，采集系统：2个CHIP端口客服系统：2个CHIP端口端口用途端口用途CL1A计费系统，采集系统CL2A计费系统，采集系统CL3A帐务系统，MQCL4A帐务系统，MQCL5A(预留)CL6A(预留)CL7A(预留)CL8A(预留)CL1BCA-20917-CL1H,CA-20434-CL1HCL2BCA-20917-CL2D，CA-20434-CL2DCL3B客服系统CL4B客服系统CL5B(预留)CL6B(预留)CL7B(预留)CL8B(预留)21XP128及XP10000配置表22ContinuousAccess配置两台XP128到XP10000的CA配置的MCU-RCU关系如下：MCURCUPaths20917,CU083066,CU0,SSID4CL1HCL1B,CL2HCL2B20917,CU183066,CU1,SSID5CL1HCL1B,CL2HCL2B20434,CU183066,CU2,SSID6CL1HCL1B,CL2HCL2BMaximumInitialCopyActivity:4CU 0P-VOLCU 1P-VOLCU 1P-VOLS-VOLS-VOLS-VOLCU 0CU 1CU 2XP128-20917XP128-20434XP10000-8306623CTGroup规划业务分类卷组CTGroupfeevg0105ca-feebillvg0110ca-billbusvg0106ca-buscolvg0103ca-colmqvg01ca-mqdsfeevg0102ca-dsfeedsbillvg0102ca-dsbilldsbusvg0102ca-dsbus24RaidManager配置/etc/horcm0.confInstance0Instance0/etc/horcm0.confCommandsP-VOLCAc17t15d7/c21t15d7XP128-20917Commands132.33.34.11132.37.3.11S-VOLCAc12t15d7/c13t15d7XP10000-83066IPFCP-VOLCAc36t15d7/c37t15d7XP128-20434FC北京北京大连大连25RAIDManager配置文件-北京yz-col2:/etc/horcm0.conf:yz-col2:/etc/horcm0.conf:HORCM_MON132.33.34.11horcm010003000HORCM_CMD#unit0(20917)/dev/rdsk/c17t15d7 /dev/rdsk/c21t15d7#unit1(20434)/dev/rdsk/c36t15d7 /dev/rdsk/c37t15d7HORCM_DEVca-billbill01_01CL1-C25ca-busbus01_01CL1-B36ca-colcol01_01CL1-A83ca-feefee01_01CL1-A00ca-mqmq01_01CL1-B02ca-dsbill dsbill01_01CL1-E100ca-dsbusdsbus01_01CL1-F100ca-dsfeedsfee01_01CL1-E132HORCM_INSTca-bill132.37.3.11horcm0ca-fee132.37.3.11horcm0ca-bus132.37.3.11horcm0ca-col132.37.3.11horcm0ca-mq132.37.3.11horcm0ca-dsbill132.37.3.11horcm0ca-dsfee132.37.3.11horcm0ca-dsbus132.37.3.11horcm026RAIDManager配置文件-大连B35-RZDL-COL01B35-RZDL-COL01:/etc/horcm0.conf:/etc/horcm0.conf:HORCM_MON132.37.3.11 horcm0 1000 3000HORCM_CMD/dev/rdsk/c12t15d7 /dev/rdsk/c13t15d7HORCM_DEVca-billbill01_01CL3-A25ca-busbus01_01CL3-B00ca-colcol01_01CL1-A57ca-feefee01_01CL1-A00ca-mqmq01_01CL3-A215ca-dsbill dsbill01_01CL3-A186ca-dsbusdsbus01_01CL3-B51ca-dsfeedsfee01_01CL1-A83HORCM_INSTca-bill132.33.34.11horcm0ca-fee132.33.34.11horcm0ca-bus132.33.34.11horcm0ca-col132.33.34.11horcm0ca-mq132.33.34.11horcm0ca-dsbill132.33.34.11horcm0ca-dsfee132.33.34.11horcm0ca-dsbus132.33.34.11horcm027容灾系统日常维护28启动和停止RaidManager进程启动RM进程：horcmstart.sh0停止RM进程：horcmshutdown.sh029RaidManager常用命令-pairdisplay显示镜像卷状态显示镜像卷状态:pairdisplaygI0fxc#pairdisplaygca-billI0-fxcGroup PairVol(L/R)(Port#,TID,LU),Seq#,LDEV#.P/S,Status,Fence,%,P-LDEV#Mca-billbill01_01(L)(CL3-A,2,5)8306675.S-VOLPAIRASYNC,075ca-billbill01_01(R)(CL1-C,2,5)2091775.P-VOLPAIRASYNC,075Group：CTGoupPairVol(L/R)：镜像卷名称（L表示本地卷，R表示远程卷）(Port#,TID,LU)：horcm.conf里指定port/target/LUN号Seq#：XP序列号LDEV#：LDEV号（十六进制）P/S：LDEV属性（P-VOL或S-VOL）Status：镜像卷状态Fence：ASYNC表示为异步模式%：Status为PAIR时表示Cache占用，COPY时表示复制进度，PSUS/PSUE时表示两端LDEV尚未变化的数据量P-LDEV#：对端LDEV号30镜像卷状态SMPL：无镜像关系COPY：正在做初始化复制或正在恢复同步PAIR：镜像卷状态同步PSUS：镜像卷被用户断开PSUE：镜像卷由于链路异常被断开PFUS：镜像卷由于Sidefile占用超过Cache设定上限被断开31RaidManager常用命令断开镜像卷：断开镜像卷：pairsplitg-I0：断开镜像卷，S-VOL不可写pairsplitg-I0-rw：断开镜像卷，S-VOL可读写pairsplitg-I0-S：删除镜像关系pairsplitg-I0-R：强制从S-VOL一端断开镜像，用于灾难恢复恢复镜像关系恢复镜像关系:pairresyncg-I0c15显示显示CT Group状态：状态：pairevtwaitg-I0-nowait返回值：1-SMPL2-COPY3-PAIR4-PSUS（PFUS也表示为PSUS）5-PSUE该命令只有在CTGroup中所有镜像卷状态一致时才会正常返回。32维护脚本yz-col2和B35-RZDL-COL01主机上：/opt/dr/maintain_script/checkCA_status.sh：检查所有CTGroup的状态及Cache占用率/opt/dr/maintain_script/splitCA_all.sh：以读写方式断开所有CTGroup/opt/dr/maintain_script/splitCA_bill.sh：以读写方式断开ca-bill组/opt/dr/maintain_script/splitCA_fee.sh：以读写方式断开ca-fee组/opt/dr/maintain_script/splitCA_bus.sh：以读写方式断开ca-bus组/opt/dr/maintain_script/splitCA_col.sh：以读写方式断开ca-col组/opt/dr/maintain_script/splitCA_mq.sh：以读写方式断开ca-mq组/opt/dr/maintain_script/splitCA_dsbill.sh：以读写方式断开ca-dsbill组/opt/dr/maintain_script/splitCA_dsfee.sh：以读写方式断开ca-dsfee组/opt/dr/maintain_script/splitCA_dsbus.sh：以读写方式断开ca-dsbus组/opt/dr/maintain_script/resyncCA_all.sh：恢复所有CTGroup的镜像同步33大连容灾系统可能出现的故障大连容灾系统可能出现的故障现象及解决方法如下：故障故障现象现象解决办法解决办法RAIDManager进程异常执行RM命令报错重起两台RM主机的RM进程XP10000硬件故障大连XP10000前面板MESSAGE黄灯亮联系惠普响应中心解决XP128硬件故障北京XP128前面板MESSAGE黄灯亮联系惠普响应中心解决远程链路单路故障北京XP128前面板MESSAGE黄灯亮联系惠普响应中心确认故障，解决链路问题远程链路双路故障北京XP128前面板MESSAGE黄灯亮，且pairdisplay显示所有CTGroup均为PSUE联系惠普响应中心确认故障，解决链路问题后执行resyncCA_all.sh恢复CA同步XP128未更新IO超过Cache50%北京XP128前面板MESSAGE黄灯亮，且pairdisplay显示部分CTGroup为PFUS联系惠普响应中心确认故障，执行resyncCA_all.sh恢复同步34容灾数据切换及恢复35需要进行容灾切换的情形需要进行容灾切换的情形主要有：生产中心所属区域发生重大自然灾害生产中心机房受到严重破坏或长时间停电生产中心两个SAN网络全部故障生产中心XP128出现严重故障容灾演习36容灾数据切换流程检查容灾中检查容灾中心软硬件心软硬件检查容灾中心存储和主机硬件指示灯确认容灾中心集群处于运行状态断开镜像断开镜像在大连B35-RZDL-COL01主机上执行/opt/dr/switch_over_script/splitCA_all_R.sh，强制删除容灾中心一端的复制关系修改卷组属性修改卷组属性和数据库配置和数据库配置在各个主机上执行：/opt/dr/switch_over_script/vgactive_xxx.sh，/opt/dr/switch_over_script/dataconfig_xxx.sh/opt/dr/switch_over_script/vgdeactive_xxx.sh修改各个卷组的集群标志位，并修改数据库配置启动运行包启动运行包在各个主机上执行集群命令cmrunpkg，启动运行包业务接管业务接管数据切换完成，进入业务接管流程37检查容灾中心软硬件状态检查容灾中心主机及存储硬件确认Xp10000的MESSAGE（黄）和ALARM（红）告警等不亮确认主机告警等不亮确认SAN交换机无告警检查容灾中心集群状态在各台主机上执行cmviewclv确认所有节点状态为running，所有运行包状态为halted38断开镜像以root用户登录到B35-RZDL-COL01主机上执行：/opt/dr/switch_over_script/splitCA_all_R.sh断开镜像并将大连Xp10000上的数据置为可读写39修改卷组属性和数据库配置以root用户登录到各台容灾主机上激活卷组/opt/dr/switch_over_script/vgactive_xxx.sh修改数据库配置/opt/dr/switch_over_script/dataconfig_xxx.sh去激活卷组/opt/dr/switch_over_script/vgdeactive_xxx.sh40启动运行包以root用户在各台主机上执行cmrunpkgvn主机名运行包名cmviewclcmmodpkge运行包名主机主机IP运行包名称运行包名称B35-RZDL-NEU-BL01132.37.3.14billB35-RZDL-NEU-ACC01132.37.3.15feeB35-RZDL-WEB01132.37.3.10mqB35-RZDL-COL01132.37.3.11colB35-RZDL-HX-BL02132.37.3.22dsbillB35-RZDL-NEU-CUDB01132.37.3.18busB35-RZDL-HX-CUDB02132.37.3.19dsbus41容灾数据恢复（回切）流程检查生产中心检查生产中心软硬件软硬件启动运行包启动运行包激活生产中心激活生产中心数据数据修改卷组属性修改卷组属性和数据库配置和数据库配置业务接管业务接管正向数据复制正向数据复制停止业务停止业务数据备份数据备份重建反向镜像重建反向镜像HP设置临时设置临时双向链路双向链路HP恢复正向链路恢复正向链路HP42Metrocluster/ContinentalCluster43MetroCluster同城集群与MC/Service软件集成，实现同城数据中心之间（200公里）构建高可用集群与ContinuousAccessXP软件集成，实现生产中心和灾备中心之间的数据一键切换每个数据中心应配置同样数量的主机，并在第三中心提供QuorumSerivce支持自动或手动切换方式EthernetNetworkEthernet NetworkClients Up to 200 kmw/DWDM Data replication using CA XP,CA EVA,or EMC SRDF3rd LocationQuorumserviceProtectedinaseparateclusterDWDMDWDM(Site 1)(Site 2)DATA CENTER 1DATA CENTER 2(Site 3)44ContinentalCluster洲际集群实现两个远程集群（距离不限）之间的监控及切换与Metrocluster软件集成，实现生产中心和异地灾备中心之间的数据一键切换不支持自动切换，只支持手动切换Site 1Site 2ClientsFC-IPConverterIPNetwork(WAN/LAN)RouterRouterRouterRouterFC-IPConverter No Distance LimitationCluster 1Cluster 245案例：某船运公司3中心架构46客户需求及解决方案需要同时满足零数据丢失和防范大范围灾难的需求。HP3DCSolution数据传输方面需要使用两地之间已具备的IP网络，不再另行铺设裸光纤使用MPBlade配置FCoverIP，通过IP网络实现两地之间的容灾数据传输客户主要系统均为WindowsServer，要求实现自动化的容灾管理和切换。ClusterExtensionXP软件与微软集群进行集成，实现自动化容灾集群。47系统架构图48整体规划HK2为主中心，HK1为同城容灾中心，SZ为异地容灾中心HK2和HK1之间采用长波光纤直联，通过CASync方式进行数据复制HK2和SZ之间采用FCIP远程连接，通过CAJournal方式进行数据复制三个数据中心均有相应的服务器进行应用接管在HK2和HK1之间，以及HK2和SZ之间通过ClusterExtensionXP软件与MicrosoftCluster集成实现自动化容灾功能。49M公司3DC结构50M公司FCIP架构图VE_portVEX_portBackbone FabricEdge Fabric51ExternalStorage52ExternalStorageXPvirtualizationoverviewExternalStorageXPvirtualizesheterogeneousdiskarraysHostsconnectedtotheXP12000/10000seethecapacity,butnotthephysicalattributesoftheexternalarraysServersHP-UXWindowsLinuxTru64OVMSSolarisAIXHPMSAHPMSASANHPXPIBMESSDS4000HDS99009500HPEVAVirtualizationengine(XP10000/12000/SVS200)SANEMCDMXSymmetrixCX53ExternalStorageinternaloverviewExternalLUNsaremappedasXPvirtualdevices(VDEVs),logicaldevices(LDEVS),andhost-facingLUNsPorts(andCHIPMPs)arededicatedtoexternalarrayconnectionsThehostseesinternalandexternalbasedLUNsinasimilarwayIfnecessary,thehostcandistinguishexternalLUNsviaSCSIinquiry54ExternalStoragesolutionconnectivityForhigh-availability,thefollowingsetupisrecommended:AmatchedsetofonehostfacingCHIPmultiprocessor(MP)andonestoragefacingCHIPMPOneFibreChannelpathOneexternalarrayportOneexternalLUNWarning!Deviatefromthisonlyifyouclearlyunderstandtheramifications.XPCL-1XPCL-2Controller-A Controller-BFCSwitchFCSwitchFCSwitchFCSwitchApphostmpmpmpmpLULU123455PathmodesinexternalstorageMulti-pathmode(Active-Activemode)Useallpathstoperformreadandwriteoperationsbybalancingloads.Singlepathmode(Active-Passivemode)Useapaththathasthehighestprioritytoperformreadandwriteoperations.ThealternatepathacceptsI/O.Active-standbymodeUsethepaththathasthehighestprioritytoperformreadandwriteoperations.ThealternatepathdoesnotacceptI/O.HostRead/WriteLoad balance1HostRead/Write2HostRead/Write356MigrationfromEVAnativetoEVAviaXPexternalstorage1.划分XP到EVA的zoning2.划分XP到主机的zoning3.在EVA上创建指向XP的hostgroup4.在EVA上将Vdisk映射给XP端口5.在XP控制台上将EVAvdisk导入XP6.关闭访问关闭访问EVA的应用程序的应用程序7.在XP上将导入的LUN映射给对应主机的hostgroup8.在SANswitch上删除EVA到主机的zone9.在主机上修改配置指向XP所对应的路径10.启动应用并确认状态11.在EVA上删除指向主机的映射关系57配置CAJournal和ExternalStorage时应注意的要点CAJ：1.JournalPool规划2.CHIP端口规划3.CTGroup划分4.容灾链路的考虑5.SAN整合ES：1.前端CHIP端口分配2.后端CHIP端口分配3.Cache使用4.主机映射关系修改Thanks!