XX证券期互联网金融投资者大数据平台建设方案汇报稿.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,XX证券期互联网金融投资者大数据平台建立方案汇报稿,XX证券期互联网金融投资者大数据平台建立方案汇报稿XX证券期互联网金融投资者大数据平台建立方案汇报稿目录124走进数据集中备份存储数据集中备份存储架构数据集中备份存储工程设计13数据集中备份存储特点与优势5,目录,1,2,4,走进数据集中备份存储,数据集中备份存储架构,数据集中备份存储工程设计,1,3,数据集中备份存储特点与优势,5,行业趋势,业务场景化,智能化,融合应用,前端应用数据,中台统计数据,后端清算数据,金融行业开展趋势,海量数据存储共享,行业应用整合,金融与,IT,技术融合,运维告警管理,故障自动替换,业务负载均衡,数据智能分析,数据集中备份存储系统简介,思迪数据集中备份存储系统,针对金融监控行业应用的专业级集中备份存储系统,Text,in here,集群化,虚拟化,离散存储,流式,数据结构,云架构,存储模式,数据备份存储,是否能针对金融数据特点和金融应用扩展做出面向应用的调整与优化,云 存 储,数据集中备份存储,针对金融数据存储的流式非构造化特点，以流式数据构造统创新地将数据存储、金融应用扩展与集中备份存储优势结合，灵活运用集群化、虚拟化、分布式存储等技术、改造和优化集中备份存储构造以满足大规模金融监控系统对集中备份存储效劳的需求,集中备份存储,通过软件运用集群技术、虚拟化技术、分布式存储技术将网络中大量各种不同类型的存储设备集合起来协同工作，共同对外提供数据存储和业务访问功能，适合通用的文件存储。,数据集中备份存储,数据集中备份存储概念,核心技术：,集群化,虚拟化,分布式存储,核心技术：,云核心技术,流式数据构造,金融应用融合,目录,2,4,走进数据集中备份存储,数据集中备份存储架构,数据集中备份存储工程设计,3,数据集中备份存储特点与优势,5,1,数据集中备份存储系统-逻辑架构,支,撑,应,用,管理层,接口层,机构本地设备层,存储层,应用层,集群管理,业务调度,资源管理,设备管理,索引管理,日志管理,容,量,整,理,机构存储设备,通过流式数据构造,将数据、数据、附属流写入存储设备,机构存储设备,机构存储设备,数据备份平台,数据监控应用,运维平台,提供标准、灵活的接口；,Web Service,接口、,API,接口、,Mibs,接口等,虚拟化存储资源池,设备层,接口层,标准、灵活的接口；,Web Service,接口、,API,接口、,Mibs,接口等,存储设备,存储设备,存储设备,数据集中备份存储系统-物理拓扑,本钱低,数据集中备份存储系统-数据流程,1、平台下发数据方案,管理节点集群,存储节点,存储节点,存储节点,全,域,虚,拟,化,存,储,资,源,告警效劳器,监控管理平台,集中备份存储系统,2、数据方案同步,中心管理效劳器,3,、数据接口直写存储,机构数据效劳器,负载均衡,分布式数据存储集群Hadoop,元数据存储,数据集中备份存储系统-数据存储流程,1,、平台向集中备份存储请求,并获取数据存储空间,2、数据接口,将数据写入接入效劳器,3、平台接入效劳器,将数据存入指定集中备份存储,管理节点集群,接入效劳器,监控管理平台,集中备份存储系统,中心管理效劳器,全,域,虚,拟,化,存,储,资,源,机构数据服务器,存储节点,存储节点,存储节点,负载均衡,分布式数据存储集群Hadoop,元数据存储,负载均衡,1,、平台下发回放请求,管理节点集群,告警效劳器,数据监控管理平台,集中备份存储系统,2,、集中备份存储返回数据,索引,中心管理效劳器,3,、存储节点推送数据,数据集中备份存储系统-下载流程,全,域,虚,拟,化,存,储,资,源,机构数据效劳器,存储节点,存储节点,存储节点,分布式数据存储集群Hadoop,元数据存储,数据集中备份存储系统,-,两大节点,数据集中备份存储管理节点,CVMN,数据集中备份存储存储节点,CVSN,内置数据集中备份存储管理软件CVM,可组建CVMN 管理集群，线性提升系统性能,负责整个系统的运行与管理，支持业务负载均衡、实时动态调整,支持双机HA和集群部署模式,内置数据集中备份存储存储软件CVS和数据集中备份存储接入软件CVA；,可支持主动数据、数据离散存储、并发读取，可提供高效的业务持续性效劳；,支持效劳器、控制器架构磁盘阵列；,支持16、24、36、48、60盘位磁盘阵列,数据集中备份存储系统,-,四大构件,数据集中备份存储接入软件,CVM(数据集中备份存储管理软件):,负责集中备份存储系统资源管理、索引管理、方案管理、策略调度。,CVS(,数据集中备份存储存储软件,),:,负责数据数据存储、读取、存储设备管理、存储空间管理。,CVA(数据集中备份存储接入软件):,负责数据方案执行、数据数据写入。,异构存储效劳软件,ASS(异构存储效劳)软件：,负责接入第三方iSCSI/FC 存储设备。,数据集中备份存储系统由CVM集群协同其它节点共同为用户提供优质效劳体验,数据集中备份存储管理软件,数据集中备份存储存储软件,数据集中备份存储接入软件,异构存储效劳软件,数据存储功能,相关数据,数据检索,数据上传,数据下载,数据标注,数据摘要,主动补录,冗余备份,运维管理功能,系统管理功能,集群化管理,虚拟化管理,存储空间管理,负载均衡管理,自动精简管理,分散存储管理,数据管理功能,数据方案管理 数据方案执行 移动侦测数据,事件数据 数据帧分析,系统信息获取,系统故障告警,存储设备告警,标准协议对接,数据存储功能,数据写入,数据压缩,HTTP,访问,数据锁定,数据删除,周期覆盖,数据集中备份存储5大根底功能,数据,运维,管理,传输,系统,数据集中备份存储-Smart IPC接入,数据集中备份存储系统支持与智能IPC无缝对接，支持数据流和智能流同步存储，支持快速智能检索，比方越界检测、区域入侵检测报警等相关应用。,Smart IPC,数据集中备份存储,客户端,存储节点,管理节点,存储节点,存储节点,管理节点,指定数据流,数据流,数据集中备份存储-智能补录,网络故障时。数据本地数据库本地保存。,网络恢复时，链路通畅，数据回传。,数据集中备份存储系统支持网络恢复后从前端存储卡或编码器获取链路中断期间的数据数据。,本地数据库,数据集中备份存储,存储节点,管理节点,存储节点,存储节点,管理节点,断网,本地,数据,补录,数据集中备份存储,文件合并,数据集中备份存储系统支持通过,文件,合并,技术，对历史数据,合并,后再存储，使存储空间大幅减少。节省空间高达,50%-70%,。,存储节点,存储节点,存储节点,已使用的数据资源池,使用空间减少,50%-70%,数据资源池,数据资源池,文件合并,数据集中备份存储云备份,通过云备份功能将同一份数据数据在集中备份存储系统内部异设备存储2次；,数据集中备份存储支持存储内备份和多存储藏份。,存储节点,A,存储节点,B,数据块,1,数据块,N,数据块,N,数据块,1,本地数据库,视,频,流,视,频,流,数据备份,原数据块,备份数据块,数据集中备份存储,-,运维管理,硬件运维,软件运维,实时监控,系统告警,监控效劳器、存储设备的CPU、内存、网络、磁盘、块设备、风扇、温度等状态。,监控软件模块运行状态、包括资源池的存储空间利用、前端的接入和数据情况。,动态更新当前系统的运行状况，提供管理依据。,当硬件故障、系统压力过大、软件资源消耗过大时，运维系统会采用实时语音,、邮件等方式告知管理员。,目录,3,4,走进数据集中备份存储,数据集中备份存储特点与优势,数据集中备份存储工程设计,1,2,数据集中备份存储架构,1,数据集中备份存储3大技术亮点,全面整合存储容量，始终对总容量进行管理和维护,可按照实际需求对总容量进行分配,针对业务调整，分配后的容量可以灵活的进行扩大和缩小,全域虚拟化技术,离散存储技术,虚拟化完成存储资源整和分配；,离散存储实现高并发和大吞吐的处理性能；,集群保证存储系统的高可靠性和平安性业务支撑；,流数据离散算法均衡切片，数据块分布式存储，奠定数据高效性的根底,降低单点故障数据的丧失概率和风险,以集群的响应方式，并发提供效劳，如高速的并发下载,高效集群技术,集群运行负载均衡算法，全面提升系统内设备利用率，均衡设备压力,集群根据前端数量变化、存储设备数量变化动态调整系统压力，保持业务的稳定和高效,N+M,系统级高可靠性和业务持续性，安全系数全面提升,虚拟化技术优点,数据集中备份存储全域虚拟化,.,全面整合存储容量，始终对总容量进展管理和维护。,可按照实际需求对总容量进展分配,针对业务调整，分配后的容量可以灵活的进展扩大和缩小,存储节点,数据块,存储资源池,创立数据池A,创立数据池B,创立数据池C,扩大数据池,缩小数据池,数据池,A,数据池,B,数据池,C,虚,拟,化,数据集中备份存储-虚拟化比照,虚拟资源池,集中存储环境中，前端数据与存储设备一一对应，存储位置固定。,集中备份存储环境中，前端数据与虚拟资源对应，与存储设备无对应关系，存储位置分散。,数据,数据,复原,集中存储,数据集中备份存储,数据,数据,集中存储,数据集中备份存储-虚拟化比照,管理复杂,修改前数据无法回放,虚拟资源池,集中存储环境需要多人维护，每台设备都需要进展独立管理；,集中备份存储环境中存储资源虚拟化后，只需要管理一个界面，类似管理一台设备；,数据集中备份存储,管理便捷,数据集中备份存储-离散存储,.,存储节点,数据块,存储资源池,数据池,离散存储优点,流数据离散算法均衡切片，数据块分布式存储，奠定数据高效性的根底,降低单点故障数据的丧失概率和风险,以集群的响应方式，并发提供效劳，如高速的并发下载,虚,拟,化,数据集中备份存储负载均衡-前端变化,存储节点,数据块,数据池,集群技术优点,集群运行负载均衡算法，全面提升系统内设备利用率，均衡设备压力,集群根据前端数量变化、存储设备数量变化动态调整系统压力，保持业务的稳定和高效,N+M,系统级高可靠性和业务持续性，安全系数全面提升,虚,拟,化,存储资源池,300,100,路数据前端,路数据,100,路数据,100,路数据,500,166,167,167,数据集中备份存储负载均衡-存储变化,存储节点,数据块,数据池,集群技术有点,集群运行负载均衡算法，全面提升系统内设备利用率，均衡设备压力,集群根据前端数量变化、存储设备数量变化动态调整系统压力，保持业务的稳定和高效,N+M,系统级高可靠性和业务持续性，安全系数全面提升,虚,拟,化,存储资源池,500,166,路数据前端,路数据,167,路数据,167,路数据,250,250,路数据,路数据,125,125,125,125,数据集中备份存储-集群容灾,.,存储节点,数据块,数据池,集群技术优点,集群运行负载均衡算法，全面提升系统内设备利用率，均衡设备压力,集群根据前端数量变化、存储设备数量变化动态调整系统压力，保持业务的稳定和高效,N+M系统级高可靠性和业务持续性，平安系数全面提升,虚,拟,化,存储资源池,数据集中备份存储,用户价值,节省投资,弹性扩展,存储资源按需分配,数据并发高速上传/下载,低投入高产出,系统可靠稳定，,屏蔽单多点故障,云运维管理,面向大数据融合,集中备份存储系统,用户价值,节省投资,文件数据和数据数据只需要一套数据集中备份存储系统；,数据集中备份存储系统不再需要流媒体效劳器、存储效劳器、数据应用效劳器；,数据集中备份存储,用户价值,弹性扩展,数据集中备份存储通过自身弹性扩展可适应由小到大，不同规模的监控系统；,弹性扩展过程系统运行、存储效劳不中断；,数据集中备份存储,用户价值,数据集中备份存储系统大数据支撑,数据集中备份存储系统以高并发的大数据吞吐率向云计算、智能分析系统提供预处理、根底运算数据单元；,数据集中备份存储,用户价值,目录,4,3,走进数据集中备份存储,数据集中备份存储工程设计,数据集中备份存储特点与优势,2,数据集中备份存储架构,1,数据集中备份存储设计步骤,集中备份存储套数,逐套集中备份存储设计,Click to add Title,FINISH,实际工程中受机房和网络环境的影响，选择采用一套集中备份存储或者多套集中备份存储,管理效劳器设计,存储设备设计,软件清单的设计,本地数据接口，决定管理备份数据效劳器的数量和型号,集中备份存储管理效劳器,集中备份存储存储设备,存储容量决定存储设备的数量,平均设备负载决定存储设备型号,软硬件清单,硬件清单由管理效劳器和存储设备组成,软件清单由硬件上集成的软件数量得出,数据集中备份存储设计步骤,设计原那么,机房情况,网络情况,存储所有设备集中放置，集中备份存储套数越少越好,一个机房部署一套集中备份存储系统，集中备份存储套数与机房数量一样,单个机房网络带宽需满足所有前端数据流传送到集中备份存储系统的带宽总和。,1,2,3,集中备份存储,套数,数据集中备份存储设计步骤,4,设计原那么,1000,路规模,前端本地数据接口,越多服务器数量越多、配置越高,数量：,2,台（双机,HA,部署）,型号：,IS-VSE2326X-FDA,4000,路规模,数量：,3,台（集群部署）,型号：,IS-VSE2326X-FDA,6000,路规模,数量：,5,台（集群部署）,型号：,IS-VSE2326M-GDA,3,1,2,4,集中备份存储,管理服务器,3,数据集中备份存储设计步骤,设计原那么,容量计算,存储设备型号和数量选定需要同时满足存储容量和存储性能的要求。,依据,数据集中备份存储容量计算工具,算出总容量和设备数量；,容量计算时需保证一定冗余，一般为,10%-25%,性能计算,单机并发数据性能 设备数量,全部前端数量；,推荐形态,数据项目：,16,盘位或者,24,盘位,数据项目：,16,、,24,、,36,、,48,、,60,盘位,1,2,4,集中备份存储,存储设备,3,数据集中备份存储设计步骤,设计原则,硬件清单,软件清单,1,2,3,软硬件清单,软件清单数量指的是集成在硬件上的软件数量,若软件清单各平台进行了定义，可按平台定义的方式列出,管理服务器台数,=N,；,存储设备台数,=M;,CVM=N,；,CVS=M,；,CVA=M(,数据项目,),；,数据集中备份存储硬件设备型号,IS-VSE2326X-FDA 1000,双机,4000,集群,两颗,6,核 内存,32GB 4,个,300G 15K SAS,盘,IS-VSE2326M-GDA 4000,以上 集群,两颗,8,核 内存,64GB 6,个,300G 15K SAS,盘,效劳器型号,存储设备型号,主推：,DS-A71024R-CVS,DS-A71036R-CVS,DS-A1048R-CVS,DS-A81016S-CVS,DS-A82024D-CVS,以图搜图专用：,DS-A72024R-CVS,DS-A2048R-CVS,集中备份存储工程清单下单前，请知会相应售前核对设备清单。,感谢收看 请多指点,谢谢！,