大数据产品测试方法论.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,#,大数据产品测试方案,联通系统集成有限公司,研发背景、意义,1,测试范围及环境,2,目录,测试方案,3,测试厂家要求及已测试功能,4,3,本,次测试面向不同厂家的,hadoop,产品，从不同纬度对厂家产品功能、性能进行验证，得出验证结果，并针对,DW2.0,平台规范中提出的一些功能进行技术验证，对,hadoop,产品选型提供可靠依据。,背景,研发背景、意义,1,测试范围及环境,2,目录,测试方案,3,测试厂家及测试功能,4,5,Hadoop,通用平台功能要求,Hbase,及相关,API,组件,数据高可用,region,迁移,客户端读写,API,接口,数据压缩,数据有效期,基于,Hbase,的,MR,作业引擎,线性扩展,容错,Hive,组件,异构数据源互通工具,Hadoop,平台功能增强功能要求,SQL over Hadoop,作业引擎,Hadoop,数据生命周期管理,Hadoop,安全,HDFS,级安全控制,客户端接入安全控制,Hadoop,活动监控及审计,Hadoop,安全策略,Hadoop,安全报告,Hadoop,数据隐私管理,提供,LDAP,或者,LDAPS,进行授权访问,Hadoop,性能与兼容性增强,Hbase,索引,HDFS,读写能力增强,支持,Hive,调用外部,MapReduce,脚本,Hive,关联查询增强,MapReduce,性能增强,支持大规模索引和搜索构建框架,POSIX,兼容性支持,小文件支持改善,提供高级文本分析功能,中文和英文的文本分析，非结构化文本的读取、分词、特征选择、信息抽取、自动摘要和舆情分析等,平台维护及资源监控,Hadoop,集群的可视化监控,测试范围,功能性,测试列表,6,测试方法,功能测试方法,采用手工测试的方法，分别对,hadoop,平台的基本功能和,hadoop,及,其组件增强功能进行功能验证，并形成厂家产品的功能验证结果对比。,性能测试方法,分别,将测试数据文件(1T)从本地加载到hdfs,，,hbase,及,hive中，记录数据加载速率。,并分别对,hdfs,的数据文件进行运算以及对,hbase,和,hive,中的数据进行查询,，记录运算及查询速度。,结果正确性校验,针对大数据平台的运算结果可能出现偏差，所以需要对平台的运算结果进行正确性校验，校验方法为，提供一部分测试数据，并将测试数据分别导入到关系型数据库（,oracle,）以及待验证平台中，然后进行相同的查询，将平台得出结果与关系型数据库得出的结果进行比对。,7,测试数据描述,本次测试使用数据统一采用移动上网用户记录其中一省的数据，通过,FTP,进行采集，每天数据量大约,250G,左右，连续采集,15,天数据，数据总量,3.5T,。数据,共一类数据，本次验证需要的原始数据以文件形式存在，数据文件字段内容如下：,1,手机号码,不包含字冠如+86,0086，86,14,访问IP,通信对端IP地址，没有IP信息的填空，对于有多个IP的业务，输出合并的流量记录，访问IP只填第一个IP,2,位置区编码,省分区域编码,15,状态码,业务状态码字典表,，对于合并的记录，状态码有多种的情况，取第一个状态码，避免合并记录状态码叠加的情况（如200+201+202）。,3,CI号码,当有网络切换时，选择第一个CI,16,User Agent,采集全部信息,4,终端类型,IMEI,17,APN,如3gwap,3gnet,uniwap,uninet,cmwap,cmnet,5,流量类型,流量类型,18,IMSI,6,开始时间,YYYY-MM-DD HH:MM:SS.1234567，精确到0.1微妙,19,SGSN IP,SGSN的IP地址，填接入第一个,7,结束时间,YYYY-MM-DD HH:MM:SS.1234567，精确到0.1微妙,20,GGSN IP,GGSN的IP地址，,8,持续时长,以秒为单位,21,内容类型,Content-Type,9,上行流量,以bytes为单位,22,源端口,10,下行流量,以bytes为单位,23,目的端口,11,总流量,以bytes为单位,24,记录标识,0：表示未合并且未分割的记录；1：表示合并过且未分割的记录；2：表示未合并但是分割过的记录；3：表示合并过且分割过的记录；,12,网络类型,RATType取值为1代表3G;2代表2G,25,合并记录数,记录标识为1,3时，本字段表示合并的记录数目；当记录标识为0,2时：本字段为空,13,终端IP,用户每次请求和应答的IP地址,26,网址/特征信息,对于具备URL/URI的业务填充URL/URI信息，,不携带的业务填充特有信息,8,集成公司提供的环境,(,千兆交换机,),演示,平台采用,Hadoop,技术架构实现数据的存储和,应用,查询功能，整个平台包含,FTP,入库系统,、基于,Hadoop,架构的数据存储系统,、统一作业管理、,ETL,作业引擎、互联网行为分析应用，提的戴尔,C6100,服务器,10,节点，典型配置如下：,磁盘容量：,106TB=60T,网络接口：,1GBps,内存：,36G,CPU:28=16Cores,研发背景、意义,1,测试范围及环境,2,目录,测试方案,3,测试厂家及测试功能,4,1,、功能性测试方案,2,、性能测试方案,2,、高可用性测试方案,3,、可扩展、安全性测试方案,10,功能性测试方案,一、,产品兼容组件,验证厂家,hadoop,产品兼容,hadoop,家族组件和具体版本，形成对比列表,HDFS,MapReduce,Spark,Hbase,Hive,Sqoop,Zookeeper,二、,组件功能增强,增强功能测试项,HDFS,功能增强,数据压缩比,小文件支持,API,的支持,数据生命周期,HBASE,二级,/,多维索引,数据生命周期,Region,迁移,数据压缩,数据均衡,客户端读写,API,接口,HIVE,对,sql,支持程度,查询优化,oracle,函数支撑,关联查询增强,Hive,调用外部,MapReduce,多租户开放式作业,MR,作业引擎,作业用户鉴权管理,作业开发、服务以及发布管理,作业开发的自动化部署,数据存储（,HDFS,稳定版本软件）,ETL/MR/,类,SQL,作业调度,全作业过程可视化监控,作业资源优化控制管理,11,性能测试方案,分别将测试数据文件,(1T),和,数据库中的测试数据,(7000,万条,),加载到,hdfs,，,hbase,及,hive,中，记录数据加载速率。并分别对,hdfs,的数据文件进行运算以及对,hbase,和,hive,中的数据进行查询。,用例描述,结果,数据入库,1T,数据文件分别加载,hdfs,、,hbase,、,hive,中,数据加载速率,数据库,7000,万条数据分别加载到,hdfs,、,hbase,、,hive,中,数据加载速率,数据加工,Mapreduce,：,根据手机号分组，获取流量总合。按流量总合倒叙排列,加工耗时,Mapreduce,：,根据,app,应用分组，获取流量总合。按流量总合倒叙排列,加工耗时,Hbase:,查询任意手机号码所有上网记录,加工耗时,Hbase:,查询任意手机号码所有上网记录并按时间过滤，取时间最近的,100,条,加工耗时,Hive:,获取地市大流量客户（总流量在,500M,以上）以及消费的总流量，并以总流量大小的倒序排列,加工耗时,获取地市最受欢迎的前,50,个,app,应用，及消费流量总和，并以总流量大小倒序排列,加工耗时,获取联通上网用户终端机型排名列表，同时列出该机型用户数量,加工耗时,获取用户流量的时段分布列表。,加工耗时,数据出库,指定的测试数据,(1T),从,hdfs,导出到本地,数据导出速率,指定的测试数据,(7000,万条,),从,hive,导出到关系型数据库,数据导出速率,12,高可用性测试方案,用例描述,非结构化存储节点引擎可靠性测试,主元数据节点故障测试,备主元数据节点故障测试,存储节点故障测试,存储节点网络故障测试,存储节点单磁盘故障测试,并行计算引擎可靠性测试,主作业调度节点故障测试,任务执行节点磁盘故障测试,结构化存储引擎可靠性测试,元数据服务器故障测试,NoSQL,存储引擎可靠性测试,控制节点故障测试,存储节点故障测试,存储节点磁盘故障测试,存储节点网络故障测试,易安装测试,安装部署,可维护性测试,日志管理,性能检测,故障管理,图形用户界面,网管性能状态信息测试,网管告警信息测试,13,可扩展性、安全性测试方案,用例描述,节点水平动态扩展,新加节点能够动态加入集群，正常添加了,HDFS,、,YARN,、,HBase,等角色,性能可扩展,数据分析相应时间测试,吞吐能力测试,NoSQL,并发能力测试,动态扩展测试,非结构化存储节点动态扩展测试,并行计算节点动态扩展测试,NoSQL,引擎节点动态扩展测试,当大数据平台性能遇到问题时，是否能够横向扩展，通过添加服务器的方式达到更高的吞吐量，从而充分利用现有的硬件实现更好的投资回报率,用例描述,数据加密测试,检测系统是否对数据进行加密保存,数据隔离测试,检测系统是否对数据进行用户隔离保存,研发背景、意义,1,测试范围及环境,2,目录,测试方案,3,测试厂家及测试功能,4,15,现阶段参与测试的厂家：中兴、星环,公司注册资本,研发中心地址,大数据专职团队人数,源码掌握程度,售后服务,星环,中兴,Hadoop,版本,基于,hadoop,开源版本,商用最大节点数,电信行业建设经验,星环,中兴,一、,参与厂家的公司实力，以及大数据的专职人员和以后在互联网大数据方面的前景，提供非技术数据作为验证结果参考的一部分,：,二、,各厂家提供,hadoop,平台进行验证，,hadoop,平台总体概述,：,目前星环,hadoop,产品已进行产品兼容组件功能测试，如：,hive,和,spark,的组件测试，中兴的,hadoop,平台搭建完成，还没有进行测试。,16,16,谢谢！,17,测试范围,性能测试,列表,hdfs,将测试数据文件,(1T),从本地加载到,hdfs,中，记录数据加载速率。,将数据库中的测试数据,(7000,万条,),加载到,hdfs,中，记录数据加载速率。,将指定的测试数据,(1T),从,hdfs,导出到本地，记录数据加载速率。,hbase,将测试数据文件,(1T),从本地加载到,hbase,中，记录数据加载速率。,将数据库中的测试数据,(7000,万条,),加载到,hbase,中，记录数据加载速率。,查询任意手机号码所有上网记录并按时间过滤，取时间最近的,100,条。记录数据查询速率。,针对已加载的测试数据，查询任意手机号码所有上网记录,记录数据查询速率。,mapreduce,针对已加载的测试数据，根据手机号分组，获取流量总合。按流量总合倒叙排列。记录运算时间。,针对已加载的测试数据，根据,app,应用分组，获取流量总合。按流量总合倒叙排列。记录运算时间。,hive,将指定的测试数据,(1T),加载到,hive,中，记录数据加载速率。,将数据库中的测试数据,(7000,万条,),加载到,hive,中，记录数据加载速率。,针对已加载的测试数据，获取地市大流量客户（总流量在,500M,以上）以及消费的总流量，并以总流量大小的倒序排列。记录数据查询速率。,针对已加载的测试数据，获取地市最受欢迎的前,50,个,app,应用，及消费流量总和，并以总流量大小倒序排列，记录数据查询速率。,针对已加载的测试数据，获取联通上网用户终端机型排名列表，同时列出该机型用户数量，记录数据查询速率。,针对已加载的测试数据，获取联通大流量用户，经常访问的,app,列表。,针对已加载的测试数据，获取用户流量的时段分布列表。,将指定的测试数据,(7000,万条,),从,hive,导出到关系型数据库，记录数据导出速率。,