网管研究缩短手机终端测试时长的新方法网管中心黑白背景版.pptx

研究缩短,LTE,终端测试时长的新方法,Plan,（计划）,集团专家：孔亮（制定方案）,集团专家：,雷成鑫,（配合制定方案）,Do,（实施）,终,端专家：彭军超,（方案实施）,终,端专家：阴毅婷（方案实施,）,终,端专家：杨林,（,方,案实施）,Check,（检查）,大,数据专家：宋卫,卫（,巩固,）,Action,（,处理,）,安全,专家：姚子,健（标准化）,成员按照,PDCA,管理思路进行分工,QC,小组名称,“红杉树”,QC,小组,小组类型,创新型,课题名称,研究缩短,LTE,终端测试时长的新方法,小组人数,7,活动出勤率,23,次,/,月,TQM,教育人均,20,小时以上,活动时间,2014.1,2014.10,组长,孔亮,P,D,C,A,队伍：,QC,中,级诊断师,1,名、,集团技术专家,2,名、,省内终端专家,4,名,荣誉：,2011,年：湖北公司,QC,成果一等奖,2012,年：湖北公司,QC,成果三等奖,2013,年：,湖北公司,QC,成果一等,奖,通信行业优秀,QC,小组,2014,年：中国移动,QC,成果集团三等奖,湖北公司,QC,成果一等奖,通信行业优秀,QC,小组,4,任务重大能搞定吗,?,2013,年底，中国移动,LTE,网络开始进入正式运营阶段，发展用户目标：,问题来了,LTE,终端质量感知能否满足业务发展需要？,LTE,终端初始测试结果难能满意,LTE,终端内部员工试用投诉频出,涉及终端型号,投诉问题调查,IPHONE5S/5C,，,LG E985,手机驻留,4G,网络失败,三星,7108D,手机从,3G,返回,4G,时间过长,D2,彩信接收失败,中兴,U9815,华为,G716,易脱网,酷派,8736,，华为,D2,通话易失败,IPHONE5S/5C,华为,D2,，,LG,E985,CSFB,回来后返回,4G,失败,湖北目标：,240,万,（,LTE,用户）,集,团目标：,6000,万,（,LTE,用户）,70%,终端问题,20,个,核心网,6,个,无,线,2,个,其,他,1,个,2013,年,底对市场初上市的,LTE,终端进行测试,：,22,款终,端（,19,款手机、,3,款,MIFI,）通过发现问题,29,个,测试时间要那么长该咋整啊,?,LTE,终端测试测的完吗？,2013,年,12,月,LTE,终端测试,22,款，,随机采样,10,款终端计算时长,品牌,型号,测试指标,测试时长,（小时）,苹果,IPHONE5S,157,47.7,三星,7108D,157,45.6,HTC,8088,157,46.3,酷派,8736,157,46.5,中兴,U9815,157,46.8,LG,E985,157,46.2,天语,Touch 1,157,45.8,SONY,M35T,157,45.7,华为,G716,157,46.7,华为,D2,157,47.1,平均值,46.4,单款,LTE,测试时长为,46.4,小时,按,6,名测试人员换算，月测试量为,21,款,换算公式：,46.4/,（,6*8,）,*,22=21,远远超出了现有测试,21,款的能力，测不完！,45%,实,际测试能力,21,款（月）,预计新增,LTE,终端,45,款（月）未来更多,测,试完成度,1,、多测试场景奔波周折,2,、海量重复测试人员疲劳出错,3,、数据,保存与,分析困难,集团公司,2014,年,1,月初提出由,湖北公司探索新的,终,端测试方法,传统测试流程,赶,往测试场景,通话,测试,疲劳重复,赶往,下一个场景,测试完毕后整理数据,传统终端测试方法已经不适应,LTE,时代的终端质量管理，由此,咱们咋办呢,?,研究,缩短,LTE,终,端,测,试时长的新方法,课题,终于新鲜出炉了,呵呵看我们的吧,46.4,小时,8,小时,目标：单台,LTE,终端测试时长目标 由,46.4,小时缩短到,8,小时,设定目标,2013,年,12,月,LTE,终端测试,22,款，随机采样,10,款终端计算时长构成调查表,品牌,型号,测试,指标,(,项,),多网络覆盖测试场景选择,(,小时,),测试指标人工测试环节,(,小时,),测试结果人工汇总与评估分析结果,(,小时,),测试时长,（小时）,苹果,IPHONE5S,157,20.5,18,9.2,47.7,三星,7108D,157,19.7,17.5,8.4,45.6,HTC,8088,157,19.3,18.3,8.7,46.3,酷派,8736,157,19.7,18.2,8.6,46.5,中兴,U9815,157,20.1,17.9,8.8,46.8,LG,E985,157,19.3,18.5,8.4,46.2,天语,Touch 1,157,19.2,18.2,8.4,45.8,SONY,M35T,157,18.7,18.5,8.5,45.7,华为,G716,157,20.4,18.4,7.9,46.7,华为,D2,157,20.1,18.1,8.9,47.1,平均值,157,19.7,18.2,9.5,46.4,LTE,终端测试时长调查出来了,亲有信心吗,?,可行性分析,减少测试数,据,整,理评估时间,减少指标时间,减少场景时间,Add your text in here,Your text in here,Your text in here,Add your text in here,Your text in here,Your text in here,单终端平均时长,手机终端测试时长预测值,=7.4,小时,=1.67,特技,过剩,1.67C,PK,=1.33,1,级,充分,1.33C,PK,=1,2,级,尚可,1C,PK,=0.67,3,级,不足,0.67C,PK,4,级,严重不足,过程能力充分,C,PK,=,（,T-2,）,/6,=,（,1.6-2*0.02)/6*0.167,=1.57,1.67C,PK,=,1.33,为,1,级,T,U,公差上限,T,L,公差下限,M,公差中心,8.8,7.2,8,X,分布中心,=|,M-X|,标,准偏,差,7.98,0.02,0.167,对策实施,(,三,),阶段效果验证,46.4,小时,目标,8,小时,实际,7.2,小时,整体目标达成,2014,年,3,月,2014,年,8,月,目标完成情况,2014,年获得一项中国移动集团,最佳,实践项目,：自动化拨测工具,2014,年获得一,项中国移动集团,二类创新成果,：终端诊断研究的核磁共振方案,创新活动中两,项,专利,进行申请,：,一种自动化测试手机业务的装置（,申,报中）,一,种基于终端检测的网络环境自动配置方,法,（,申报中,）,两项软件著作权,：,1,、终,端实验室检测系,统,2,、实,验室管理信息系统软件,科技论文,：,基于终端实验室的终端质量评估模型研究,（信息通信）,QC,活动科技成果获得行业内部、集团公司的认可，硕果累累,社会效益,集团网络部魏总经理：,湖北终端工作集团排名第一，圆满完成集团下达的,手段创新,任务,自动化测试牵,头,省：湖北,社会效益,在屋如行几百里,自动,测试几百项,测试效率提高,6,倍,年节约外场测试费用：,人员差旅费,+,测试终端费用,+,外场设备费用,=,50,万,年节约人工成本：,维护,人员*人员工资,*,每月天数*,12*6=,70,万,LTE,终端测试工作保证了对市场支撑的及时性，有效保障了用户的体验，全省,2014,年发展,4G,终端用户,330,万,超过年初,4G,终端用户发展,240,万,的目标,37.5%,经济效益突出,！,只,需指尖轻轻一点，测试自动走你,Tips,经济,效益,1,、,使,用了一种新的网络切换技术，实现了网络遍历性,2,、国内,首创无需终端,ROOT,操作的自动化测试方法，,无需编写脚本,全新网络切换技术优点,：,实验室环境具备现网多厂家型号微蜂窝信号接入，,可编程控制射频切换箱支持快速信号场景的切换,，并可自定义无线参数，程序控制信号强弱的变化,在一个屏蔽室内即可构造遍历性测试环境,传,统测,试方,法缺点,：,测试人员到问题现场复现场景，复现成本高，效率低,常用自动拨测方式缺点：,必须,root,的,基于,脚本测试工具：每款终端都要,root,耗时长；部分终端厂家不认,可,root,后,的,测,试结果,脚本还经常需要与不同终端做适配,后期管理成本很高,monkey,技术的,JAVA,虚拟化测试方法：测试结果不准确，指标统计困难,无需,ROOT,自,动化测试方法,优点,：,无须,root,，基于对象识别技术,，自动适配终端,，测试过,程可控，测试结果厂家认可度高,创新点,省内推广,全集团推广,湖北试点,完成湖北移动终端自动化测试新方法实施及试点，共测试,LTE,终端,130,多款,终端侧自动测试工具省内推广使用计划已获得省公司网络部支持，纳入,2015,年工作计划中,9,月份在集团公司终端年度工作会上向集团及全国各兄弟省公司做了经验介绍及自动化测试产品现场演示，集团已要求进行全网推广,成果推广应用,自,动,化测试工具,开发产品成功并通过稳定性验证，具备标准化使用条件,集,团自动化测试规范,湖北公司牵头完成了中国移动集团终端自动化测试规范的撰写，并向全集团下发,打通支撑市场口流程,每月将终端大数据分析结果向全省通报。并将,TOP10,热门终端测试结果支撑市场,成果巩固及标准化,UCL=2.12,R,控制图,LCL=6.62,X,控制图,符合,GB/T4091-2001,中的,8,条判断准则,序号,终端测试时长,总计,平均值,极差,X1,X2,X3,X4,X5,X,X,R,1,6.6,6.8,7.5,7.1,7,35,7,0.9,2,7.2,7.6,7.2,7.9,7.6,37.5,7.5,0.7,3,6.4,7,7.5,6.4,6.2,33.5,6.7,1.3,4,7.2,6.5,8,6.8,7,35.5,7.1,1.5,5,7.1,7.2,7.5,7.1,7.1,36,7.2,0.4,6,6.7,7.2,6.7,7.3,7.1,35,7,0.6,7,6.8,7.4,7.8,8.3,7.7,38,7.6,1.5,8,7.4,8,7.1,7.8,8.2,38.5,7.7,1.1,9,7.1,7.5,7.3,6.7,7.4,36,7.2,0.8,10,6.7,6.7,7.4,7,6.2,34,6.8,1.2,11,7.1,6.7,7.7,6.4,6.6,34.5,6.9,1.3,12,7.2,7.2,7.1,7.7,7.8,37,7.4,0.7,13,7.9,7.1,6.8,7.5,7.2,36.5,7.3,1.1,14,7.2,7.4,7.7,7.4,7.3,37,7.4,0.5,15,6.6,7.2,7.1,7.9,6.7,35.5,7.1,1.3,16,7.5,7.1,7.3,6.3,6.8,35,7,1.2,17,7.9,7.1,8,7.3,7.2,37.5,7.5,0.8,18,7.5,6.7,7.2,7.7,6.9,36,7.2,1,19,7,7.7,7.7,7.9,7.7,38,7.6,0.9,20,6.2,6.6,7.4,6.8,7,34,6.8,1.2,累计值,144,20,平均值,7.2,1,平均值,与,极差控制图,中心线,（,CL,）,上控制,界限线（,UCL,）,下控制界限,线（,LCL,）,X,控制图,7.2,X+A,2,R=7.78,X-A,2,R=6.62,R,控制图,1,D,4,R=2.12,D,3,R,=,-,备注：查表可知当,n=5,时,，,A,2,=0.58,，,D,4,=2.12,，,D,3,=-,UCL=7.78,终端测试缩短后达到目标时长已处于受控状态,成果巩固,效果,从,2012,年到,2014,年，小组成员各方面能力在不断积累成长，厚积薄发,2012,2013,2014,总结,提,升,LTE,终端问题定位准确率,下,阶段计划,The end,thanks,