DL∕T 2031-2019 电力移动应用软件测试规范(电力).pdf
《DL∕T 2031-2019 电力移动应用软件测试规范(电力).pdf》由会员分享,可在线阅读,更多相关《DL∕T 2031-2019 电力移动应用软件测试规范(电力).pdf(31页珍藏版)》请在咨信网上搜索。
1、ICS 35.080 L 77 备案号:63143-2018 中华人民共和国电力行业标准 DL / T 2031 2019 电力移动应用软件测试规范 Test specification for power mobile application software 2019-06-04发布 2019-10-01实施 国家能源局 发 布 DL / T 2031 2019 I目 次 前言 . III 1 范围 . 1 2 规范性引用文件 . 1 3 术语和定义 . 1 4 缩略语 . 3 5 测试环境 . 3 6 测试方法 . 4 7 功能测试 . 4 7.1 功能性测试 . 4 7.2 交叉事件测
2、试 . 4 8 非功能测试 . 5 8.1 性能(效率)测试 . 5 8.2 兼容性测试 . 7 8.3 易用性测试 . 7 8.4 可靠性测试 . 8 8.5 可维护性测试 . 9 8.6 可移植性测试 . 9 8.7 用户文档集检查 . 10 9 安全测试 . 10 9.1 移动应用服务端 . 10 9.2 移动应用客户端 . 10 附录 A(资料性附录) 黑盒测试方法. 19 附录 B(资料性附录) 渗透测试方法示例. 21 附录 C(资料性附录) 综合评价方法. 26 附录 D(资料性附录) 测试工具. 28 DL / T 2031 2019 II 前 言 为规范电力行业各专业移动互联
3、应用建设, 利用移动互联技术创新业务模式, 提升电力行业生产经营效率和优质服务水平,同时降低电力行业信息化建设成本,制定本标准。 本标准按照 GB/T 1.1 2009标准化导则 第 1 部分:标准的结构和编写给出的规则编制。 本标准由中国电力企业联合会提出并解释。 本标准由电力行业信息标准化技术委员会归口。 本标准起草单位: 中国电力科学研究院有限公司、 国家电网有限公司、 中国南方电网有限责任公司、南瑞集团有限公司、国网山东省电力有限公司。 本标准主要起草人:汪洋、王志英、丁慧霞、汤国龙、程磊、赵莹、颉月平、方帅、王智慧、张庚、滕玲、李哲、陈相舟、董慧博、董灿、冯国聪、胡牧、蒋厚明、胡昊伟
4、、王勇、邓昊、卢立生、李健。 本标准首次发布。 本标准在执行过程中的意见或建议反馈至中国电力企业联合会标准化管理中心 (北京市白广路二条一号,100761) 。 DL / T 2031 2019 1电力移动应用软件测试规范 1 范围 本标准规定了电力移动应用软件在系统测试阶段的测试环境、测试方法和测试过程。 本标准适用于电力行业移动应用软件的系统测试环节,其他软件系统可参照本标准执行。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。 凡是注日期的引用文件, 仅所注日期的版本适用于本文件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。 GB/T 15532 计算
5、机软件测试规范 GB 17859 计算机信息系统安全保护等级划分准则 GB/T 18336 信息技术 安全技术 信息技术安全评估准则 GB/T 22239 信息安全技术信息系统安全等级保护基本要求 GB/T 250692010 信息安全技术 术语 GB/T 34975 信息安全技术 移动智能终端应用软件安全技术和测试评价方法 YD/T 2558 基于祖冲之算法的LTE终端和网络设备安全技术要求 3 术语和定义 GB/T 15532、GB/T 18336、GB/T 250692010界定的以及下列术语和定义适用于本文件。 3.1 移动应用软件 Mobile application 可独立运行在移
6、动终端系统上的应用,拥有系统本身独立的应用服务器、数据库服务器,不借用其它软件或平台作为入口,可独立发布、安装、运行、卸载等。 3.2 黑盒测试 black box testing 在完全不考虑程序内部结构和内部特性的情况下, 检查程序功能是否按照需求规格说明书的规定正常使用,程序是否能适当地接收输入数据而产生正确的输出信息。 3.3 交叉事件测试 cross event test 一个功能正在执行过程中,同时另外一个事件或操作对该过程进行干扰的测试。 3.4 系统完整性 system integrity 系统能够以不受损害的方式执行其预定功能,避免对系统故意的或意外的未授权操纵的特性。 GB
7、/T 250692010,定义2.1.49 3.5 DL / T 2031 2019 2数据完整性 data integrity 数据没有遭受以未授权方式所作的更改或破坏的特性 GB/T 250692010,定义2.1.36 3.6 保密性 confidentiality 使信息不泄露给未授权的个人、实体、进程,或不被其利用的特性。 GB/T 250692010,定义2.1.1 3.7 加密技术 encryption technology 采用数学方法对原始信息进行再组织, 使得加密后在网络上公开传输的内容对于非法接受者来说成为无意义的文字的安全保密手段。 3.8 组件 component 对
8、数据和方法的简单封装, 本标准中包括组成安卓应用程序的组件, 即Activities (活动) 、 Service(服务)、Content Provider(内容提供器)、Broadcast Receiver(广播接收器)、Intent(意图)等。 3.9 活动组件 acitivities 安卓应用程序的组件之一,提供一个屏幕,负责与用户交互。 3.10 服务组件 service 安卓应用程序的组件之一,通常在后台运行,主要用于在后台处理一些耗时的逻辑,或者执行某些需要长期运行的任务。 3.11 内容提供器 content provider 安卓应用程序的组件之一,用来管理和共享应用程序的数据
9、库。 3.12 广播接收器 broadcast receiver 安卓应用程序的组件之一,用于接收并响应广播通知。 3.13 意图组件 intent 安卓应用程序的组件之一,简单的消息传递框架。 3.14 网络视图 webview 移动平台提供给移动应用软件使用的软件开发工具包(SDK)封装好的组件,主要作为网络浏览器。 3.15 DL / T 2031 2019 3代码混淆 code obfuscation 将计算机程序的代码,转换成一种功能上等价,但是难于阅读和理解的形式的行为,意为防止软件被破解或篡改。 3.16 数字签名 digital signature 一种类似写在纸上的普通的物理
10、签名, 但是使用了公钥加密领域的技术实现, 用于鉴别数字信息的方法。一套数字签名通常定义两种互补的运算,一个用于签名,另一个用于验证。 3.17 权限攻击 privilege attack 低权限程序调用高权限程序的攻击行为。 3.18 模拟器 simulator 可以在非移动平台,如windows等环境下通过软件模拟移动平台系统的软件。 4 缩略语 下列缩略语适用于本文件。 ANR:应用程序无响应(Application Not Responding) API:应用程序编程接口(Application Programming Interface) FPS:画面每秒传输帧数(Frames Pe
11、r Second) IPsec:Internet 协议安全性(Internet Protocol Security) SSL:安全套接层(Secure Sockets Layer) TLS:传输层安全(Transport Layer Security) 5 测试环境 测试环境应包括测试运行环境和测试工具环境。 测试的运行环境一般应符合电力移动应用的系统规格说明书和相关设计文档的要求, 通常是开发环境或模拟仿真环境, 移动应用软件测试环境一般包括客户端、服务端、测试通信网络,测试通讯网络应使用适用于测试的安全无线接入设备。电力移动应用的网络要求应遵循相关电力移动应用设计说明文档, 组建相应测试仿
12、真网络环境, 并在仿真网络环境下开展测试,测试使用的通讯网络设备要求见YD/T 2558。测试工具一般要求是经过认可的工具。测试环境的要求见GB/T 15532。 6 测试方法 本标准主要涉及以下几种方法: a) 黑盒测试:该方法的说明参见附录 A; b) 渗透测试: 利用攻击工具或通过人工操作的方式攻击移动应用系统, 验证其是否存在安全漏洞,参见附录 B。 7 功能测试 DL / T 2031 2019 47.1 功能性测试 7.1.1 测试项 功能性测试应对照移动应用设计说明中的功能点, 逐项对其进行测试用例设计, 测试用例的设计应满足: a) 移动应用的每个功能特性应被一个或多个正常测试
13、用例和一个或多个被认可的异常测试用例所覆盖; b) 测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值; c) 逐项测试移动应用设计说明规定的功能特性; d) 测试移动应用配置项之间及软件配置项与硬件之间的接口; e) 测试移动应用输出及其格式; f) 测试运行条件在边界状态和异常状态下。 7.1.2 测试过程 下列测试过程适用于功能性测试: a) 根据需求规格说明书、概要设计等相关软件设计说明,分析并拆分移动应用功能点; b) 根据拆分的移动应用功能点,采用“黑盒测试”方法逐一设计测试用例,测试用例应覆盖所有功能点,覆盖率应达到 100%; c) 根据移动应用相关设计说明,编制每
14、条测试用例的执行步骤、测试结果; d) 执行每条测试用例; e) 检验执行结果是否满足测试用例预期结果; f) 根据执行结果填写执行记录和缺陷报告。 7.1.3 测试结果 功能性测试结果,应满足下列要求: a) 通过所有功能性测试用例; b) 移动应用应满足所有经评审后的设计说明规定文档中的功能要求。 7.2 交叉事件测试 7.2.1 测试项 从交叉事件测试方面考虑,应测试: a) 移动应用在填写表单时中断后的恢复情况; b) 移动终端操作系统,在多个移动应用同时运行时是否影响被测移动应用正常功能; c) 移动应用运行时前后台切换、拔打接听电话、发送接收信息或邮件是否影响正常功能; d) 移动
15、应用在调用相机、定位功能、语音交互等功能并返回移动应用后的运行情况。 7.2.2 测试过程 下列测试过程适用于交叉事件测试: a) 使用移动应用功能时,移动终端中断移动应用运行,检查中断移动应用运行后,移动应用恢复操作情况; b) 使用移动应用在调用的相机、定位功能、语音交互等功能后,移动应用恢复的正确性; c) 移动终端操作系统中同时运行多个移动应用(含被测移动应用),检查被测移动应用的运行情况。 7.2.3 测试结果 DL / T 2031 2019 5交叉事件测试结果,应满足下列要求: a) 移动应用中断恢复后,应保持移动应用会话; b) 移动应用中断恢复后,操作其它功能正常无误; c)
16、 移动应用调用相机、定位时,应能正确跳转页面,并使用相关调用数据; d) 移动应用调用相机切换回移动应用时,移动应用应正常运行; e) 移动终端操作系统中同时多个移动应用运行时, 被测试移动应用应正常运行, 保证功能完整性。 8 非功能测试 8.1 性能(效率)测试 8.1.1 服务端性能(效率)测试 8.1.1.1 测试项 移动应用运行一段时间内,满足移动应用设计说明规定的测试场景、服务器资源、并发用户数量的同时,应测试移动应用服务端所能承受压力的强度,包括但不限于: a) 响应时间:服务端响应事务的平均时长; b) 每秒处理事务数(TPS):服务端每秒处理事务的数量; c) 事务通过率:服
17、务端处理事务的成功率; d) CPU 占用率:服务端在处理事务时,服务器 CPU 占用情况; e) 内存占用率:服务端在处理事务时,服务器内存占用情况; f) 硬盘 I/O 读写:服务端在处理事务时,服务器硬盘读写情况。 8.1.1.2 测试过程 下列测试过程适用于服务端性能(效率)测试: a) 模拟测试场景操作步骤,与服务建立连接,传输数据,并能得到正确的服务器反馈; b) 回放操作步骤,模拟并发用户操作典型移动应用场景,向服务器施加压力; c) 统计模拟多人操作时,服务端响应能力和服务器资源占用情况。 8.1.1.3 测试结果 在满足最大并发用户数量的同时,服务端性能(效率)测试结果,应满
18、足下列要求: a) 响应时间应在移动应用设计说明规定的时间范围内,如移动应用设计说明未规定性能指标的,一般情况下首页访问平均响应时间不应超过 2 秒; 移动应用登录平均响应时间不得超过 3 秒;执行简单查询、添加和删除业务时,平均响应时间不应超过 4 秒;执行复杂的综合业务(同时包括查询、添加、删除等操作请求)时,平均响应时间不应超过 6 秒;在执行统计业务时,月统计业务的平均响应时间不应超过 10 秒,年统计业务的平均响应时间不应超过 20 秒; b) 每秒处理事务数(TPS)应满足移动应用设计说明规定的相关约束; c) 事务通过率应满足移动应用设计说明规定的相关约束,一般事物失败率应小于
19、0.1%; d) CPU 占用率、内存占用率、硬盘 IO 读写应在移动应用设计说明规定的范围内,一般情况下应用服务器和数据库服务器的 CPU 平均利用率不应超过 60%, 且 CPU 利用率不应连续 30 秒超过80%;应用服务器的内存平均使用率不应超过 75%,且内存使用率不应连续 60 秒超过 80%。 8.1.2 客户端性能(效率)测试 8.1.2.1 测试项 DL / T 2031 2019 6移动应用在不同芯片组、分辨率、型号的移动终端上执行安装、卸载、启动、运行操作时,应测试移动应用在移动终端运行时的各方面性能数据,包括但不限于: a) Android 移动终端: 1) 响应时间:
20、移动应用在移动终端上安装、启动、运行、卸载的响应时长; 2) CPU 占用率:移动应用运行一定时间内占用移动终端的 CPU 的平均率; 3) 内存占用率:移动应用运行一定时间内占用移动终端的内存的平均率; 4) FPS 渲染:移动应用在移动终端运行一定时间内平均每秒渲染帧数; 5) 耗电量:移动应用在移动终端运行一定时间内平均耗电量; 6) 电池温度:移动应用在移动终端运行一定时间内的平均电池温度; 7) 发送、接收流量:移动应用在移动终端运行一定时间内发送和接收的平均流量数量。 b) iOS 移动终端: 1) CPU 占用率:移动应用运行一定时间内占用移动终端的 CPU 的平均率; 2) 内
21、存占用率:移动应用运行一定时间内占用移动终端的内存的平均率; 3) 发送、接收流量:移动应用在移动终端运行一定时间内发送和接收的平均流量数量。 8.1.2.2 测试过程 下列测试过程适用于客户端性能(效率)测试: a) 移动应用软件安装包下发至各移动终端; b) 通过自动化技术手段,在各移动终端进行安装、启动、运行、卸载操作; c) 查看移动应用在移动终端设备运行进程名称, 根据进程名称分别记录移动应用运行占用的资源情况。 8.1.2.3 测试结果 客户端性能(效率)测试结果,应满足下列要求: a) 生成客户端性能测试报告,显示移动应用在不同 Android 移动终端安装、启动、运行、卸载时的
22、响应时间、CPU 占用率、内存占用率、FPS 渲染、耗电量、电池温度、发送接收流量; b) 生成客户端性能测试报告,显示移动应用在不同 iOS 移动终端安装、启动、运行、卸载时的CPU 占用率、内存占用率、发送接收流量; c) 根据生成的客户端性能测试报告,提出建议性缺陷,提高移动应用在移动终端的运行效率。 8.2 兼容性测试 8.2.1 测试项 从兼容性测试方面考虑,应测试: a) 移动应用在不同机型、不同分辨率、不同操作系统的移动终端适配性,持续运行时长不应小于10 分钟; b) 移动应用在移动终端处于低内存空间、高 CPU 占用的环境下的表现。 8.2.2 测试过程 下列测试过程适用于兼
23、容性测试: a) 将移动应用安装包分发至不同机型、不同分辨率、不同移动操作系统版本的移动终端上,并执行安装、卸载、启动、运行等操作,分别查看移动应用在移动终端上的运行情况; b) 利用技术手段,使测试终端设备处于低电量、低内存空间、高 CPU 占用,检测移动应用在不同极限环境运行情况。 8.2.3 测试结果 DL / T 2031 2019 7兼容性测试结果,应满足下列要求: a) 生成兼容性测试报告,移动应用应适配更多移动终端,宜保证本年度市场占有率前三位的Android 移动终端不出现闪退、卡顿、ANR、Crash 等问题,iOS 类移动应用宜保证 iOS 移动终端上正确运行且不出现任何问
24、题。对于移动应用不适配本年度市场占有率前三位的 Android移动终端的情况,提出严重缺陷;对于移动应用不适配其它 Android 移动终端的情况,提出建议或一般缺陷;对于 iOS 类移动应用不适配 iOS 移动终端的情况,提出严重缺陷;移动应用应适配专控智能移动终端,对于移动应用不适配专控智能移动终端的情况,提出严重缺陷; b) 移动应用宜在低内存空间、 高 CPU 占用的移动终端上稳定运行, 移动应用应避免因移动终端的低内存空间、 高 CPU 占用原因出现问题, 应具备清理移动终端缓存或提示用户手动清理移动终端缓存的机制。 8.3 易用性测试 8.3.1 测试项 从易用性方面考虑,可测试:
25、 a) 易理解性,包括但不限于:用户手册易理解、移动应用界面易理解、移动应用演示易理解、输入输出含义易理解; b) 易学习性,包括但不限于:用户手册易学习、培训手册易学习、移动应用系统文档易学习; c) 易操作性, 包括但不限于: 表单各字段填写校验、 移动应用提示语、 移动应用页面风格规范性、键盘快捷键支持情况; d) 吸引性,包括但不限于:移动应用页面元素。 8.3.2 测试过程 下列测试过程适用于易用性测试: a) 查看用户手册内容,操作移动应用过程中查看页面布局,查看输入输出项的易理解性; b) 查看用户手册、培训手册、移动应用系统文档,查看文档能否帮助用户学习操作; c) 检测过程对
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- DLT 2031-2019 电力移动应用软件测试规范电力 DL 2031 2019 电力 移动 应用软件 测试 规范
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【曲****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【曲****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。