LY∕T 3127-2019 林业应用系统质量控制与测试.pdf

ICS 65.020.99 B 60 LY 中 华 人 民 共 和 国 林 业 行 业 标 准 LY/T 31272019 林业应用系统质量控制与测试 Specifications for forestry application system quality control and test （发布稿）2019-10-23 发布 2020-04-01 实施 国家林业和草原局 发 布 LY/T 31272019 I 目 次 1 范围.1 2 规范性引用文件.1 3 术语和定义.1 4 林业应用系统质量控制.1 4.1 概述.1 4.2 质量保证计划制定.1 4.3 质量保证计划执行.2 4.4 质量评测.2 4.5 质量问题管理.2 5 林业应用系统质量测试.2 5.1 概述.2 5.2 测试目的.2 5.3 测试类别.3 5.4 测试内容.3 5.5 测试活动.4 5.6 测试方法.4 5.7 测试用例.5 5.8 测试管理.6 5.9 测试评审.6 附录 A（资料性附录）测试文档常用模板.8 附录 B（规范性附录）单元测试说明.10 附录 C（规范性附录）系统测试说明.14 附录 D（规范性附录）回归测试说明.21 参考文献.25 LY/T 31272019 II 前 言 本标准按照 GB/T 1.12009 给出的规则起草。本标准由国家林业和草原局信息中心提出。本标准由全国林业信息数据标准化技术委员会（SAC/TC 386）归口。本标准负责起草单位：北京林业大学，国家林业和草原局信息中心，北京大学软件工程国家工程研究中心。本标准主要起草人：李冬梅、顾红波、刘学洋、檀稳、苏翔、庄婷婷、李东远、林丹琼、张琪、李鹭。LY/T 31272019 1 林业应用系统质量控制与测试 1 范围 本标准规定了林业应用系统开发和维护过程中的质量控制、质量测试要求。本标准适用于林业应用系统的开发和维护，也适用于系统开发商的内控管理、自测以及第三方测试机构的测评。注：林业应用系统仅只林业应用软件。2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T 8566 信息技术软件生存周期过程 GB/T 12504 计算机软件质量保证计划规范 LY/T 2265 林业信息术语 LY/T 2925 林业信息系统质量规范 3 术语和定义 GB/T 85662007、GB/T 125041990 和 LY/T 22652014 中界定的术语和定义适用于本文件。3.1 林业应用系统 forestry application system 解决林业信息化工作中应用问题的软件或程序。4 林业应用系统质量控制 4.1 概述 林业应用系统的质量控制的内容包括质量保证计划制定、质量保证计划执行、质量评测、质量问题管理。4.2 质量保证计划制定 质量保证计划制定指项目开发人员根据项目开发计划文档的内容，确定项目实施过程中过程活动、工作产品检查的内容、方式和时间等要素。开发不同的林业应用系统，其质量保证计划应根据实际业务需求体现不同的侧重点。质量保证计划的内容应包括：a)管理，描述负责林业应用系统质量保证的组织、任务以及相关职责；LY/T 31272019 2 b)文档，列出在林业应用系统开发、验证、确认以及使用与维护等阶段中需要编制的文档，并描述对其进行评审与检查的准则；c)评审与检查，描述为实现质量保证而开展的技术和管理方面的评审和检查工作，列出项目不同阶段的质量控制活动，并编制或引用有关的评审和检查规程、技术判定准则；d)配置管理，描述有关林业应用系统配置管理的内容；e)工具、技术和方法，指明用以支持林业应用系统项目质量保证工作的工具、技术和方法，描述并说明其目的和用途；f)控制，描述林业应用系统相关的控制内容；g)记录的收集、维护和保存，指明需要保存的质量保证活动记录，规定用于汇总、保护和维护记录的方法和设施以及保存期限。4.3 质量保证计划执行 质量保证计划执行指质量保证人员根据质量保证计划的内容，按照时间节点或项目里程碑组织质量保证计划中规定的质量保证活动。4.4 质量评测 质量评测指根据系统开发的相关文档和程序等工作产品对系统的功能和性能进行评价。对林业应用系统开展质量评测的侧重点应包括：a)功能特征；b)可靠特征；c)易用特征；d)效率特征。应通过测试等方式，对林业应用系统的具体能力进行全方位评价，并确保评价过程和结果的正确、客观、简明和完备。4.5 质量问题管理 质量问题管理指针对审查或测试过程中发现的系统问题进行系统化管理。其要求包括：a)发现问题，在审查或测试过程中发现系统存在的问题并记录，对问题的描述应全面、具体；b)分析原因，分析记录的问题产生的原因，分析过程中应考虑程序、设备等客观因素和人员等主观因素，并形成问题的详细原因描述；c)制定纠正措施，根据问题发生的原因，系统性制定合理、有效的解决方案，并明确相关负责人员和时间节点；d)问题归零，实施已制定的纠正措施，避免问题的重复出现，若纠正措施无法达到预期效果，应重新执行 b)-c)步骤。5 林业应用系统质量测试 5.1 概述 林业应用系统质量测试过程应有完整的测试计划指导，且应按照测试目的、测试类别、测试内容、测试过程、测试方法、测试用例和测试管理形成完整的闭环，保证测试工作的效率。5.2 测试目的 LY/T 31272019 3 应明确林业应用系统进行每项测试工作的目的，测试目的包括：a)发现林业应用系统开发中的错误，并确保其得以修复；b)验证系统是否满足项目开发合同、需求说明、系统设计文档规定的质量要求；c)为评价系统质量状况提供依据。5.3 测试类别 测试类别包括：a)单元测试，指对林业应用系统的最小可测单元进行测试，检测其是否符合需求并发现存在的错误，具体测试内容及说明见附录 B；b)系统测试，指对林业应用系统进行测试，检测在真实工作环境下是否能够正常运行并符合系统设计文档规定要求，具体测试内容及说明见附录 C；c)回归测试，指对未通过单元测试或系统测试的对象，以及被更改的对象进行测试，具体测试内容及说明见附录 D。5.4 测试内容 测试内容包括：a)功能特性，测试项目开发合同、需求说明、系统设计文档规定的功能；b)能力特性，测试开发的林业应用系统满足业务需求的程度和可靠运行的能力；c)日期/时间特性，测试开发的林业应用系统在日期/时间控制方面的能力，其要求见 LY/T 29252017 中的 4.2.1；d)吞吐量特性，测试林业应用系统完成任务的效率，其要求见 LY/T 29252017 中的 4.2.14；e)互操作性，测试林业应用系统进行交互能力，其要求见 LY/T 29252017 中的 4.2.23；f)准确度特性，测试林业应用系统中事件、情况或数据的正确性，其要求见 LY/T 29252017中的 4.2.24；g)回弹力特性，测试林业应用系统提供的服务出现差错时得恢复能力，其要求见 LY/T 29252017中的 4.2.29；h)保护特性，测试林业应用系统对资源或信息的安全保护能力，其要求见 LY/T 29252017 中的4.2.34；i)安全特性，测试林业应用系统安全使用的能力，其要求见 LY/T 29252017 中的 4.2.35；j)访问控制特性。测试林业应用系统对未授权访问资源的保护能力，其要求见 LY/T 29252017中的 4.2.36；k)数据保护特性，测试林业应用系统对无授权访问数据的保护能力，其要求见 LY/T 29252017中的 4.2.37；l)鉴别特性，测试林业应用系统中认证策略的能力，其要求见 LY/T 29252017 中的 4.2.39；m)可用性，测试的林业应用系统提供服务的用户满意能力，其要求见 LY/T 29252017 中的4.2.40；n)可靠性，测试林业应用系统无故障工作的能力，其要求见 LY/T 29252017 中的 4.2.44；o)故障包容特性，测试林业应用系统在故障存在情况下正常提供服务的能力，其要求见 LY/T 29252017 中的 4.2.45；p)可维护性，测试林业应用系统出现不可用情况时可修复能力，其要求见 LY/T 29252017 中的4.2.48；q)共享特性，测试林业应用系统的可共享能力，其要求见 LY/T 29252017 中的 4.2.50。LY/T 31272019 4 5.5 测试活动 5.5.1 概述 林业应用系统质量测试活动包括测试策划、测试设计与实现、测试执行和测试总结。5.5.2 测试策划 测试策划工作内容包括：a)确定需要测试的内容或质量特性；b)确定测试的充分性要求；c)提出测试的基本方法；d)确定测试的资源和技术需求；e)制定测试资源计划和测试进度计划。应根据林业应用系统的业务关联程度选择合理的测试方案，确保测试的全面性和完整性。5.5.3 测试设计与实现 测试设计与实现工作内容包括：a)分析测试用例集的层次结构，选取和设计测试用例；b)获取并验证测试数据；c)根据测试资源、风险等约束条件，确定测试用例执行顺序；d)获取测试资源，如有要求，应开发相应的测试软件；e)建立并校准测试环境；f)进行测试就绪审查，指审查测试计划的合理性、测试用例的正确性、有效性以及覆盖的充分性，审查测试组织、环境和设备工具是否齐备并符合要求。5.5.4 测试执行 测试执行工作内容包括：a)执行测试用例，获取测试结果；b)分析并判定测试结果，根据不同的判定结果采取相应的措施；c)对测试过程中正常或异常终止情况进行核对，并根据核对结果，对未达到测试终止条件的测试用例，给出停止测试，或者修改、补充测试用例集并进一步测试的判定。5.5.5 测试总结 测试总结工作内容包括：a)评估测试效果和被测试项，描述测试状态，包括实际测试与测试计划和测试说明的差异、测试的充分性分析、未能解决的测试事件等；b)描述被测试项的状态，包括被测试项与需求的差异、发现的系统错误等；c)完成系统的测试报告，并通过测试评审。5.6 测试方法 5.6.1 静态测试方法 静态测试方法包括：检查单和静态分析法，其中：a)对文档的静态测试方法应以检查单的形式进行；LY/T 31272019 5 b)对代码的静态测试方法应采用代码审查、代码走查和静态分析的形式进行。静态分析包括：控制流分析、数据流分析、接口分析和表达式分析。测试人员应对系统代码进行审查、走查或静态分析。5.6.2 动态测试方法 动态测试方法包括：白盒测试方法和黑盒测试方法，其中：a)白盒测试方法可采用控制流测试（包括：语句覆盖测试、分支覆盖测试、条件覆盖测试、条件组合覆盖测试、路径覆盖测试）、数据流测试、程序变异、程序插桩、域测试和符号求值等。b)黑盒测试方法可采用功能分解、边界值分析、判定表、因果图、随机测试、错误推测法和正交试验法等。在动态测试过程中，应采用适当的测试方法，实现测试要求，其中：系统测试主要采用黑盒测试方法，单元测试主要采用白盒测试方法，并辅助以黑盒测试方法。5.7 测试用例 5.7.1 测试用例设计原则 测试用例的设计遵循：a)基于测试需求的原则，应按照测试类别的不同要求，设计测试用例。其中：单元测试依据系统的详细设计说明文档，系统测试依据用户需求相关文档；b)基于测试方法的原则，应明确所采用的测试用例设计方法，为达到不同的测试充分性要求，应采用等价类划分、边界值分析、错误推测法、因果图等方法；c)兼顾测试充分性和效率的原则，测试用例集应兼顾测试的充分性和测试的效率，每个测试用例的内容应完整，具有可操作性；d)测试执行的可重复性原则，应保证测试用例执行的可重复性。5.7.2 测试用例要素 测试用例要素包括：a)名称和标识，每个测试用例应有唯一的名称和标识；b)测试追踪，说明测试所依据的内容来源，如：系统测试的依据是用户需求，单元测试的依据是系统设计；c)用例说明，简要描述测试的对象、目的和所采用的测试方法；d)测试的初始化要求，主要包括：1)硬件环境，被测系统运行的硬件环境；2)软件环境，被测系统所需的软件环境，包括测试的初始条件；3)测试配置，测试系统的配置情况，包括用于测试的模拟系统和测试工具等的配置情况；4)参数设置，测试开始前的设置，包括标志、第一断点、指针、控制参数和初始化数据等的设置；5)其他对于测试用例的特殊说明。e)测试的输入，包括在测试用例执行中发送给被测对象的所有测试命令、数据和信号等，主要包括：1)每个测试输入的具体内容（包括确定的数值、状态或信号等）及其性质（包括有效值、无效值、边界值等）；2)测试输入的来源（包括测试程序产生、磁盘文件、通过网络接收、人工键盘输入等），以LY/T 31272019 6 及选择输入所使用的方法（包括等价类划分、边界值分析、错误推测、因果图、功能图方法等）；3)说明测试输入是真实的或模拟的；4)测试输入的时间顺序或事件顺序。f)期望测试结果，说明测试用例执行中由被测试系统所产生的期望测试结果，即经过验证，认为正确的结果。期望测试结果应有具体内容，包括确定的数值、状态或信号等，不应是不确切的概念或笼统的描述；g)评估测试结果的标准，判断测试用例执行中产生的中间和最后结果是否正确的标准。主要包括：1)实际测试结果所需的精度；2)实际测试结果和期望结果之间差异允许的上限、下限；3)时间的最大和最小间隔，或事件数目的最大和最小值；4)实际测试结果不确定时，进行再测试的条件；5)与产生测试结果有关的出错处理；6)此处未提及的其他判断标准。h)操作过程，实施测试用例的执行步骤，把测试的操作过程定义为一系列按照执行顺序排列的相对独立的步骤，主要包括：1)每一步所需的测试操作动作、测试程序的输入、设备操作等；2)每一步期望的测试结果；3)每一步的评估标准；4)程序终止伴随的动作或错误指示；5)获取和分析实际测试结果的过程。i)前提和约束，在测试用例说明中施加的所有前提条件和约束条件，如果有特别限制、参数偏差或异常处理，应标识出来，并说明它们对测试用例的影响；j)测试终止条件，说明测试正常终止和异常终止的条件。应依据测试用例要素编写测试样例要素描述（参见附录A.1）5.8 测试管理 5.8.1 过程管理 测试应由相对独立的人员进行。根据项目的规模等级和测试类别等，测试工作可由不同机构组织实施。应对测试过程中的测试活动和测试资源进行管理。5.8.2 配置管理 应按照林业应用系统配置管理的要求，将测试过程中产生的各种工作产品纳入配置管理，其中：a)由林业应用系统开发组织实施的测试工作，应将测试工作产品纳入项目的配置管理；b)由独立测试组织实施的系统测试，应建立配置管理库，将被测试对象和测试工作产品纳入配置管理。5.9 测试评审 在测试完成后，审查测试过程和测试结果的有效性，确定是否达到测试目的。主要对测试记录（其格式参见附录 A.2）、测试报告进行审查，具体内容和要求包括：a)审查文档和记录内容的完整性、正确性和规范性；LY/T 31272019 7 b)审查测试活动的独立性和有效性；c)审查测试环境是否符合测试要求；d)审查测试记录、测试数据以及测试报告内容与实际测试过程和结果的一致性；e)审查实际测试过程与测试计划和测试说明的一致性；f)审查未测试项和新增测试项的合理性；g)审查测试结果的真实性和正确性；h)审查对测试过程中出现异常的处理的正确性。LY/T 31272019 8 A A 附 录 A（资料性附录）测试文档常用模板 A.1 林业应用系统测试用例描述 测试用例文档应详细描述测试用例的信息，其格式见表 A.1：表 A.1 林业应用系统测试用例描述模板 用例名称 用例标识 测试追踪 用例说明 用例的初始化 硬件配置 软件配置 测试配置 参数设置 操作过程 序号 输入及操作说明 期望测试结果 评估标准 备注 前提和约束 过程终止条件 结果评估标准 设计人员 设计日期 LY/T 31272019 9 A.2 林业应用系统测试记录 测试记录应描述测试过程中出现的情况，其格式见表 A.2：表 A.2 林业应用系统测试记录 用例名称 用例标识 业务关键程度 用例说明 用例的初始化 硬件配置 软件配置 测试配置 参数设置 操作过程 序号 输入及操作说明 期望测试结果 评估标准 备注 是否发生重启动 重启动是否成功 是否发生失效 是否发生故障 测试结论 测试人员 测试日期 LY/T 31272019 10 附 录 B（规范性附录）单元测试说明 B.1 测试对象和目的 B.1.1 测试对象 单元测试的对象是林业应用系统的最小可测试单元。在面向对象的测试方法中，应包括类、子系统和构件等，在结构化测试方法中，应包括过程、函数和构件等。B.1.2 测试目的 单元测试的目的是检查林业应用系统中每个单元能否正确地实现设计文档中说明的功能、性能、接口和其他设计约束等要求，并发现单元内可能存在的各种错误。B.2 测试的组织和管理 一般由林业应用系统的开发方组织并实施单元测试，也可委托第三方进行单元测试。单元测试的工作产品应纳入项目的配置管理中。B.3 技术要求 单元测试包括以下技术要求：a)对林业应用系统设计文档规定的系统单元的功能、性能、接口等应逐项进行测试；b)每个系统特性应至少被一个正常测试用例和一个被认可的异常测试用例覆盖；c)测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值；d)在对林业应用系统单元进行动态测试之前，一般应对单元的源代码进行静态测试；e)语句覆盖率达到 100%；f)分支覆盖率应达到 100%；g)对输出数据及其格式进行测试。B.4 测试内容 B.4.1 总则 当采用静态测试方法时，所测试的内容与选择的测试方法有关，包括：a)采用代码审查方法，通常要对程序格式、代码入口和出口的连接、程序语言的使用、代码是否符合编程规范、代码效能、可读性等内容进行检查；b)采用静态分析方法，通常应对林业应用系统单元的控制流、数据流、接口、表达式等内容进行分析。当采用动态测试方法时，包括：a)对林业应用系统单元的功能、性能、接口、局部数据结构、独立路径、错误处理、边界条件和内存使用情况进行测试；LY/T 31272019 11 b)对林业应用系统单元接口的测试应优先于其他内容的测试；c)对具体的林业应用系统单元，应根据测试计划、系统设计文档的要求及选择的测试方法确定测试的具体内容。B.4.2 接口 接口测试包括：a)调用被测试单元时的实际参数与该单元的形式参数的个数、属性、顺序等是否一致；b)被测单元调用子模块时，传递给子模块的实际参数与子模块的形式参数的个数、属性、顺序等是否一致；c)调用内部函数的参数个数、属性、顺序等是否正确；d)被测单元在使用全局变量时是否与全局变量的定义一致；e)在单元有多个入口的情况下，是否引用了与当前入口无关的参数；f)输入或输出文件属性的正确性；g)规定的输入或输出格式说明与输入或输出语句是否匹配；h)文件是否先打开后使用；i)文件结束条件的判断和处理的正确性；j)输入或输出错误是否检查并做了处理以及处理操作的正确性。B.4.3 局部数据结构 测试林业应用系统单元内部的数据能否保持其完整性，包括内部数据内容、格式及相互关系，检查的错误有：a)不正确或不一致的数据类型说明；b)错误的变量名，包括变量名拼写错误或缩写错误；c)使用尚未赋值或尚未初始化的变量；d)错误的初始值或错误的缺省值；e)不一致的数据类型；f)数据溢出或是地址错误；g)全局数据对系统单元的影响。B.4.4 独立路径 独立路径是在程序中至少引进一个新的处理语句集合或一个新条件的任一路径，在程序的控制流图中，一条独立路径是至少包含有一条在其他独立路径中从未有过的边的路径。应设计适当的测试用例，对林业应用系统单元中的独立路径进行测试，特别是对独立路径中的基本路径进行测试，基本路径是在程序控制流图中，通过对控制构造的环路复杂性分析而导出的基本的、可执行的独立路径集合。B.4.5 边界条件 测试林业应用系统单元在边界处能否正常工作，包括：a)测试处理 n 维数组的第 n 个元素的情况；b)测试循环执行到最后一次执行循环体的情况；c)测试取最大值或最小值的情况；d)测试数据流、控制流中刚好等于、大于或小于边界值的情况。B.4.6 错误处理 LY/T 31272019 12 测试林业应用系统单元在运行过程中发生错误时，其错误处理措施是否有效。良好的单元设计要求能预见到程序投入运行后可能发生的错误，并给出相应的处理措施，作为林业应用系统单元功能的一部分。林业应用系统单元的错误处理功能应对的是系统可能发生的错误或缺陷，检查的问题包括：a)错误的描述难以理解；b)在对错误进行处理之前，错误条件已经引起系统的干预；c)所提供的错误描述信息不足以确定造成错误的位置或原因；d)显示的错误提示与实际错误不符；e)对错误条件的处理不正确；f)意外的处理不当；g)交互处理等不正确。B.4.7 功能 应对设计文档规定的林业应用系统单元的功能逐项进行测试。B.4.8 性能 应按照设计文档的要求，对林业应用系统单元的性能进行测试。B.4.9 内存使用 检查内存的使用情况，特别是动态申请的内存在使用上的错误，包括对空指针赋值、指针使用越界、内存泄露等。B.5 测试环境 测试环境包括测试的运行环境和测试工具环境，运行环境应符合测试计划的要求，通常是开发环境或仿真环境，测试工具应为经过认可的工具。B.6 测试方法 单元测试应采用静态测试方法和动态测试方法，通常静态测试先于动态测试。B.7 进入条件 进入单元测试应满足：a)具有测试计划或说明文档；b)具有林业应用系统设计文档；c)所提交的被测林业应用系统单元在受控范围内；d)林业应用系统单元代码通过编译或汇编。B.8 结束条件 结束条件用来评价林业应用系统单元的测试工作是否达到要求，包括：a)已按要求完成了规定的测试任务；b)实际测试过程遵循了原定的单元测试计划文档的要求；LY/T 31272019 13 c)客观、详细地记录了测试过程和测试中发现的所有问题；d)测试文档齐全且符合规范；e)测试的全过程在控制范围内进行；f)测试中的问题或异常有合理解释或正确有效的处理；g)测试工作通过单元测试评审；h)全部测试文档、被测试林业应用系统单元、测试环境和评审结果已纳入配置管理。B.9 文档 单元测试完成后至少应形成以下文档：a)单元测试计划；b)单元测试记录；c)单元测试问题报告；d)单元测试总结报告。LY/T 31272019 14 附 录 C（规范性附录）系统测试说明 C.1 测试对象和目的 C.1.1 测试对象 系统测试的对象是完整的、集成的林业应用系统。C.1.2 测试目的 系统测试的目的是在真实系统工作环境下检查林业应用系统能否满足设计文档规定的要求。C.2 测试的组织和管理 系统测试一般由林业应用系统的需方组织，由具有资质的第三方测试机构实施。应加强系统测试的配置管理，已通过测试的系统状态和各项参数应详细记录，归档保存，未经测试管理人员授权，其他人无法改变。系统测试应严格按照由小到大、由简到繁、从局部到整体的原则进行。C.3 技术要求 系统测试应符合以下技术要求：a)系统的每个特性应至少被一个正常测试用例和一个被认可的异常测试用例所覆盖；b)测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值；c)应逐项测试系统设计说明规定的系统功能、性能等特性；d)应测试系统配置项之间及配置项与硬件之间的接口；e)应测试系统的输出及其格式；f)应测试运行条件在边界状态和异常状态下，或在人为设定的状态下，系统的功能和性能；g)应测试系统访问和数据安全性；h)应测试系统的全部存储量、输入或输出通道和处理时间的余量；i)应按照系统设计文档的要求，对系统的功能、性能进行强度测试；j)应测试设计中用于提高系统安全性、可靠性的结构、算法、容错、冗余、中断处理等方案；k)对有恢复或重置功能需求的系统，应测试其恢复或重置功能和平均恢复时间，并且对每一类导致恢复或重置的情况进行测试；l)对不同的实际问题应增加专门测试。C.4 测试内容 C.4.1 概述 系统测试内容包括：功能特性、能力特性、日期/时间特性、吞吐量特性、互操作性、准确度特性、回弹力特性、保护特性、安全特性、访问控制特性、数据保护特性、鉴别特性、可用性、可靠性、故障LY/T 31272019 15 包容特性、可维护性、共享特性等方面。C.4.2 功能特性方面 测试林业应用系统项目开发合同、需求说明、系统设计文档规定的功能。C.4.3 能力特性方面 测试内容包括：a)可根据实际使用的概率分布随机选择输入，运行林业应用系统，测试林业应用系统满足需求的程度；b)在最大负载下运行系统，测试林业应用系统正常满足业务需求的程度；c)并发执行规定的多个任务，测试林业应用系统的传输能力和可靠程度；d)执行大量的并发任务，测试系统输入/输出设备的利用时间；e)并发执行大量任务，测试用户等待输入/输出设备操作完成需要的时间；C.4.4 日期/时间特性方面 测试内容包括：a)测试系统的响应时间和平均响应时间，且需标识涉及响应时间的主要系统功能模块；b)测试系统的响应极限时间；c)测试系统在最大负载条件下，完成一项任务需要的极限时间。C.4.5 吞吐量特性方面 测试内容包括：a)测试在给定的时间周期内，系统能成功完成的任务数量；b)测试在一个单位时间内，系统能处理的并发任务的平均数；c)测试在系统最大负载条件下，系统在给定的时间周期内能处理的最多并发任务数。C.4.6 互操作性方面 测试内容包括：a)针对林业应用系统设计文档等规定的系统与外部设备或其他系统之间的接口，测试其格式和内容；b)测试接口之间的协调性；c)测试系统从接口接收和发送数据的能力；d)测试数据的约定、协议的一致性；e)测试系统对外围设备接口特性的适应性。C.4.7 准确度特性方面 测试系统中具有准确性要求的项（包括数据处理精度、时间控制精度、时间测量精度等）。C.4.8 回弹力特性方面 测试内容包括：a)根据系统的实际使用环境，向系统中植入一部分错误，测试系统能正常工作的概率；b)测试系统出现异常或故障时，系统能够正常恢复的概率；c)测试用户有误操作情况下，系统能正常恢复使用的概率。LY/T 31272019 16 C.4.9 保护特性方面 测试内容包括：a)测试系统对未经授权的访问拒绝失败的概率；b)测试系统中用户访问超出范围的数据成功的概率；c)测试系统中用户获取正常资源或信息失败的概率。C.4.10 安全特性方面 应测试系统及其数据访问的可控制性，测试内容包括：a)测试防止非法操作的能力；b)测试系统的加密和解密功能；c)测试系统的数据传输正确且完整的概率。C.4.11 访问控制特性方面 应根据林业应用系统设计文档中的访问控制策略进行测试，测试内容包括：a)测试未授权的用户能否登入系统；b)测试未授权的用户能否访问数据资源或信息；c)测试符合访问控制策略的操作正常进行的概率。C.4.12 数据保护特性方面 测试内容包括：a)测试非正常的数据访问能否进行；b)测试数据能够正常访问的概率；c)测试访问的数据完整性符合要求的概率；d)测试系统防止数据被破坏的能力。C.4.13 鉴别特性方面 应测试系统对互鉴别和数据始发鉴别的保护，测试内容包括：a)测试系统中“用户名-口令”认证方式正常的概率；b)测试认证方式的复杂程度；c)测试双因素认证等复杂的认证方式正常工作的概率。C.4.14 可用性方面 应测试系统的易操作性和易理解性，测试内容包括：a)测试系统是否对输入数据进行有效性检查；b)测试包含参数设置的功能中，参数是否易于选择、是否有缺省值；c)系统中要求有解释的消息，测试其内容是否明确；d)测试系统中具有界面提示的界面元素是否有效；e)测试系统中有容错能力的功能和操作，系统能否提示错误的风险、能否容易纠正错误的输入以及能否从错误中恢复；f)测试具有定制能力的功能和操作，其定制能力的有效性；g)测试具有运行状态监控能力的功能的有效性；h)测试系统的各项功能是否容易被识别和理解；LY/T 31272019 17 i)测试具有演示能力的功能，其演示是否容易被访问，演示是否充分和有效；j)测试系统界面的输入和输出的格式和含义是否容易被理解。C.4.15 可靠性方面 应测试系统的平均无故障工作时间。C.4.16 故障包容特性方面 测试内容包括：a)系统对中断发生的反应；b)系统在边界条件下的反应；c)系统的功能、性能的降级情况；d)系统的各种误操作模式；e)系统的各种故障模式，包括数据超出范围、死锁等；f)测试多机系统出现故障需要切换系统时，系统的功能和性能的连续平稳性。C.4.17 可维护性方面 测试内容包括：a)对具有自动修复功能的系统，测试自动修复的时间；b)系统在特定时间范围内的平均宕机时间；c)系统在特定时间范围之内的平均恢复时间；d)系统的可重启动并继续提供服务的能力；e)系统的还原功能的有效性。C.4.18 共享特性方面 测试内容包括：a)测试系统中可共享的模块占的比值；b)测试系统中可共享的子系统所占的比值；c)测试系统中共享数据所占的比值。C.5 测试环境 测试环境包括测试的运行环境和测试工具环境，其中：a)运行环境应符合测试计划的要求，通常是开发环境或仿真环境；b)测试工具应为经过认可的工具。C.6 测试方法 系统测试通常采用动态测试方法中的黑盒测试方法。C.7 进入条件 进入条件包括：a)具有林业应用系统测试计划或说明文档；LY/T 31272019 18 b)具有林业应用系统设计文档、系统需求文档、用户手册、被测系统的源程序和可执行代码；c)林业应用系统的所有配置项已通过测试；d)所提交的被测系统为本阶段最终版本，且在受控范围内；e)对需要固化运行的系统已提供运行条件。C.8 结束条件 评价系统测试工作是否达到要求，包括：a)已按要求完成了规定的测试任务；b)实际测试过程遵循了原定的林业应用系统测试计划文档的要求；c)客观、详细地记录了测试过程和测试中发现的所有问题；d)测试文档齐全且符合规范；e)测试工作通过了系统测试评审；f)测试的全过程在控制范围内进行；g)测试中的问题或异常有合理解释或正确有效的处理；h)全部测试文档、测试用例、被测试系统、测试环境和评审结果已纳入配置管理。C.9 测试过程 C.9.1 测试策划 C.9.1.1 确定测试要求 测试分析人员应根据测试计划文档或林业应用系统设计文档分析被测试系统，并确定：a)测试充分性要求，确定测试应覆盖的范围及每一范围所要求的覆盖程度；b)测试终止的要求，指定测试过程正常终止的条件，包括测试充分性是否达到要求等，确定导致测试过程异常终止的可能情况，包括接口错误等；c)用于测试的资源要求，包括操作系统、编译软件、静态分析软件、测试数据产生软件、测试结果获取和处理软件、测试驱动软件等软件环境要求，计算机和设备接口等硬件环境要求，人员数量和技能等要求；d)需要测试的系统特性，根据系统设计文档的说明确定系统的功能、性能、状态、接口、数据结构、设计约束等内容和要求，并从中确定需测试的系统特性；e)测试需要的技术和方法，包括测试数据生成和验证技术、测试数据输入技术、测试结果获取技术、是否使用标准测试集等；f)测试结束条件，根据测试计划说明的要求和被测系统的特点，确定测试结束条件；g)由资源和被测系统决定的系统测试活动的进度。C.9.1.2 评审 应对系统测试计划进行评审，包括：a)审查测试的范围和内容、资源、进度、各方责任等是否明确；b)测试方法是否合理、有效和可行；c)测试文档是否符合规范；d)测试活动是否独立。当测试活动由被测系统的开发方实施时，系统测试计划的评审应纳入系统开发过程的阶段评审；当LY/T 31272019 19 测试活动由独立的测试机构实施时，系统测试计划应通过系统的需方、供方和有关专家参加的评审。系统测试计划通过评审后，才能进入下一步工作，否则需重新进行系统测试的策划。C.9.2 测试设计和实现 测试设计和实现的工作由测试设计人员和测试程序员完成，包括：a)设计测试用例，将需要测试的系统特性分解，针对分解后的每种情况设计测试用例，每个测试用例的设计应符合相关要求；b)获取测试数据，获取现有的测试数据和生成新的数据，并按照要求验证所有数据；c)确定测试顺序，可从资源约束、风险以及测试用例失效造成的影响或后果几个方面考虑测试顺序；d)获取测试资源，对于支持测试的软件，有的需要从现有的工具中选定，有的需要开发完成；e)编写测试程序，开发测试程序或测试支持工具；f)建立和校准测试环境。应审查测试用例是否正确、可行和充分，测试环境是否正确、合理，测试文档是否符合规范。当测试活动由被测试系统的开发方实施时，评审应由林业应用系统的开发方组织，需方和有关专家参加；当测试活动由独立的测试机构实施时，评审应由测试机构组织，林业应用系统的需方、供方和有关专家参加，在相关材料通过评审后，进入下一步工作，否则需重新进行系统测试的设计和实现。C.9.3 测试执行 执行测试的工作由测试人员和测试分析人员完成。测试人员的主要工作是执行系测试计划等文档中规定的测试项目和内容，在执行过程中，应认真观察并如实地记录测试过程、测试结果和发现的错误，详细填写测试记录。测试分析人员的工作包括：a)根据每个测试用例的期望测试结果、实际测试结果和评价标准判定该测试用例是否通过。如果不通过，分析人员应认真分析情况，并根据以下情况采取相应措施：1)系统测试说明文档和测试数据的错误。应改正错误，将改正错误信息详细记录，并重新运行该测试；2)执行测试步骤时的错误。应重新运行未正确执行的测试步骤；3)测试环境中的错误。应修正测试环境，将环境修正情况详细记录，并重新运行该测试，若无法修正环境，应记录理由并核对终止情况；4)系统实现的错误。应填写系统问题报告单，可提出系统修改建议，并继续进行测试或把错误与异常终止情况进行比较，核对终止情况。系统更改完毕后，应根据情况对其进行回归测试；5)系统设计的错误。应填写系统问题报告单，可提出系统修改建议，并继续进行测试或把错误与异常终止情况进行比较，核对终止情况。系统更改完毕后，应根据情况对其进行回归测试或重新组织测试，回归测试中需要相应地修改测试设计和数据。b)当所有的测试用例都执行完毕，测试分析人员要根据测试的充分性要求和失效记录，确定测试工作是否充分，是否需增加新的测试。当测试过程正常终止时，若发现测试工作不足，应对系统进行补充测试，直到测试达到预期要求，并将附加的测试内容记录在系统测试报告中。若无需补充测试，则将正常终止情况记录在系统测试报告中。当测试过程异常终止时，应记录导致终止的条件、未完成的测试和未被修正的错误。C.9.4 测试总结 LY/T 31272019 20 测试分析人员应根据林业应用系统开发合同或系统设计文档、系统测试计划、测试记录和问题报告单等，分析和评估测试工作，包括：a)总结系统测试计划或其他说明文档的变化情况及其原因，并记录在系统测试总结报告中；b)对测试异常终止情况，确定未能被测试活动充分覆盖的范围，并将理由记录在系统测试总结报告中；c)确定未能解决的系统测试事件以及不能解决的理由，并将理由记录在系统测试总结报告中；d)总结测试所反映的林业应用系统与开发合同或设计文档之间的差异，记录在系统测试总结报告中；e)将测试结果连同所发现的错误情况同林业应用系统开发合同或系统设计文档对照，评价系统的设计与实现，提出林业应用系统改进建议，记录在系统测试总结报告中；f)编写系统测试报告，应包括测试结果分析，以及对系统的评估和建议等；g)根据测试记录和问题报告单编写系统测试问题报告。C.10 文档 系统测试完成后应形成的文档包括：a)系统测试计划；b)系统测试记录；c)系统测试问题报告；d)系统测试总结报告。LY/T 31272019 21 附 录 D（规范性附录）回归测试说明 D.1 测试对象和目的 D.1.1 测试对象 回归测试的对象包括：a)单元测试未通过的林业应用系统单元，在更改之后，应对其进行测试；b)系