本文件作为软件测试过程中各阶段的通过标准,旨在合理有效的对软件阶段质量进行控制,同时为软件测试的深度选择和资源投入的决策提供参考。

主要内容与适用范围

主要内容

本标准规定了软件测试中缺陷、错误、故障等问题的分级方案及分级说明;各阶段测试通过需遵循的标准;以及把常见问题按分类编写了分级说明。

适用范围

本标准适用于全部模块的白盒测试(含模块测试和联调测试)、系统测试等测试阶段,以及阶段内里程碑的控制。上述阶段的测试属于黑盒测试。

特别需要申明的是:软件一旦进入开发阶段,测试同步开始了,对于开发过程中的程序员自测,本标准不能适用。

【注①:黑盒测试也称功能测试或数据驱动测试,它是在已知产品所应具有的功能,通过测试来检测每个功能是否都能正常使用,在测试时,把程序看作一个不能打开的黑盆子,在完全不考虑程序内部结构和内部特性的情况下,测试者在程序接口进行测试,它只检查程序功能是否按照需求规格说明书的规定正常使用,程序是否能适当地接收输入数锯而产生正确的输出信息,并且保持外部信息(如数据库或文件)的完整性。】

【注②:白盒测试也称结构测试或逻辑驱动测试,它是知道产品内部工作过程,可通过测试来检测产品内部动作是否按照规格说明书的规定正常进行,按照程序内部的结构测试程序,检验程序中的每条通路是否都有能按预定要求正确工作,而不顾它的功能,白盒测试的主要方法有逻辑驱动、基路测试等,主要用于软件验证。

问题分级规则

分级方法及简要说明

本标准将测试过程中产生的问题按严重程度分成四级,①严重问题:在流程、数据或安全方面存在重大问题,导致软件不具可用性,或核心功能项无法使用;②一般问题:由于设计的缺陷,导致软件使用中存在较明显的障碍,或者局部功能错误,但可以采取其他变通的操作实现;③轻度问题:由于编码不够完善,使某个小功能无法使用,或者对特殊的操作与要求不能支持;④细微问题:存在某些细微的缺陷,但不影响程序正常应用或该功能在下次升级版本中可以实现。

特别说明

在BUGGIT中Bug严重性级别和本文档分级方法的对应关系

A:冲突—系统冲突或其他不可重现的错误
                                                ①严重问题
B:主要—功能不能用
C:次要—不正确的功能                           ②一般问题
D:不大重要—文件拼写错误
                                                ③轻度问题
E:查看—不能再现错误
F:将来可以加入的功能                           ④细微问题


☆在填写BUG严重级别时,请参照该文档中描述的情况对应填写。

从软件规范化角度说明

①严重问题:严重不合理,核心功能完全违反软件规范或业务规范,可能导致用户强烈的反感。

②一般问题:一般不合理,即使用户经过较长时间的熟练依然有错误操作的可能,或者使用者始终无法较流畅的操作,可能会导致用户的抱怨。

③轻度问题:轻度不合理,存在歧义,需要反复和用户说明,即使如此,也有可能在使用中感到不便;界面设计存在缺陷、凌乱或不友好。

④细微问题:虽有不尽人意之处,但不影响用户操作;或用户使用频率较低,并且不会造成错误;局部界面不够美观。

从软件功能实现角度说明

①严重问题:由于需求、设计错误导致流程和流程控制存在重大错误,与现有政策法规或实务惯例的规定(约定)有明显冲突;由于设计错误严重削弱软件处理事务的能力;由于编码错误导致骨干流程不可用。

②一般问题:局部功能无法正常使用,但不影响软件整体流程的实现;无法满足可以预料到的特殊应用;软件功能的实现过程中弹出未控制的系统错误提示,导致流程中断。

③轻度问题:功能虽然能够正常使用,但由于实现过程中缺乏容错性,不能对设计边界以外(甚至边界本身)的数据或操作做出正确的响应,导致程序整体不稳定;运行过程中弹出未控制的系统提示,但不影响流程继续。

④细微问题:处理过程中出现的对实现功能没有影响的缺陷;经过说明,用户可以较容易理解并且不影响用户使用的;实质上与软件实现需求无关的。