根据形式、覆盖率和有效性来评估测试用例的质量

  蔡:如何评估测试用例的质量?

  郑:测试用例质量的评估,我主要考虑下面三个方面。

  1、根据测试用例的形式评估其质量,主要包括:

  (1)测试用例与需求规格说明中需求条目的可追溯性。例如,每个需求条目至少有1个测试用例与之对应。

  (2)测试用例有无明确的期望结果。

  (3)是否满足公司内部定义的测试用例模板。

  2、根据测试用例覆盖率评估其质量,主要包括:

  (1)需求的覆盖率。例如,我们主要负责系统测试级别,因此测试用例的需求覆盖率要求必须达到。

  (2)质量特性的覆盖率。例如,我们在测试用例模板中采用测试类型的概念,要求每个功能的测试用例必须覆盖所有的测试类型。

  (3)测试平台的覆盖率。例如,针对我们目前的通信产品,每个功能都需要在不同平台上运行;再如,不同的网元类型、接口类型、业务类型等。测试用例对这些平台的覆盖率也要求达到。

  3、根据测试用例的有效性评估其质量,主要包括:

  (1)测试用例的缺陷发现率。我们采用的计算方法是,系统测试发现的缺陷数目除以执行的测试用例数目(百分比)。

  (2)脚本化测试的缺陷发现率。我们采用的计算方法是,根据测试用例步骤发现的缺陷数目除以总发现的缺陷数目(百分比)。如果这个百分比很低,则说明设计的测试用例的有效性方面比较差,不少bug是通过探索性测试发现的。

  (3)遗漏到用户现场的缺陷率。我们采用的计算方法是,6个月内用户现场反馈的缺陷数目,除以系统测试级别发现的缺陷数目与6个月内用户现场反馈的缺陷数目之和(百分比)。

  每个公司和测试团队在评估测试用例质量方面都会存在不同的度量指标,我们的要求是这些度量指标要简单容易收集,并且有利于改进测试过程和测试团队的测试能力,但切记不会做针对测试人员个人的能力与绩效的评估。

  旁观者说:从不同的侧面去做度量,是一个更好的办法。这种办法可以在工作的很多方面得到应用。

  成为测试牛人的三个步骤

  蔡:有网友提到一个问题,如何成为测试牛人?

  郑:不管是测试管理方向还是测试技术方向,都是可以成为测试牛人的。要成为测试牛人,你要有成为测试牛人的强烈要求。根据我的经验,下面的步骤有助于你成为某个领域内的专家。

  第一步,制订目标:你希望成为哪个领域的测试牛人?例如,测试技术方面的牛人、测试自动化方面的牛人。

  第二步,技能要求:要达到所制订的目标,你需要具备哪些方面的技能?以我自己为例,希望自己成为测试技术专家,我主要从下面几个方面不断积累经验与技能。

  (1)深入了解测试对象的背景知识与业务功能。例如,我是做宽带接入产品的,除了测试对象的功能之外,我利用空闲的时间学习了VPN、MPLS、IPv6、IP路由交换协议等。

  (2)深入了解我公司所采用的开发模型与测试流程,即需要清楚地知道在测试生命周期中,什么阶段需要做什么事情,有哪些输入与输出。

  (3)测试人员要深入了解各种软件测试技术与方法。例如,我们采用敏捷开发,在面向业务的测试过程中,探索性测试与测试人员的结对测试是我们经常采用的测试方式,不仅可以有效发挥测试团队的主观能动性与及时分析反馈能力,而且可以更好地分配资源与加强测试团队内部的技能共享。