第二部分,测试脚本及测试数据的管理。首先要选择一种合适的自动化脚本语言。一般来说,需要考虑以下几个方面:(1)高可读性,(2)无需编译,(3)可扩展性,(4)强大的第三方支持,尤其是对各种数据源的支持。我们可以采用CVS或者SVN的方式来实现对测试脚本和测试数据的管理。在这里,主要依靠高度组织化的目录结构来实现,尤其是需要和实际测试过程中的测试套件,测试模块以及测试用例的组织结构进行匹配,分级管理。形成一个完整的测试脚本和测试用例的资源库。对于测试脚本的编写,有一些基本的要求:1、形成一套测试脚本的编写规范;2、测试脚本采取分层设计思想,持久层(数据资源库,对象资源库,统一IO),逻辑层(封装基本业务逻辑,实现API级调用),脚本层(实现测试用例过程,主要是描述测试步骤)。通过这些,测试工程师编写测试脚本将会变得十分轻松,测试的效率也会有大幅度的提升,大规模回归,甚至是在第一轮测试实现自动化测试也不再是梦想。

第三部分,测试脚本的执行管理系统。大量的测试脚本编制好了以后,一个很重要的步骤是大批量的执行这些测试脚本。通过CVS或者SVN的管理,我们生成了一个测试资源库,一个测试用例将是一个测试脚本。测试脚本执行管理系统的目的,是要在用户定制的时间去执行用户选定的测试用例。测试脚本执行管理系统也应该能动态的追踪到当前正在运行的任务的状态,例如执行百分比等等;还可以实现多用户管理,例如同时执行多个用户提交的测试需求。同时,测试脚本管理系统还应该实现测试环境自动部署的功能。一般来说,我们在进行大规模的自动化测试之前,需要准确部署测试环境,这里要求用新的代码版本来进行测试。因此,测试环境的自动部署也是很重要的。

第四部分,测试结果的显示与分析系统。通过统一的IO调用,我们可以将测试过程中产生的错误信息,日志信息,以及测试结果动态的放到我们想要存放的地方。测试结果的显示与分析系统正是基于这些数据进行处理的系统。每一个测试用例在执行的过程中,需要输出大量的日志信息,这些日志信息是非常重要的。通常,我们判断一个测试用例执行结束以后,是否有Bug,常常需要深入分析这些日志信息。

在测试用例执行的过程中,不光要打印相关的测试数据,实际获取到的数据,还要打印相应的测试步骤,这样才便于对测试结果进行分析。至于显示系统,主要是对测试结果的一个分类检索功能,可以生成各类报表,例如,一个300个测试用例的模块中有多少通过的,有多少是失败的等等。有一个基本原则是很重要的,自动化测试不是为了自动化,而是为了发现Bug。如果自动化测试不能发现Bug,那么花费大量的人力物力实现自动化,也是没有什么实际意义的。因此,深入收集测试用例执行的过程中产生的各种信息是非常重要的。个人的实践经验表明,这些信息对于发现Bug起着至关重要的作用(测试步骤的描述也不容忽视)。

自动化测试体系不是一个工具,一种自动化测试脚本语言可以实现的。它需要一个完整的解决方案才能实现。个人的实践经验表明,自动化测试框架的引入、强大的资源整合能力和有效的自动化测试体系的设计将是实现自动化测试的十分重要的因素。