案例二
  案例一server在某次重构测试任务中,性能对比结果除句柄数外其他9个指标不变(系统负载正常波动),句柄数有变化这不符合预期(如下图所示)。经检查发现句柄泄露,这是由于新server不断创建线程却未相应调用CloseHandle进行释放,导致句柄数量不断增加,而操作系统对句柄大数量是有限制的,在达到大数量后将会导致server停止提供正常服务。

  五、 对比测试平台化
  上述三种对比测试方法均没有特定的比较工具,需要根据需求,编写脚本或代码完成各项数据或指标对比。根据测试经验,为保证对比测试结果的可靠性,每次测试任务中同种对比测试平均进行三次,观察三次对比结果是否稳定。同时对比测试时务必确保新旧server运行环境的一致性。这些工作包括操作测试、收集测试结果等都非常耗时间人力,也易出差错,为了提高测试效率和质量,亟需对比测试平台化,通过测试平台自动地完成测试环境准备,测试数据收集及测试结果展示。
  目前商业测试团队开发了自动化、可视化的测试平台,提供测试环境的一键式部署和一致性对比,支持多种测试类型的自动化测试,支持测试数据自动收集,并提供多种报表形式展示结果数据。对比测试亦已纳入平台,并正逐步完善中。
  对比测试作为一种辅助测试手段,在持续迭代的后端server的巧用能有效提高测试效率、保证测试质量。本文希望带给大家一种不同的思路,也欢迎大家一起探讨。