更高深的一些测试方法还包括错误注射(Fault Injection),也是将错误注射到源程序中。因为很多错误很不容易在某种机器环境中出现,比如一个用户的机器内存特别少的时候,微软要求程序仍然不能丢失数据和发生安全漏洞,但测试人员不能把测试机器的内存拆下来,也不能非常精确的把内存消耗到期望的数值,这时他们会通过注射一段代码来模拟内存的分配。要做到这点,需要掌握编程及熟悉操作系统的内存分配算法。由于SDET的存在,微软可以更加有效地对软件进行测试。

当然,STE的角色也很重要。这些人必须非常聪明,解决问题的能力特别强;有钻研精神,绝不放弃;很细心,而且很有创造力。陈天说:“好的STE不是只按照规定好的测试用例来执行,而是可以想到很多一般用户想不到的地方,他可以用非常规的思路来寻找软件的bug。而且他会懂很多各种各样的软件。事实上,很多bug不是在程序本身找到的,而是在其与其它程序交互时找到的。”不过,测试工作而言,微软未来的趋向是,纯粹的STE将越来越少,而且微软会要求STE“也要学会用程序工具去进行测试”。

普通的测试工程师若想臻至“”,需要经历很长的阶段。除了要学习很多测试方面的技巧外,还需对测试全局有着全面的了解和充分的掌控??这同样是实现个人成长的重要前提。“测试人员一开始学到的信息都是分块的,比如开始会写测试用例,后来知道了要做代码覆盖率,而后可以学到更深的知识,但终是要把这些知识都融会贯通起来,大家都需要经历这样一个过程,这是很难避免的。”陈天说,“因此,我要求大家不要只看自己做的部分,而要看其他人做的事情,要看产品开发到哪个阶段,像玩拼图一样, 只有对整个软件开发流程了解,这个时候你才知道每块拼图应该在哪里。” 为了让测试工程师更快速地成长,微软亚洲工程院经常让大家转换角色,轮流负责不同的任务,或者将一个大的部分拆分为几个小块,每个人负责其中一个小块的全部测试内容。

对于微软亚洲工程院的测试工程师新手来说,工作既充满挑战又非常充实。不过,首先要改变的是“心态”。一方面,不能仅仅满足于完成自己的工作。陈天表示,“如果让一个新人进行浏览器的测试,他可以写很多测试用例,比如测试各种按钮是否可用等等;但对于软件来说,是不是只要经过了这些测试,立刻可以上市销售了?不能仅仅满足于找到BUG, 要真正做到质量保证. 时常问自己,是不是这样的质量软件明天能上市?很多新来的员工没有这样的意识,也是对整个产品质量负责的意识。我经常给我们的工程师讲,尽管微软有几万名工程师,但测试某一个功能点的人你一个,如果漏过了任何一个bug,等到上市之后,受到影响的可能是数以千万计的微软用户。所以我们要求责任感对一个测试工程师甚至比他的测试技能更加重要。”

当然,对于新人来说,有一套学习的途径可以让他们实现快速地成长??除了陈天等测试经理和Test Lead的指导外,微软内部还积累了一整套测试流程、工具和模板。首先,测试工程师要对负责的产品非常了解,要看PM和开发人员的文档,然后根据模板进行工作,而Test Lead也会审查他们的工作。“每个产品的测试都包含了基本的测试,如功能测试、压力测试、代码覆盖率校验、插入测试、与其他产品交互的测试,还有全球化和本地化测试。”在测试用例上,几乎永远是越多越全面越好。在陈天测试Windows XP操作系统某项目时,仅对几个Dll文件的测试写了两千多个测试用例。陈天说:“微软的测试工具基本上都是自己开发的,虽然商业性比较差,但对产品的针对性很强。除了常用的十种左右的测试工具外,往往需要测试人员针对项目开发很多测试工具。”

谈及未来的发展,陈天对自己的测试团队充满了信心。从院长张宏江到技术总监林斌,微软亚洲工程院阖院上下都对测试工作非常重视。陈天希望将他的团队变成“微软好的测试组之一”。他说:“虽然目前还不是,但对此我非常有信心,我们的员工技术水平还可以提高,我们的测试流程还可以更适合开发的需求,员工们的测试理念也还应不断增强, 后,,我们也正在形成自己的测试文化并用次来推动ATC的进一步高速发展。”