背景

　　在搜索引擎的测试过程中，经常会遇到以下两个问题：

　　● 需要搭建和更新分布式测试环境

　　● 在性能测试时，我们需要测试不同集群规模和配置下的环境时，如何自动更新测试环境和批量进行性能测试

　　因此，我们需要设计一个脚本，这个脚本可以帮我来完成这些事。

　　在这里，我推荐使用Python，理由有：

　　● 写起来比较快（测试时间本来比较紧张），不可能用C或者Java了

　　● 语法比较清晰，Shell、Perl这些维护起来太乱

　　● 自带的库、第三方的库比较丰富

　　● 另外，我个人比较喜欢Python的mako模版引擎和paramikossh2库。

　　其实不用paramiko也可以，只要把机器ssh打通可以。但我个人不太喜欢这种方式，觉得耦合性太强（只能在Linux下运行了）。

　　设计

　　批量性能测试的设计

　　我很喜欢采用YAML格式，YAML格式的一大好处是可以很方便的定义List、Map等类型


1.tasks:

2. # 第一个测试用例，我可能需要测试单线程的情况

3. -

4.    id:1# ID的作用是你在脚本中可以拿id作为结果存放的目录

5.    parallelNum:1# 并发数

6.    seconds:1800# 压半个小时

7.    targetHost:10.20.137.22 # 目标主机

8.    targetPort:9999

9.    queryFilePath:/home/admin/access-log/add-600w.query  # 请求放在这儿

10. # 第2个测试用例，我可能需要测试2线程的情况，这时我只要再写一个，然后parallelNum: 2可以了

11. -

12.    id:1

13.    parallelNum:2

14.    seconds:1800

15.    targetHost:10.20.137.22

16.    targetPort:9999

17.    queryFilePath:/home/admin/access-log/add-600w.query
 


　　在阿里的搜索平台这边，我们大多使用abench作为性能测试工具，它是一个命令行工具，只要命令+参数可以了，比起JMeter要写JMeter脚本简单。因此，我再在配置文件中设计一下abench的命令格式。

　　因为在运行命令中，有很多参数需要替换成上述测试用例设定的参数，因此需要采用模版引擎的方式。Python的模版引擎很多，我个人比较推荐mako。


1.abenchPath:/opt/usr/bin/abench  # abench在哪儿？

2.abenchCommand:"${abenchPath} -p ${parallelNum} -s ${seconds} -k --http -o /dev/null ${targetHost} ${targetPort} ${queryFilePath}"