性能测试场景设计深度解析
作者:张允庆 发布时间:[ 2017/5/16 9:37:49 ] 推荐标签:性能测试 场景 脚本
常见的场景类型
单交易基准
一般使用一个用户或一个线程,延时设置为0,对一个交易持续运行10分钟以上。该场景的主要目的是获取单个交易在无压力的情况下的基准响应时间及环境资源使用情况,作为其他场景的参考依据。
单交易负载
单交易负载的场景是为了找到单个交易的优TPS,检测单交易在并发情况下是否存在性能瓶颈。这个优是以什么为衡量标准呢?通常以应用或数据库等系统的CPU使用率不大于70%为标准。为什么是70%?不能更高了吗?通常在生产上运行的应用,如果CPU使用率长期处于高水平那是非常严重的问题,应用的节点随时都可能挂掉。对于生产环境各种资源的使用情况,通常运维部门都会有实时的监控,一般当摸个节点的CPU使用率超过50%时会触发报警,如果长时间处于高负载状态,那么说明应用节点可用资源不足,应该考虑进行节点扩充了。
当然,也并不是什么情况下都需要找到单交易的优TPS,这要分情况来对待。对于被测应用提供的交易比较少的话,可以通过不断测试找到每个交易的优TPS。但是,有的应用提供的交易比较多,这时如果每个交易的优TPS都要找到,那会需要较多的时间来进行测试。
单交易负载的场景具体该如何设计与执行呢?如果你想找出每个交易的优TPS,可以从5个并发用户开始,执行几分钟后再增加5个用户,直到应用CPU使用率超过70%为止。场景的延时设置为0,场景执行前需开启相关监控。该场景用于获取单交易在并发情况下的响应时间与TPS,发现交易本身是否存在并发问题,应用是否会出现错误和异常,响应时间相对单交易基准是否有明显的提高,资源使用率是否在合理的承受范围之内等等。如果应用存在性能缺陷该场景即可发现。
当然,如果你不想测试出每个交易的优TPS,那么单独对每个交易做一次5个并发的负载测试即可。
多交易混合负载
多交易混合负载的目的是为了找到应用的优TPS,即应用CPU资源消耗在70%左右时的TPS(此时需确保数据库等其他被调用资源不成为瓶颈)。
按照测试模型中的交易比例及目标TPS,对每个交易分配不同的并发用户数量,设置不同的延时,同时进行加压,通过多个子场景的不断尝试终测试出应用能够达到的优TPS。这个场景比较复杂,一般需要经过多次的测试与调整才能到达测试模型的比例要求。经过单交易负载测试之后我们已经获取了每个交易的平均响应时间,那么由此值我们便可以设置我们的混合负载场景。假设,我们应用的测试指标TPS为100,单交易负载测试获取的各交易响应时间如下:下单0.4秒,查询0.2秒,退款0.5秒,那么要达到100TPS的压力,该如何设置场景?
计算每个交易的TPS
下单TPS=100*80%=80,查询TPS=100*19%=19,退款TPS=100*1%=1
确定每个交易的并发用户
目标TPS、响应时间、并发用户之间有这样一个关系:
目标TPS=并发用户/响应时间
如果一个交易响应时间是0.2秒,那一个用户时的TPS是1/0.2=5。
在咱们这个实例中每个交易的并发用户计算如下:
下单交易并发用户数量=80*0.4=32
查询交易并发用户数量=19*0.2=3.8
退款交易并发用户数量=1*0.5=0.5
大家看到了,这里出现了非整数的情况,怎么办?对于这种情况我们要进行整数化处理。即我们一般取大于并接近当前数的整数,3.8我们按4,0.5我们按1。整数化后对应的响应时间也应该发生变化,否则无法实现目标TPS。整数化再次计算实际的响应时间:
查询交易调整后的响应时间=4/19=0.21
退款交易调整后的响应时间=1/1=1
于是场景设置如下,下单交易并发用户32个延时设置为0秒,查询交易并发用户4个延时设置0.01秒,退款交易并发用户1个延时设置0.5秒,场景运行时间10分钟以上。但是这个场景运行结果可能并不会完全符合我们的预期,因为并发用户相比单交易负载场景已经增加了很多,交易的响应时间很可能会出现明显的延长。比如下单交易的实际响应时间可能会延长到0.6秒,那么实际的TPS将明显下降。如果出现这种情况该如何处理呢?我们推荐使用区间型延时设置,将这个“区间时间”设置的比实际交易响应时间大一些,根据这个时间再计算对应的并发用户量。另外,建议大家建一个excel的表格,用于计算延时和并发用户的值,效果见下表2。
表2 场景设置工具表
表2中的列“延时设置”的值是使用公式自动计算出来的,公式为“=并发用户单元格编号/(目标TPS单元格编号*交易占比单元格编号)”。建立这个表之后我们只需手动修改两个列的值可以方便地计算出每个场景下的每个交易的延时,这两个列是“平均响应时间”和“并发用户数”。平均响应时间随着并发用户的增加必然会相应地增长,所以在表2中每个场景的平均响应时间数据都是上个场景的执行结果。这样我们每执行完成一个场景,然后把响应时间的数据填写到下个场景中,然后再修改并发用户数量,并确保延时设置大于平均响应时间即可,如果在测试执行过程中出现平均响应时间大于延时设置时间时需要停止场景重新计算。
综上所述,多交易混合负载场景并不是一个场景,而是一系列混合场景的集合。还以上例来说,目标100TPS时我们分析监控结果发现系统各项资源利用率都不是太高,这说明应用还能够承受更大的压力。这需要我们继续加大压力进行测试。我们可能的场景是150TPS、200TPS等等。那么如何确定我们的压力梯度呢?这要看系统资源到底使用了多少,如果100TPS时发现系统各项资源使用率在50%左右,我们可以估计应用的优TPS应该能够达到150,那么我们下一个场景是要按150TPS的目标压力去发压,相关的并发用户和延时根据上表进行调整即可。如果不能实现150TPS的压力,那么我们要减少目标TPS再进行发压,直到测试获取到应用的优TPS。
多交易混合容量
容量的意思是应用能够达到的大TPS。该场景是和多交易混合负载场景相关联的,即通过多交易混合负载找出应用承受的优TPS后继续对应用进行加压,直到找到应用的大TPS。混合容量场景的并发用户与延时调节方式和混合负载一样,在这里不再赘述了。
大并发
该类场景的目的是考察系统在大并发的情况下是否存在问题,是否有报错,是否有用户失败等。大并发一般要设置一个延时,用于到达优并发时的TPS。那么,大并发时的用户到底设置多少,这个延时要设置多久,依据是什么呢?一般我们设置的并发用户数量是优并发的5至10倍,而延时要通过计算得到。这里还是举例说明,有一个应用,测试得到的大TPS为200,对应的并发用户为20,那么我们可以设置两个大并发场景,即100并发用户和200并发用户。100并发时的延时设置为100/200TPS=0.5秒,200并发时的延时设置为200/200TPS=1秒,这个延时为区间型的延时。
通常,在进行大并发测试时获得的TPS结果要比大TPS低很多,因为在大并发时系统很有可能出现某些资源不够用,线程很可能会出现严重的阻塞等等。
如何考量大并发测试获得的测试结果是否符合预期,或者说大并发测试通过的标准是什么?这个也没有固定的标准可循,通常我们认为只要符合如下两方面的要求即可认为测试通过。
大并发用户量是否能达到大TPS时的5倍;
测试结果的TPS是否达到测试指标的要求;
需要说明的是这里的大并发和应用的优并发与大并发并不是一回事,二者并不相同。
稳定性
给应用一个恒定的压力,使场景运行较长的时间,用于测试应用在长时间运行下的表现,TPS是否有较大波动、是否有错误和异常、是否存在内存溢出等。根据业务类型不同一般会运行不同的时长,对于5*8这样的应用稳定性运行8小时即可,7*24这样的应用好能够运行12小时以上。
恒定的压力怎么选取?通常有两种方式。第一种,选择应用优压力的80%为目标压力,这种方式比较适合应用的优TPS不是很高的应用,比如200以下;第二种,如果应用的TPS比较高,那么我们需要换一种方式,否则会产生较多的测试数据。例如一个应用的优TPS为1000笔/秒,如果我们取其80%的压力800笔/秒,那么加压12小时的数据量为3456万!这时,我们使用200TPS的恒定压力运行12小时即可。
扩展性
考察应用的扩展能力。未扩展的情况下基本是一个子系统使用一个单独的机器节点,也是应用的单点情况。扩展性是,再对应用进行一个节点的扩展,测试扩展情况下的TPS。一般双节点的总TPS达到单节点的1.8倍即认为系统具有良好的扩展性。压测时我们选取混合容量场景中获取到应用大TPS时的场景做为压测场景,并使用不同的压力机分别对两个节点进行加压,考察测试结果能够达到多少TPS。
可靠性或异常测试
这种情况下一般是将压力做为背景,对应用所依赖的环境进行模拟故障,考察应用的表现是否符合预期。例如,在一定压力背景下,模拟网络的闪断,待网络恢复后应用TPS是否能够及时恢复。背景压力我们一般选取混合负载测试获取优TPS时的场景即可。
影响性
影响性测试也是性能测试过程中经常遇到一类场景。这种场景一般是针对提供非实时功能的应用所设计的。例如,有批处理或异步处理的应用。严格来说,这不应该算是一个单独场景类型,应该是一种特定的测试类型。对于这类的测试我们一般分两步来执行,首先是在未启用具有影响性的功能时测试出应用的优和大TPS;其次,启动具有影响性的功能,再按第一步的场景(场景的设置均不变)进行测试,对比二者的TPS差别,这个差别是我们要考察的影响性。
挡板延时对比
如果压测环境使用了挡板,可以通过挡板来设置不同的延时进行对比测试。比如延时设置为0.5秒,1秒,甚至2秒。根据不同的延时设置,增加相应的并发用户数量,调整场景的各项设置,考察应用是否能够达到大TPS,是否出现并发用户失败或应用异常等。对于挡板延时,一般的作用是模拟被调用的系统的延迟,考察被测应用在不同的延时情况下的性能表现。现在的应用系统很少有是完全独立的了,或多或少地都需要调用别的系统来实现某些操作或业务。例如,对于一个支付系统,起码需要调用银行通道、银联通道、手机短信通道等等第三方系统。由于受网络传输、被调系统的性能等多方面的影响,每次调用外围系统都会消耗一定的时间,综合起来我们一般会计算一个平均值,那么这个值是被调用系统的平均延时。
在线用户
Web类的应用一般会有在线用户这样一个测试场景。这个场景主要的考察目标是在大量用户在线的情况下,系统是否会出现异常。在线用户即登录系统后并未执行任何操作的用户或执行操作后未退出的用户。脚本里设置一个足够长的思考时间,让用户反复执行“登录-在线-退出”这样的过程。一般这种场景模拟的用户数量较大。
优并发用户
这个场景是为了找到应用的优并发用户数量。优并发用户数量是指应用达到大TPS时的并发用户数量,这一点和优TPS的定义是有区别的。通常在进行多交易混合容量场景执行过程中测试出应用大TPS时的并发用户数量即为优并发用户数量,故此场景可以和多交易混合容量场景合并执行。
大并发用户
这个场景是为了找到应用能够承受的大并发用户数量。大并发用户数量是应用能够承受的并发用户的极限,这时要求用户不会出现失败,交易响应时间不能超过指标的要求,应用不会出现异常、错误等非正常现象。在测试过程中,当我们测试到大TPS后继续增加并发用户数量,直到出现应用异常,或出现并发用户失败,或交易响应时间超过测试指标要求等,这时的并发用户数量即为大并发用户。
对于优并发用户或大并发用户的场景,一般测试web类的应用或有明确并发用户指标需求的应用时会设计这样的测试场景,而接口类的应用一般不考虑这两个场景。
梯度加压
所谓梯度是指开始使用较少的用户加压一段时间(几分钟即可),待TPS稳定后再继续往上加用户,如此循环,直到TPS不再增加为止。整个过程像爬楼梯一样,所以称为“梯度”。
这种类型场景一般是为了“偷懒”而设计的。比如,在生产环境要测试一个交易的大TPS能够到多少时,我们为了节省宝贵的测试时间,一般会使用梯度加压的场景策略。这时我们不知道被测环境能够达到什么样的吞吐量,也没有明确的测试指标,为了快速找到应用的大TPS,使用梯度场景是简单有效的。另外,梯度场景适合独立交易的应用(压测场景只有一个交易),因为独立交易不必考虑复杂的场景设置,使用梯度场景可以节省大量的测试执行时间。
相关推荐
更新发布
功能测试和接口测试的区别
2023/3/23 14:23:39如何写好测试用例文档
2023/3/22 16:17:39常用的选择回归测试的方式有哪些?
2022/6/14 16:14:27测试流程中需要重点把关几个过程?
2021/10/18 15:37:44性能测试的七种方法
2021/9/17 15:19:29全链路压测优化思路
2021/9/14 15:42:25性能测试流程浅谈
2021/5/28 17:25:47常见的APP性能测试指标
2021/5/8 17:01:11