性能测试，就是模仿用户对一个系统进行大批量的操作，得出系统各项性能指标和性能瓶颈，并从中发现存在的问题，对系统进行调优的过程。web端的性能测试应该注意的指标有：用户操作的响应时间、系统的吞吐量（TPS）、系统的硬件资源情况（CPU、硬盘、磁盘）、网络资源占用情况等。

HTTP请求类的性能指标关注点：

响应时间。这里的响应时间一定得是前端+后端的响应时间，我们惯性的思维都是只关注后端服务的响应时间，其实前端的响应时间也是须考虑在内的。

并发测试的相应数据。这部分也得考虑前端数据，这只是一个大概的补充，因为具体的系统需要的数据不一样，其中也不乏包括响应时间。

前端的响应时间都涉及到的环节：

•DNS解析

•各种请求的连接

•TLS的建立

•字节流的发送

后端响应时间涉及的环节：

•等待（前端请求）

•接收信息流

•返回响应数据

这其实就是一个比较完整的web端请求所需要的环节，而响应时间就是指的这个请求的过程所花费的时间。这部分时间就是一个用户在操作的时候所等待的时间，所以用户所能接受的时间范围恰好是性能测试所关注的时间范围。通常用户所能接受的系统响应时间是3-5s，若大于这个时间节点，将会使用户失去耐心，取消对系统的操作。

性能测试工具

Jmeter属于一个非常实用的测试工具，在性能测试当中也占有一个非常重要的位置。通常jmeter在性能测试过程中，涉及到的基本是直接对接的后端服务，针对前端的响应基本不会涉及，所以用jmeter来对一个web系统进行性能测试时，很难去捕获到前端的响应数据。但是后端响应数据获取起来非常的便捷，其中就包括：并发数、平均响应时间、错误率、吞吐量等等。

Loadrunner功能繁多，用途广泛，是一个大型的性能测试工具，但是平常使用也还是其基本的一些功能。LR在用户界面交互上进行了注重，也就是我们之前提到的前端的响应数据，利用LR能够弥补jmeter无法涉及到的前端响应时间这部分，通过更接近用户对界面的交互，得出前端发起请求到请求发送到后台服务这个过程的响应时间。所以，这前后端两部分的响应时间之和，就是我们基本能够判定一个系统真正响应时间的依据。

结合以上提及到两个工具的响应时间，它所涉及到的有两个部分，一是前端，二是后端。

性能测试日志

性能测试中，日志是非常能够反应出测试工作中问题所在的一个环节，通过查看日志来定位问题是一个繁杂但是极为可靠的方式。

•Jmeter端日志

•HTTP端打到Nginx端的日志，这层会涉及到来源IP、请求地址、响应时间等。

•Tomcat层日志

•Server层日志

OS层数据监控

CPU监控，通常的指标是CPU使用率不能超过80%，这样给系统预留一个缓冲的范围。这里提及一点，就是其中涉及到多核CPU的情况，严谨的人会去关注每核CPU的使用情况，因为很多时候多核CPU的利用并不是均衡的，整体的CPU使用情况不能反映出单核的使用情况，容易造成误导。

JVM层监控，这主要是去监控线程，其中包含单线程、多线程，同步线程、异步线程。关于同步线程和异步线程，是一个系统中比较关注的点，假如：一个系统处理事务时，采用的是同步线程，很多事务会等待处理造成阻塞，那么这样的系统处理速度就会受到很大的限制，会被视为一个不合格的系统。

CPU指标

Linux系统的CPU主要有如下几个维度的统计数据

•us：用户态使用的cpu时间百分比

•sy：系统态使用的cpu时间百分比

•ni：用做nice加权的进程分配的用户态cpu时间百分比

•id：空闲的cpu时间百分比

•wa：cpu等待IO完成时间百分比

•hi：硬中断消耗时间百分比

•si：软中断消耗时间百分比

us & sy：大部分后台服务使用的CPU时间片中us和sy的占用比例是最高的。同时这两个指标又是互相影响的，us的比例高了，sy的比例就低，反之亦然。通常sy比例过高意味着被测服务在用户态和系统态之间切换比较频繁，此时系统整体性能会有一定下降。另外，在使用多核CPU的服务器上，CPU 0负责CPU各核间的调度，CPU 0上的使用率过高会导致其他CPU核心之间的调度效率变低。因此测试过程中CPU 0需要重点关注。

ni：每个Linux进程都有个优先级，优先级高的进程有优先执行的权利，这个叫做pri。进程除了优先级外，还有个优先级的修正值。这个修正值就叫做进程的nice值。一般来说，被测服务和服务器整体的ni值不会很高。如果测试过程中ni的值比较高，需要从服务器Linux系统配置、被测服务运行参数查找原因

id：线上服务运行过程中，需要保留一定的id冗余来应对突发的流量激增。在性能测试过程中，如果id一直很低，吞吐量上不去，需要检查被测服务线程/进程配置、服务器系统配置等。

wa：磁盘、网络等IO操作会导致CPU的wa指标提高。通常情况下，网络IO占用的wa资源不会很高，而频繁的磁盘读写会导致wa激增。如果被测服务不是IO密集型的服务，那需要检查被测服务的日志量、数据载入频率等。

hi & si：硬中断是外设对CPU的中断，即外围硬件发给CPU或者内存的异步信号就是硬中断信号；软中断由软件本身发给操作系统内核的中断信号。通常是由硬中断处理程序或进程调度程序对操作系统内核的中断，也就是我们常说的系统调用(System Call)。在性能测试过程中，hi会有一定的CPU占用率，但不会太高。对于IO密集型的服务，si的CPU占用率会高一些。

常见性能瓶颈：

•吞吐量到上限时系统负载未到阈值：一般是被测服务分配的系统资源过少导致的。测试过程中如果发现此类情况，可以从ulimit、系统开启的线程数、分配的内存等维度定位问题原因

•CPU的us和sy不高，但wa很高：如果被测服务是磁盘IO密集型型服务，wa高属于正常现象。但如果不是此类服务，最可能导致wa高的原因有两个，一是服务对磁盘读写的业务逻辑有问题，读写频率过高，写入数据量过大，如不合理的数据载入策略、log过多等，都有可能导致这种问题。二是服务器内存不足，服务在swap分区不停的换入换出。

•同一请求的响应时间忽大忽小：在正常吞吐量下发生此问题，可能的原因有两方面，一是服务对资源的加锁逻辑有问题，导致处理某些请求过程中花了大量的时间等待资源解锁；二是Linux本身分配给服务的资源有限，某些请求需要等待其他请求释放资源后才能继续执行。

•内存持续上涨：在吞吐量固定的前提下，如果内存持续上涨，那么很有可能是被测服务存在明显的内存泄漏，需要使用valgrind等内存检查工具进行定位。