内容简介：最近一直在做性能排查，思路就是根据分析nginx日志，得到响应耗时的url、以及请求时间，再得到这段时间的请求量，并发量，分析是并发的原因，还是本身就比较慢，如果是应用本身的原因
最近一直在做性能排查，思路就是根据分析nginx日志，得到响应耗时的url、以及请求时间，再得到这段时间的请求量，并发量，分析是并发的原因，还是本身就比较慢，如果是应用本身的原因，只需要找到对应的代码，然后进行优化就好了
我找到的几个原因，基本就是后端 sql 运行的比较多，单次访问看不出来，但是人比较多的时候就比较慢了，人少的时候20-200毫秒，人多的时候，200-6000毫秒，优化之后基本保持在几十毫秒，优化策略就是减少不必要的sql，加上缓存，基本解决了卡顿的问题，顺便把这次用的一系列命令记录下来，当个总结吧
如果需要得到请求处理的时间，需要在nginx log 里面加上$request_time，下面是我的log_format
nginx.conf
|
1 2 3 |
log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent $request_body "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for" "$request_time"'; |
修改之后重启nginx，查看nginx log的时候，就能看到nginx处理请求所花的时间了，这个时间基本就是后端所花的时间，所以可以根据这个字段来得到响应慢的请求
以下是就是我用到的一些命令了
获取pv数
|
1 |
$ cat /usr/local/nginx/logs/access.log | wc -l |
获取ip数
|
1 |
$ cat /usr/local/nginx/logs/access.log | awk '{print $1}' | sort -k1 -r | uniq | wc -l |
获取最耗时的请求时间、url、耗时，前10名, 可以修改后面的数字获取更多，不加则获取全部
|
1 |
$ cat /usr/local/class/logs/access.log | awk '{print $4,$7,$NF}' | awk -F '"' '{print $1,$2,$3}' | sort -k3 -rn | head -10 |
获取某一时刻的请求数量，可以把秒去掉得到分钟的数据，把分钟去掉得到小时的数据，以此类推
|
1 |
$ cat /usr/local/class/logs/access.log | grep 2017:13:28:55 | wc -l |
获取每分钟的请求数量，输出成csv文件，然后用excel打开，可以生成柱状图
|
1 |
$ cat /usr/local/class/logs/access.log | awk '{print substr($4,14,5)}' | uniq -c | awk '{print $2","$1}' > access.csv |
上面的图是用excel生成的，也可以用命令行工具gnuplot生成png，我也试了一下，没什么问题，直接以编程的形式得到报表，去掉人工操作部分，很方便，但是有一点就是x轴数据比较多的时候，不能像excel一样自动稀释数据，所以我还是喜欢用excel来生成
其实用来用去也就是那么几个命令:
cat：输入文件内容
grep：过滤文本
‘sort’：排序
‘uniq’：去重
‘awk’：文本处理
命令组合使用，单个命令可以使用多次，来达到多重过滤的效果，前面一个命令的输出就是后一个命令的输入，流式处理，只要学会这个命令，有多看似复杂的东西，都变得异常简单。
上面介绍的都是命令，下面再介绍一个直接输出html的，其实就是利用go-access来分析nginx日志
|
1 |
cat /usr/local/nginx/logs/access.log | docker run --rm -i diyan/goaccess --time-format='%H:%M:%S' --date-format='%d/%b/%Y' --log-format='%h %^[%d:%t %^] "%r" %s %b "%R" "%u"' > index.html |
go-access是以 docker 容器的形式运行的，只要你安装了docker，就能直接运行，免安装很方便
以上脚本，配合日志每天的日志分割，然后在crontab里面配置一下自动运行脚本，可生成每一天的nginx报表，网站情况一幕了然，当然这里也有缺点，因为不实时
想要统计实时数据，可以使用ngxtop 来查看，安装起来也很简单
|
1 |
$ pip install ngxtop |
运行的话，先进到nginx目录，然后再运行，-c 指定配置文件，-t 刷新频率，单位为秒
|
1 2 |
$ cd /usr/local/nginx $ ngxtop -c conf/nginx.conf -t 1 |
但是这种实时的方式，还需要ssh远程登录，不太方便，还可以使用 lua 来进行实时统计，然后写一个界面把数据展示出来，通过lua-nginx-module，nginx/tengine 都可以用，如果直接安装openresty的话，就方便了，内嵌了lua，不需要重新编译nginx了，openresty的入门可以看我写的一些文章
以上～～～
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
嵌入式系统软件设计中的常用算法
周航慈 / 2010-1 / 24.00元
《嵌入式系统软件设计中的常用算法》根据嵌入式系统软件设计需要的常用算法知识编写而成。基本内容有：线性方程组求解、代数插值和曲线拟合、数值积分、能谱处理、数字滤波、数理统计、自动控制、数据排序、数据压缩和检错纠错等常用算法。从嵌入式系统的实际应用出发，用通俗易懂的语言代替枯燥难懂的数学推导，使读者能在比较轻松的条件下学到最基本的常用算法，并为继续学习其他算法打下基础。 《嵌入式系统软件设计中的......一起来看看 《嵌入式系统软件设计中的常用算法》 这本书的介绍吧!
