记录一次访问量瞬间增加，导致请求卡住的问题排查过程

2022.11.07号下班路上突然收到许多用户反馈，说小程序进不去了。然后自己试了一下，打开一直转圈，于是快马加鞭赶回家，打开了电脑。

基本情况

1. 文件收集小程序：帮助用户更加方便的收集各种类型的文件，同时上传之后的文件可以在线预览。
2. 服务器为腾讯云2核4G6M的轻量云，同时还运行着其它的一些服务。
3. 主要消耗的是上行带宽，下行主要消耗来自于文件在线预览，这部分通过内网反代理，由另外一台低配服务器负责。

问题排查

打开电脑，尝试连接SSH，连接时间比正常情况下要多不少。等待的过程中同时登录腾讯云后台，排查之后发现情况如下：

1. 内存占用30%多，CPU负载正常，磁盘读写正常。
2. 腾讯云后台下行带宽正常，上行一直处于峰值。

按理说照这个情况服务器应该游刃有余，然后通过腾讯云服务器日志的历史记录和小程序后台数据比对，发现变化：

1. TCP连接数10s内400+，比往日多2倍多，CPU负载波动幅度较大。
2. 小程序的实时访问次数达10w+，比往日同期最高都多了1倍多。

通过负载看不出大的问题，继续排查。

1.php-fpm进程数

通过Top命令发现php-fpm进程比平时多了很多，大概数了一下有70多个，达到设置的上限150个还差不少。

# top  #查看进程运行情况
# ........

2.TCP连接数

ss命令用来显示处于活动状态的套接字信息，看了一下跟腾讯云显示的差不多

$ s -ss #套接字信息
$ netstat -n | awk '/^tcp/ {++S[$NF]} END { for(a in S) print(a,S[a])}'  #百度找的
....

3.Nginx允许连接数

顺带检查了一下，TCP连接数10s才400多，Ngixn上限设置的5w多...

# worker_connections 51200;

4.mysql连接数

show status like  'Threads%';    //查看连接数
show processlist； //查看连接数

总数40多个，大部分处于空闲休眠，活跃的也没几个。顺带看了一下设置的连接数上限，450，够用😂。

5.mysql慢日志

打开mysq慢日志，设置5s上限，等待了一会，一条也没有。

6.php错误日志

PHP新产生的运行错误日志不少，大部分是SSL握手失败，想了想唯一请求的外部接口好像只有小程序服务端的接口，人家大厂不至于是他们的问题，问题在我这。

打开调试模式，自己模拟请求登录接口，等待了10多秒才有反应，然后多请求几次，最后程序报错，问题定位到一个IP归属地识别接口（高德高精度IP地址接口），请求它的时候一直超时，SSL握手失败。

于是乎，直接删除这个IP地址识别这个功能，再次打开小程序流畅了不少。

原因分析

当日访问用户7000+，由于小程序的登录状态没有本地保存，所以每次打开的时候都会重新请求登录，进而请求IP地址识别接口。

高德的接口有频率限制，和次数上限，然后可能触发了人家的防御机制，导致服务器IP被封禁了。然后所有新的登录请求全部被卡住，导致小程序访问卡死。

待改进

后续删除了IP地址识别功能的代码，细想其实本身也没有使用的必要。

小程序一开始没想过会有这么多用户，所以没上Redis，经过这件事，看来还是有抽空改进的必要。

小程序使用的数据库有几十万的完全无用的数据（上传记录），可以进行归档，只保留最近的一些新数据。

事后调查

经过用户的反馈，当日峰值来自于某学校11.07下午6点后搞的活动，2500多人，用到了这个小程序。