群里炸了,业务和用户永远是最先发现问题的人群。
然后进行了基本的排查。
1.打开业务网址无法访问
2.服务器排查nginx和PHP服务,都正常
3.查看PHP的进程异常的多
4.查看PHP的错误日志,打开php.ini文件,错误位置在/var/log/php/error.log
5.发现没有错误
6.查看nginx日志
[error] 14225#0: *122109623 connect() failed (111: Connection refused) while connecting to upstream, client: 58.18.243.80, server
7.查看数据库服务器,无法写入数据
8.查看磁盘/dev/xvdb1 103210940 94903192 3064940 97% /data_mysql 容量已满
9.查看目录下的文件,是一些有规律的备份文件
10.查看crontab -e ,发现有个脚本在不定时备份数据库整库的数据
11.先删除目录下的文件,然后新增脚本,对于目录下214天前的文件进行删除,只保留最新的备份。
0 3 * * 2 find /data_mysql/backupmysql "*.sql" -mtime+14 -execrm{};
12.处理后,重启api的PHP服务,业务恢复正常