MySQL服务器磁盘问题一例
MySQL服务器磁盘问题一例
MySQL服务器磁盘问题一例
今天早上在公司遇到一个磁盘空间相关的问题，比较典型，记录一下，希望对大家有帮助。
业务侧反馈有磁盘报警现象，登陆到服务器上之后，看到下面的场景：
[root@ data1]# df -h /data1
Filesystem Size Used Avail Use% Mounted on
/dev/sda8 1.5T 1.3T 140G 91% /data1
[root@ data1]# du -sh *
21M database_exporter
845M dbatemp
16K lost+found
116G mysql3306
6.4G mysql3630
414G mysql5186
10M mysqlbinlog
图中可以得到下面的信息：
1、磁盘的总容量是1.5T，实际占用了1.3T
2、/data1目录下的mysql相关的目录，加起来只有不到600G，而其他目录，几乎不占用磁盘空间
3、df -h看到的占用1.3T容量和du -sh看到的实际600G容量不匹配，似乎有700G磁盘容量消失了
剩余的700G空间去哪里了？
检查了磁盘上的隐藏文件，也没有发现端倪。于是我想到了之前的一个经典案例，就是Linux服务器下，有可能出现这种删除文件之后，磁盘空间不释放的情况，一般是文件句柄不释放，导致的磁盘空间问题。
这里需要简单说一个Linux命令，就是lsof命令：
在Linux操作系统中，一切皆文件，而lsof命令的全程就是（list open files），将所有的打开的文件都展示出来，lsof命令不仅可以查看操作系统打开文件、目录的情况，还可以查看进程监听的端口等信息。常用的lsof命令的参数如下：
-a 指示其它选项之间为与的关系
-c <进程名> 输出指定进程所打开的文件
-d <文件描述符> 列出占用该文件号的进程
+d <目录> 输出目录及目录下被打开的文件和目录(不递归)
+D <目录> 递归输出及目录下被打开的文件和目录
-i <条件> 输出符合条件与网络相关的文件
-n 不解析主机名
-p <进程号> 输出指定 PID 的进程所打开的文件
-P 不解析端口号
-t 只输出 PID
-u 输出指定用户打开的文件
-U 输出打开的 UNIX domain socket 文件
-h 显示帮助信息
-v 显示版本信息
想到这里，我利用lsof命令查看当前打开的文件内容，并过滤了一下已经被delete的文件，结果如下：
[root@ data1]# lsof -n | grep delete
COMMAND PID TID USER FD TYPE DEVICE SIZE/OFF NODE NAME
cupsd 1225 root 9r REG 8,2 1926 1575211 /etc/passwd+ (deleted)
mysqld_sa 9014 root 0u CHR 136,0 0t0 3 /dev/pts/0 (deleted)
mysqld 10175 my5186 5u REG 8,8 15513 96731233 /data1/mysql5186/ibdpQaPG (deleted)
mysqld 10175 my5186 6u REG 8,8 0 96731972 /data1/mysql5186/ibQg9qu6 (deleted)
mysqld 10175 my5186 7u REG 8,8 0 96731979 /data1/mysql5186/ibLLGH9v (deleted)
mysqld 10175 my5186 8u REG 8,8 0 96731980 /data1/mysql5186/ibYg7Bln (deleted)
mysqld 10175 my5186 13u REG 8,8 0 96731981 /data1/mysql5186/ibm22peP (deleted)
mysqld 10175 my5186 19w REG 8,8 786372990960 96731986 /data1/mysql5186/slow.log (deleted)
mysqld 10175 1400 my5186 5u REG 8,8 15513 96731233 /data1/mysql5186/ibdpQaPG (deleted)
mysqld 10175 1400 my5186 6u REG 8,8 0 96731972 /data1/mysql5186/ibQg9qu6 (deleted)
mysqld 10175 1400 my5186 7u REG 8,8 0 96731979 /data1/mysql5186/ibLLGH9v (deleted)
mysqld 10175 1400 my5186 8u REG 8,8 0 96731980 /data1/mysql5186/ibYg7Bln (deleted)
mysqld 10175 1400 my5186 13u REG 8,8 0 96731981 /data1/mysql5186/ibm22peP (deleted)
mysqld 10175 1400 my5186 19w REG 8,8 786372847911 96731986 /data1/mysql5186/slow.log (deleted)
mysqld 10175 1401 my5186 5u REG 8,8 15513 96731233 /data1/mysql5186/ibdpQaPG (deleted)
mysqld 10175 1401 my5186 6u REG 8,8 0 96731972 /data1/mysql5186/ibQg9qu6 (deleted)
mysqld 10175 1401 my5186 7u REG 8,8 0 96731979 /data1/mysql5186/ibLLGH9v (deleted)
mysqld 10175 1401 my5186 8u REG 8,8 0 96731980 /data1/mysql5186/ibYg7Bln (deleted)
mysqld 10175 1401 my5186 13u REG 8,8 0 96731981 /data1/mysql5186/ibm22peP (deleted)
mysqld 10175 1401 my5186 19w REG 8,8 786372854597 96731986 /data1/mysql5186/slow.log (deleted)
mysqld 10175 1402 my5186 5u REG 8,8 15513 96731233 /data1/mysql5186/ibdpQaPG (deleted)
mysqld 10175 1402 my5186 6u REG 8,8 0 96731972 /data1/mysql5186/ibQg9qu6 (deleted)
mysqld 10175 1402 my5186 7u REG 8,8 0 96731979 /data1/mysql5186/ibLLGH9v (deleted)
mysqld 10175 1402 my5186 8u REG 8,8 0 96731980 /data1/mysql5186/ibYg7Bln (deleted)
mysqld 10175 1402 my5186 13u REG 8,8 0 96731981 /data1/mysql5186/ibm22peP (deleted)
上面命令就是过滤那些已经从linux操作系统删除掉，然后还处于打开状态的文件（这意味着他们的文件句柄还没有释放，自然磁盘空间就没有释放）。
结果可以看到，有个MySQL实例持有的slow.log文件已经被删除了，但是句柄还没有释放，红色部分size字段显示的数字是786372854597，这个单位是B，换算成GB，也就是786G，这就能解释为什么我们的磁盘空间被消耗了这么多了，现在的问题就是解决这个句柄占用不释放的问题了。
既然是持有的slowlog文件没有释放，那么我们就重新生成一个新的slowlog文件就行，于是，对这个MySQL实例重新生成slowlog文件，执行命令flush slow logs，如下：
superdba@[(none)] 17:45:11>flush slow logs;
Query OK, 0 rows affected (28.83 sec)
可以看到，执行时间还是比较长的，持续了28s，这期间我还是比较担心，担心MySQL实例直接挂掉，好在没有挂掉，一切比较正常。
处理过后，再来看磁盘空间：
[root@mis73243 ~]# df -h /data1
Filesystem Size Used Avail Use% Mounted on
/dev/sda8 1.5T 571G 874G 40% /data1
可以看到磁盘空间已经被释放掉了。
至此，问题解决。
总结：
1、Linux中，删除文件，没有释放空间，有可能是文件句柄没有释放，持续占用磁盘空间
2、可以通过lsof命令来查看当前打开的文件情况，如果要过滤已经删除的文件，可以使用lsof -n | grep delete命令
3、MySQL可以通过flush slow logs命令来重新生成slowlog，释放旧的slowlog句柄，如果是其他类型的log，可以使用对应的flush语句，如下：
FLUSH [NO_WRITE_TO_BINLOG | LOCAL] {
flush_option [, flush_option] ...
| tables_option
}
flush_option: {
BINARY LOGS
| ENGINE LOGS
| ERROR LOGS
| GENERAL LOGS
| HOSTS
| LOGS
| PRIVILEGES
| OPTIMIZER_COSTS
| RELAY LOGS [FOR CHANNEL channel]
| SLOW LOGS
| STATUS
| USER_RESOURCES
}
tables_option: {
TABLES
| TABLES tbl_name [, tbl_name] ...
| TABLES WITH READ LOCK
| TABLES tbl_name [, tbl_name] ... WITH READ LOCK
| TABLES tbl_name [, tbl_name] ... FOR EXPORT
}
关于flush命令，更多信息，请参考MySQL官方文档。
腾讯云开发者
