事情经过是这样的:
1、某台mongodb01服务器上数据盘空间不足,临时挂载了个NFS,先尝试让服务恢复起来。
2、运行30分钟后,发现达不到效果。于是nfs方案废弃。
3、DBA在nfs服务器上,直接将 /mnt/mongodb01 这个目录删除了(注意:当时操作的时候,忘记db01上nfs目录还没有卸载掉)
4、大约1小时后,监控系统告警,提示db01 系统负载高达3000
5、DBA登录db01服务器,top、dstat命令查看没有搞CPU的进程,磁盘读写也非常低。
6、习惯性的执行了一下 df 命令,发现非常卡顿,没法执行下去,直接强行关掉xshell会话。想起来这台机器的NFS盘还没卸载掉。
解决:
step1、再次到db01上执行 umount 尝试卸载nfs盘。 再次执行 df ,可以正常。 但是观察段时间,发现系统负载还是很高,根本没有降下来。
step2、在nfs上再次创建 /mnt/mongodb01 目录。 然后在 db01上,再次挂载nfs。 挂载成功后,再次执行下卸载操作(umount -l /mnt/mongodb01)
经过这顿骚操作后,看了下系统负载终于降下来了。