线上服务突然卡死？教你几招快速定位PHP-FPM进程假死问题

ps aux | grep php-fpm

root      1234  0.0  0.1 123456  7890 ?        Ss   10:00   0:00 php-fpm: master process
www       1235  0.0  0.2 123456  8901 ?        S    10:00   0:00 php-fpm: pool www
www       1236  0.0  0.2 123456  8902 ?        S    10:00   0:00 php-fpm: pool www

# 查看PHP-FPM状态页面（需要先配置）
curl http://localhost/status

# 或者直接测试PHP页面响应
curl -w "@curl-format.txt" -o /dev/null -s "http://your-site.com/test.php"

# 查看CPU使用情况
top -p `pgrep php-fpm | tr '\n' ',' | sed 's/,$//'`

# 查看内存使用
free -h

# 查看磁盘IO
iostat -x 1

# 找到问题进程PID
ps aux | grep php-fpm | grep -v master

# 追踪系统调用
strace -p 进程PID -f -e trace=all

gdb -p 进程PID
(gdb) bt
(gdb) info threads
(gdb) thread apply all bt

; 在php-fpm.conf中配置
slowlog = /var/log/php-fpm/slow.log
request_slowlog_timeout = 5s

[26-Oct-2023 15:30:45]  [pool www] pid 12345
script_filename = /var/www/html/index.php
[0x00007f8b8c0c8000] curl_exec() /var/www/html/api.php:45
[0x00007f8b8c0c8100] api_call() /var/www/html/index.php:23

// 设置MySQL连接超时
$pdo = new PDO($dsn, $user, $pass, [
    PDO::ATTR_TIMEOUT => 5,
    PDO::MYSQL_ATTR_INIT_COMMAND => "SET SESSION wait_timeout=30"
]);

// 使用curl时一定要设置超时
$ch = curl_init();
curl_setopt($ch, CURLOPT_TIMEOUT, 10);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 5);

// 使用flock时要注意超时
$fp = fopen('data.txt', 'w');
if (flock($fp, LOCK_EX | LOCK_NB)) {
    // 获得锁，执行操作
    fwrite($fp, $data);
    flock($fp, LOCK_UN);
} else {
    // 获取锁失败，记录日志或者返回错误
    error_log('Failed to acquire file lock');
}
fclose($fp);

# 查看磁盘IO使用率
iostat -x 1 5

# 重点关注这几个指标：
# %util - 磁盘使用率，接近100%说明磁盘很忙
# await - 平均等待时间，超过20ms就要注意了
# svctm - 平均服务时间

# 安装iotop工具
apt install iotop -y

# 实时查看IO使用情况
iotop -o -d 1

# 或者使用pidstat
pidstat -d 1

Total DISK READ :       0.00 B/s | Total DISK WRITE :      12.34 M/s
Actual DISK READ:       0.00 B/s | Actual DISK WRITE:      15.67 M/s
  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND
 1234 be/4  www         0.00 B/s   10.23 M/s  0.00 %  85.67 % php-fpm: pool www

# 使用lsof查看进程打开的文件
lsof -p 进程PID

# 或者查看进程的文件描述符
ls -la /proc/进程PID/fd/

# 检查磁盘使用情况
df -h

# 查找大文件
find /var/log -type f -size +100M -exec ls -lh {} \;

# 查看目录大小
du -sh /var/log/*

# 查看进程内存使用
cat /proc/进程PID/status | grep VmRSS

# 或者用ps
ps -o pid,vsz,rss,comm -p 进程PID

# CentOS/RHEL
systemctl restart php-fpm

# Ubuntu/Debian  
systemctl restart php7.4-fpm

# 或者直接kill掉重启
pkill php-fpm
/usr/sbin/php-fpm -D

# 发送USR2信号进行平滑重启
kill -USR2 `cat /var/run/php-fpm.pid`

# 或者使用systemctl
systemctl reload php-fpm

; php-fpm.conf
log_level = notice
access.log = /var/log/php-fpm/access.log
access.format = "%R - %u %t \"%m %r\" %s %f %{mili}d %{kilo}M %C%%"

# 添加到crontab，每天凌晨2点重启
0 2 * * * /usr/bin/systemctl reload php-fpm

# /etc/logrotate.d/php-fpm
/var/log/php-fpm/*.log {
    daily
    missingok
    rotate 7
    compress
    delaycompress
    notifempty
    postrotate
        /bin/kill -USR1 `cat /var/run/php-fpm.pid 2>/dev/null` 2>/dev/null || true
    endscript
}

# 定期清理PHP临时文件
find /tmp -name "php*" -type f -mtime +1 -delete

# 清理session文件
find /var/lib/php/session -name "sess_*" -type f -mtime +1 -delete

# 安装perf工具
yum install perf -y

# 对指定进程进行采样
perf record -p 进程PID -g -- sleep 30

# 查看报告
perf report

# 监控文件IO操作
stap -e 'probe syscall.read, syscall.write { 
    if (pid() == target()) 
        printf("%s: %s\n", name, argstr) 
}' -x 进程PID

# 启用core dump
ulimit -c unlimited
echo '/tmp/core.%e.%p' > /proc/sys/kernel/core_pattern

# 使用gdb分析core文件
gdb /usr/sbin/php-fpm /tmp/core.php-fpm.12345
(gdb) bt
(gdb) info registers