KDUMP是Linux内核中的一项关键功能,用于在系统崩溃时生成内存转储(core dump)。这对于系统管理员和开发人员来说,分析和调试系统崩溃问题至关重要。本文将详细介绍KDUMP的工作原理、配置方法以及在实际操作中的应用。
KDUMP利用了kexec机制,它允许在内核崩溃后直接加载并运行一个新的内核,而无需通过BIOS或固件重新引导系统。KDUMP的主要步骤如下:
配置KDUMP主要包括以下几个步骤:
在大多数Linux发行版中,KDUMP工具可以通过包管理器安装,例如在CentOS或RHEL中:
bash
sudo yum install kexec-tools
编辑GRUB配置文件,添加crashkernel
参数以预留内存。例如,在/etc/default/grub
文件中:
bash
GRUB_CMDLINE_LINUX="crashkernel=128M"
更新GRUB配置:
bash
sudo grub2-mkconfig -o /boot/grub2/grub.cfg
编辑KDUMP配置文件/etc/kdump.conf
,指定内存转储文件的保存位置:
bash
path /var/crash
启动并启用KDUMP服务:
bash
sudo systemctl start kdump
sudo systemctl enable kdump
为了验证KDUMP是否正确配置,可以手动触发系统崩溃:
bash
echo c > /proc/sysrq-trigger
系统将会崩溃并重启,KDUMP服务会生成内存转储文件,可以在配置的保存位置查看生成的转储文件。
生成的内存转储文件可以使用crash
工具进行分析。crash
工具提供了一个交互式的命令行界面,用于查看内核数据结构、栈跟踪等信息。
安装crash
工具:
bash
sudo yum install crash
使用crash
工具加载内存转储文件和调试符号文件:
bash
sudo crash /usr/lib/debug/lib/modules/$(uname -r)/vmlinux /var/crash/2023-06-24-10\:00/vmcore
在crash
工具中,可以使用各种命令查看内存转储文件的详细信息。
log
和bt
命令是两个非常重要的命令。log
命令用于查看内核日志,而bt
命令用于查看崩溃时的栈跟踪信息。以下是这两个命令的详细介绍及示例。
log
命令log
命令用于显示内核的日志信息,这些日志记录了系统运行过程中发生的各种事件,包括错误、警告和信息性消息。查看内核日志可以帮助我们了解系统崩溃前发生了哪些重要事件。
假设我们在crash
工具中输入log
命令,输出可能如下:
bash
crash> log
[ 0.000000] Initializing cgroup subsys cpuset
[ 0.000000] Initializing cgroup subsys cpu
[ 0.000000] Initializing cgroup subsys cpuacct
[ 0.000000] Linux version 3.10.0-957.21.3.el7.x86_64 (mockbuild@kbuilder.bsys.centos.org) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-36) (GCC) ) #1 SMP Tue May 14 21:24:45 UTC 2019
...
[ 15.625908] SELinux: Disabled at runtime.
[ 15.625914] SELinux: Unregistering netfilter hooks
[ 15.631763] type=1404 audit(1621513042.185:2): selinux=0 auid=4294967295 ses=4294967295
[ 15.632076] systemd[1]: Successfully loaded SELinux policy in 13.217130ms.
...
[ 1183.443830] BUG: unable to handle kernel NULL pointer dereference at 0000000000000010
[ 1183.444069] IP: [<ffffffff810dffef>] __wake_up_common+0x2f/0x80
[ 1183.444332] PGD 0
[ 1183.444404] Oops: 0002 [#1] SMP
[ 1183.444529] Modules linked in: ip_tables xfs libcrc32c sd_mod crc_t10dif crct10dif_generic sr_mod cdrom crct10dif_pclmul crct10dif_common crc32_pclmul ghash_clmulni_intel aesni_intel glue_helper lrw gf128mul ablk_helper cryptd serio_raw ahci libahci libata tg3 libphy dm_mirror dm_region_hash dm_log dm_mod
...
[ 1183.447114] RIP [<ffffffff810dffef>] __wake_up_common+0x2f/0x80
[ 1183.447369] RSP <ffff8801184c3a68>
[ 1183.447463] CR2: 0000000000000010
[ 1183.447560] ---[ end trace 19da2b7b7a6f3c54 ]---
unable to handle kernel NULL pointer dereference
)、相关的IP地址、模块信息等。RIP
、RSP
等),这些信息对于定位错误源非常有用。bt
命令bt
命令用于显示崩溃时的栈跟踪(Backtrace)信息,通过栈跟踪可以了解程序在崩溃时的调用链,从而帮助定位问题的根源。
假设我们在crash
工具中输入bt
命令,输出可能如下:
bash
crash> bt
PID: 1234 TASK: ffff8801184c0000 CPU: 1 COMMAND: "echo"
#0 [ffff8801184c3a68] __wake_up_common at ffffffff810dffef
#1 [ffff8801184c3a98] __wake_up at ffffffff810e0038
#2 [ffff8801184c3ab8] complete at ffffffff810e3f20
#3 [ffff8801184c3ad8] i915_gem_object_set_to_gtt_domain at ffffffffa00c872f [i915]
#4 [ffff8801184c3b08] i915_gem_object_pin_to_display_plane at ffffffffa00c905e [i915]
#5 [ffff8801184c3b48] intel_prepare_plane_fb at ffffffffa00fa98b [i915]
#6 [ffff8801184c3b78] drm_atomic_helper_prepare_planes at ffffffffa003eabc [drm_kms_helper]
#7 [ffff8801184c3ba8] drm_atomic_helper_commit_planes at ffffffffa003eb0f [drm_kms_helper]
#8 [ffff8801184c3bc8] drm_atomic_commit_tail at ffffffffa004049f [drm_kms_helper]
#9 [ffff8801184c3c08] commit_tail at ffffffffa00a4f13 [i915]
#10 [ffff8801184c3c38] intel_atomic_commit at ffffffffa00a5df3 [i915]
#11 [ffff8801184c3c68] drm_atomic_commit at ffffffffa003f0b0 [drm_kms_helper]
#12 [ffff8801184c3c98] drm_atomic_connector_commit_dpms at ffffffffa003c8ec [drm_kms_helper]
#13 [ffff8801184c3cc8] drm_mode_obj_set_property_ioctl at ffffffffa002c518 [drm]
#14 [ffff8801184c3d08] drm_ioctl at ffffffffa00207b0 [drm]
#15 [ffff8801184c3d48] do_vfs_ioctl at ffffffff8121f4a8
#16 [ffff8801184c3db8] sys_ioctl at ffffffff8121f822
#17 [ffff8801184c3e18] system_call_fastpath at ffffffff8168ec19
RIP: 00007f7b59140f07 RSP: 00007ffd4a2e2c38 RFLAGS: 00000246
RAX: 0000000000000010 RBX: 0000000000000000 RCX: ffffffffffffffff
RDX: 00007ffd4a2e2c60 RSI: 00000000400464ab RDI: 0000000000000009
RBP: 00007ffd4a2e2c60 R8: 0000000000000000 R9: 0000000000000000
R10: 0000000000000000 R11: 0000000000000246 R12: 0000000000000000
R13: 0000000000000000 R14: 0000000000000000 R15: 0000000000000000
ORIG_RAX: 0000000000000010 CS: 0033 SS: 002b
#0
:当前函数__wake_up_common
在地址ffffffff810dffef
。#1
:调用了__wake_up
函数。#2
:然后调用了complete
函数,以此类推。KDUMP在生产环境中应用广泛,尤其是在需要高可用性和快速故障排除的系统中。以下是一些实际应用场景:
KDUMP是Linux系统中一个强大而实用的工具,对于提高系统稳定性和故障排除能力具有重要意义。通过正确配置和使用KDUMP,系统管理员和开发人员可以有效地捕获和分析内核崩溃信息,从而快速解决系统问题,确保系统的高可用性和可靠性。