开源I/O追踪工具iodump排查linux系统各种IO问题的利器

介绍

iodump 是一个开源工具，旨在帮助 Linux 系统用户排查 I/O 相关问题。它利用内核 tracepoint 静态探针技术，捕获每个 I/O 操作（读/写）的详细信息，包括 I/O 请求大小、扇区地址、发生时间、读/写文件的完整路径、生成请求的进程、系统调用以及扩展 I/O 类型。其最独特的功能是能够显示读/写文件的完整路径，这对于诊断 I/O 瓶颈非常有用。

技术架构概览

iodump通过Linux内核的blktrace机制实现低损耗监控，其核心组件包含：

1. 内核模块：注册tracepoint回调函数
2. 用户空间daemon：解析/proc/kmsg日志
3. 路径解析器：通过inode反向查找文件路径

技术亮点：

• 采用fnotify机制实时跟踪文件打开事件
• 实现inode到路径的LRU缓存（默认512条目）
• 支持EXT4/XFS/Btrfs主流文件系统

安装部署指南

二进制安装（AnolisOS 8+）- sudo yum install iodump + sudo dnf install iodump-kmod --enablerepo=Plus # 验证内核模块加载 sudo lsmod | grep iodump

源码编译安装git clone https://gitee.com/anolis/iodump.git cd iodump # 编译内核模块（需对应kernel-devel包） make -C /lib/modules/$(uname -r)/build M=$PWD modules # 安装用户空间工具 sudo cp iodump /usr/local/bin/

生产环境应用

基础监控场景# 监控sdb设备I/O，采样率10%（100ms窗口） sudo iodump -p sdb --sample 10 -t 3600

高级诊断用例# 捕获超过1MB的写操作（需内核5.3+） sudo iodump -p nvme0n1 -f 'iosize > 1048576 && rw == W' -o csv

性能影响测试# 压力测试期间监控（fio并行） fio --name=test --ioengine=libaio --rw=randread --bs=4k & sudo iodump -p sda -s /tmp/io.log

输出数据分析

典型输出结构timestamp,pid,comm,iosize,rw,lba,path 1630456789.312,3141,mysql,16384,R,0x38d200,/var/lib/mysql/ibdata1

数据分析方法import pandas as pd df = pd.read_csv('io.log') # 计算各进程IOPS iops = df.groupby(['pid','comm']).size().sort_values(ascending=False) # 识别大文件顺序写 large_writes = df[(df['iosize']>65536) & (df['rw']=='W')]

技术限制与优化

兼容性列表

已知限制

1. 路径解析延迟：极端情况下dentry解析可能增加3-5μs延迟[^2]
2. 内存消耗：每个I/O事件约占用256B，百万IOPS需预留256MB缓存
3. 内核兼容性：路径回溯功能需kernel ≥4.2

性能优化建议# 调整内核缓存参数（/etc/sysctl.conf） kernel.iodump_buffer_size = 1048576 # 1MB缓存 kernel.iodump_flush_interval = 100 # 100ms刷盘间隔

安全警告

❗ 本工具可能触发内核oops事件，建议在测试环境验证以下场景：

1. 高IOPS压力测试（>50k/s）
2. 长路径文件操作（路径深度>256）
3. 并发容器场景

# 崩溃后恢复命令
sudo rmmod iodump_ko && systemctl restart kdump

地址

https://github.com/os-health/iodump