马哥linux运维 | 最专业的linux培训机构 ---- 最近在维护一台CentOS服务器的时候，发现内存无端"损失"了许多，free和ps统计的结果相差十几个G，搞的我一度又以为遇到灵异事件了，后来Google了许久才搞明白，特此记录一下，以供日后查询。 虽然天天都在用Linux系统办公，其实对它的了解也不过尔尔。毕业几年才迈入"知道自己不知道"的境界，我觉得自己丝毫没有愧对万年吊车尾这个称号 :( 问题描述和初步调查 同事说有一台服务器的内存用光了，我连上去用free看了下，确实有点怪。 $ fr
最近挂载了N多的文件系统，大致了不同文件系统的相应特性及挂载方式，却还是对Linux的文件系统没有从源码方面去了解。不求甚解确实不好不好。 于是借鉴一些大牛的博客及自己的理解，总结了博客系列： 一、V
问题场景： 云计算IaaS平台上，经常使用libvirt+qemu-kvm做基础平台。libvirt会在/etc/libvirt/qemu/目录下，保存很多份qemu的配置文件，如ubuntu.xml。 作者发现其中的配置文件会在特定的场景下被修改，却不知道哪个进程是凶手。为了找到凶手，作者写下了这个debug工具。 代码分析： 代码路径：https://github.com/pacepi/whotouchmyfile #include <linux/kernel.h> #include <linux/mo
最近整理了一份常用Zabbix监控项说明，主要包括常见Windows & Linux监控，如下：
文件系统，本身是对存储设备上的文件，进行组织管理的机制。组织方式不同，就会形成不同的文件系统。
释放 reclaimable slab ，包括dentries and inodes cache
linux使用page cache来缓存最近读取的文件，也有目录结构(dcache: Directory Entry Cache)缓存及inode缓存，它们都使用了LRU算法来管理这些page及dentries cache
Linux释放内存的命令： sync echo 1 > /proc/sys/vm/drop_caches
⦁选择配置 ->自动发现 ->创建自动发现->ip范围必须连续,不连续的话逗号分开 ⦁更新间隔 -> 2s ->更新 ⦁检查 -> 选择新的 -> ICMP ping ->更新
在Linux系统中，为了提高文件系统性能，内核利用一部分物理内存分配出缓冲区，用于缓存系统操作和数据文件，当内核收到读写的请求时，内核先去缓存区找是否有请求的数据，有就直接返回，如果没有则通过驱动程序直接操作磁盘。 缓存机制优点：减少系统调用次数，降低CPU上下文切换和磁盘访问频率。
1）缓存机制介绍 在Linux系统中，为了提高文件系统性能，内核利用一部分物理内存分配出缓冲区，用于缓存系统操作和数据文件，当内核收到读写的请求时，内核先去缓存区找是否有请求的数据，有就直接返回，如果没有则通过驱动程序直接操作磁盘。 缓存机制优点：减少系统调用次数，降低CPU上下文切换和磁盘访问频率。 CPU上下文切换：CPU给每个进程一定的服务时间，当时间片用完后，内核从正在运行的进程中收回处理器，同时把进程当前运行状态保存下来，然后加载下一个任务，这个过程叫做上下文切换。实质上就是被终止运行进程与待运行
在我们使用 Linux 系统时，如果网络或者磁盘等 I/O 出问题，会发现进程卡住了，即使用 kill -9 也无法杀掉进程，很多常用的调试工具，比如 strace, pstack 等也都失灵了，是怎么回事？
drop_caches的值可以是0-3之间的数字，代表不同的含义： 0：不释放（系统默认值） 1：释放页缓存 2：释放dentries和inodes 3：释放所有缓存
Buffer是用于存储数据块的临时内存区域，主要用于缓存I/O操作。当数据从磁盘或其他设备读取到内存时，首先会存储在Buffer中，以提供对这些数据的快速访问。Buffer可以看作是一个中介层，有助于优化读写性能。
最近一台 CentOS 服务器，发现内存无端损失了许多，free 和 ps 统计的结果相差十几个G，非常奇怪，后来Google了许久才搞明白。
我们知道使用Linux交换空间而不是 RAM（内存）会严重降低性能。那么，有人可能会问，既然我有足够多的可用内存，删除交换空间不是更好吗？简短的回答是不会。启用交换空间会带来性能优势，即使你有足够多的内存。 即使安装了足够多的服务器内存,你也会经常发现在长时间正常运行后会使用交换空间。请参阅以下来自具有大约一个月正常运行时间的实时聊天服务器的示例： total used free shared buff/cache available
本文介绍了Linux系统上FUSE文件系统的实现原理、基本概念以及FUSE在文件系统中的具体应用。通过FUSE，用户可以自定义文件系统，实现不同文件系统类型，如ext4、xfs等。FUSE在文件系统方面有着广泛的应用，包括文件系统开发、文件系统修复、文件系统压缩、文件系统加密等。
利用SSH或者Zabbix监控，配合Django开发框架，改造出属于自己的监控平台，实现包括主机图形，自动发现，计划任务，批量cmd执行，服务监控，日志监控等功能，由于公司机器混乱，基本上市面上的所有设备都能找到，监控这些不同型号不同系统的主机需要分别对待，我们就借助各种开源项目来做一个简单的巡检工具，方便工作需要。
一台服务器报警了，内存占用过高，奇怪的是集群里其它的服务器都没问题。不过从以往的经验来看：每一个匪夷所思的问题背后，都隐藏着一个啼笑皆非的答案。
6月1号，我提交了一个linux内核中的任意递归漏洞。如果安装Ubuntu系统时选择了home目录加密的话，该漏洞即可由本地用户触发。如果想了解漏洞利用代码和短一点的漏洞报告的话，请访问https:/
查看栈信息内核是由于访问了非法地址ffff9d713fffffff触发了异常重启：
这是我们经常能听到很多大佬说的一句话，那为什么说 Linux 中都是文件呢？这句话究竟代表着什么具体的含义呢？在操作系统中，文件系统又扮演着一个什么样的角色？作为一个普通的开发者，我们究竟对文件系统要有怎么样的认识？今天我们就来看看这个大哥 —— 文件系统
本人最近会把proc目录详解给大家弄一下，欢迎翻译，有问题则留言。虽然是英文的，但都比较好理解，如有问题，请留言，我们共同为Linux社区而努力。我们翻译效果还不一定好，因为这玩意毕竟是老外搞的吗！！！咯咯，翻译可能引起误解。这玩意看懂需要tcp/ip方面的知识，学好proc对于linux性能优化是非常重要。这来自本人的整理。希望对大家有用。/proc/sys/vm主要是关于虚拟存储的相关信息。这个目录如下：
观察应用程序内存不足问题的最简单方法之一是增加服务器中的一些交换大小。 在本文中，我们将解释如何将交换文件添加到Ubuntu服务器。
lab8 会依赖 lab1~lab7 ，我们需要把做的 lab1~lab7 的代码填到 lab8 中缺失的位置上面。练习 0 就是一个工具的利用。这里我使用的是 Linux 下的系统已预装好的 Meld Diff Viewer 工具。和 lab6 操作流程一样，我们只需要将已经完成的 lab1~lab7 与待完成的 lab7 (由于 lab8 是基于 lab1~lab7 基础上完成的，所以这里只需要导入 lab7 )分别导入进来，然后点击 compare 就行了。
最新 Linux 内核是 5.15 版本。现在常用 Linux 内核源码为4.14、4.19、4.9 等版本，其中 4.14 版本源码压缩包大概 90+M，解压后 700+M，合计 61350 个文件。如此众多的文件，用 source insight 或者 VSCode 查看都会比较卡，所以可以采用在线查看的方式。
最近在维护一台CentOS服务器的时候，发现内存无端"损失"了许多，free和ps统计的结果相差十几个G，搞的我一度又以为遇到灵异事件了，后来Google了许久才搞明白，特此记录一下，以供日后查询。
在Linux系统下，我们一般不需要去释放内存，因为系统已经将内存管理的很好。但是凡事也有例外，有的时候内存会被缓存占用掉，导致系统使用SWAP空间影响性能，例如当你在Linux下频繁存取文件后,物理内存会很快被用光,当程序结束后,内存不会被正常释放,而是一直作为caching。，此时就需要执行释放内存(清理缓存)的操作了。
Linux使用了虚拟文件系统(VFS，Virtual Filesystem，下文统称“虚拟文件系统”)，它不是磁盘文件的组织格式，而是抽象出来的文件树的集合，它通过标准接口动态的向其中增加或移除对应的目录。虚拟文件系统支持以下归类的三种类型的文件系统：
如： [root@imxhy01 ~]# zabbix_get -s 172.24.8.100 -k net.if.out[eth0,packets]
编辑说明：《Oracle性能优化与诊断案例精选》出版以来，收到很多读者的来信和评论，我们会通过连载的形式将书中内容公布出来，希望书中内容能够帮助到更多的读者朋友们。 这是我一个运营商客户的案例。其现象
在上一篇有关用户名称空间和Podman的文章中，我讨论了如何使用Podman命令来启动具有不同用户名称空间的不同容器，从而更好地分隔容器。Podman还利用用户名称空间来以无根模式运行。基本上，当非特权用户运行Podman时，该工具将设置并加入用户名称空间。在Podman成为用户名称空间内的root用户后，允许Podman挂载某些文件系统并设置容器。请注意，除了用户可用的其他UID之外，此处没有特权升级，如下所述。
下载busybox的源码，解压后，设定ARCH 和 CROSS_COMPILE的两个基本环境变量，选择defconfig作为默认配置，大部分的busybox 工具都会被编译出来。 如果不指定输出目录，默认输出到根目录的_install目录下面，如果需要指定目录，配置CONFIG_PREFIX=/a/b/c/rootfs， 这样make生成的 /bin, /sbin, /usr三个默认文件夹就直接在rootfs目录下。
继上一篇文章：https://cloud.tencent.com/developer/article/1053882 3. 文件系统的注册 这里的文件系统是指可能会被挂载到目录树中的各个实际文件系统，所谓实际文件系统，即是指VFS 中的实际操作最终要通过它们来完成而已，并不意味着它们一定要存在于某种特定的存储设备上。比如在笔者的 Linux 机器下就注册有 "rootfs"、"proc"、"ext2"、"sockfs" 等十几种文件系统。 3.1 文件系统的数据结构 在 Linux 源代码中，每种实际的文件
Ubuntu的一个具体问题是在Linux内核中的overlayfs文件系统，它没有正确地验证文件系统功能在用户名称空间方面的应用，由于Ubuntu中的一个补丁允许非特权的overlayfs挂载，本地攻击者可以利用它来获得更高的权限。
什么是虚拟文件系统? linux会实现多种基于磁盘的文件系统，比如ext4/xfs等，为了支持不同的磁盘文件系统，且多个磁盘文件系统互相访问，Linux内核在用户进程和磁盘文件系统系统之间引入一个臭小
索引节点（inode）是持久化存储到磁盘中的，而目录项（dentry）是由内核维护（目录项缓存）的。
上次我们写过了 Linux 启动详细流程，这次单独解析 start_kernel 函数。
eBPF is a revolutionary technology with origins in the Linux kernel that can run sandboxed programs in an operating system kernel. It is used to safely and efficiently extend the capabilities of the kernel without requiring to change kernel source code or load kernel modules.
在 Linux 中，最直观、最可见的部分就是 文件系统(file system)。下面我们就来一起探讨一下关于 Linux 中国的文件系统，系统调用以及文件系统实现背后的原理和思想。这些思想中有一些来源于 MULTICS，现在已经被 Windows 等其他操作系统使用。Linux 的设计理念就是 小的就是好的(Small is Beautiful) 。虽然 Linux 只是使用了最简单的机制和少量的系统调用，但是 Linux 却提供了强大而优雅的文件系统。
我们知道，Linux系统中我们经常将一个块设备上的文件系统挂载到某个目录下才能访问这个文件系统下的文件，但是你有没有思考过：为什么块设备挂载之后才能访问文件？挂载文件系统Linux内核到底为我们做了哪些事情？是否可以不将文件系统挂载到具体的目录下也能访问？下面，本文将详细讲解Linxu系统中，文件系统挂载的奥秘。
文件系统是os用来明确存储设备（常见的是磁盘，也有基于NAND Flash的固态硬盘）或分区上的文件的方法和数据结构；即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件机构称为文件管理系统，简称文件系统。 文件系统由三部分组成：文件系统的接口，对对象操作和管理的软件集合，对象及属性。从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。具体地说，它负责为用户建立文件，存入、读出、修改、转储文件，控制文件的存取，当用户不再使用时撤销文件等。
本 文阐述 Linux 中的文件系统部分，源代码来自基于 IA32 的 2.4.20 内核。总体上说 Linux下的文件系统主要可分为三大块：一是上层的文件系统的系统调用，二是虚拟文件系统 VFS(Virtual FilesystemSwitch)，三是挂载到 VFS 中的各实际文件系统，例如 ext2，jffs 等。本文侧重于通过具体的代码分析来解释 Linux内核中 VFS 的内在机制，在这过程中会涉及到上层文件系统调用和下层实际文件系统的如何挂载。文章试图从一个比较高的角度来解释Linux 下的 VFS文件系统机制，所以在叙述中更侧重于整个模块的主脉络，而不拘泥于细节，同时配有若干张插图，以帮助读者理解。
最近遇到一个非常有趣的问题。其中有一组HAProxy，频繁出现问题。登录上服务器，cpu、内存、网络、io一顿猛查。最终发现，机器上处于TIME_WAIT状态的连接，多达6万多个。
内核、shell、文件系统和应用程序。内核、shell和文件系统一起形成了基本的操作系统结构，它们使得用户可以运行程序、管理文件并使用系统。部分层次结构如图1-1所示。
zabbix的原始数据库是create.sql.gz，可以使用gzip -d 解压此文件，在导入数据库，也可以使用zcat命令。
第一部分Mem行: total 内存总数 used 已经使用的内存数 free 空闲的内存数 shared 当前已经废弃不用 buffers Buffer 缓存内存数 cached Page 缓存内存数
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
