马哥linux运维 | 最专业的linux培训机构 ---- 最近在维护一台CentOS服务器的时候，发现内存无端"损失"了许多，free和ps统计的结果相差十几个G，搞的我一度又以为遇到灵异事件了，后来Google了许久才搞明白，特此记录一下，以供日后查询。 虽然天天都在用Linux系统办公，其实对它的了解也不过尔尔。毕业几年才迈入"知道自己不知道"的境界，我觉得自己丝毫没有愧对万年吊车尾这个称号 :( 问题描述和初步调查 同事说有一台服务器的内存用光了，我连上去用free看了下，确实有点怪。 $ fr
hi，大家好，今天分享一篇内存性能优化的文章，文章用了大量精美的图深入浅出地分析了Linux内核slab性能优化的核心思想，slab是Linux内核小对象内存分配最重要的算法，文章分析了内存分配的各种性能问题（在不同的场景下面），并给出了这些问题的优化方案，这个对我们实现高性能内存池算法，或以后遇到内存性能问题的时候，有一定的启发，值得我们学习。
网上已经有很多关于Linux内核内存管理的分析和介绍了，但是不影响我再写一篇：一方面是作为其他文章的补充，另一方面则是自己学习的记录、总结和沉淀。
我们都知道Buddy分配器是按照页的单位分配的（Buddy系统分配器实现），如果我们需要分配几十个字节，几百个字节的时候，就需要用到SLAB分配器。
#include <linux/module.h> #include <linux/init.h> #include <linux/kernel.h> #include <linux/slab.h> #include <linux/fs.h> #define CUTBAG_DIR "CU_T-bagwell" #define MAX_STRING_TEST 20 static struct kmem_cache *T_bagwell_slab_test; struct test{
作为这个系列的第一篇，我先来描述一下slab系统。因为近些天有和同事，朋友讨论过这个主题，而且觉得这个主题还算比较典型，所以就作为第一篇了。其实按照操作系统理论来讲，进程管理应该更加重要些，按照我自己的兴趣来讲，IO管理以及TCP/IP协议栈会更加有分量，关于这些内容，我会陆续给出。
本文主要介绍Buddy System、Slab Allocator的实现机制以及现实中的一些漏洞利用方法，从攻击者角度加深对Linux内核内存管理机制的理解。
在Linux中，伙伴系统是以页为单位分配内存。但是现实中很多时候却以字节为单位，不然申请10Bytes内存还要给1页的话就太浪费了。slab分配器就是为小内存分配而生的。slab分配器分配内存以Byte为单位。但是slab分配器并没有脱离伙伴系统，而是基于伙伴系统分配的大内存进一步细分成小内存分配。
现在你可能还觉得node、zone、伙伴系统、slab这些东东还有那么一点点陌生。别怕，接下来我们结合动手观察，把它们逐个来展开细说。（下面的讨论都基于Linux 3.10.0版本）
Linux内核中采用了一种同时适用于32位和64位系统的内存分页模型，对于32位系统来说，两级页表足够用了，而在x86_64系统中，用到了四级页表。四级页表分别为：
最近一台 CentOS 服务器，发现内存无端损失了许多，free 和 ps 统计的结果相差十几个G，非常奇怪，后来Google了许久才搞明白。
slab分配器设计的需求 在Linux内核的内存子系统中，伙伴系统无疑处于内存管理的核心地带，但是如果将内存管理从逻辑上分层，它的位置则处于最底层。Buddy是所有物理内存的管家，不论使用何种接口申请内存都要经由伙伴系统进行分配。但是，伙伴系统管理的物理内存是以页为单位，以4K页为例，它也包含了4096个字节。但是无论是内核自己还是用户程序，在日常的使用中都很少会需要使用四千多字节大小的内存。试想如果我们仅需要为10个字符的字符串分配内存，但是伙伴系统却给了我们一页，那这一页剩余没有使用的内存就浪费了，而且
释放 reclaimable slab ，包括dentries and inodes cache
之前写了两篇详细分析 Linux 内存管理的文章，读者好评如潮。但由于是分开两篇来写，而这两篇内容其实是有很强关联的，有读者反馈没有看到另一篇读起来不够不连贯，为方便阅读这次特意把两篇整合在一起，看这一篇就够了！
在疫情期间，小编不得不待在家中远程办公。但变的是办公方式，不变的是美创运维的7*24小时不间断支持。
很多基础的概念，将跨越软件的层次而存在。比如slab，对于内核人员，我们都知道slab是buddy之上的一层。
当我们要学习一个新知识点时，比较好的过程是先理解出现这个技术点的 背景原因，同期其他解决方案，新技术点解决了什么问题以及它存在哪些不足和改进之处，这样整个学习过程是 闭环 的，个人觉得这是个很好的学习思路。
上一次咱们分析了 Linux 的启动流程和初始化流程，今天主要分析一下内存方面的初始化和常见的内存分配方式。
有了前两节的学习相信读者已经知道CPU所有的操作都是建立在虚拟地址上处理(这里的虚拟地址分为内核态虚拟地址和用户态虚拟地址)，CPU看到的内存管理都是对page的管理，接下来我们看一下用来管理page
Linux内存管理是一个非常复杂的子系统，要完全说清的话估计要一本书的篇幅。但Linux内存管理可以划分成多个部分来阐述，这篇文章主要介绍slab算法。
PS:什么是SReclaimable？在linux内核中会有许多小对象，这些对象构造销毁十分频繁，比如i-node，dentry。那么这些对象如果每次构建的时候就向内存要一个页，而其实际大小可能只有几个字节，这样就非常浪费，为了解决这个问题就引入了一种新的机制来处理在同一页框中如何分配小存储器区，这个机制可以减少申请和释放内存带来的消耗，这些小存储器区的内存称为Slab。meminfo文件中标识了Slab的大小，而SReclaimable是指可收回Slab的大小。
有了前两节的学习相信读者已经知道CPU所有的操作都是建立在虚拟地址上处理(这里的虚拟地址分为内核态虚拟地址和用户态虚拟地址)，CPU看到的内存管理都是对page的管理，接下来我们看一下用来管理page的经典算法--Buddy。
前言： 书接上回《内存映射技术分析》，继续来分析一下linux的物理内存管理。 分析： 1，物理内存 PC上的内存条，或者手机上的内存芯片，物理上实实在在的内存，就是物理内存。大小是硬件决定的，一般就是一个起始地址，加上大小。地址如何分配呢？PC上作者也不太懂，听闻BIOS可以配置。在ARM上，作者曾经看过一份电路图，当时的图上，使用32bit的高2bit作为chip select，后面的30bit作为地址总线，看过chip select信号之后，作者才明白为什么在代码上要配置起始的地址不是0，因为硬件
在之前的这四篇文章中，笔者详细的为大家介绍了 slab 内存池的整体架构演化过程，随后基于这个演化过程，介绍了整个 slab alloactor 体系的创建，内存分配，内存释放以及销毁等相关复杂流程在内核中的实现。
此程序相当于Linux里面的一个slab内存分配器 一、Slab 内存slab分配器最初思想来自Solaris的内核态小数据结构(一页以内)的内存分配，受到Solaris的影响，Linux内核也采用类似思想来减少页内碎片，其基本思想是：一次向内核获取整数页，slab根据数据结构的大小进行划分为一个个小的数据结构，当需要时直接从该链表上摘取一个返回应用程序，当应用程序释放时，而非真正释放，只需要该空间放回到链表中，当分散的一页多块又聚集一页时，又会拼成一页，同时判断slab空闲的页数，如果空闲页超过一定的页数
内核的模块在分配资源的时候，为了提高效率和资源的利用率，都是透过slab来分配的。通过slab的信息，再配合源码能粗粗了解系统的运行情况，比如说什么资源有没有不正常的多，或者什么资源有没有泄漏。linux系统透过/proc/slabinfo来向用户暴露slab的使用情况。
最近在维护一台CentOS服务器的时候，发现内存无端"损失"了许多，free和ps统计的结果相差十几个G，搞的我一度又以为遇到灵异事件了，后来Google了许久才搞明白，特此记录一下，以供日后查询。
现在的服务器大部分都是运行在Linux上面的，所以，作为一个程序员有必要简单地了解一下系统是如何运行的。对于内存部分需要知道：
现在的服务器大部分都是运行在Linux上面的，所以，作为一个程序员有必要简单地了解一下系统是如何运行的。对于内存部分需要知道： 地址映射 内存管理的方式 缺页异常 先来看一些基本的知识，在进程看来，内
到目前为止，内存管理是unix内核中最复杂的活动。我们简单介绍一下内存管理，并通过实例说明如何在内核态获得内存。
Memcached是一种分布式内存对象缓存系统，它以键值为基础将数据存储在内存中。 通过在内存中缓存对象，对于优化动态网站和提高速度非常有用。 本文将帮助您在Ubuntu 18.04、16.04和14.04系统上安装带有PHP Memcache PECL扩展的Memcached。
最近有个客户报了一个问题：如果运行我们的产品，则每天将会增长大概30M的内存，大概4个多月内存就会耗尽。和大多数程序员的反应一样，“不会吧，在其他客户机器上都跑的好好的啊，从来都没有遇到过这样的问题”。最后的结果，也往往告诉程序员一个铁的事实：你的程序确实出问题了！
----------------------------------------概述----------------------------------------
这篇文章是对 Linux 内存相关问题的集合，工作中会有很大的帮助。关注公号的朋友应该知道之前我写过从内核态到用户态 Linux 内存管理相关的基础文章，在阅读前最好浏览下，链接如下：
memcached是高性能的分布式内存缓存服务器。一般的使用目的是，通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web应用的速度、提高可扩展性。
腾讯云cvm内存使用率监控指标到底是怎么统计的？按照官网的解释，内存使用率是用户实际使用的内存量与总内存量之比，不包括缓冲区与系统缓存占用的内存。 官网这里解释比较笼统， 是free 命令里面的(total-free)100%/total？ 还是（total-free-buffer/cache）100%/total? 答案都不是，具体看下面的解释。
Memcached 支持许多平台：Linux、FreeBSD、Solaris、Mac OS，也可以安装在Windows上。
基于专家知识库形成运维工具，提升操作系统底层运维能力，具备高效自动化运维能力：通过监控、诊断、维护等达到全过程自动化运维。
a) 如果当前连续内存块足够 realloc 的话，只是将 p 所指向的空间扩大，并返回 p 的指针地址。这个时候 q 和 p 指向的地址是一样的
Docker长期运行导致Linux内存buff/caches占用过高，这个问题很常见，但是我们是无法控制Docker自己对pagecache的处理机制的。
一台服务器报警了，内存占用过高，奇怪的是集群里其它的服务器都没问题。不过从以往的经验来看：每一个匪夷所思的问题背后，都隐藏着一个啼笑皆非的答案。
Linux内核需要为临时对象如任务或者设备结构和节点分配内存，缓存分配器管理着这些类型对象的缓存。现代Linux内核部署了该缓存分配器以持有缓存，称之为片。不同类型的片缓存由片分配器维护。本文集中讨论slabtop命令，该命令显示了实时内核片缓存信息。
linux 内存是后台开发人员，需要深入了解的计算机资源。合理的使用内存，有助于提升机器的性能和稳定性。本文主要介绍 linux 内存组织结构和页面布局，内存碎片产生原因和优化算法，linux 内核几种内存管理的方法，内存使用场景以及内存使用的那些坑。从内存的原理和结构，到内存的算法优化，再到使用场景，去探寻内存管理的机制和奥秘。
在经过上篇文章 《从内核源码看 slab 内存池的创建初始化流程》 的介绍之后，我们最终得到下面这幅 slab cache 的完整架构图：
导语 linux 内存是后台开发人员，需要深入了解的计算机资源。合理的使用内存，有助于提升机器的性能和稳定性。本文主要介绍 linux 内存组织结构和页面布局，内存碎片产生原因和优化算法，linux
点击上方“芋道源码”，选择“设为星标” 管她前浪，还是后浪？ 能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
Memcached特点 协议简单，基于文本行的协议 基于Libevent的时间处理 内置内存存储方式 分布式缓存服务器（采用一致性哈希算法实现的客户端分布式，而非服务器端的分布式） 内存分配机制 -
注：SLAB,SLOB,SLUB都是内核提供的分配器，其前端接口都是一致的，其中SLAB是通用的分配器，SLOB针对微小的嵌入式系统，其算法较为简单（最先适配算法），SLUB是面向配备大量物理内存的大规模并行系统，通过也描述符中未使用的字段来管理页组，降低SLUB本身数据结构的内存开销。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
