分配 虚拟内存页 : 应用进程 调用 mmap 函数后 , 在 Linux 系统中 创建 " 内存映射 “ 时 , 会在 ” 用户虚拟地址空间 “ 中 , 分配一块 ” 虚拟内存区域 " ;
现在的服务器大部分都是运行在Linux上面的，所以，作为一个程序员有必要简单地了解一下系统是如何运行的。对于内存部分需要知道： 地址映射 内存管理的方式 缺页异常 先来看一些基本的知识，在进程看来，内
现在的服务器大部分都是运行在Linux上面的，所以，作为一个程序员有必要简单地了解一下系统是如何运行的。对于内存部分需要知道：
内存映射 概念 : " 内存映射 “ 就是在 进程的 ” 用户虚拟地址空间 " 中 , 创建一个 映射 , " 内存映射 " 有
以交友平台用户中心的user表为例，单表数据规模达到千万级别时，你可能会发现使用用户筛选功能查询用户变得非常非常慢，明明查询命中了索引，但是，部分查询还是很慢，这时候，我们就需要考虑拆分这张user表了。
目前大部分的操作系统和应用程序并不需要16EB( 2^64 )如此巨大的地址空间, 实现64位长的地址只会增加系统的复杂度和地址转换的成本, 带不来任何好处. 所以目前的x86-64架构CPU都遵循AMD的Canonical form, 即只有虚拟地址的最低48位才会在地址转换时被使用, 且任何虚拟地址的48位至63位必须与47位一致(sign extension). 也就是说, 总的虚拟地址空间为256TB( 2^48 ）
虚拟内存是实现分段和分页的关键所在，而分段和分页是操作系统管理内存的两个核心机制。
Linux内核由于存在page cache, 一般修改的文件数据并不会马上同步到磁盘，会缓存在内存的page cache中，我们把这种和磁盘数据不一致的页称为脏页，脏页会在合适的时机同步到磁盘。为了回写page cache中的脏页，需要标记页为脏。
为了防止不同进程同一时刻在物理内存中运行而对物理内存的争夺和践踏，采用了虚拟内存。
作者：Cheetah老师一直从业于半导体行业，他曾为U-boot社区和Linux内核社区提交过若干补丁。目前主要从事Linux相关系统软件开发工作，负责Soc芯片BringUp及系统软件开发，喜欢阅读内核源代码，在不断的学习和工作中深入理解内存管理，进程调度，文件系统，设备驱动等内核子系统。
现代处理器大部分都有MMU，除了一些小型嵌入式设备。MMU可以做虚拟地址到物理地址的转换，使用MMU我们就可以使用更多的内存空间，因为程序具有局部性原理，我们可以将暂时用不到的数据存放到磁盘，当访问到时会发生缺页中断，从磁盘中将所需要的数据加载到内存。所以我们可以通过mmu运行程序大小大于内存的程序和打开大于内存的文件。现代处理器通过分段分页机制实现虚拟地址到物理地址转换一般支持二级页表或四级页表。
Linux中有后备文件支持的页称为文件页，如属于进程的代码段、数据段的页，内存回收的时候这些页面只需要做脏页的同步即可（干净的页面可以直接丢弃掉）。反之为匿名页，如进程的堆栈使用的页，内存回收的时候这些页面不能简单的丢弃掉，需要交换到交换分区或交换文件。本文中，主要分析匿名页的访问将发生哪些可能颠覆我们认知的"化学反应"。
在 Linux 系统中，调用 fork 系统调用创建子进程时，并不会把父进程所有占用的内存页复制一份，而是与父进程共用相同的内存页，而当子进程或者父进程对内存页进行修改时才会进行复制 —— 这就是著名的 写时复制 机制。
内存是计算机中必不可少的资源，因为 CPU 只能直接读取内存中的数据，所以当 CPU 需要读取外部设备（如硬盘）的数据时，必须先把数据加载到内存中。
在接入日志组件xlog的工作中，对mmap内存映射加深了了解，分享一下学习心得。 1.一个Linux进程的虚拟内存 如图展示了一个Linux进程的虚拟内存。 虚拟的意思是进程以为自己有这么一
韩传华，就职于国内一家半导体公司，主要从事linux相关系统软件开发工作，负责Soc芯片BringUp及系统软件开发，乐于分享喜欢学习，喜欢专研Linux内核源代码。
所以idt的内容是一个单位是8字节，长度是256的数组。linux0.11分为中断、系统、陷阱门。系统在启动的时候设置idt。
韩传华，就职于南京大鱼半导体有限公司，主要从事linux相关系统软件开发工作，负责Soc芯片BringUp及系统软件开发，乐于分享喜欢学习，喜欢专研Linux内核源代码。
通用操作系统，通常都会开启mmu来支持虚拟内存管理，而页表管理是在虚拟内存管理中尤为重要，本文主要以回答几个页表管理中关键性问题来解析Linux内核页表管理，看一看页表管理中那些鲜为人知的秘密。
导读｜遭受内存泄露往往是令开发者头疼的问题，传统分析工具 gdb、Valgrind在解决内存泄露问题上效率较低。本文特别邀请到了 OpenCloudOS 社区 Contributor、腾讯后台开发工程师邢孟棒以 mysql-proxy 内存泄露问题作为分析对象，分享其基于 eBPF 动态追踪技术的通用内存泄露（增长）分析方法。
上一篇文章大概介绍了I/O的一些基本原理和技术，这篇我们主要介绍基于Linux系统的I/O的一些运行原理、监控方式。
mmap是linux操作系统提供给用户空间调用的内存映射函数，很多人仅仅只是知道可以通过mmap完成进程间的内存共享和减少用户态到内核态的数据拷贝次数，但是并没有深入理解mmap在操作系统内部是如何实现的，原理是什么。
Linux内核给每个进程都提供了一个独立的虚拟地址空间，并且这个地址空间是连续的。Linux的空间又分为内核空间和用户空间，在32位中，内核空间占1G，用户空间占3G；而在64位中，内核空间和用户空间各占128T。如图3-24所示。
爱可生 DBA 团队成员，擅长故障分析、性能优化，个人博客：https://www.jianshu.com/u/a95ec11f67a8，欢迎讨论。
在前面两篇介绍 mmap 的文章中，笔者分别从原理角度以及源码实现角度带着大家深入到内核世界深度揭秘了 mmap 内存映射的本质。从整个 mmap 映射的过程可以看出，内核只是在进程的虚拟地址空间中寻找出一段空闲的虚拟内存区域 vma 然后分配给本次映射而已。
本文来源：原创投稿 *爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。
在《一文读懂 HugePages的原理》一文中介绍了 HugePages（大内存页）的原理和使用，现在我们来分析一下 Linux 内核是怎么实现 HugePages 分配的。
mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read,write等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享
最近一直在做性能压测相关的事情，有公众号的读者朋友咨询有赞的数据库服务器有没有开启huge page，我听说过huge page会对性能有所提升，本文就一探究竟。对过程没有兴趣的可以直接看结论。
在《你真的理解内存分配》一文中，我们介绍了 malloc 申请内存的原理，但其在内核怎么实现的呢？所以，本文主要分析在 Linux 内核中对堆内存分配的实现过程。
随着计算需求规模的不断增大，应用程序对内存的需求也越来越大。为了实现虚拟内存管理机制，操作系统对内存实行分页管理。自内存“分页机制”提出之始，内存页面的默认大小便被设置为 4096 字节（4KB），虽然原则上内存页面大小是可配置的，但绝大多数的操作系统实现中仍然采用默认的 4KB 页面。 4KB 大小的页面在“分页机制”提出的时候是合理的，因为当时的内存大小不过几十兆字节，然而当物理内存容量增长到几 G 甚至几十 G 的时候，操作系统仍然以 4KB 大小为页面的基本单位，是否依然合理呢？
局限性还表现在下述两个方面： (1) 时间局限性： 如果程序中的某条指令一旦执行， 则不久以后该指令可能再次执行；如果某数据被访问过， 则不久以后该数据可能再次被访问。产生时间局限性的典型原因，是由于在程序中存在着大量的循环操作。 (2) 空间局限性： 一旦程序访问了某个存储单元，在不久之后，其附近的存储单元也将被访问，即程序在一段时间内所访问的地址，可能集中在一定的范围之内，其典型情况便是程序的顺序执行。 基于局部性原理，应用程序在运行之前，没有必要全部装入内存，仅须将那些当前要运行的少数页面或段先装入内存便可运行，其余部分暂留在盘上。程序在运行时，如果它所要访问的页已调入内存，便可继续执行下去；但如果程序所要访问的页尚未调入内存(称为缺页)，此时程序应利用操作系统所提供的请求调页功能，将它们调入内存，以使进程能继续执行下去。如果此时内存已满，无法再装入新的页，则还须再利用页的置换功能，将内存中暂时不用的页调至盘上，腾出足够的内存空间后，再将要访问的页调入内存，使程序继续执行下去。
https://www.cnblogs.com/poloyy/category/1806772.html
如上图，程序1、程序2、程序3装入到内存，而程序2运行完成被换出，内存空闲出20k，然后进来程序4，大小为25K，此时，只有两处空闲块，10K和20K，没有一处是符合条件的，应该怎么办？一个明显的办法就是将两块空闲区域进行合并，形成一个大小为30K的空闲块满足程序4。
冯-诺依曼老爷子告诉过我们，算术逻辑单元和控制器单元组成的 CPU 负责进行运算以及程序流程的控制。运算所需要的指令和数据由 内存 来提供。
中断是现代 CPU 工作方式中重要的部分。例如：当你每次在键盘上按下一个按键后，CPU 会被中断以使得 PC 读取用户键盘的输入。这个过程发生得相当快，以致于在使用体验上你不会感到任何变化或损害。
我们知道，linux系统中用户空间和内核空间是隔离的，用户空间程序不能随意的访问内核空间数据，只能通过中断或者异常的方式进入内核态，一般情况下，我们使用copy_to_user和copy_from_user等内核api来实现用户空间和内核空间的数据拷贝，但是像显存这样的设备如果也采用这样的方式就显的效率非常底下，因为用户经常需要在屏幕上进行绘制，要消除这种复制的操作就需要应用程序直接能够访问显存，但是显存被映射到内核空间，应用程序是没有访问权限的，如果显存也能同时映射到用户空间那就不需要拷贝操作了，于是字符设备中提供了mmap接口，可以将内核空间映射的那块物理内存再次映射到用户空间，这样用户空间就可以直接访问不需要任何拷贝操作，这就是我们今天要说的0拷贝技术。
内存基础概念 先执行一下 top 命令，看结果中关于内存的相关部分 # top 其中的 VIRT、RES、SWAP 都是什么呢？ 分别是下面的3个概念 物理内存 Resident - RES
进程管理 : 包括 进程创建 , 销毁 , 线程组管理 , 内核线程管理 , 队列等待 ;
一般用户空间关联的物理页面是按需通过缺页异常的方式分配和调页，当系统物理内存不足时页面回收算法会回收一些最近很少使用的页面，但是有时候我们需要锁住一些物理页面防止其被回收（如时间有严格要求的应用），Linux中提供了mlock相关的系统调用供用户空间使用来锁住部分或全部的地址空间关联的物理页面。
页缺失（英语：Page fault，又名硬错误、硬中断、分页错误、寻页缺失、缺页中断、页故障等），指的是当软件试图访问已映射在虚拟地址空间中，但是并未被加载在物理内存中的一个分页时，由中央处理器的内存管理单元所发出的中断。
在博客 【Linux 内核 内存管理】虚拟地址空间布局架构 ⑦ ( vm_area_struct 结构体成员分析 | vm_start | vm_end | vm_next | vm_prev |vm_rb) 中 , 分析了 vm_start vm_end vm_next vm_prev vm_rb 这
最近在使用 time 命令时，无意间发现了一些隐藏的小秘密和强大功能，今天分享给大家。
算了吃啥午餐啊，我直接放大招，把我自己整理的所有操作系统八股文一次性放出来给大家好了！
KVM：Kernel-based Virtual Machine，是基于Linux内核的开源虚拟化解决方案，从2.6.20版本开始被合入kernel主分支维护。最初只支持X86平台的上支持VMX或者SVM的CPU，不久后被确认为标准Linux内核的虚拟化方案并逐步支持S390、IA64和PowerPC等体系架构；KVM本身只提供部分的虚拟化功能（虚拟CPU和内存），而由经过特殊改造后的Qemu(Qemu-kvm)来帮助下提供完整的平台虚拟化功能。
前言： redis启动的时候，可能会提示“WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root, and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled.” redis的作者antirez的解释：http://ntireza.com/news/84 在stackoverflow上也能找到类似的问题，在执行bgsave的时候，redis的latency监控能看到明显的突刺。 作者看到这个问题后，比较担心THP对虚拟化产生影响，于是做了对比实验，以及分析了这个突刺问题发生的原因。 分析： 1，THP 前文《[linux][memory]hugetlb和hugepage技术分析 》中提到了透明大页，在复现bgsave引起的latency突刺问题的时候，关闭THP的情况下，依然可以复现到突刺现象。鉴于这种情况，先来关闭THP，分析一下bgsave对redis的影响。 2，复现现象 关闭THP：echo never > /sys/kernel/mm/transparent_hugepage/enabled 启动redis-server：redis-server /etc/redis.conf 启动压测：redis-benchmark -t set -n 1000000 -r 1000000 -d 1024 -l 抓取latency数据：while (true); do redis-cli --latency >> latency.log; done 抓取redis的major和minor fault数据：while (true); do ps -o majflt,minflt -p 16321 >>flt.log ; sleep 1; done 启动bgsave：redis-cli bgsave 停止抓取数据，处理 latency.log 执行：cat latency.log | awk '{print $3}' | tr "\n" "," 处理后的数据画图分析：
说明： 在左边的单处理器系统中，如果一个进程想要运行，那么必须将进程地址空间装载到物理内存中才可以运行。 而右边的是多处理器系统中有多个进程需要进入物理内存执行，这里要解决的问题就是，如何将进程地址空间合理的装载到物理内存中，如何合理的分配使用内存，使得每个进程能正确执行。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
