本文为IBM RedBook的Linux Performanceand Tuning Guidelines的1.2节的翻译 原文地址：http://www.redbooks.ibm.com/redpapers/pdfs/redp4285.pdf 原文作者：Eduardo Ciliendo, Takechika Kunimasa, Byron Braswell 1.2 Linux内存架构 为了执行一个进程，Linux内核为请求的进程分配一部分内存区域。该进程使用该内存区域作为其工作区并执行请求的工作。它与你的
x86 CPU采用了段页式地址映射模型。进程代码中的地址为逻辑地址，经过段页式地址映射后，才真正访问物理内存。
本章我们从硬件底层开始，首先研究TLB机制以及如何设置。在此基础上分别研究裸机程序和操作系统下内存管理机制。
随着cpu技术发展，现在大部分移动设备、PC、服务器都已经使用上64bit的CPU，但是关于Linux内核的虚拟内存管理，还停留在历史的用户态与内核态虚拟内存3:1的观念中，导致在解决一些内存问题时存在误解。
最近遇到一些内存相关crash，排查问题过程中产生对进程内整个地址空间分布的疑惑。搜查了一番资料，网上关于Linux进程地址空间分布的介绍比较详细，但是iOS实际运行效果的比较少。 本文基于网上相关文章，进行实际测试，探究App实际运行过程中的地址分布。
过去，CPU的地址总线只有32位， 32的地址总线无论是从逻辑上还是从物理上都只能描述4G的地址空间（232=4Gbit），在物理上理论上最多拥有4G内存（除了IO地址空间，实际内存容量小于4G），逻辑空间也只能描述4G的线性地址空间。
由于内存数据是固定的一个大数组,而操作系统往往是运行多个程序,如果这些程序都直接访问内存数组的话,就出现了以下问题:
《全民K歌内存篇1——线上监控与综合治理》 《全民K歌内存篇2——虚拟内存浅析》 《全民K歌内存篇3——native内存分析与监控》 一、简介 在多任务操作系统中，每个进程都拥有独立的虚拟地址空间，通过虚拟地址进行内存访问主要具备以下几点优势： 进程可使用连续的地址空间来访问不连续的物理内存，内存管理方面得到了简化。 实现进程与物理内存的隔离，对各个进程的内存数据起到了保护的作用。 程序可使用远大于可用物理内存的地址空间，虚拟地址在读写前不占用实际的物理内存，并为内存与磁盘的交换提供了便利。 Androi
函数CreateFileMapping为一个指定的文件创建或打开一个已命名或未命名的文件映射对象，告知系统文件映射对象需要多少物理存储器。
一、内存管理架构 二、虚拟地址空间布局架构 三、物理内存体系架构 四、内存结构 五、内存模型 六、虚拟地址和物理地址的转换 七、内存映射原理分析 一、内存管理架构 内存管理子系统架构可以分为：用户空间、内核空间及硬件部分3个层面，具体结构如下所示：1、用户空间：应用程序使用malloc()申请内存资源/free()释放内存资源。2、内核空间：内核总是驻留在内存中，是操作系统的一部分。内核空间为内核保留，不允许应用程序读写该区域的内容或直接调用内核代码定义的函数。3、硬件：处理器包含一个内存管理单元（Memo
什么是ZGC ZGC收集器(Z Garbage Collector)由Oracle公司研发.2018年提交了JEP 333将ZGC提交给了OpenJDK,推动进入OpenJDK11的发布清单中。ZGC收集器是基于Region内存布局，暂时不设分代,使用读屏障,着色指针和内存多重映射等技术来实现并发的标记整理算法,以低延迟为目标的一款收集器。 目标 在对吞吐量影响不大的情况下,对任意大小堆收集停顿时间都控制在10ms以内的低延迟。 ZGC堆内存布局 与G1一样,ZGC也采用基于Region的堆内存布局 ZGC
内存管理子系统可能是linux内核中最为复杂的一个子系统，其支持的功能需求众多，如页面映射、页面分配、页面回收、页面交换、冷热页面、紧急页面、页面碎片管理、页面缓存、页面统计等，而且对性能也有很高的要求。本文从内存管理硬件架构、地址空间划分和内存管理软件架构三个方面入手，尝试对内存管理的软硬件架构做一些宏观上的分析总结。
前面已经分析过了Intel的内存映射和linux的基本使用情况，已知head_32.S仅是建立临时页表，内核还是要建立内核页表，做到全面映射的。下面就基于RAM大于896MB，而小于4GB ，切CONFIG_HIGHMEM配置了高端内存的环境情况进行分析。
在介绍 HugePages 之前，我们先来回顾一下 Linux 下 虚拟内存 与 物理内存 之间的关系。
start_kernel是内核启动阶段的入口，通过单步调试，可以发现它是linux内核执行的第一个init，我们单步进入看看它做了哪些操作：
前言 免责声明：本站提供安全工具、程序(方法)可能带有攻击性，仅供安全研究与教学之用，风险自负! 地址空间布局随机化(ASLR)，在你知道目标代码或数据定位的前提下，它可以变成一种规避攻击的技术。正因为黑客并不知道整个地址空间的布局，ASLR技术变得极为有效。只有当可执行程序编译为PIE时（地址无关可执行文件），才能最大限度地从ASLR技术那里获得保护，因为其所有组成部分都是从随机地址加载的。 然而，当可执行文件被编译成PIE之后，GNU/Linux下的ASLR实现的过程中，会出现一个名为Offset2
即使看了所有的Linux 内核文章，估计也还不是很明白，这时候，还是需要fucking the code.
经过数据分析和研究Jobs Tractor的45000个开发人员招聘职位数据，我们得到了上图的结果： 自上一年，主要的变化如下：
今天跟大家分享的是设备树，设备树是Linux3.x以后的版本才引入的，设备树用于描述一个硬件平台的板级细节。
mmap 即 memory map，也就是内存映射。mmap 是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用 read、write 等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享。
Mem：表示物理内存统计。 total：表示物理内存总量(total = used + free)。 used：表示总计分配给缓存（包含buffers 与cache ）使用的数量，但其中可能部分缓存并未实际使用。 free：未被分配的内存。 shared：共享内存。 buffers：系统分配但未被使用的buffers数量。 cached：系统分配但未被使用的cache数量。 -/+ buffers/cache：表示物理内存的缓存统计。 used2：也就是第一行中的used – buffers - cached也是实际使用的内存总量。 // used2为第二行 free2 = buffers1 + cached1 + free1 // free2为第二行，buffers1等为第一行 free2：未被使用的buffers与cache和未被分配的内存之和，这就是系统当前实际可用内存。 Swap：表示硬盘上交换分区的使用情况。
https://www.cnblogs.com/poloyy/category/1806772.html
作者简介： 程磊，一线码农，在某手机公司担任系统开发工程师，日常喜欢研究内核基本原理。 1.1 内存管理的意义 1.2 原始内存管理 1.3 分段内存管理 1.4 分页内存管理 1.5 内存管理的目标 1.6 Linux内存管理体系 2.1 物理内存节点 2.2 物理内存区域 2.3 物理内存页面 2.4 物理内存模型 2.5 三级区划关系 3.1 Buddy System 3.1.1 伙伴系统的内存来源 3.1.2 伙伴系统的管理数据结构 3.1.3 伙伴系统的算法逻辑 3.1.4 伙伴系统的接口 3.1
Linux内核给每个进程都提供了一个独立的虚拟地址空间，并且这个地址空间是连续的。Linux的空间又分为内核空间和用户空间，在32位中，内核空间占1G，用户空间占3G；而在64位中，内核空间和用户空间各占128T。如图3-24所示。
在执行一个PE文件的时候，windows 并不在一开始就将整个文件读入内存的，二十采用与内存映射文件类似的机制。 也就是说，windows 装载器在装载的时候仅仅建立好虚拟地址和PE文件之间的映射关系。 当且仅当真正执行到某个内存页中的指令或者访问某一页中的数据时，这个页面才会被从磁盘提交到物理内存，这种机制使文件装入的速度和文件大小没有太大的关系。
CreateFileMapping的MSDN翻译和使用心得 测试创建和打开文件映射的时候老是得到”句柄无效”的错误, 仔细看了MSDN以后才发觉是函数认识不透, 这里把相关的解释翻译出来
在windows系统中个，每个进程拥有自己独立的虚拟地址空间(Virtual Address Space)。这一地址空间的大小与计算机硬件、操作系统以及应用程序都有关系。
还记得 2016 年那个著名的 Linux 内核级漏洞 Dirty Cow（脏牛）吗？2016 年 10 月，研究人员发现 Linux 内核的内存子系统在处理写时拷贝（Copy-on-Write)时存
在创建到32745个线程时，pthread框架报告没有资源创建新线程了，这个是框架自己对于内存使用的显示。
大数据指的是创建的数据和供分析的数据的数量与速率迅速增加。大数据使分析师和数据专家有机会获得更好的见解，进行更明智的决策，但是它同时也会带来许多的挑战：可用的内存可能无法足以处理大数据集，可能需要花太久的时间进行处理或可能流动太快而无法存储标准算法通常不能以合理的时间或内存来处理大数据集等等。
RandomAccessFile随机IO在java中是一个重要的IO类，与传统的IO类相比有很多特点：
1）物理地址：CPU地址总线传来的地址，由硬件电路控制其具体含义。物理地址中很大一部分是留给内存条中的内存的，但也常被映射到其他存储器上（如显存、BIOS等）。在程序指令中的虚拟地址经过段映射和页面映射后，就生成了物理地址，这个物理地址被放到CPU的地址线上。
在32位windows上只能看到最大3GB的内存空间，而且每个应用程序只能访问4GB的的内存，这个限制是windows独有的，为了使程序能够访问大于4GB的内存空间，需要使用AWE编程接口，同时需要开启PAE，让系统支持大于3GB的内存，开启PAE最大能支持128GB的内存。
LPC（Local Procedure Call），众所周知，是微软未公开（未文档化）的一种进程间通信方式，不仅可以用在应用层进程之间通信，还可以用在应用层和内核层通信。由于在驱动层并没有一种通用的机制主动发起向应用层的通信（minifilter在建立和应用层的端口通信后，可以主动发起通信），而LPC恰好可以弥补这一不足，所以便一探这陈酒。
网上有很多文件分割器，但效果很差（因为其源码使用的原理不好），很多大型文件（尤其是GB级别的）分割以后可能出现乱码，可能分割以后再次合并时就不是原来的文件了。所以我才自己做了一款文件分割器，分享给各位基友。 至于用处，某些情况下文件太大了确实带来很多麻烦——比如小明前段时间下载的“QQ信封5-10位.txt”，总大小达到了2个多G。小明想看看其中内容，却因为notepad不支持打开这么大的文件而作罢：“file is too big to be open”。用大文件分割器分割以后，就再也不存在这个问题：
看了很多关于linux内存管理的文章还是云里雾里，听了很多关于linux内存管理的课程还是一头雾水。其实很多时候造成不懂的原因不是资料太少，恰恰是资料太多，而且各个内核版本的差异，32位64位的不同，文章的胡编乱造等都给读者带来疑惑。本着对内存深度剖析的态度，希望以版本kernel-4.14，架构AARCH64为专题做个内存管理的架构性整理。
也许大家对这个问题都不陌生，实际装过系统用过电脑的朋友可能都有这样的经历：自己电脑配的是4G的内存条，可是装完系统之后发现电脑上显示的只有3.2G左右可用内存，其它的内存跑到哪去了？网上也有很多朋友给出了一些解释，大部分我觉得都没有解释得很清楚，今天我们就来看一下其中的具体缘由。
分段，是指将程序所需要的内存空间大小的虚拟空间，通过映射机制映射到某个物理地址空间(映射的操作由硬件完成)。分段映射机制解决了之前操作系统存在的两个问题：
MongoDB是一个基于分布式文件存储的数据库开源项目。由C++语言编写。旨在为WEB应用提供可护展的高性能数据存储解决方案。 它的特点是高性能、易部署、易使用，存储数据非常方便。主要功能特性有： 面向集合存储，易存储对象类型的数据。 模式自由。 支持动态查询。 支持完全索引，包含内部对象。 支持查询。 支持复制和故障恢复。 使用高效的二进制数据存储，包括大型对象（如视频等）。 自动处理碎片，以支持云计算层次的扩展性 支持RUBY，PYTHON，JAVA，C++，PHP等多种语言。 文件存储格式为BSON（
在 《漫画解说内存映射》一文中介绍过 虚拟内存 与 物理内存 映射的原理与过程，虚拟内存与物理内存进行映射的过程被称为 内存映射。内存映射是硬件（内存管理单元）级别的功能，必须按照硬件的规范设置好内存映射的关系，进程才能正常运行。
导语：掐指一算自己从研究生开始投入到Linux的海洋也有几年的时间，即便如此依然对其各种功能模块一知半解。无数次看了Linux内核的技术文章后一头雾水，为了更系统地更有方法的学Linux，特此记录。 历史 1991年，还在芬兰赫尔辛基大学上学的Linus Torvalds在自己的Intel 386计算机上开发了属于他自己的第一个程序，并利用Internet发布了他开发的源代码，将其命名为Linux，从而创建了Linux操作系统，并在同年公开了Linux的代码，从而开启了一个伟大的时代。在之后的将近30年的
在虚拟内存中，页表是个映射表的概念, 即从进程能理解的线性地址(linear address)映射到存储器上的物理地址(phisical address).
指令集架构(Instruction Set Architecture, ISA)是CPU和软件之间的桥梁，包含指令集、特权级、寄存器、执行模式、安全扩展、性能加速扩展等诸多方面。
导语：掐指一算自己从研究生开始投入到Linux的海洋也有几年的时间，即便如此依然对其各种功能模块一知半解。无数次看了Linux内核的技术文章后一头雾水，为了更系统地更有方法的学Linux，特此记录。 历史 1991年，还在芬兰赫尔辛基大学上学的Linus Torvalds在自己的Intel 386计算机上开发了属于他自己的第一个程序，并利用Internet发布了他开发的源代码，将其命名为Linux，从而创建了Linux操作系统，并在同年公开了Linux的代码，从而开启了一个伟大的时代。在之后的将近30
很多学过C的人对malloc都不是很了解，知道使用malloc要加头文件,知道malloc是分配一块连续的内存，知道和free函数是一起用的。但是但是：
mmap/munmap接口是用户空间的最常用的一个系统调用接口，无论是在用户程序中分配内存、读写大文件，链接动态库文件，还是多进程间共享内存，都可以看到mmap/munmap的身影。
近期MongoDB在Hack News上是频繁中枪。许多人更是声称恨上了MongoDB，David mytton就在他的博客中揭露了MongoDB许多现存问题。然而恨的人有之偏爱的也同样很多，作为回击：Russell Smith带来了多年工作经验的总结。Russell Smith曾担任Ops和大型网站缩放顾问并且帮助过Guardian、Experian等多家公司，MongoDB London User Group的联合创始人。作为MongoDB Master（MongoDB官方认可的MongoDB核心贡献者
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
