Linux下动态库是通过mmap建立起内存和文件的映射关系。其定义如下void* mmap(void* start,size_t length,int prot,int flags,int fd,off_t offset);，在第一个参数start为NULL的时候系统会随机分配一个地址，我们可以通过示例来看mmap映射地址的流程。
mmap 另一个非常重要的特性是：减少内存的拷贝次数。在 linux 系统中，文件的读写操作通常通过 read 和 write 这两个系统调用来实现，这个过程会产生频繁的内存拷贝。比如 read 函数就涉及了 2 次内存拷贝：
MemoryFile 是 Java 层对 Ashmem 的一个封装，下面来一起学习 MemoryFile，掌握它的使用姿势和底层原理。
本文讲解 Linux 的零拷贝技术，云计算是一门很庞大的技术学科，融合了很多技术，Linux 算是比较基础的技术，所以，学好 Linux 对于云计算的学习会有比较大的帮助。
共享内存是一个非常有意思的话题，一方面共享内存避免了通讯过程中的内存复制问题，是 Linux IPC 通讯中效率最高的一种。另一方面，因为可以直接对内存甚至其他进程的内存进行修改，利用共享内存可以实现一些常规操作无法做到的奇技淫巧。
在 Linux 系统中，我们经常用 free 命令来查看系统内存的使用状态。在个 RHEL6 的系统上，free 命令的显示内容大概是这样一个状态： 这里的默认显示单位是 kb，我的服务器是 128
编辑手记：很多人都认为，Linux中buffers和cached所占用的内存空间是可以在内存压力较大的时候被释放当做空闲空间用的。但真的是这样么？今天我们重新来认识。 作者介绍 邹立巍 Linux系
执行该程序，输出mmap方法返回的内存地址，同时使用pmap命令输出该程序执行mmap之前以及之后的内存使用情况。
但是在 arm 64 体系架构中 , 没有实现 mmap2 , 只实现了 mmap 系统调用 ;
主要是驱动设备的初始化(binder_init)，打开 (binder_open)，映射(binder_mmap)，数据操作(binder_ioctl)。
在上一篇推文中讲解了零拷贝思想在Linux系统中的实现，主要有mmap、sendfile、splice、tee等，但在Java中目前主要实现了mmap和sendfile。
早期的共享内存，着重于强调把同一片内存，map到多个进程的虚拟地址空间（在相应进程找到一个VMA区域），以便于CPU可以在各个进程访问到这片内存。
分配 虚拟内存页 : 应用进程 调用 mmap 函数后 , 在 Linux 系统中 创建 " 内存映射 “ 时 , 会在 ” 用户虚拟地址空间 “ 中 , 分配一块 ” 虚拟内存区域 " ;
调用 mmap 系统调用 , 先检查 " 偏移 " 是否是 " 内存页大小 " 的 " 整数倍 " , 如果偏移是内存页大小的整数倍 , 则调用 sys_mmap_pgoff 函数 , 继续向下执行 ;
在开始介绍go sys call 库之前先介绍下Linux syscall的几个概念
零拷贝（Zero-copy）是指计算机执行操作时，CPU不需要先将数据从某处内存复制到另一个特定区域。这种技术通常用于通过网络传输文件时节省CPU周期和内存带宽。
作为一个计算机底层小白，在了解一个知识点的时候时常需要恶补很多基础知识。 本文记录在了解LMDB过程中接触的知识点。
使用 malloc 函数申请内存原理 : " 堆内存 " 动态分配 的 系统调用 过程 ;
1、可以理解为数据不需要重复的拷贝，能大大提升系统的性能。这个词我们也经常在netty，kafka，RocketMQ等框架中听到，经常作为其提升性能的一大亮点。
基本操作就是循环的从磁盘读入文件内容到缓冲区，再将缓冲区的内容发送到socket。但是由于Linux的I/O操作默认是缓冲I/O。这里面主要使用的也就是read和write两个系统调用，我们并不知道操作系统在其中做了什么。实际上在以上I/O操作中，发生了多次的数据拷贝。
DMA : direct memory access 直接内存拷贝( 不使用CPU )
Java 在 JDK 1.4 引入了 ByteBuffer 等 NIO 相关的类，使得 Java 程序员可以抛弃基于 Stream ，从而使用基于 Block 的方式读写文件，另外，JDK 还引入了 IO 性能优化之王—— 零拷贝 sendFile 和 mmap。但他们的性能究竟怎么样？ 和 RandomAccessFile 比起来，快多少？ 什么情况下快？到底是 FileChannel 快还是 MappedByteBuffer 快……
我们知道，linux系统中用户空间和内核空间是隔离的，用户空间程序不能随意的访问内核空间数据，只能通过中断或者异常的方式进入内核态，一般情况下，我们使用copy_to_user和copy_from_user等内核api来实现用户空间和内核空间的数据拷贝，但是像显存这样的设备如果也采用这样的方式就显的效率非常底下，因为用户经常需要在屏幕上进行绘制，要消除这种复制的操作就需要应用程序直接能够访问显存，但是显存被映射到内核空间，应用程序是没有访问权限的，如果显存也能同时映射到用户空间那就不需要拷贝操作了，于是字符设备中提供了mmap接口，可以将内核空间映射的那块物理内存再次映射到用户空间，这样用户空间就可以直接访问不需要任何拷贝操作，这就是我们今天要说的0拷贝技术。
以交友平台用户中心的user表为例，单表数据规模达到千万级别时，你可能会发现使用用户筛选功能查询用户变得非常非常慢，明明查询命中了索引，但是，部分查询还是很慢，这时候，我们就需要考虑拆分这张user表了。
写过 Linux 驱动的小伙伴，一定对 file_operations 结构体不陌生，我们常常实现其中的 open、read、write、poll 等函数，今天为大家讲解其中每个函数的作用。
glibc 提供的 ptmalloc 函数 , FreeBSD 提供的 jemalloc 函数 , Google 提供的 tcmalloc 函数 ,
随着cpu技术发展，现在大部分移动设备、PC、服务器都已经使用上64bit的CPU，但是关于Linux内核的虚拟内存管理，还停留在历史的用户态与内核态虚拟内存3:1的观念中，导致在解决一些内存问题时存在误解。
mmap是linux操作系统提供给用户空间调用的内存映射函数，很多人仅仅只是知道可以通过mmap完成进程间的内存共享和减少用户态到内核态的数据拷贝次数，但是并没有深入理解mmap在操作系统内部是如何实现的，原理是什么。
在接入日志组件xlog的工作中，对mmap内存映射加深了了解，分享一下学习心得。 1.一个Linux进程的虚拟内存 如图展示了一个Linux进程的虚拟内存。 虚拟的意思是进程以为自己有这么一
前言 在上一篇中，我们学习了POSIX在<fcntl.h>帮助下的文件读写操作。主要使用write和read两个方法，以文件流的形式，进行读写。这一方法固然没有问题。但由于每次都需要I/O操作，在高频读写的场景，可能就会捉襟见肘了。 Linux为我们提供了mmap来解决这个场景下的问题。 基础知识 mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而
Kafka 在执行消息的写入和读取这么快的原因，其中的一个原因是零拷贝（Zero-copy）技术，下面我们来了解一下这么高效的原因。
Linux环境下，进程地址空间相互独立，每个进程各自有不同的用户地址空间。任何一个进程的全局变量在另一个进程中都看不到，所以进程和进程之间不能相互访问。
本文探讨Linux中 主要的几种零拷贝技术 以及零拷贝技术 适用的场景 。为了迅速建立起零拷贝的概念，我们拿一个常用的场景进行引入：
在容器逃逸技术概览一文中我们提到，由于容器与宿主机共享内核，内核漏洞成为容器逃逸的四大原因之一。由于潜在后果的严重性（提升至系统最高权限）和影响的广泛性（一个漏洞会影响相当多的计算机设备），系统开发者陆续在内核实现了一系列的漏洞缓解技术，以减小内核被攻破的可能性。
mmap/munmap接口是用户空间的最常用的一个系统调用接口，无论是在用户程序中分配内存、读写大文件，链接动态库文件，还是多进程间共享内存，都可以看到mmap/munmap的身影。
代码实例：https://github.com/lotapp/BaseCode/tree/master/python/5.concurrent/Linux/进程通信/5.mmap
个参数 , 分别是 unsigned long addr 和 size_t, len , 前者是 内存映射 的 起始地址 , 后者是 内存映射 的 长度 ;
我们都知道 RocketMQ 和 Kafka 消息都是存在磁盘中的，那为什么消息存磁盘读写还可以这么快？有没有做了什么优化？都是存磁盘它们两者的实现之间有什么区别么？各自有什么优缺点? 今天我们就来一
前一篇博客说了怎样通过命名管道实现进程间通信，但是要在windows是使用命名管道，需要使用python调研windows api，太麻烦，于是想到是不是可以通过共享内存的方式来实现。查了一下，Python中可以使用mmap模块来实现这一功能。 Python中的mmap模块是通过映射同一个普通文件实现共享内存的。文件被映射到进程地址空间后，进程可以像访问内存一样对文件进行访问。 不过，mmap在linux和windows上的API有些许的不一样，具体细节可以查看mmap的文档。 下面看一个例子： serve
看泉子的一篇文章：JVM源码分析之Jstat工具原理完全解读 - 你假笨 里提到了两个JVM参数，可以控制perfdata文件是否共享，引用泉子对这两个参数的解释：
一、共享内存简介 共享内存区是最快的IPC形式，这些进程间数据传递不再涉及到内核，换句话说是进程不再通过执行进入内核的系统调用来传递彼此的数据。 即每个进程地址空间都有一个共享存储器的映射区，当这
Flink的内存管理是基于JVM内存模型的，所以，在内存调优或者解决各种OOM等问题时JVM内存管理是绕不开的话题。本文以Direct Memory为切入点，探索堆外内存、直接内存、以及他们在Java NIO源码中如何体现的。最后，简单介绍Java NIO的零拷贝在Kafka和Netty中的应用。
本文简要介绍了新增的 15 种执行代码的方式，另外详细介绍了该课程提供的所有实验材料。"
This error usually means that PostgreSQL's request for a shared memory segment exceeded available memory, swap space, or huge pages. To reduce the request size (currently 17667276800 bytes), reduce PostgreSQL's shared memory usage, perhaps by reducing shared_buffers or max_connections.
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
