首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

python mmap_python mmap对象

—-mmap是什么 mmap是一种虚拟内存映射文件的方法,它可以将一个文件或者其它对象映射到进程的地址空间,实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对应关系。...mmap 模块提供“内存映射的文件对象”,mmap 对象可以用在使用 plain string 的地方,mmap 对象和 plain string 的区别是: mmap 对象不提供字符串对象的方法; mmap...对象是可变的,而 str 对象是不可变的 mmap 对象同时对应于打开的文件,多态于一个Python file 对象 mmap 对象可以切片和索引,也可以为它的切片或索引赋值(因为 mmap 对象是可变的...—-创建 mmap 对象 mmap(filedesc, length, tagname=”) #windows mmap(filedesc, length, flag=MAP_SHARED, prot=...; 参数 prot 对应的取值包括:mmap.PROT_READ, mmap.PROT_WRITE 和 mmap.PROT_WRITE | mmap.PROT_READ。

1K10

mmap分析

mmap是一种内存映射文件的方法,即将一个文件或者其它对象映射到进程的地址空间,实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。...mmap和常规文件操作的区别 常规文件系统操作(调用read/fread等类函数)中,函数的调用过程: 1、进程发起读文件请求。...mmap操作文件中,创建新的虚拟内存区域和建立文件磁盘地址和虚拟内存区域映射这两步,没有任何文件拷贝操作。...1.mmap最终映射的物理内存依然在页缓存中,mmap 只需要从磁盘 拷贝一次就可以了,并且由于做过内存映射,也不需要再拷贝回用户空间。...2.mmap 把数据写入页缓存后,跟缓存 I/O 的延迟写机制一样,可以依靠内核 线程定期写回磁盘。

1.4K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    mmap详解

    mmap基础概念 mmap是一种内存映射文件的方法,即将一个文件或者其它对象映射到进程的地址空间,实现了文件磁盘地址和进程虚拟地址的映射关系。...mmap内存映射原理 mmap内存映射的实现过程,总的来说可以分为三个阶段: (一)进程启动映射过程,并在虚拟地址空间中为映射创建虚拟映射区域 1、进程在用户空间调用库函数mmap,原型:void mmap...这个问题可以通过mmap映射很好的解决。换句话说,但凡是需要用磁盘空间代替内存的时候,mmap都可以发挥其功效。...mmap及相关函数 mmap函数 void *mmap(void *addr, size_t len, int prot, int flags, int fd, off_t offset); 返回说明...mmap使用细节 使用mmap需要注意的一个关键点是,mmap映射区域大小必须是物理页大小(page_size)的整倍数(32位系统中通常是4k字节)。

    2.2K20

    mmap概述

    mmap/munmap接口是用户空间的最常用的一个系统调用接口,无论是在用户程序中分配内存、读写大文件,链接动态库文件,还是多进程间共享内存,都可以看到mmap/munmap的身影。...mmap/munmap函数声明如下: #include void *mmap(void *addr, size_t length, int prot, int flags, int...MAP_FIXED:使用参数addr创建映射,如果内核无法映射指定地址addr,那么mmap会返回失败,参数addr要求按页对齐。...私有匿名映射最常见的用途是在glibc分配大块内存中,当需要的分配的内存大于MMAP_THREASHOLD(128KB)时,glibc会默认使用mmap代替brk来分配内存。...在这种情况下,do_mmap_pgoff()->mmap()函数最终调用shmem_zero_setup()来打开一个"/dev/zero"特殊的设备文件。

    1.4K10

    理解mmap

    mmap参数的可视化解释: mmap原理 在调用mmap实现这样的映射关系后,它只是在进程的虚拟空间中分配了一段空间,真实的物理地址还不会分配的,当进程第一次访问这段空间(当作内存一样),CPU陷入.../storage/emulated/0/log.mmap2就是xlog用作mmap的backlog文件了,它被映射到b35b7000-b35dd000这段内存区域。...mmap的关键点是实现了用户空间和内核空间的数据直接交互而省去了空间不同数据不通的繁琐过程。因此mmap效率更高。...xlog对mmap的效率做了验证 为了验证 mmap 是否真的有直接写内存的效率,通过一个简单的测试用例进行验证:把512 Byte的数据分别写入150 kb大小的内存和 mmap,以及磁盘文件100w...次并统计耗时 从上图看出mmap几乎和直接写内存一样的性能,而且 mmap 既不会丢日志,回写时机又基本可控。

    6K61

    mmap 分析

    mmap内存映射原理 mmap内存映射的实现过程,总的来说可以分为三个阶段: (一)进程启动映射过程,并在虚拟地址空间中为映射创建虚拟映射区域 1、进程在用户空间调用库函数mmap,原型:void mmap...说白了,mmap的关键点是实现了用户空间和内核空间的数据直接交互而省去了空间不同数据不通的繁琐过程,因此mmap效率更高。...这个问题可以通过mmap映射很好的解决。换句话说,但凡是需要用磁盘空间代替内存的时候,mmap都可以发挥其功效。...mmap及相关函数 mmap函数 void *mmap(void *addr, size_t len, int prot, int flags, int fd, off_t offset); 返回说明...mmap使用细节 使用mmap需要注意的一个关键点是,mmap映射区域大小必须是物理页大小(page_size)的整倍数(32位系统中通常是4k字节)。

    58300

    Linux mmap原理

    Linux mmap原理 前言 Linux段页式内存管理 mmap mmap内存映射原理 文字概述 mmap函数参数介绍 源码解析 1. 文件映射 2....缺页异常 mmap 和常规文件操作的区别 mmap 使用的细节 小结 ---- 前言 mmap是linux操作系统提供给用户空间调用的内存映射函数,很多人仅仅只是知道可以通过mmap完成进程间的内存共享和减少用户态到内核态的数据拷贝次数...通过调用文件对象的 mmap() 回调函数来设置vma结构的 fault() 回调函数,一般文件对象的 mmap() 回调函数为:generic_file_mmap()。...我们来看看其调用链: sys_mmap() └→ do_mmap_pgoff() └→ mmap_region() └→ generic_file_mmap() ---- 2....---- mmap 使用的细节 使用mmap需要注意的一个关键点是,mmap映射区域大小必须是物理页大小(page_size)的整倍数(32位系统中通常是4k字节)。

    3.7K21

    学习mmap

    最近在工作中遇到一个mmap使用相关的问题,造成了一定的困惑,于是花了些时间补了下 mmap的功课,在这里分享给大家,错误和不足之处大家多指教。...相关背景知识 说到mmap的使用,我们首先要了解一下进程的虚拟进程地址空间的概念。...048bffd2fdbba353a06eef23bcbde3e8.jpg mmap简介 先看原型: void *mmap(void *addr, size_t length, int prot...mmap时提供一个打开的文件句两,但使用 MAP_PRIVATE的flags, 那这时对其的写操作并不能真正修改对应的磁盘文件,它会作写时拷贝,退化成匿名映射 mmap作磁盘文件映射时的特别说明 mmap...; 如果用mmap映射某个文件时,这个文件大小为0, 不会分配任何的物理内存,也不能作任何的读写访问;当向文件中写入数据后,通过mmap返回的虚拟地址可以访问这部分文件内容; mmap与内存换入换出 由前面的介绍我们知道

    85640

    vmalloc与mmap

    mmap()系统调用是在用户进程与内核之间共享内存区域的常用方法。我们最近有个程序,需要应用进程能够读取内核驱动获取的数据,经过简单的调研,决定采用mmap方式。...实现起来不难,在驱动中注册一个字符设备,实现该设备的mmap()方法即可。但这其中有一点小曲折。   ...在实现设备的mmap()方法时,需要将物理内存映射到应用程序通过mmap()系统调用传下来的vma中。vma代表的是进程的一段虚拟地址空间。...该函数的原型为: int remap_vmalloc_range(struct vm_area_struct *vma, void *addr, unsigned long pgoff) 其中参数vma是mmap...而pgoff则为mmap()系统调用里的偏移参数,可以通过vma->vm_pgoff获得。该函数成功执行后,返回值为0。如果返回值为负数,则说明出错了。通常是由于所传的参数不正确。

    81230

    Linux内存映射——mmap

    Linux提供了mmap()函数,用来映射物理内存。...在驱动程序中,应用程序以设备文件为对象,调用mmap()函数,内核进行内存映射的准备工作,生成vm_area_struct结构体,然后调用设备驱动程序中定义的mmap函数。...2.mmap系统调用 mmap将一个文件或者其它对象映射进内存。文件被映射到多个页上,如果文件的大小不是所有页的大小之和,最后一个页不被使用的空间将会清零。...3.用户空间的进程调用mmap函数,首先进行必要的处理,生成vma结构体,然后调用remap_pfn_range函数建立页表。而用户空间的mmap函数返回的是映射到进程地址空间的首地址。...所以mmap函数与remap_pfn_range函数是不同的,前者只是生成mmap,而建立页表通过remap_pfn_range函数来完成。

    5.7K10

    OS - MMAP初探

    What’s mmap https://man7.org/linux/man-pages/man2/mmap.2.html ?...简单来说: mmap() 系统调用能够将文件映射到内存空间,然后可以通过读写内存来读写文件 ---- mmap 函数 #include void *mmap(void *addr, size_t...---- mmap() 的底层原理 虚拟内存空间与物理内存空间 我们先来看下 操作系统的虚拟内存空间与物理内存空间的概念 。...然后调用文件对象的 mmap 接口来对 vm_area_struct 结构的 vm_ops 成员进行初始化,如 ext2 文件系统的文件对象会调用 generic_file_mmap() 函数进行初始化...而调用 mmap() 系统调用对文件进行映射后,用户对映射后的内存进行读写实际上是对文件缓存的读写,所以减少了一次系统调用,从而加速了对文件读写的效率。如下图: ? ----

    71810

    vmalloc与mmap

    mmap()系统调用是在用户进程与内核之间共享内存区域的常用方法。我们最近有个程序,需要应用进程能够读取内核驱动获取的数据,经过简单的调研,决定采用mmap方式。...实现起来不难,在驱动中注册一个字符设备,实现该设备的mmap()方法即可。但这其中有一点小曲折。...在实现设备的mmap()方法时,需要将物理内存映射到应用程序通过mmap()系统调用传下来的vma中。vma代表的是进程的一段虚拟地址空间。...该函数的原型为: int remap_vmalloc_range(struct vm_area_struct *vma, void *addr, unsigned long pgoff) 其中参数vma是mmap...而pgoff则为mmap()系统调用里的偏移参数,可以通过vma->vm_pgoff获得。该函数成功执行后,返回值为0。如果返回值为负数,则说明出错了。通常是由于所传的参数不正确。

    2K30

    【Linux 内核 内存管理】mmap 系统调用源码分析 ④ ( do_mmap 函数执行流程 | do_mmap 函数源码 )

    文章目录 一、do_mmap 函数执行流程 二、do_mmap 函数源码 调用 mmap 系统调用 , 先检查 " 偏移 " 是否是 " 内存页大小 " 的 " 整数倍 " , 如果偏移是内存页大小的整数倍..., 则调用 sys_mmap_pgoff 函数 , 继续向下执行 ; 在 sys_mmap_pgoff 系统调用函数 中 , 最后调用了 vm_mmap_pgoff 函数 , 继续向下执行 ; 在 vm_mmap_pgoff...函数 中 , 核心处理过程就是调用 do_mmap 函数 , 这是 " 内存映射 " 创建的主要函数逻辑 ; 一、do_mmap 函数执行流程 ---- do_mmap 函数 , 主要功能是 创建 "...函数 , 创建 " 虚拟内存区域 " ; addr = mmap_region(file, addr, len, vm_flags, pgoff, uf); 二、do_mmap 函数源码 ---- 创建..." 内存映射 " 主要是 do_mmap 函数实现的 , 该函数定义在 Linux 内核源码的 linux-4.12\mm\mmap.c#1320 位置 ; do_mmap 函数源码如下 : /*

    2K10

    原来 mmap 这么简单

    在《一文看懂零拷贝技术》中我们介绍了 零拷贝技术 的原理,而且我们知道 mmap 也是零拷贝技术的一种实现。在本文中,我们主要介绍 mmap 的原理。...答案是肯定的,就是 mmap。 使用 mmap 系统调用可以将用户空间的虚拟内存地址与文件进行映射(绑定),对映射后的虚拟内存地址进行读写操作就如同对文件进行读写操作一样。原理如图 2 所示: ?...由于 mmap 映射的是文件的 页缓存,所以就涉及到同步的问题,即 页缓存 会在什么时候把数据同步到磁盘。 Linux 内核并不会主动把 mmap 映射的 页缓存 同步到磁盘,而是需要用户主动触发。...三、mmap的使用方式 下面我们介绍一下怎么使用 mmapmmap 函数的原型如下: void *mmap(void *addr, size_t length, int prot, int flags...四、总结 本文主要介绍了 mmap 的原理和使用方式,通过本文我们可以知道,使用 mmap 对文件进行读写操作时可以减少内存拷贝的次数,并且可以减少系统调用的次数,从而提高对读写文件操作的效率。

    1K30

    brk与mmap

    前言 glibc的malloc函数在申请大于128K的内存时使用mmap分配内存,mmap会从堆区和栈区中间的部分划分内存,而在申请小于128K的内存时使用brk从堆上划分内存。...难道这就是传说中的线性内存分配 3. mmap 3.1 mmap函数原型 void *mmap(void *addr, size_t len, int prot, int flags, int fd...返回的映射区的起始地址 length 映射区的大小 返回值 解除成功返回0,失败返回-1 3.3 mmap原理 linxu内核使用vm_area_struct结构来表示一个独立的虚拟内存区域(比如堆、...mmap就是创建一个新vm_area_struct结构,并将其与文件磁盘地址做映射。 mmap申请的内存可以通过munmap释放。 4....总结 方式 内存碎片 适用场景 brk 多,因为不可释放 申请小内存 mmap 无,因为可以直接释放 申请大内存,如果用来申请小内存的话就会创建非常多的vm_area_struct结构体,不划算 5.

    9810

    【Linux 内核 内存管理】mmap 系统调用源码分析 ③ ( vm_mmap_pgoff 函数执行流程 | vm_mmap_pgoff 函数源码 )

    文章目录 一、vm_mmap_pgoff 函数执行流程 二、vm_mmap_pgoff 函数源码 调用 mmap 系统调用 , 先检查 " 偏移 " 是否是 " 内存页大小 " 的 " 整数倍 " ,...如果偏移是内存页大小的整数倍 , 则调用 sys_mmap_pgoff 函数 , 继续向下执行 ; 在 sys_mmap_pgoff 系统调用函数 中 , 最后调用了 vm_mmap_pgoff 函数..., 继续向下执行 ; 一、vm_mmap_pgoff 函数执行流程 ---- 在 vm_mmap_pgoff 函数中 , 首先 , 以 " 写者 " 身份 , 向 Linux 内核申请 读写 " 信号量...函数源码 ---- vm_mmap_pgoff 函数定义在 Linux 内核源码中的 linux-4.12\mm\util.c#296 位置 ; vm_mmap_pgoff 函数源码如下 : unsigned...ret) { if (down_write_killable(&mm->mmap_sem)) return -EINTR; ret = do_mmap_pgoff(file, addr,

    2.1K10
    领券