首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Linux内存回收和交换

Linux内存管理是一套非常复杂系统,而swap只是其中一个很小处理逻辑。希望本文能让读者了解Linux对swap使用大概是什么样子。...所以内核有必要设计一个周期回收内存机制,以便cache使用和其他相关内存使用不至于让系统剩余内存长期处于很少状态。 第二,当真的有大于空闲内存申请到来时候,会触发强制内存回收。...所以,内核在应对这两类回收需求下,分别实现了两种不同机制。一个是使用kswapd进程对内存进行周期检查,以保证平常状态下剩余内存尽可能够用。...内存水位标记(watermark) 我们回到kswapd周期检查和直接内存回收两种内存回收机制。直接内存回收比较好理解,当申请内存大于剩余内存时候,就会触发直接回收。...那么kswapd进程在周期检查时候触发回收条件是什么呢?还是从设计角度来看,kswapd进程要周期内存进行检测,达到一定阈值时候开始进行内存回收

4.7K52

聊聊Linux内核内存回收上篇

概述 内存回收是把已经使用过物理页帧重新放回到内核中buddy系统(buddy系统用于申请空闲物理页帧子系统)管理中,解决内存紧张问题;内存回收页帧包括未修改文件页帧、修改且完成同步文件页帧...内核对所有用户态进程消耗RAW内存总量不做严格约束,当系统负载相对较低时候,内存大部分被磁盘高速缓存使用,随着系统负载增大,系统进程使用内存越来越多,磁盘高速缓存占用内存就会被缩小,内存页帧回收必须在消耗所有空闲页帧之前进行...内核一般用内存页帧引用次数来表示页帧活跃程度。一个内存区zone将空闲页帧和已经在使用页帧分别用buddy系统和 zoneLRU链表管理。...LRU_UNEVICTABLE, NR_LRU_LISTS }; 页帧回收 页帧回收会按照几个原则来进行内存页帧回收,第一是回收高速磁盘缓存页帧;第二回收睡眠时间较长进程中页帧;第三是回收共享页帧引用全部清除...;第四回收LRU链表中未使用 页帧回收过程页分为直接回收和定期回收

1.8K30
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    图解 | Linux内存回收之LRU算法

    如下图所示: 但内存资源是有限,随着系统中运行进程越来越多,系统中可用内存就会越来越少。那么,当可用内存不足时,Linux 内核是怎么处理呢?...内存回收工作主要包括以下几个步骤: 内核为了加速某些操作(如文件 I/O),会对操作结果进行缓存(如文件页缓存),而缓存使用内存是可以被回收。所以,当可用内存不足时,首先会回收内核中缓存。...由于回收内存方式有三种,所以本文重点以 swap 机制作为分析对象,来介绍当内存不足时,内核是怎么进行内存回收工作。...LRU算法状态流转 我们最后以一张状态流转图来描述 LRU 算法过程: 三、总结 本文主要介绍了 Linux 内核内存回收过程中使用 LRU 算法原理,在下一篇文章中,我们将会介绍 Linux...内核是如何实现内存回收,有兴趣敬请期待。

    3.4K20

    内存回收

    前言: 前文《内存映射技术分析》描述了虚拟内存管理、内存映射;《物理内存管理》介绍了物理内存管理。 本篇介绍一下内存回收内存回收应该是整个Linux内存管理上最难理解部分了。...分析: 1,PFRA Page Frame Reclaim Algorithm,Linux内存回收算法。 不过,PFRA和常规算法不同。...Linux通过avc遍历所有的映射了当前pageVMA,做反向映射。 9,kswapd 内核线程,负责内存回收。zonewatermark不满足时候,就需要唤醒kswapd来回收内存。...只是说,如果内存不够了,linux会尝试回收,尽量满足。 回收时候,如果实在回收不到了,linux会选择最差策略---杀掉一部分进程。...后记: 虚拟内存管理,内存映射,物理内存管理,内存回收,差不多就是Linux内存管理主要功能了。 Good Luck~

    3.4K100

    Linux 内存Cache,真的能被回收么?

    Linux系统中,我们经常用free命令来查看系统内存使用状态。...buffer和cache是两个在计算机技术中被用滥名词,放在不通语境下会有不同意义。 在Linux内存管理中,这里buffer指Linux内存:Buffer cache。...Linux内核会在内存将要耗尽时候,触发内存回收工作,以便释放出内存给急需内存进程使用。 一般情况下,这个操作中主要内存释放都来自于对buffer/cache释放。...我们可以人工触发内存回收看看现在到底能回收多少内存: 可以看到,cached占用空间并没有像我们想象那样完全被释放,其中13G空间仍然被/tmp/tmpfs中文件占用。...但是退出之前并没有删除这段共享内存。 我们来看看这个程序执行前后内存使用: cached空间由16G涨到了18G。那么这段cache能被回收么?继续测试: 结果是仍然不可回收

    2.9K110

    Linux 内存 Cache 真的能被回收么?

    Linux 系统中,我们经常用 free 命令来查看系统内存使用状态。...buffer 和 cache 是两个在计算机技术中被用滥名词,放在不通语境下会有不同意义。在 Linux 内存管理中,这里buffer 指 Linux 内存:Buffer cache。...Linux 内核会在内存将要耗尽时候,触发内存回收工作,以便释放出内存给急需内存进程使用。一般情况下,这个操作中主要内存释放都来自于对 buffer/cache 释放。...我们可以人工触发内存回收看看现在到底能回收多少内存: 可以看到,cached 占用空间并没有像我们想象那样完全被释放,其中 13G 空间仍然被 /tmp/tmpfs 中文件占用。...但是退出之前并没有删除这段共享内存。我们来看看这个程序执行前后内存使用: cached 空间由 16G 涨到了 18G。那么这段 cache 能被回收么?继续测试: 结果是仍然不可回收

    5.3K50

    Redis内存回收

    1.Redis内存回收Redis之所以性能强,最主要原因就是基于内存存储。然而单节点Redis其内存大小不宜过大,会影响持久化或主从同步性能。...因此,Redis内部会有两套内存回收策略: 内存过期策略 内存淘汰策略 1.1.内存过期处理存入Redis中数据可以配置过期时间,到期后再次访问会发现这些数据都不存在了,也就是被过期清理了。...Redis过期KEY删除策略有两种: 惰性删除 周期删除 惰性删除,顾明思议就是过期后不会立刻删除。那在什么时候删除呢?...:顾明思议是通过一个定时任务,周期抽样部分过期key,然后执行删除。...要判断一个KEY是否过期,只需要到记录过期时间Dict中根据KEY查询即可。Redis何时删除过期KEY?如何删除?Redis过期KEY处理有两种策略,分别是惰性删除和周期删除。

    10910

    python内存回收问题

    python实际上,对于占用很大内存对象,并不会马上释放。 举例,a=range(10000*10000),会发现内存飙升一个多G,del a 或者a=[]都不能将内存降下来。。...del 可以删除多个变量,del a,b,c,d 办法: import gc (garbage collector) del a gc.collect() 马上内存就释放了。...在IPython中用run运行程序时,都是在独立运行环境中运行,结束之后才将程序运行环境中结果复制到IPython环境中,因此不会有变量被重复调用问题。...如果你是指在自己程序中想删除所有全局变量的话,可以自己编写一个clear函数,通过globals()获取全局变量然后将其中不需要内容删除,例如下面的程序保留函数,类,模块,删除所有其它全局变量:...__name__ == "module":             continue         del globals()[key] 不过程序中应该避免这种对全局变量依赖。

    1.2K10

    Redis内存回收策略

    Redis会因为内存不足而产生错误,也会因为回收过久而导致系统长期停顿,因此了解掌握Redis回收策略十分重要。...当Redis内存达到规定最大值时,可以进行配置进行淘汰键值,并且将一些键值对进行回收。 我们打开Redis安装目录下redis.conf文件。...,Redis将回收那些超时(仅仅是超时)键值对,也就是它只淘汰那些超时键值对。...noeviction:不淘汰任何键值对,当内存满时,如果进行读操作,例如get命令,它将正常工作,而做写操作,它将返回错误,也就是说,当Redis采用这个策略内存达到最大时候,它就只能读不能写了。...对所有的键值对进行回收,有可能把正在使用键值对删掉,增加了存储不稳定性。对于垃圾回收策略,还需要控制回收时间。

    2.5K20

    Android内存分配与回收

    想写一篇关于android内存分配和回收文章想法来源于追查一个魅族手机图片滑动卡顿问题,我们想了很多办法还是没有避免他不停GC,所以就打算详细看看内存分配和GC原理,为什么会不断GC...1、JVM内存回收机制 1.1 回收算法 标记回收算法(Mark and Sweep GC)         从"GC Roots"集合开始,将内存整个遍历一次,保留所有可以被GC Roots直接或间接引用到对象...,而剩下对象都当作垃圾对待并回收,这个算法需要中断进程内其它组件执行并且可能产生内存碎片 复制算法 (Copying)          将现有的内存空间分为两快,每次只使用其中一块,在垃圾回收时将正在使用内存存活对象复制到未被使用内存块中...,之后,清除正在使用内存块中所有对象,交换两个内存角色,完成垃圾回收。...1.2 复制和标记-压缩算法区别        乍一看这两个算法似乎并没有多大区别,都是标记了然后挪到另外内存地址进行回收,那为什么不同分代要使用不同回收算法呢?

    1.4K80

    Java内存回收机制

    在Java中,它内存管理包括两方面:内存分配(创建Java对象时候)和内存回收,这两方面工作都是由JVM自动完成,降低了Java程序员学习难度,避免了像C/C++直接操作内存危险。...并行回收执行效率很高,但复杂度增加,另外也有一些副作用,如内存碎片增加。...3)压缩和不压缩和复制 : ①支持压缩垃圾回收器(标记-压缩 = 标记清除+压缩)会把所有的可达对象搬迁到一端,然后直接清理掉端边界以外内存,减少了内存碎片。...这种回收方式不压缩,不需要额外内存,但要两次遍历,会产生碎片 ③复制式垃圾回收器:将堆内存分成两个相同空间,从根(类似于前面的有向图起始顶点)开始访问每一个关联可达对象,将空间A全部可达对象复制到空间...3.2堆内存分代回收 1)分代回收依据: ①对象生存时间长短:大部分对象在Young期间就被回收 ②不同代采取不同垃圾回收策略:新(生存时间短)老(生存时间长)对象之间很少存在引用 2) 堆内存分代

    1.8K70

    Redis-内存回收

    1 内存回收   Reids 所有的数据都是存储在内存,在某些情况下需要对占用内存空间进行回收。...内存回收主要分为两类,一类是 key 过期,一类是内存使用达到上限(max_memory) 触发内存淘汰。 1.1 过期策略   要实现 key 过期,我们有几种思路。...该策略可以立即清除过期数据,对内存很友好;但是会占用大量 CPU 资源去处理过期 数据,从而影响缓存响应时间和吞吐量。...问题:如果都不过期,Redis 内存满了怎么办? 1.2 淘汰策略   Redis 内存淘汰策略,是指当内存使用达到最大内存极限时,需要使用淘汰算法来决定清理掉哪些数据,以保证新数据存入。...如果没有符合前提条件 key 被淘汰,那么 volatile-lru、volatile-random 、volatile-ttl 相当于 noeviction(不做内存回收)。

    1.3K50

    php内存泄漏,内存溢出,垃圾回收

    nginx+phpfpm.png 一个 php-fpm 生命周期大致是这样: 模块初始化(MINIT)-> 请求初始化(RINIT)-> 请求处理 -> 请求结束(RSHUTDOWN) ->...垃圾回收 一、概念 垃圾回收机制是一种动态存储分配方案。它会自动释放程序不再需要已分配内存块。垃圾回收机制可以让程序员不必过分关心程序内存分配,从而将更多精力投入到业务逻辑。...PHP在一个生命周期结束后就会释放此进程/线程所占内容,这种方式决定了PHP在前期不需要过多考虑内存泄露问题。...php5.3开始,使用了新垃圾回收机制,在引用计数基础上,实现了一种复杂算法,来检测内存对象中引用环存在,以避免内存泄露。...2、随着PHP发展,PHP开发者增加以及其所承载业务范围扩大,在PHP5.3中引入了更加完善垃圾回收机制,新垃圾回收机制解决了无法处理循环引用内存泄漏问题。 ?

    3.3K20

    垃圾收集策略静态内存分配和回收动态内存分配和回收1 Java堆内存回收2 回收无效对象过程3 方法区内存回收4 垃圾收集算法5 Java中引用种类

    静态内存分配和回收 静态内存分配是指在程序开始运行时由编译器分配内存,在被编译时就已经能够确定需要空间,当程序被加载时系统把内存一次性分配给它,这些内存不会在程序执行时发生变化,直到程序执行结束时才回收内存...堆和方法区内存回收具有不确定性,因此垃圾收集器在回收堆和方法区内存时候花了一点心思. 1 Java堆内存回收 1.1 判定回收对象 在对堆进行对象回收之前,首先要判断哪些是无效对象即一个对象不被任何对象或变量引用...老年代中对象生命较长,每次垃圾回收只有少量对象被清除 由于方法区中存放生命周期较长类信息、常量、静态变量....根据对象存活周期不同将Java堆划分为老年代和新生代,根据各个年代特点使用最佳收集算法....Java中根据生命周期长短,将引用分为4类 强引用 我们平时所使用引用就是强引用 类似A a = new A(); 即通过关键字new创建对象所关联引用就是强引用 只要强引用还存在,该对象永远不会被回收

    1.1K101

    JavaScript 内存泄露和垃圾回收

    而java、c#、js等是为了解放程序员负担,提出了程序自动释放内存,这种方式就是垃圾回收机制。...复制代码 什么时候触发 垃圾回收 ie 垃圾回收周期性运行,如果分配内存非常多,那么回收工作也会很艰巨,确定垃圾回收时间间隔就变成了一个值得思考问题。...IE6垃圾回收是根据内存分配量运行,当环境中存在256个变量、4096个对象、64k字符串任意一种情况时候就会触发垃圾回收器工作,看起来很科学,不用按一段时间就调用一次,有时候会没必要,这样按需调用不是很好吗...微软在IE7中做了调整,触发条件不再是固定,而是动态修改,初始值和IE6相同,如果垃圾回收回收内存分配量低于程序占用内存15%,说明大部分内存不可被回收,设垃圾回收触发条件过于敏感,这时候把临街条件翻倍...,如果回收内存高于85%,说明大部分内存早就该清理了,这时候把触发条件置回。

    32640

    直接内存回收等待队列

    在直接内存回收过程中,有可能会造成当前需要分配内存进程被加入一个等待队列,当整个node空闲页数量满足要求时,由kswapd唤醒它重新获取内存。...而在kswapd中会对node中每一个不平衡zone进行内存回收,直到所有zone都满足 zone分配页框后剩余页框数量 > 此zonehigh阀值 + 此zone保留页框数量。...kswapd就会停止内存回收,然后唤醒在等待队列进程。...和ZONE_NORMAL平均min阀值数量,大于则说明node平衡 * 加入pgdat->pfmemalloc_wait情况 * 1.如果分配标志禁止了文件系统操作,则将要进行内存回收进程设置为...在此nodekswapd进行内存回收后,会通过再次判断此node是否平衡来唤醒这些进程,如果node平衡,则唤醒这些进程,否则不唤醒。

    1.6K40

    weakSet与js内存回收

    :1.77MB // 第二次垃圾回收,当前内存使用情况:18.54MB // 第三次垃圾回收,当前内存使用情况:18.54MB 比较1、2例子可以发现,当引用类型key值指向为空时候,使用WeakMap...时候会立即释放内存 当使用Map时候不会立即释放内存。...- 虽然,javascript引擎会自动优化内存,但是作为开发者还是应该适当关注一下内存使用情况,以防止极端情况内存释放不及时。...第一次垃圾回收,当前内存使用情况:1.76MB // 第二次垃圾回收,当前内存使用情况:18.54MB, // 当前Map长度: 1 // 第三次垃圾回收,当前内存使用情况:18.54MB, /.../ 当前Map长度: 1 // 第四次垃圾回收,当前内存使用情况:1.94MB, // 当前Map长度: 0 附录 使用 node 命令执行js时候加入 –expose-gc参数作用 -

    1.4K20

    内存分配与回收策略

    大家好,又见面了,我是你们朋友全栈君。 内存分配与回收策略 对象优先在 Eden 分配 大多数情况下,对象在新生代 Eden 区中分配。...Minor GC:指发生在新生代垃圾收集动作,因为 Java 对象大多都具备朝生夕灭特性,所以 Minor GC 非常频繁,一般回收速度也比较快。...大对象直接进入老年代 大对象是指需要大量连续内存空间 Java 对象,如很长字符串或数据。...一个大对象能够存入 Eden 区概率比较小,发生分配担保概率比较大,而分配担保需要涉及大量复制,就会造成效率低下。...虚拟机提供了一个 -XX:PretenureSizeThreshold 参数,令大于这个设置值对象直接在老年代分配,这样做目的是避免在 Eden 区及两个 Survivor 区之间发生大量内存复制

    76330
    领券