Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >ceph-osd pagecache使用限制问题

ceph-osd pagecache使用限制问题

原创
作者头像
domain0
修改于 2019-07-30 07:09:55
修改于 2019-07-30 07:09:55
1.4K0
举报
文章被收录于专栏:运维一切运维一切

### 问题

ceph-osd上发现内存使用很严重,特别是cache的使用,巨大的内存使用如果不及时释放,加上swap很小,在遇到大文件读写时就会引发kernel oom,进而core文件写满所有根分区

代码语言:txt
AI代码解释
复制
[root@xx00 /root]# free -mw
             total        used        free      shared     buffers       cache   available
Mem:   64047       13843         214        1385          56       49933       48095
Swap:  2039        1941          98

研究了一圈总结一下buffer肯定没问题,这个是块设备缓存,看大小也正常,cache用的太大,外面说cache由三部分组成,pagecache+inode cache+directory cache组成。

我使用如下的命令做了一个测试

代码语言:txt
AI代码解释
复制
echo 1 > /proc/sys/vm/drop_caches

只释放了pagecache,发现大量的空间被释放

image.png
image.png

这就很明显,只是pagecache占用的很多的内存。

文件的操作无非读写

代码语言:txt
AI代码解释
复制
cat /proc/meminfo
...
Dirty:              1796 kB
...

dirty使用量很小,所以我判断,pagecache巨大无比只是大量的读操作引发的。

### 可调节的参数

  • 手动强制释放echo 1 > /proc/sys/vm/drop_cachesvm.pagecache_limit_async = 0 vm.pagecache_limit_ignore_dirty = 1 vm.pagecache_limit_ratio = 0 vm.pagecache_limit_reclaim_ratio = 0可以通过vm.pagecache_limit_ratio和vm.pagecache_limit_reclaim_ratio来进行限制sysctl -w vm.pagecache="40" echo vm.min_free_kbytes=1024 >> /etc/sysctl.conf当然,如果是其他情况,比如是写文件导致的cache使用过大,可以调节下面几个参数4.2 dirty_expire_centisecs cat /proc/sys/vm/dirty_expire_centicecs查看这个值,默认是3000(单位是1/100秒)。这个值表示page cache中的数据多久之后被标记为脏数据。只有标记为脏的数据在下一个周期到来时pdflush才会刷入到磁盘,这样就意味着用户写的数据在30秒之后才有可能被刷入磁盘,在这期间断电都是会丢数据的。如果想pdfflush刷新频率大写可以减小这个值,比如:echo 1000 >> /proc/sys/vm/dirty_expire_centicecs 设置为10s一个刷新周期。 4.3 dirty_backgroud_ratio cat /proc/sys/vm/dirty_backgroud_ratio查看这个值,默认是10(单位是百分比,不同的内核版本可能有不同的默认值)。很多的描述文档中描述这个值表示最多缓存脏数据的空间占总内存的百分比。其实不然,查看源码的描述,它的真实意义是占(MemFree + Cached - Mapped)的百分比。达到这个上限后会唤醒pdflush把这些脏数据刷新到磁盘,在把脏数据输入磁盘之前所有写IO会被阻塞。所以如果这个值设的过大,则会周期的出现一个写IO峰值,而且这个峰值持续比较长时间,在这段时间内用户的写IO会被阻塞。对于一些业务场景需要把这个值设置的小写,把峰值写IO平分为多次小的写IO。例如:echo 5 >> cat /proc/sys/vm/dirty_backgroud_ratio 把百分比降低到5%。 4.4 dirty_ratio cat /proc/sys/vm/dirty_ratio查看这个值,默认是20(单位是百分比,不同的内核版本可能有不同的默认值)。表示当脏数据占用总内存的百分比超过20%的时候,内核会把所有的写操作阻塞掉,等待pdflush把这些脏数据刷入到磁盘后才能恢复正常的IO写。要注意的是当这个事件发生时,会阻塞掉所有写操作。这样会产生一个很大的问题,一个长时间大IO会抢占更多的IO写资源,可能把其它的小IO饿死。因为大IO产生的脏数据较多,很快达到这个阀值,此时就会系统会阻塞掉所有的写IO,从而小写IO无法进行写操作。
  • 如果是suse的内核
  • 老一点的内核可以调节这两个参数

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
mysql集群之MYSQL CLUSTER
http://xuwensong.elastos.org/2014/01/13/ubuntu-%E4%B8%8Bmysql-cluster%E5%AE%89%E8%A3%85%E5%92%8C%E9%85%8D%E7%BD%AE/
全栈程序员站长
2022/09/06
2.9K0
mysql集群之MYSQL CLUSTER
Linux下搭建MySQL集群
一、MySQL集群简介 1、什么是MySQL集群 MySQL集群是一个无共享的(shared-nothing)、分布式节点架构的存储方案,其目的是提供容错性和高性能。 数据更新使用读已提交隔离级别(r
李鹏
2017/08/23
8K1
Linux下搭建MySQL集群
MySQL集群:高可用性DBMS
如果你在寻找一个不会发生单点故障的数据库管理系统,那么水平拓展的MySQL集群分布式多主架构将是您的最佳选择。MySQL集群可以通过MySQL和NoSQL接口访问,并且可以用来服务密集的读/写工作。
和风
2018/05/22
2.2K0
MySQL集群:高可用性DBMS
mysql-cluster集群原理介绍和搭建步骤(四个data/sql节点) (转)「建议收藏」
MySQL簇概述MySQL簇是一种技术,该技术允许在无共享的系统中部署“内存中”数据库的簇。通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求。此外,由于每个组件有自己的内存和磁盘,不
Java架构师必看
2022/04/02
3.2K0
mysql-cluster集群原理介绍和搭建步骤(四个data/sql节点) (转)「建议收藏」
MySQL集群搭建实现高可用
MySQLCluster是MySQL适合于分布式计算环境的高实用、高冗余版本。Cluster的汉语是“集群”的意思。它采用了NDB Cluster 存储引擎,允许在1个 Cluster 中运行多个MySQL服务器。
萧晚歌
2020/08/19
3.3K0
高可用性、负载均衡的mysql集群解决方案
一、mysql的市场占有率 二、mysql为什么受到如此的欢迎 三、mysql数据库系统的优缺点 四、网络服务器的需求 五、什么是mysql的集群 六、什么是负载均衡 七、mysql集群部署和实现方法 八、负载均衡的配置和测试 九、Mysql集群系统的测试(测试方案+测试脚本+测试结果分析) l mysql的市场占有率 MySQL是世界上最流行的开源数据库,已有1100多万的击活安装,每天超过五万的下 载。MySQL为全球开发者、DBA和IT管理者在可靠性、性能、易用性方面提供了选 择。 第三方市场调查机
李海彬
2018/03/23
5K0
Windows Server 2008R2配置MySQL Cluster
配置环境   VMware:(版本10.0.01)   操作系统:Windows Server 2008 R2 Enterprise   VM1:192.168.220.103 管理节点(MGM),数据节点(NDBD1),SQL节点(SQL1)   VM2:192.168.220.104 数据节点(NDBD2),SQL节点(SQL2)   MySQL Cluster版本:7.3.7 (MSI Installer)  下载地址:http://dev.mysql.com/downloads/cluste
Porschev
2018/01/16
1.7K0
Windows Server 2008R2配置MySQL Cluster
MySQL NDB Cluster实战
前言 本文来自睿哲科技的张树杰同学分享MySQL NDB集群的基础知识和搭建,非常赞! 希望越来越多的同学一起来分享,帮助他人,也收获成长,每季度分享排名第一的同学有惊
大数据和云计算技术
2018/03/08
4.6K0
MySQL NDB Cluster实战
手把手教你用Mysql-Cluster-7.5搭建数据库集群
当你的业务到达一定的当量,肯定需要一定数量的数据库来负载均衡你的数据库请求,我在之前的博客中已经说明了,如何实现负载均衡,但是还有一个问题就是数据同步,因为负载均衡的前提就是,各个服务器的数据库是数据同步的。在业务量不大的时候,我们会使用主从复制的方法实现服务器数据同步,一主多从或者是双主等,但是虽然进行了读写分离,但是对于读的方法限制还是比较大,所以解决数据同步的问题就是数据库集群的意义。我这里使用mysql官网提供的mysql-cluster实现集群。(到文章发布前的最新版本的安装教程,把网上踩的坑都踩过了一遍;)
MonroeCode
2018/01/10
1.9K0
mysql集群搭建教程-mysql+windows篇
​搭建MySQL集群,首先看了一些关于集群的资料,然后根据步骤一步步的整,遇到了一些问题,在这里把我遇到的问题以及解决方法分享出来。​
张哥编程
2024/12/17
4430
mysql集群搭建教程-mysql+windows篇
MySQL数据库,详解MySQL分布式集群搭建
搭建MySQL分布式集群,例如:利用MySQL cluster ,MySQL proxy,MySQL replication,drdb等等,有人会问MySQL集群意义是什么呢?为一个数据库减轻负担,说白了就是减少sql排队队列中的sql的数量,举个例子:有10个sql请求,如果放在一个数据库服务器的排队队列中,他要等很长时间,如果把这10个sql请求,分配到5个数据库服务器的排队队列中,一个数据库服务器的队列中只有2个,这样等待时间是不是大大的缩短了呢?这已经很明显了。下面我们来看看如何具体的搭建一个MySQL分布式集群。
用户1289394
2021/03/29
2.9K0
MySQL8 中文参考(八十九)
TCP/IP 是 NDB 集群中所有节点之间连接的默认传输机制。通常情况下,不需要定义 TCP/IP 连接;NDB 集群会自动为所有数据节点、管理节点以及 SQL 或 API 节点设置这些连接。
ApacheCN_飞龙
2024/06/26
1810
在Windows7中搭建Mysql Cluster
登录windows时最好用Administor登录(特别是管理节点,用其它用户登录了一次,之后就搭建不了,总是出现"修改不了一些文件的错误"),不然程序没有权限修改某些文件。
克虏伯
2019/04/15
2.1K0
mysql-cluster集群搭建
官方网站下载mysql-cluster-gpl-7.5.7-linux-glibc2.12-x86_64.tar.gz (mysql集群)
93年的老男孩
2019/12/18
1.7K0
【MySQL集群】——在Windows环境下配置MySQL集群
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/huyuyang6688/article/details/47441743
DannyHoo
2018/09/13
3.3K0
【MySQL集群】——在Windows环境下配置MySQL集群
MySQL8 中文参考(八十七)
作为 NDB Cluster 的一部分的 MySQL 服务器在一个主要方面与普通(非集群)MySQL 服务器不同,即它使用NDB存储引擎。这个引擎有时也被称为NDBCLUSTER,尽管更倾向于使用NDB。
ApacheCN_飞龙
2024/06/26
2360
百度架构师是怎样搭建MySQL分布式集群?
MySQL集群是一个无共享的(shared-nothing)、分布式节点架构的存储方案,其目的是提供容错性和高性能。
慕容千语
2019/06/06
5950
百度架构师是怎样搭建MySQL分布式集群?
MySQL8 中文参考(八十五)
对于一般的 X 插件监控,请使用其公开的状态变量。参见第 22.5.6.3 节,“X 插件状态变量”。有关专门监视消息压缩效果的信息,请参见 X 插件的连接压缩监控。
ApacheCN_飞龙
2024/06/26
2480
MySQL8 中文参考(八十五)
MySQL Cluster 简介
MySQL Cluster 是官方推出的基于 NDB(Network DataBase)存储引擎的高可用和可伸缩的分布式数据库系统。
恋喵大鲤鱼
2023/10/12
8520
MySQL Cluster 简介
使用Galera部署MariaDB集群
使用Galera进行MariaDB复制可为站点数据库添加冗余。通过数据库复制,多个服务器充当数据库集群。数据库群集对于高可用性网站配置特别有用。本教程使用三个单独的腾讯云CVM服务器来配置数据库复制,并创建相关数据库集群。
圣人惠好可爱
2018/08/20
1.3K0
相关推荐
mysql集群之MYSQL CLUSTER
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档