Loading [MathJax]/jax/output/CommonHTML/config.js

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >专栏 >Percona Server 5.1 内存过量消耗分析

Percona Server 5.1 内存过量消耗分析

作者头像

franket

发布于 2022-07-09 15:41:52

发布于 2022-07-09 15:41:52

55601

代码可运行

举报

文章被收录于专栏：技术杂记技术杂记

运行总次数：1

代码可运行

前言

一次巡检过程中发现数据库使用内存有些过量，innodb_buffer_pool_size 设置值为 20G ，但实际物理内存消耗为 37G ，总虚拟内存消耗达 42G ，直接导致监控报警，于是开启了一次内存使用探究之旅，整理出来和大家分享一下

概要

发现问题

巡检过程中发现mysql内存使用过量

下面是 top 出来的信息，只截取了关键部分

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                   
14769 mysql     15   0 42.1g  37g 4792 S 58.1 79.5  25660:41 mysqld

innodb_buffer_pool_size 只设定了 20G

[root@abc ~]# grep  innodb_buffer_pool_size /etc/my.cnf 
innodb_buffer_pool_size = 20G
[root@abc ~]#

加上其它七七八八的参数总量也绝不会超过25G，那怎么会有那么大的差距呢？

本文系转载，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文系转载，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

评论

登录后参与评论

暂无评论

编辑精选文章

换一批

万字详解高可用架构设计

Go 开发者必备：Protocol Buffers 入门指南

10分钟带你彻底搞懂分布式链路跟踪

技术分享 | 我的内存去哪儿？生产实践

https 数据库云数据库 SQL Server sql 网络安全

爱可生 DBA 团队成员，负责项目日常问题处理及公司平台问题排查。热爱 IT，喜欢在互联网里畅游，擅长摄影、厨艺，不会厨艺的 DBA 不是好司机，didi~

爱可生开源社区

2020/09/29

6590

技术分享 | 我的内存去哪儿？生产实践

Percona Server 5.1 内存过量消耗分析3

config diff innodb pool size

我注意到最后两项(内存消耗最大两项)，分别是 21.19G (22221844K/1024/1024) 和 7.44G (7801584K/1024/1024)怎么会有这么多的内存消耗呢~~非常奇怪!

franket

2022/07/09

5410

数据库运行一段时间mysqld占用内存越来越高达到90%

云数据库 SQL Server 数据库 sql https c++

操作系统：CentOS Linux release 7.5.1804 (Core) 64核64G

wangwei-dba

2021/07/27

19.6K0

Percona Server 5.1 内存过量消耗分析4

buffer innodb max pool size

由于 innodb_buffer_pool_size 和 query_cache_size 都是我手动配置的，所以这个差异报告让我立刻注意到了 innodb_ibuf_max_size

franket

2022/07/09

5160

MySQL导致的CPU高负载问题

云数据库 SQL Server sql 数据库

在某个新服务器上，新建了一个MySQL的实例，该服务器上面只有MySQL这一个进程，但是CPU的负载却居高不下，使用top命令查询的结果如下：

AsiaYe

2019/11/06

2.4K0

Percona Server 5.1 内存过量消耗分析5

sql 云数据库 SQL Server

发现都正好是 innodb_buffer_pool_size 的一半，于是开始查文档弄清楚 innodb_ibuf_max_size 参数的意义

franket

2022/07/09

5570

《叶问》33期，MGR最佳配置参考，PFS里的监测指标要全开吗，mysqld进程占用内存过高怎么排查

sql 数据库云数据库 SQL Server 编程算法

在「3306π」社区广州站5月22日的分享会上，万里数据库CTO娄帅给出了他建议的配置参考，我们一起来看下：

老叶茶馆

2021/05/31

1.2K0

MYSQL 8 内存使用分析到底我的内存都跑哪了

grep 云数据库 SQL Server node.js sql 数据库

人生可悲的事情是,你不知道问题如何解决,并且困惑中, 而更可悲的是,你根本就不知道自己不知道, 当然从另一个角度,那也是一种"幸福".

AustinDatabases

2021/03/16

4.5K0

MYSQL 8 内存使用分析到底我的内存都跑哪了

Percona Server 5.1 内存过量消耗分析6

由于它并不能动态进行调整，所以必须安排一次数据库的启停，在配置文件中对 innodb_ibuf_max_size 进行限定就可以有效解决此问题

franket

2022/07/09

6310

故障分析 | MySQL 耗尽主机内存一例分析

云数据库 SQL Server

开发人员反馈，有一台服务器内存几乎被 MySQL 耗尽了，执行 top 命令，输出如下：

爱可生开源社区

2022/07/05

1.3K0

MySQL内存到底消耗在哪里？

缓存数据库 sql 云数据库 SQL Server 编程算法

一说起MySQL使用的内存，你可能会想到各种buffer，最著名的莫过于innodb buffer pool了，它是内存使用的大户，还有sort buffer等等。除了这些buffer之外，可能还有一些细枝末节，今天我们来总结一下。

AsiaYe

2021/12/04

3.2K0

Percona Server 5.1 内存过量消耗分析1

数据库云数据库 SQL Server sql

分析问题初步推断有两种情况：参数配置不当内存泄漏关于参数配置不当，我分析完各种buffer，cache参数配置后没有发现异常或特别严重的错误，于是尝试从内存泄漏的角度来寻找突破口----分析工具pmap : 用来生成一个进程的内存使用报表The pmap command reports the memory map of a process or processes.pt-config-diff : 用来比较Mysql 配置文件的差异pt-config-diff diffs MySQL configurat

franket

2022/07/09

6440

MySQL OOM（内存溢出）的排查思路及优化方法

缓存 linux 云数据库 SQL Server sql 数据库

大部分情况下，会杀掉导致OOM的进程，然后系统恢复。通常我们会添加对内存的监控报警，例如：当memory或swap使用超过90%时，触发报警通知，需要及时介入排查。

MySQL轻松学

2019/08/01

9.9K0

linux内存使用情况分析（free + top）

缓存 linux unix

文章转载自：https://www.cnblogs.com/pengdonglin137/p/3315124.html

我是李超人

2020/08/21

2.9K0

Changes in GreatSQL 8.0.25-16（2022-5-16）

云数据库 SQL Server

该节点仅参与MGR投票仲裁，不存放实际数据，也无需执行DML操作，因此可以用一般配置级别的服务器，在保证MGR可靠性的同时还能降低服务器成本。

GreatSQL社区

2022/05/16

3850

Percona Server 的安装及tokudb引擎的安装笔记

云数据库 SQL Server 数据库 sql 文件存储 kernel

yum localinstall Percona-Server-client-57-5.7.18-15.1.el6.x86_64.rpm Percona-Server-shared-57-5.7.18-15.1.el6.x86_64.rpm Percona-Server-server-57-5.7.18-15.1.el6.x86_64.rpm Percona-Server-tokudb-57-5.7.18-15.1.el6.x86_64.rpm

保持热爱奔赴山海

2019/09/18

8530

MySQL实战第三十三讲－我查这么多数据，会不会把数据库内存打爆？

缓存编程算法云数据库 SQL Server 数据库 sql

我经常会被问到这样一个问题：我的主机内存只有 100G，现在要对一个 200G 的大表做全表扫描，会不会把数据库主机的内存用光了？

越陌度阡

2022/05/06

6020

MySQL实战第三十三讲－我查这么多数据，会不会把数据库内存打爆？

Changes in GreatSQL 8.0.25-16（2022-5-16）

数据库 sql 云数据库 SQL Server

该节点仅参与MGR投票仲裁，不存放实际数据，也无需执行DML操作，因此可以用一般配置级别的服务器，在保证MGR可靠性的同时还能降低服务器成本。

GreatSQL社区

2023/02/24

4200

由hugepage设置导致的数据库事故(r4笔记第28天)

近期客户需要希望提高业务处理能力，在现有的系统中加入几台weblogic服务器，所以需要增加以下连接数的配置，但是同时他们想对现有系统的设置一些变更，发送了一个清单给我们。大体的变更如下： Change Processes from 10000 to 18000 Change PGA from 10G to 20G Change Buffer Cache from 20G to 40G Change Shared pool from 10G to 20G HugePage from 60 GB t

jeanron100

2018/03/15

7540

Mysql的qps高DB随时可能挂掉时的处理方法

数据库云数据库 SQL Server node.js 云数据库 Redis®phpmyadmin

使用Mysql中如果CPU在95%及以上，Qps突然增到2万以上，这时Mysql随时有死去风险。

杨漆

2021/08/08

2.2K0

Mysql的qps高DB随时可能挂掉时的处理方法

相关推荐

技术分享 | 我的内存去哪儿？生产实践

更多 >

LV.1

这个人很懒，什么都没有留下～

作者相关精选

换一批

目录

前言

概要
- 发现问题

加入讨论

的问答专区 >

派大星的数据屋0

1高级数据分析师擅长5个领域

相关课程

一站式学习中心 >

AI绘画-StableDiffusion图像生成

大模型图像创作引擎

高性能应用服务

本文部分代码块支持一键运行，欢迎体验

本文部分代码块支持一键运行，欢迎体验