首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL 基线与容量管理

    容量管理: 1、数据库大小估计 一种可靠的方式是 使用解压后的备份文件(必须是Xtrabackup的物理备份)来估算当前数据库的体积。...3、其它文件大小估计 3.1 MySQL的查询过程中,可能会产生巨量临时表。...【size of largest table * 2 (for tmp/sort files)】 3.2 在做表DDL的时候,操作过程中,需要产生的一个的临时表,需要占据较大的体积。...容量预测 根据数据库的历史监控数据(zabbix 或 prometheus) ,我们可以大致预测数据文件的周增长量、binlog的周增长量 以及系统负载波动的趋势。...容量解决之道 1、历史数据归档 根据业务场景,按照时间归档,迁移历史数据到容量廉价低速的磁盘。降低生产环境数据库体积和负载,较小的表体积,便于数据库备份和DDL操作。

    1.4K10

    MySQL测试数据的构造

    往期专题请查看www.zhaibibei.cn 这是一个坚持Oracle,Python,MySQL原创内容的公众号 前面说了MySQL Linux平台和Windows平台的安装 下面开始是MySQL的一些学习笔记...首先学习其中的一些命令和特性我们需要有数据 今天的内容即为如何构造一些数据 环境为MySQL 5.7.25 1....enabled (you *might* want to use the less safe log_bin_trust_function_creators variable) 则需要设定一个变量 mysql...参考资料 http://www.kkh86.com/it/mysql-adv/guide-index-mock-data.html 可点击阅读原文获得更好的阅读体验,推荐在PC端阅读 也可在公众号内回复...MySQL测试数据的构造 搜索相关内容 或直接打开个人网页搜索 http://www.zhaibibei.cn 往期专题包括: Python 自动化运维 打造属于自己的监控系统 Python爬虫基础

    83520

    网易MySQL微专业学习笔记(十二)-MySQL容量评估

    前言 这个系列属于个人学习网易云课堂MySQL数据库工程师微专业的相关课程过程中的笔记,本篇为其“MySQL业务优化与设计”中的MySQL数据类型相关笔记。...正文 性能容量评估      分析线上业务场景      评估数据库服务器所需性能指标      预估可能成为瓶颈的服务器资源      帮助数据库性能调优 数据库服务器硬件性能指标 磁盘IO性能 内存容量...CPU 网络吞吐量 磁盘容量 数据库业务特点关键词 OLTP/OLAP类型 并发请求 读写比例 数据量 冷热数据比 数据分级存储 OLTP与OLAP T = Transaction 面向广大用户,高并发...多写场景相关资源:磁盘IO 数据量-总量 数据库服务器存储设备可扩容能力上限 根据估算的业务量,写入模式,分析数据增长量 预估一个硬件升级周期内数据库可存放数据的总量,上线时要留好余量 数据总量相关资源:磁盘容量...=127.0.0.1 --mysql-port=3306 --mysql-user=sys --mysql-password=netease --mysql-db=sbtest --max-requests

    1.5K10

    MySQL使用存储过程插入批量测试数据

    应用场景之一:有时,我们需要创建表并填充大量测试数据。 方法如下: 我们先来新建一个表,创建两个普通索引。...NULL,   PRIMARY KEY (`id`),   KEY `a` (`a`),   KEY `b` (`b`) ) ENGINE=InnoDB;  这里我们使用存储过程往表里插入 10w 测试数据...,如果对 MySQL 的存储过程不熟悉,请看我在代码中的注释,应该能看得懂得。...#定义分割符号,mysql 默认分割符为分号;,这里定义为 // #分隔符的作用主要是告诉mysql遇到下一个 // 符号即执行上面这一整段sql语句 delimiter // #创建一个存储过程,并命名为...into t values(i, i, i);     set i=i+1;   end while; end //  #这里遇到//符号,即执行上面一整段sql语句 delimiter ; #恢复mysql

    1.8K10

    高并发容量NoSQL解决方案探索

    Replication能解决读的扩展性问题和HA(高可用),但是无法解决读和容量的扩展性。而Sharding可以解决读写和容量的扩展性。一般NoSQL解决方案都是将二者组合起来。...个推以面向APP开发者提供消息推送服务起家,在2012年之前,个推的业务量相对较小,当时我们用Redis做缓存,用MySQL做持久化。...在MySQL无法解决高QPS、TPS的情况下,我们自研了Redis分片方案。...但是它有两个缺陷:一是它使用MySQL作为后端存储,TPS有上限;二是不够灵活。比如:一个集群放在一百台机器上,要做聚合指标,就很困难。...Redis3主从重置的概率比Redis2减少,Redis4支持节点重启以后也能增量同步,这是Redis本身进行了很多改进。 ? 我们现在主要使用的是2.8.20,属于比较容易能产生主从重置。

    85330

    高并发容量NoSQL解决方案探索

    Replication能解决读的扩展性问题和HA(高可用),但是无法解决读和容量的扩展性。而Sharding可以解决读写和容量的扩展性。一般NoSQL解决方案都是将二者组合起来。...个推以面向APP开发者提供消息推送服务起家,在2012年之前,个推的业务量相对较小,当时我们用Redis做缓存,用MySQL做持久化。...在MySQL无法解决高QPS、TPS的情况下,我们自研了Redis分片方案。...但是它有两个缺陷:一是它使用MySQL作为后端存储,TPS有上限;二是不够灵活。比如:一个集群放在一百台机器上,要做聚合指标,就很困难。...Redis3主从重置的概率比Redis2减少,Redis4支持节点重启以后也能增量同步,这是Redis本身进行了很多改进。 ? 我们现在主要使用的是2.8.20,属于比较容易能产生主从重置。

    98880

    mysql生成百万级数量测试数据

    代码什么的,虽说可以实现,但是感觉另外再弄这些比较麻烦,没有通用性,于是在几篇文章的参考下,.自己写了一段代码,直接生成的数据还是比较方便的,并且不是重复的数据.网上很多都是重复的,我只是做了一点小的修改,测试数据库是...mysql 5.5,存储形式是MyISAM,每次生成的数据量是之前的一倍.测试的量有限,如有什么疑问欢迎评论指正.        ...mysql中迅速插入百万条测试数据的方法 - MokeyChan - 博客园   http://www.cnblogs.com/endtel/p/5404065.html   mysql 快速生成百万条测试数据...- 小哈-whzhaochao - CSDN博客   http://blog.csdn.net/whzhaochao/article/details/49126037   用一条SQL快速生成10万条测试数据

    3.1K30
    领券